(57)【要約】【課題】複数回の対話の応答時間を低減する情報処理方法及びプログラムを提供する。【解決手段】情報処理方法は、ユーザの第１音声から生成された第１フレーズ情報を、ネットワークを介してサーバに出力し、第１音声に対する第１応答メッセージを示す第１応答情報を、サーバから取得し、スピーカに第１応答メッセージを出力させ、第２応答情報をサーバから取得し、第２応答情報は、第１応答メッセージに対する返答の選択候補に関するフレーズ情報に応じて複数の命令に分岐する条件分岐命令を含み、第１応答メッセージの出力後に、第１応答メッセージに対するユーザの返答を含む第２音声を取得し、フレーズ情報と第２音声から生成された第２フレーズ情報とを照合することによって決定された条件分岐命令の命令に応じて、スピーカ及び機器の少なくとも１つに所定の動作を実行させる。【選択図】図１３Ａ
2018120203.tif 000002
【特許請求の範囲】
【請求項１】
ユーザとの対話を通じて少なくとも１つの機器を制御するプロセッサによって実行される情報処理方法であって、
マイクロホンから入力された前記ユーザの第１音声を示す第１音声情報を取得し、
前記第１音声情報から生成された第１フレーズ情報を、ネットワークを介してサーバに出力し、
前記第１フレーズ情報に応じた第１応答情報を、前記ネットワークを介して前記サーバから取得し、前記第１応答情報は、前記第１音声に対する第１応答メッセージを示し、
前記第１応答情報に基づいて、スピーカに前記第１応答メッセージを出力させ、
前記サーバ上で前記第１応答情報に関連づけられている第２応答情報を、前記ネットワークを介して前記サーバから取得し、前記第２応答情報は、１以上のフレーズ情報に応じて異なる複数の命令に分岐する条件分岐命令を含み、前記１以上のフレーズ情報のそれぞれは、前記第１応答メッセージに対する前記ユーザの返答の選択候補に関するものであり、
前記第１応答メッセージが出力された後に、前記マイクロホンから入力された前記ユーザの第２音声を示す第２音声情報を取得し、前記第２音声は前記第１応答メッセージに対する前記ユーザの返答を含み、
前記条件分岐命令のうち、前記１以上のフレーズ情報と前記第２音声情報から生成された第２フレーズ情報とを照合することによって決定された命令に応じて、前記スピーカ及び前記少なくとも１つの機器の少なくとも１つに所定の動作を実行させ、
前記第２音声情報を取得してから前記所定の動作を実行させるまでの間、前記第２音声情報及び前記第２フレーズ情報のいずれも前記サーバに出力されない、
情報処理方法。
【請求項２】
前記第１応答情報と前記第２応答情報とは、同時に前記サーバから取得される、
請求項１に記載の情報処理方法。
【請求項３】
前記第１フレーズ情報が前記サーバに出力された後、前記第２応答情報は、前記第１フレーズ情報及び前記第１応答情報の少なくとも一方に応じて、前記サーバ上に格納された複数の第２応答情報の中から選択される、
請求項１または２に記載の情報処理方法。
【請求項４】
さらに、前記所定の動作を実行させた後、前記所定の動作が実行されたことを示す実行通知を前記サーバに出力する、
請求項１から３のいずれか一項に記載の情報処理方法。
【請求項５】
前記複数の命令の少なくとも１つは、前記第２音声に対する第２応答メッセージを前記スピーカから出力させる命令を含む、
請求項１から４のいずれか一項に記載の情報処理方法。
【請求項６】
前記複数の命令の少なくとも１つは、前記少なくとも１つの機器へ制御コマンドを送信させる命令を含む、
請求項１から５のいずれか一項に記載の情報処理方法。
【請求項７】
前記ネットワークはインターネットであり、
前記情報処理方法は、前記少なくとも１つの機器と前記インターネットを介さずに通信可能なローカルサーバ上で実行される、
請求項１から６のいずれか一項に記載の情報処理方法。
【請求項８】
請求項１から７のいずれか一項に記載の情報処理方法を前記プロセッサに実行させるプログラム。
【請求項９】
サーバ上の第２プロセッサによって実行される情報処理方法であって、前記第２プロセッサは、ユーザとの対話を通じて少なくとも１つの機器を制御する第１プロセッサとネットワークを介して通信可能であり、
マイクロホンから入力された前記ユーザの第１音声に関する第１フレーズ情報を、前記第１プロセッサから前記ネットワークを介して取得し、前記第１フレーズ情報は、前記第１音声に対応する文字列と前記文字列の意味情報との少なくとも一方を示し、
前記第１フレーズ情報に応じた第１応答情報を、前記ネットワークを介して前記第１プロセッサに出力し、前記第１応答情報は、スピーカから出力される、前記第１音声に対する第１応答メッセージを示し、
前記サーバ上で前記第１応答情報に関連づけられている第２応答情報を、前記ネットワークを介して前記第１プロセッサに出力し、前記第２応答情報は、１以上のフレーズ情報に応じて異なる複数の命令に分岐する条件分岐命令を含み、前記１以上のフレーズ情報のそれぞれは、前記第１応答メッセージに対する前記ユーザの返答の選択候補に関するものである、
情報処理方法。
【請求項１０】
前記第１プロセッサは、前記条件分岐命令のうち、前記１以上のフレーズ情報と第２音声情報から生成された第２フレーズ情報とを照合することによって決定された命令に応じて、前記スピーカ及び前記少なくとも１つの機器の少なくとも１つに所定の動作を実行させる、
請求項９に記載の情報処理方法。
【請求項１１】
前記第２プロセッサは、前記第１プロセッサが前記ユーザの返答を取得してから、前記所定の動作を実行させるまでの間、前記第２音声情報及び前記第２フレーズ情報を前記第１プロセッサに出力しない、
請求項１０に記載の情報処理方法。
【請求項１２】
さらに、前記所定の動作が実行されたことを示す実行通知を前記第１プロセッサから取得する、
請求項１０または１１に記載の情報処理方法。
【請求項１３】
前記第１応答情報と前記第２応答情報とは、同時に前記第１プロセッサに出力される、
請求項９から１２のいずれか一項に記載の情報処理方法。
【請求項１４】
前記複数の命令の少なくとも１つは、第２音声に対する第２応答メッセージを前記スピーカから出力させる命令を含む、
請求項９から１３のいずれか一項に記載の情報処理方法。
【請求項１５】
前記複数の命令の少なくとも１つは、前記少なくとも１つの機器へ制御コマンドを出力させる命令を含む、
請求項９から１４のいずれか一項に記載の情報処理方法。
【請求項１６】
前記サーバ上には、複数の意味情報と、前記複数の意味情報にそれぞれ関連づけられている複数の第１応答情報と、前記複数の第１応答情報にそれぞれ関連づけられている複数の第２応答情報とを含むデータベースが格納されており、
前記第１フレーズ情報を取得した後、前記データベースを参照して、
前記複数の意味情報の中から、前記第１音声に対応する意味情報を特定し、
前記複数の第１応答情報の中から、特定された前記意味情報に関連づけられている前記第１応答情報を特定し、
前記複数の第２応答情報の中から、特定された前記第１応答情報に関連づけられている前記第２応答情報を特定する、
請求項９から１５のいずれか一項に記載の情報処理方法。
【請求項１７】
請求項９から１６のいずれか一項に記載の情報処理方法を前記第２プロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
例えば、音声認識技術の一例が特許文献１に開示されている。特許文献１の装置及び方法は、音声コマンドを用いて消費者電化製品に関連する装置を音声制御する。この装置及び方法は、サーバを利用してユーザの命令を認識する際、命令の認識から動作の実行までにかかる時間を短縮するために、ユーザがよく発話する音声認識命令とそれに対応する制御命令情報とをローカルの「保存部」に記憶させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−７１４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の装置及び方法に代表される音声対話エージェントでは、一問一答のように、一往復の対話のみが想定されている。
【０００５】
本開示は、複数回の対話の応答時間を低減する情報処理方法及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る情報処理方法は、ユーザとの対話を通じて少なくとも１つの機器を制御するプロセッサによって実行される情報処理方法であって、マイクロホンから入力された前記ユーザの第１音声を示す第１音声情報を取得し、前記第１音声情報から生成された第１フレーズ情報を、ネットワークを介してサーバに出力し、前記第１フレーズ情報に応じた第１応答情報を、前記ネットワークを介して前記サーバから取得し、前記第１応答情報は、前記第１音声に対する第１応答メッセージを示し、前記第１応答情報に基づいて、スピーカに前記第１応答メッセージを出力させ、前記サーバ上で前記第１応答情報に関連づけられている第２応答情報を、前記ネットワークを介して前記サーバから取得し、前記第２応答情報は、１以上のフレーズ情報に応じて異なる複数の命令に分岐する条件分岐命令を含み、前記１以上のフレーズ情報のそれぞれは、前記第１応答メッセージに対する前記ユーザの返答の選択候補に関するものであり、前記第１応答メッセージが出力された後に、前記マイクロホンから入力された前記ユーザの第２音声を示す第２音声情報を取得し、前記第２音声は前記第１応答メッセージに対する前記ユーザの返答を含み、前記条件分岐命令のうち、前記１以上のフレーズ情報と前記第２音声情報から生成された第２フレーズ情報とを照合することによって決定された命令に応じて、前記スピーカ及び前記少なくとも１つの機器の少なくとも１つに所定の動作を実行させ、前記第２音声情報を取得してから前記所定の動作を実行させるまでの間、前記第２音声情報及び前記第２フレーズ情報のいずれも前記サーバに出力されない。
【０００７】
本開示の一態様に係るプログラムは、上記の情報処理方法を前記プロセッサに実行させる。
【０００８】
本開示の一態様に係る対話処理方法は、サーバ上の第２プロセッサによって実行される情報処理方法であって、前記第２プロセッサは、ユーザとの対話を通じて少なくとも１つの機器を制御する第１プロセッサとネットワークを介して通信可能であり、マイクロホンから入力された前記ユーザの第１音声に関する第１フレーズ情報を、前記第１プロセッサから前記ネットワークを介して取得し、前記第１フレーズ情報は、前記第１音声に対応する文字列と前記文字列の意味情報との少なくとも一方を示し、前記第１フレーズ情報に応じた第１応答情報を、前記ネットワークを介して前記第１プロセッサに出力し、前記第１応答情報は、スピーカから出力される、前記第１音声に対する第１応答メッセージを示し、前記サーバ上で前記第１応答情報に関連づけられている第２応答情報を、前記ネットワークを介して前記第１プロセッサに出力し、前記第２応答情報は、１以上のフレーズ情報に応じて異なる複数の命令に分岐する条件分岐命令を含み、前記１以上のフレーズ情報のそれぞれは、前記第１応答メッセージに対する前記ユーザの返答の選択候補に関するものである。
【０００９】
本開示の一態様に係るプログラムは、上記の情報処理方法を前記第２プロセッサに実行させる。
【発明の効果】
【００１０】
本開示の情報処理方法及びプログラムによれば、複数回の対話の応答時間の低減が可能になる。
【図面の簡単な説明】
【００１１】
【図１Ａ】図１Ａは、実施の形態に係る対話処理装置を備える音声対話エージェントシステムが配置される環境の一例を示す図であり、音声対話エージェントシステムを備える情報管理システムが提供するサービスの全体像を示す図である。
【図１Ｂ】図１Ｂは、図１Ａのデータセンタ運営会社が、機器メーカに該当する例を示す図である。
【図１Ｃ】図１Ｃは、図１Ａのデータセンタ運営会社が、機器メーカ及び管理会社の両者又はいずれか一方に該当する例を示す図である。
【図２】図２は、実施の形態に係る音声対話エージェントシステムの構成を示す概略図である。
【図３】図３は、実施の形態に係る音声入出力装置のハードウェア構成の一例を示す図である。
【図４】図４は、実施の形態に係る機器のハードウェア構成の一例を示す図である。
【図５】図５は、実施の形態に係るローカルサーバのハードウェア構成の一例を示す図である。
【図６】図６は、実施の形態に係るクラウドサーバのハードウェア構成の一例を示す図である。
【図７】図７は、実施の形態に係る音声入出力装置のシステム構成の一例を示す図である。
【図８】図８は、実施の形態に係る機器のシステム構成の一例を示す図である。
【図９】図９は、実施の形態に係るローカルサーバのシステム構成の一例を示す図である。
【図１０】図１０は、実施の形態に係るクラウドサーバのシステム構成の一例を示す図である。
【図１１】図１１は、実施の形態に係るローカル辞書ＤＢの具体例である。
【図１２Ａ】図１２Ａは、実施の形態に係る対話ルールＤＢの具体例である。
【図１２Ｂ】図１２Ｂは、実施の形態に係るオフロード命令生成ＤＢの具体例である。
【図１３Ａ】図１３Ａは、実施の形態に係る音声対話エージェントシステムの応答時間を短縮する通信処理のシーケンス図である。
【図１３Ｂ】図１３Ｂは、実施の形態に係る音声対話エージェントシステムの応答時間を短縮する通信処理のシーケンス図である。
【図１４】図１４は、実施の形態に係る音声対話エージェントシステムが適用可能である、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供する、サービスの全体像を示す図である。
【図１５】図１５は、実施の形態に係る音声対話エージェントシステムが適用可能である、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供する、サービスの全体像を示す図である。
【図１６】図１６は、実施の形態に係る音声対話エージェントシステムが適用可能である、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供する、サービスの全体像を示す図である。
【図１７】図１７は、実施の形態に係る音声対話エージェントシステムが適用可能である、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供する、サービスの全体像を示す図である。
【発明を実施するための形態】
【００１２】
［本開示の技術の基礎となった知見］
本発明者らは、特許文献１に開示されるような従来技術において、以下の問題が生じることを見出した。上記特許文献１の方法及び装置は、一問一答の対話のみが想定されている。このような方法及び装置は、一問一答を超える対話に関して、応答時間が長くなる、又は、応答できない場合がある。本発明者らは、複数回の対話に関して、ローカル側及びクラウド側の装置の応答時間を低減する技術を検討した。本発明者らは、複数回の対話で機器制御を行うクラウド型音声対話エージェントにおいて、簡単な認識命令とこれに対応する制御命令とをローカル側にオフロードする、つまり負担が軽減するように与えることで、音声対話エージェントの応答時間を短縮することを見出した。そこで、本発明者らは、以下の改善策を検討した。
【００１３】
本開示の一態様に係る第１の情報処理方法は、ユーザとの対話を通じて少なくとも１つの機器を制御するプロセッサによって実行される情報処理方法であって、マイクロホンから入力された前記ユーザの第１音声を示す第１音声情報を取得し、前記第１音声情報から生成された第１フレーズ情報（第１の音声認識結果）を、ネットワークを介してサーバに出力し、前記第１フレーズ情報に応じた第１応答情報を、前記ネットワークを介して前記サーバから取得し、前記第１応答情報は、前記第１音声に対する第１応答メッセージを示し、前記第１応答情報に基づいて、スピーカに前記第１応答メッセージを出力させ、前記サーバ上で前記第１応答情報に関連づけられている第２応答情報を、前記ネットワークを介して前記サーバから取得し、前記第２応答情報は、１以上のフレーズ情報に応じて異なる複数の命令に分岐する条件分岐命令（処理情報）を含み、前記１以上のフレーズ情報のそれぞれは、前記第１応答メッセージに対する前記ユーザの返答の選択候補に関するものであり、前記第１応答メッセージが出力された後に、前記マイクロホンから入力された前記ユーザの第２音声を示す第２音声情報を取得し、前記第２音声は前記第１応答メッセージに対する前記ユーザの返答を含み、前記条件分岐命令のうち、前記１以上のフレーズ情報（推定返答情報）と前記第２音声情報から生成された第２フレーズ情報（第２の音声認識結果）とを照合することによって決定された命令に応じて、前記スピーカ及び前記少なくとも１つの機器の少なくとも１つに所定の動作を実行させ、前記第２音声情報を取得してから前記所定の動作を実行させるまでの間、前記第２音声情報及び前記第２フレーズ情報のいずれも前記サーバに出力されない。
【００１４】
上記態様によれば、ユーザの第１音声の取得後、第１音声に応じた第１応答情報と、第１応答情報の第１応答メッセージに対するユーザの返答に応じた第２応答情報とが、サーバにおいて決定される。そして、サーバから、第１応答情報及び第２応答情報が得られる。このため、第１応答情報に基づき、ユーザの第１音声に応じた第１応答メッセージの出力が可能である。また、第２応答情報に基づき、第１応答メッセージに対するユーザの返答に応じて、スピーカによるメッセージの出力及び機器の制御が可能である。よって、ユーザとの複数回の対話が可能となる。さらに、第２応答情報が条件分岐命令を含むため、第１応答メッセージに対するユーザの異なる複数の返答に応じた対応が可能になる。よって、第１応答メッセージに対するユーザの返答を取得した後、返答に応じた応答情報を生成するためのサーバとの通信が不要である。従って、複数回の対話における応答時間の短縮が可能になる。
【００１５】
また、本開示の一態様に係る第２の情報処理方法は、サーバ上の第２プロセッサ（対話処理装置）によって実行される情報処理方法であって、前記第２プロセッサは、ユーザとの対話を通じて少なくとも１つの機器を制御する第１プロセッサとネットワークを介して通信可能であり、マイクロホンから入力された前記ユーザの第１音声に関する第１フレーズ情報（第１の音声認識結果）を、前記第１プロセッサから前記ネットワークを介して取得し、前記第１フレーズ情報は、前記第１音声に対応する文字列と前記文字列の意味情報との少なくとも一方を示し、前記第１フレーズ情報に応じた第１応答情報を、前記ネットワークを介して前記第１プロセッサに出力し、前記第１応答情報は、スピーカから出力される、前記第１音声に対する第１応答メッセージを示し、前記サーバ上で前記第１応答情報に関連づけられている第２応答情報を、前記ネットワークを介して前記第１プロセッサに出力し、前記第２応答情報は、１以上のフレーズ情報（推定返答情報）に応じて異なる複数の命令に分岐する条件分岐命令（処理情報）を含み、前記１以上のフレーズ情報のそれぞれは、前記第１応答メッセージに対する前記ユーザの返答の選択候補に関するものである。
【００１６】
上記態様によれば、サーバにおいて、ユーザの第１音声に関する第１フレーズ情報の取得後、第１音声に応じた第１応答情報と、第１応答情報の第１応答メッセージに対するユーザの返答に対応した第２応答情報とが、決定される。そして、第１応答情報及び第２応答情報が、サーバから第１プロセッサに出力される。第１プロセッサは、第１応答情報に基づき、ユーザの第１音声に応じた第１応答メッセージを出力することができる。また、第１プロセッサは、第２応答情報に基づき、第１応答メッセージに対するユーザの返答に応じて、スピーカによるメッセージの出力及び機器の制御を行うことができる。よって、ユーザとの複数回の対話が可能となる。さらに、第２応答情報が条件分岐命令を含むため、第１応答メッセージに対するユーザの異なる複数の返答に応じて、第１プロセッサが対応することができる。よって、第１応答メッセージに対するユーザの返答を取得した後、返答に応じた応答情報を生成するための第１プロセッサとサーバとの通信が不要である。従って、複数回の対話における応答時間の短縮が可能になる。
【００１７】
例えば、本開示の一態様に係る第１の情報処理方法において、前記第１応答情報と前記第２応答情報とは、同時に前記サーバから取得されてもよい。
【００１８】
上記態様によれば、サーバとプロセッサとの通信頻度が低減し、ユーザの音声に対する応答時間の短縮が可能になる。具体的には、第１応答情報が示す第１応答メッセージに対するユーザの返答の確認前に、ユーザの返答に対する第２応答情報が、サーバから得られる。このため、サーバがユーザの返答を確認するための通信が不要である。さらに、第１応答メッセージに対する返答をユーザから受け取っているが、第２応答情報を未だ取得しておらず、次の動作を行えないという処理の遅延を防ぐことができる。
【００１９】
例えば、本開示の一態様に係る第１の情報処理方法において、前記第１フレーズ情報が前記サーバに出力された後、前記第２応答情報は、前記第１フレーズ情報及び前記第１応答情報の少なくとも一方に応じて、前記サーバ上に格納された複数の第２応答情報の中から選択されてもよい。
【００２０】
例えば、本開示の一態様に係る第１の情報処理方法は、さらに、前記所定の動作を実行させた後、前記所定の動作が実行されたことを示す実行通知を前記サーバに出力してもよい。
【００２１】
上記態様によれば、サーバは、実行通知を取得することによって、ユーザとの対話を通じた機器の制御に関連する動作を終了することができる。よって、サーバの不要な待機及び動作の低減が可能になる。
【００２２】
例えば、本開示の一態様に係る第１の情報処理方法において、前記複数の命令の少なくとも１つは、前記第２音声に対する第２応答メッセージを前記スピーカから出力させる命令を含んでもよい。
【００２３】
上記態様によれば、第２応答情報を取得することによって、第１応答メッセージに対するユーザの返答を含む第２音声の内容に応じて、音声を用いた対応をすることができる。
【００２４】
例えば、本開示の一態様に係る第１の情報処理方法において、前記複数の命令の少なくとも１つは、前記少なくとも１つの機器へ制御コマンドを送信させる命令を含んでもよい。
【００２５】
上記態様によれば、第２応答情報を取得することによって、第１応答メッセージに対するユーザの返答を含む第２音声の内容に応じて、機器を制御することができる。
【００２６】
例えば、本開示の一態様に係る第１の情報処理方法において、前記ネットワークはインターネットであり、前記情報処理方法は、前記少なくとも１つの機器と前記インターネットを介さずに通信可能なローカルサーバ上で実行されてもよい。
【００２７】
上記態様によれば、ローカルサーバと少なくとも１つの機器との通信による、応答時間の増加が抑えられる。
【００２８】
また、本開示の一態様に係る第１のプログラムは、上記の第１の情報処理方法を前記プロセッサに実行させる。
【００２９】
例えば、本開示の一態様に係る第２の情報処理方法において、前記第１プロセッサは、前記条件分岐命令のうち、前記１以上のフレーズ情報と前記第２音声情報から生成された第２フレーズ情報とを照合することによって決定された命令に応じて、前記スピーカ及び前記少なくとも１つの機器の少なくとも１つに所定の動作を実行させてもよい。
【００３０】
上記態様によれば、第１プロセッサは、条件分岐命令のうちから、ユーザの第２音声の内容に適した命令を選択することができる。これにより、ユーザの第２音声の内容と、上記命令に基づく第１プロセッサの動作との不適合に起因する、応答時間の増加が抑えられる。
【００３１】
例えば、本開示の一態様に係る第２の情報処理方法において、前記第２プロセッサは、前記第１プロセッサが前記ユーザの返答を取得してから、前記所定の動作を実行させるまでの間、前記第２音声情報及び前記第２フレーズ情報を前記第１プロセッサに出力しないとしてもよい。
【００３２】
例えば、本開示の一態様に係る第２の情報処理方法は、さらに、前記所定の動作が実行されたことを示す実行通知を前記第１プロセッサから取得してもよい。
【００３３】
上記態様によれば、サーバの第２プロセッサは、実行通知を取得することによって、ユーザとの対話を通じた機器の制御に関連する動作を終了することができる。よって、第２プロセッサの不要な待機及び動作の低減が可能になる。
【００３４】
例えば、本開示の一態様に係る第２の情報処理方法において、前記第１応答情報と前記第２応答情報とは、同時に前記第１プロセッサに出力されてもよい。
【００３５】
上記態様によれば、第２プロセッサと第１プロセッサとの通信頻度が低減し、ユーザの音声に対する応答時間の短縮が可能になる。具体的には、第１応答情報が示す第１応答メッセージに対するユーザの返答の確認前に、ユーザの返答に対する第２応答情報が、第１プロセッサに出力される。このため、第２プロセッサは、上記ユーザの返答を取得する通信をする必要がない。さらに、第１応答メッセージに対してユーザが返答しているが、第１プロセッサが第２応答情報を未だ取得してないため、次の動作を行えないという処理の遅延を防ぐことができる。
【００３６】
例えば、本開示の一態様に係る第２の情報処理方法において、前記複数の命令の少なくとも１つは、前記第２音声に対する第２応答メッセージを前記スピーカから出力させる命令を含んでもよい。
【００３７】
上記態様によれば、第１プロセッサは、第２応答情報を取得することによって、第１応答メッセージに対するユーザの返答を含む第２音声の内容に応じて、音声を用いた対応をすることができる。
【００３８】
例えば、本開示の一態様に係る第２の情報処理方法において、前記複数の命令の少なくとも１つは、前記少なくとも１つの機器へ制御コマンドを出力させる命令を含んでもよい。
【００３９】
上記態様によれば、第１プロセッサは、第２応答情報を取得することによって、第１応答メッセージに対するユーザの返答を含む第２音声の内容に応じて、機器を制御することができる。
【００４０】
例えば、本開示の一態様に係る第２の情報処理方法において、前記サーバ上には、複数の意味情報と、前記複数の意味情報にそれぞれ関連づけられている複数の第１応答情報と、前記複数の第１応答情報にそれぞれ関連づけられている複数の第２応答情報とを含むデータベースが格納されており、前記第１フレーズ情報を取得した後、前記データベースを参照して、前記複数の意味情報の中から、前記第１音声に対応する意味情報を特定し、前記複数の第１応答情報の中から、特定された前記意味情報に関連づけられている前記第１応答情報を特定し、前記複数の第２応答情報の中から、特定された前記第１応答情報に関連づけられている前記第２応答情報を特定してもよい。
【００４１】
上記態様によれば、サーバ側のみにおいて、第１フレーズ情報から第１応答情報及び第２応答情報の生成処理が可能である。サーバは、処理能力が高く、データ容量も大きい。上記生成処理をサーバが行うことによって、処理時間の短縮が可能になる。
【００４２】
また、本開示の一形態に係る第２のプログラムは、上記の第２の情報処理方法を前記第２プロセッサに実行させる。
【００４３】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００４４】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の技術の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。
【００４５】
［実施の形態］
［１．提供するサービスの全体像］
まず、図１Ａ〜図１Ｃを参照して、実施の形態に係る対話処理装置を備える音声対話エージェントシステム１が配置される情報管理システムが提供する、サービスの全体像について説明する。図１Ａは、実施の形態に係る対話処理装置を備える音声対話エージェントシステム１が配置される環境の一例を示す図であり、音声対話エージェントシステムを備える情報管理システムが提供するサービスの全体像を示す図である。図１Ｂは、図１Ａのデータセンタ運営会社が、機器メーカに該当する例を示す図である。図１Ｃは、図１Ａのデータセンタ運営会社が、機器メーカ及び管理会社の両者又はいずれか一方に該当する例を示す図である。なお、対話処理装置は、後述するホームゲートウェイ（ローカルサーバとも呼ぶ）１０２であってもよく、クラウドサーバ１１１であってもよく、ホームゲートウェイ１０２及びクラウドサーバ１１１を含むものでもよい。
【００４６】
図１Ａに示されるように、情報管理システム４０００は、グループ４１００、データセンタ運営会社４１１０及びサービスプロバイダ４１２０を備える。グループ４１００は、例えば企業、団体又は家庭等であり、その規模を問わない。グループ４１００は、第１の機器１０１ａ及び第２の機器１０１ｂを含む複数の機器１０１、並びにホームゲートウェイ１０２を備える。複数の機器１０１は、例えば家電機器である。複数の機器１０１は、例えば、スマートフォン、パーソナルコンピュータ（ＰＣ）又はテレビ等のインターネットなどの通信網と接続可能な機器を含んでもよく、例えば、照明、洗濯機又は冷蔵庫等のそれ自身ではインターネットなどの通信網と接続不可能な機器を含んでもよい。複数の機器１０１は、それ自身ではインターネット等の通信網と接続不可能であっても、ホームゲートウェイ１０２を介してインターネット等の通信網と接続可能となる機器を含んでもよい。また、ユーザ５１００は、グループ４１００内の複数の機器１０１を使用する。
【００４７】
データセンタ運営会社４１１０は、クラウドサーバ１１１を備える。クラウドサーバ１１１は、インターネットなどの通信網を介して様々な装置と連携する仮想化サーバである。クラウドサーバ１１１は、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ（ビッグデータ）等を管理する。データセンタ運営会社４１１０は、データの管理、クラウドサーバ１１１の管理、及びそれらを行うデータセンタの運営等を行っている。データセンタ運営会社４１１０が行っている役務の詳細については後述する。以降では、通信網として、インターネットが用いられるものとして説明するが、通信網は、インターネットに限定されない。
【００４８】
ここで、データセンタ運営会社４１１０は、データの管理又はクラウドサーバ１１１の管理のみを行っている会社に限らない。例えば、図１Ｂに示すように、複数の機器１０１のうちの一つの機器を開発又は製造している機器メーカが、データの管理又はクラウドサーバ１１１の管理等を行っている場合は、機器メーカがデータセンタ運営会社４１１０に該当する。また、データセンタ運営会社４１１０は一つの会社に限らない。例えば、図１Ｃに示すように、機器メーカ及び管理会社が共同又は分担してデータの管理又はクラウドサーバ１１１の管理を行っている場合は、両者又はいずれか一方がデータセンタ運営会社４１１０に該当する。
【００４９】
サービスプロバイダ４１２０は、サーバ１２１を備える。ここで言うサーバ１２１とは、その規模は問わず、例えば、個人用ＰＣ内のメモリ等も含む。また、サービスプロバイダ４１２０がサーバ１２１を備えていない場合もある。
【００５０】
なお、上記の情報管理システム４０００において、ホームゲートウェイ１０２は必須ではない。例えば、クラウドサーバ１１１が全てのデータ管理を行っている場合等は、ホームゲートウェイ１０２は不要となる。また、家庭内の全ての機器１０１がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器が存在しない場合もある。
【００５１】
次に、情報管理システム４０００における情報の流れを説明する。まず、グループ４１００の第１の機器１０１ａ又は第２の機器１０１ｂは、各々のログ情報をデータセンタ運営会社４１１０のクラウドサーバ１１１にそれぞれ送信する。クラウドサーバ１１１は、第１の機器１０１ａ又は第２の機器１０１ｂのログ情報を集積する（図１Ａの矢印１３１）。ここで、ログ情報とは、複数の機器１０１の例えば運転状況及び動作日時等を示す情報である。例えば、ログ情報は、テレビの視聴履歴、レコーダの録画予約情報、洗濯機の運転日時、洗濯物の量、冷蔵庫の開閉日時、及び冷蔵庫の開閉回数などを含み得るが、これらの情報に限らず、種々の機器１０１から取得が可能な種々の情報を含んでもよい。なお、ログ情報は、インターネットを介して複数の機器１０１自体から直接クラウドサーバ１１１に提供されてもよい。また、ログ情報は、複数の機器１０１から一旦ホームゲートウェイ１０２に集積され、ホームゲートウェイ１０２からクラウドサーバ１１１に提供されてもよい。
【００５２】
次に、データセンタ運営会社４１１０のクラウドサーバ１１１は、集積したログ情報を一定の単位でサービスプロバイダ４１２０に提供する。ここで、一定の単位とは、データセンタ運営会社４１１０が集積した情報を整理してサービスプロバイダ４１２０に提供することの出来る単位でもよく、サービスプロバイダ４１２０が要求する単位でもよい。また、ログ情報は、一定の単位で提供されるとしているが、一定の単位で提供されなくてもよく、状況に応じて提供される情報量が変化してもよい。ログ情報は、必要に応じてサービスプロバイダ４１２０が保有するサーバ１２１に保存される（図１Ａの矢印１３２）。
【００５３】
そして、サービスプロバイダ４１２０は、ログ情報を、ユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。情報が提供されるユーザは、複数の機器１０１を使用するユーザ５１００でもよく、外のユーザ５２００でもよい。ユーザ５１００，５２００への情報提供方法としては、例えば、サービスプロバイダ４１２０から直接ユーザ５１００，５２００へ情報が提供されてもよい（図１Ａの矢印１３３，１３４）。また、ユーザ５１００への情報提供方法としては、例えば、データセンタ運営会社４１１０のクラウドサーバ１１１を再度経由して、ユーザ５１００に情報が提供される方法でもよい（図１Ａの矢印１３５，１３６）。また、データセンタ運営会社４１１０のクラウドサーバ１１１は、ログ情報を、ユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ４１２０に提供してもよい。なお、ユーザ５１００は、ユーザ５２００と異なっていても同一であってもよい。
【００５４】
［２−１．実施の形態に係る音声対話エージェントシステムの構成］
以下、実施の形態に係る音声対話エージェントシステム１の構成を説明する。音声対話エージェントシステム１は、ユーザの音声指示に対して、応答時間を短縮するシステムである。本実施の形態では、音声対話エージェントシステム１は、複数回の対話で機器制御を行うクラウド型音声対話エージェントシステムであり、簡単な認識命令と対応する制御命令とをローカル側にオフロードすることで、その応答時間を短縮する。
【００５５】
まず、音声対話エージェントシステム１の構成に関して、音声対話エージェントシステムの構成、音声入出力装置のハードウェア構成、機器のハードウェア構成、ローカルサーバのハードウェア構成、クラウドサーバのハードウェア構成、音声入出力装置の機能ブロック、機器の機能ブロック、ローカルサーバの機能ブロック、及びクラウドサーバの機能ブロックを順次説明する。さらに、音声対話エージェントシステム１の構成に関して、ローカル辞書ＤＢの具体例、対話ルールＤＢの具体例、オフロード命令生成ＤＢの具体例も説明する。そして、音声対話エージェントシステム１の動作に関して、音声対話エージェントシステム１による応答時間を短縮する処理のシーケンスを説明する。
【００５６】
図２を参照して、実施の形態に係る対話処理装置を含む音声対話エージェントシステム１の構成を説明する。図２は、実施の形態に係る音声対話エージェントシステム１の構成を示す概略図である。音声対話エージェントシステム１は、音声入出力装置２４０と、複数の機器１０１と、ローカルサーバ１０２と、情報通信ネットワーク２２０と、クラウドサーバ１１１とを含む。ローカルサーバ１０２は、ホームゲートウェイの一例である。情報通信ネットワーク２２０は、例えば、インターネットであり、通信網の一例である。本実施の形態では、複数の機器１０１は、テレビ２４３、エアコン２４４及び冷蔵庫２４５で構成される。また、複数の機器１０１を構成する機器は、テレビ２４３、エアコン２４４及び冷蔵庫２４５に限定されるものでなく、任意の機器でよい。音声入出力装置２４０、複数の機器１０１及びローカルサーバ１０２は、グループ４１００に配置される。ここで、ローカルサーバ１０２が、対話処理装置を構成してもよく、クラウドサーバ１１１が、対話処理装置を構成してもよく、ローカルサーバ１０２及びクラウドサーバ１１１が共に、対話処理装置を構成してもよい。
【００５７】
図２に示す例では、人間であるユーザ５１００が、音声対話エージェントシステム１が配置されるグループ４１００内に存在する。また、ユーザ５１００が、音声対話エージェントシステム１に対する話者であるとする。
【００５８】
音声入出力装置２４０は、グループ４１００内の音声を取得する集音部の一例であり、グループ４１００内に音声を出力する音声出力部の一例でもある。音声入出力装置２４０は、マイクロホンを介して音声を取得してもよく、スピーカを介して音声を出力してもよい。マイクロホン及びスピーカは、音声入出力装置２４０に備えられてもよく、音声入出力装置２４０を搭載する装置に備えられてもよく、音声入出力装置２４０及び上記装置と別個の装置に備えられてもよい。グループ４１００は、音声入出力装置２４０が音声によりユーザに情報提供可能な空間である。音声入出力装置２４０は、グループ４１００内のユーザ５１００の音声を認識し、認識した音声入力によるユーザ５１００の指示に応じて、音声入出力装置２４０より音声情報を提示し、且つ機器１０１を制御する。より具体的には、音声入出力装置２４０は、音声入力によるユーザ５１００の指示に従いコンテンツを表示したり、ユーザ５１００の質問に回答したり、機器１０１を制御したりする。
【００５９】
また、ここでは、音声入出力装置２４０、複数の機器１０１及びローカルサーバ１０２の間の接続には、有線又は無線による接続を用いることができる。無線による接続には、様々な無線通信が適用可能である。例えば、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）などの無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）が適用されてもよく、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等の近距離無線通信が適用されてもよい。
【００６０】
また、音声入出力装置２４０、機器１０１及びローカルサーバ１０２のうち少なくとも一部が一体化されていてもよい。例えば、音声入出力装置２４０に、ローカルサーバ１０２の機能が組み込まれ、音声入出力装置２４０が、自身でクラウドサーバ１１１と通信するローカル端末として機能してもよい。又は、音声入出力装置２４０が、複数の機器１０１のそれぞれ、若しくは、複数の機器１０１のうちの１つに組み込まれてもよい。後者の場合、音声入出力装置２４０が組み込まれた機器１０１が、他の機器１０１を制御してもよい。又は、音声入出力装置２４０の機能とローカルサーバ１０２の機能とのうち少なくともローカルサーバ１０２の機能が、複数の機器１０１のそれぞれ、若しくは、複数の機器１０１のうちの１つに組み込まれてもよい。前者の場合、各機器１０１が、自身でクラウドサーバ１１１と通信するローカル端末として機能してもよく、後者の場合、ローカルサーバ１０２の機能が組み込まれたローカル端末である１つの機器１０１を介して、他の機器１０１がクラウドサーバ１１１と通信してもよい。
【００６１】
さらに、音声入出力装置２４０、機器１０１、ローカルサーバ１０２及びクラウドサーバ１１１について、ハードウェア構成の観点から説明する。図３は、実施の形態に係る音声入出力装置２４０のハードウェア構成の一例を示す。図３に示すように、音声入出力装置２４０は、処理回路３００、集音回路３０１、音声出力回路３０２及び通信回路３０３を有している。処理回路３００、集音回路３０１、音声出力回路３０２及び通信回路３０３は、バス３３０で相互に接続されており、互いの間でデータ及び命令の授受を行うことが可能である。ここで、クラウドサーバ１１１は、サーバの一例である。
【００６２】
処理回路３００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１０と、機器ＩＤ３４１及びコンピュータプログラム３４２を格納したメモリ３２０との組み合わせによって実現され得る。ＣＰＵ３１０は、音声入出力装置２４０の動作を制御するが、ローカルサーバ１０２を介して接続される各機器１０１の動作も制御してもよい。この場合、処理回路３００は、各機器１０１の制御命令を、ローカルサーバ１０２を介して送信するが、各機器１０１に直接送信してもよい。ＣＰＵ３１０は、メモリ３２０に展開されたコンピュータプログラム３４２に記述された命令群を実行する。これにより、ＣＰＵ３１０は種々の機能を実現することができる。コンピュータプログラム３４２には、後述する音声入出力装置２４０の動作を実現するための命令群が記述されている。上述のコンピュータプログラム３４２は、製品としての音声入出力装置２４０のメモリ３２０に予め格納されていてもよい。又は、コンピュータプログラム３４２は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、若しくは、インターネット等の電気通信回線を通じて伝送され、記録媒体又は電気通信回線を通じて取得されたコンピュータプログラム３４２がメモリ３２０に格納されてもよい。
【００６３】
或いは、処理回路３００は、以下に説明する動作を実現するように構成された専用のハードウェアによって実現されていてもよい。なお、機器ＩＤ３４１は、機器１０１に一意に付与された識別子である。機器ＩＤ３４１は、機器１０１のメーカによって独自に付与されてもよいし、或いは、原則としてネットワーク上で一意に割り当てられる物理アドレス（いわゆるＭＡＣ（Ｍｅｄｉａ  Ａｃｃｅｓｓ  Ｃｏｎｔｒｏｌ）アドレス）であってもよい。
【００６４】
なお、図３では、コンピュータプログラム３４２が格納されているメモリ３２０に機器ＩＤ３４１が格納されているとした。しかしながらこれは、処理回路３００の構成の一例である。例えば、コンピュータプログラム３４２がＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に格納され、機器ＩＤ３４１がフラッシュメモリに格納されてもよい。
【００６５】
集音回路３０１は、ユーザの音声を収集してアナログ音声信号を生成し、そのアナログ音声信号をデジタルデータに変換してバス３３０に送信する。
【００６６】
音声出力回路３０２は、バス３３０を通じて受信したデジタルデータをアナログ音声信号に変換し、そのアナログ音声信号を出力する。
【００６７】
通信回路３０３は、有線通信又は無線通信を介して、他の機器（例えばローカルサーバ１０２）と通信を行う回路である。限定されるものではないが、本実施の形態では、通信回路３０３は、ネットワークを介して他の機器と通信を行い、例えばイーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮを介して通信を行う。通信回路３０３は、処理回路３００によって生成されたログ情報及びＩＤ情報をローカルサーバ１０２に送信する。また、通信回路３０３は、ローカルサーバ１０２より受信した信号を、バス３３０を通じて処理回路３００に送信する。
【００６８】
音声入出力装置２４０は、図示される構成要素以外にも、音声入出力装置２４０に要求される機能を実現するための他の構成要素も含み得る。
【００６９】
図４は、実施形態に係る機器１０１のハードウェア構成の一例を示す。図２に示されるテレビ２４３、エアコン２４４及び冷蔵庫２４５は、機器１０１の一例である。図４に示すように、機器１０１は、入出力回路４１０と、通信回路４５０と、処理回路４７０とを有している。入出力回路４１０、通信回路４５０及び処理回路４７０は、バス４６０で相互に接続されており、互いの間でデータ及び命令の授受を行うことが可能である。
【００７０】
処理回路４７０は、ＣＰＵ４３０と、機器ＩＤ４４１及びコンピュータプログラム４４２を格納したメモリ４４０との組み合わせによって実現され得る。ＣＰＵ４３０は、機器１０１の動作を制御する。ＣＰＵ４３０は、メモリ４４０に展開されたコンピュータプログラム４４２に記述された命令群を実行し、種々の機能を実現することができる。コンピュータプログラム４４２には、機器１０１の動作を実現するための命令群が記述されている。上述のコンピュータプログラム４４２は、製品としての機器１０１のメモリ４４０に予め格納されていてもよい。又は、コンピュータプログラム４４２は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、若しくは、インターネット等の電気通信回線を通じて伝送され、記録媒体又は電気通信回線を通じて取得されたコンピュータプログラム４４２がメモリ４４０に格納されてもよい。
【００７１】
或いは、処理回路４７０は、以下に説明する動作を実現するように構成された専用のハードウェアによって実現されていてもよい。なお、機器ＩＤ４４１は、機器１０１に一意に付与された識別子である。機器ＩＤ４４１は、機器１０１のメーカによって独自に付与されてもよいし、或いは、原則としてネットワーク上で一意に割り当てられる物理アドレス（いわゆるＭＡＣアドレス）であってもよい。
【００７２】
なお、図４では、コンピュータプログラム４４２が格納されているメモリ４４０に機器ＩＤ４４１が格納されているとした。しかしながらこれは、処理回路４７０の構成の一例である。例えば、コンピュータプログラム４４２がＲＡＭ又はＲＯＭに格納され、機器ＩＤ４４１がフラッシュメモリに格納されてもよい。
【００７３】
入出力回路４１０は、処理回路４７０が処理した結果を出力する。また、入出力回路４１０は、入力されたアナログ信号をデジタルデータに変換してバス３３０に送信する。
【００７４】
通信回路４５０は、有線通信又は無線通信を介して、他の装置（例えばローカルサーバ１０２）と通信を行う回路である。限定されるものではないが、本実施の形態では、通信回路４５０は、ネットワークを介して他の装置と通信を行い、例えばイーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮを介して通信を行う。通信回路４５０は、処理回路４７０によって生成されたログ情報及びＩＤ情報をローカルサーバ１０２に送信する。また、通信回路４５０は、ローカルサーバ１０２より受信した信号を、バス４６０を通じて処理回路４７０に送信する。
【００７５】
機器１０１は、図示される構成要素以外にも、機器１０１に要求される機能を実現するための他の構成要素も含み得る。
【００７６】
図５は、ローカルサーバ１０２のハードウェア構成の一例を示す。ローカルサーバ１０２は、音声入出力装置２４０、機器１０１及び情報通信ネットワーク２２０の間のゲートウェイを構成する。図５に示されるように、ローカルサーバ１０２は、第一通信回路５５１と、第二通信回路５５２と、処理回路５７０と、音響モデルＤＢ（データベース；Ｄａｔａ  Ｂａｓｅ）５８０と、言語モデルＤＢ５８１と、音声素片ＤＢ５８２と、韻律制御ＤＢ５８３と、ローカル辞書ＤＢ５８４とを、構成要素として備えている。これらの構成要素は、バス５６０で相互に接続されており、互いの間でデータ及び命令の授受を行うことが可能である。
【００７７】
処理回路５７０は、音響モデルＤＢ５８０、言語モデルＤＢ５８１、音声素片ＤＢ５８２、韻律制御ＤＢ５８３及びローカル辞書ＤＢ５８４に接続されており、これらのＤＢに格納された管理情報の取得及び編集を行うことができる。なお、本実施形態では、音響モデルＤＢ５８０、言語モデルＤＢ５８１、音声素片ＤＢ５８２、韻律制御ＤＢ５８３及びローカル辞書ＤＢ５８４は、ローカルサーバ１０２の内部の構成要素であるが、ローカルサーバ１０２の外部に設けられていてもよい。その場合には、各ＤＢ及びローカルサーバ１０２の構成要素の間の接続手段には、バス５６０に加えて、インターネット回線、有線又は無線ＬＡＮ等の通信回線が含まれ得る。
【００７８】
第一通信回路５５１は、有線通信又は無線通信を介して、他の装置（例えば音声入出力装置２４０及び機器１０１）と通信を行う回路である。限定されるものではないが、本実施の形態では、第一通信回路５５１は、ネットワークを介して他の装置と通信を行い、例えばイーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮを介して通信を行う。第一通信回路５５１は、処理回路５７０によって生成されたログ情報及びＩＤ情報を音声入出力装置２４０及び機器１０１に送信する。また、第一通信回路５５１は、音声入出力装置２４０及び機器１０１より受信した信号を、バス５６０を通じて処理回路５７０に送信する。
【００７９】
第二通信回路５５２は、有線通信又は無線通信を介して、クラウドサーバ１１１と通信を行う回路である。第二通信回路５５２は、有線通信又は無線通信を介して、通信網に接続し、さらに、通信網を介してクラウドサーバ１１１と通信する。本実施の形態では、通信網は、情報通信ネットワーク２２０である。第二通信回路５５２は、例えばイーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮを介して通信を行う。第二通信回路５５２は、クラウドサーバ１１１との間で、種々の情報を送受信する。
【００８０】
処理回路５７０は、ＣＰＵ５３０と、一意に識別可能なゲートウェイＩＤ（以下、ＧＷ−ＩＤとも呼ぶ）５４１及びコンピュータプログラム５４２を格納したメモリ５４０との組み合わせによって実現され得る。ＣＰＵ５３０は、ローカルサーバ１０２の動作を制御するが、音声入出力装置２４０及び機器１０１の動作も制御してもよい。ゲートウェイＩＤ５４１は、ローカルサーバ１０２に一意に付与された識別子である。ゲートウェイＩＤ５４１は、ローカルサーバ１０２のメーカによって独自に付与されてもよいし、或いは、原則としてネットワーク上で一意に割り当てられる物理アドレス（いわゆるＭＡＣアドレス）であってもよい。ＣＰＵ５３０は、メモリ５４０に展開されたコンピュータプログラム５４２に記述された命令群を実行し、種々の機能を実現することができる。コンピュータプログラム５４２には、ローカルサーバ１０２の動作を実現するための命令群が記述されている。上述のコンピュータプログラム５４２は、製品としてのローカルサーバ１０２のメモリ５４０に予め格納されていてもよい。又は、コンピュータプログラム５４２は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、若しくは、インターネット等の電気通信回線を通じて伝送され、記録媒体又は電気通信回線を通じて取得されたコンピュータプログラム５４２がメモリ５４０に格納されてもよい。ここで、処理回路５７０又はＣＰＵ５３０は、プロセッサ又は第１プロセッサの一例である。
【００８１】
或いは、処理回路５７０は、以下に説明する動作を実現するように構成された専用のハードウェアによって実現されていてもよい。ローカルサーバ１０２は、図示される構成要素以外にも、ローカルサーバ１０２に要求される機能を実現するための他の構成要素も含み得る。
【００８２】
なお、図５では、コンピュータプログラム５４２が格納されているメモリ５４０にゲートウェイＩＤ５４１が格納されているとした。しかしながらこれは、処理回路５７０の構成の一例である。例えば、コンピュータプログラム５４２がＲＡＭ又はＲＯＭに格納され、ゲートウェイＩＤ５４１がフラッシュメモリに格納されてもよい。
【００８３】
音響モデルＤＢ５８０は、音声の波形などの周波数パターン及び音声に対応する文字列等を含む種々の音響モデルを登録している。言語モデルＤＢ５８１は、単語とその並び方等を含む種々の言語モデルを登録している。音声素片ＤＢ５８２は、音素等を単位とし且つ音声の特徴を表現した種々の音声素片を登録している。韻律制御ＤＢ５８３は、文字列の韻律を制御するための種々の情報を登録している。ローカル辞書ＤＢ５８４は、種々の文字列と、文字列それぞれに対応する意味タグとを対応付けて登録している。文字列は、単語、文節などのフレーズ等で構成される。意味タグは、文字列の意味を表す論理表現を指す。例えば、文字列の意味が類似する複数の文字列には、同一の意味タグが共通して設定される。例えば、意味タグは、タスク対象の名称、タスク対象へのタスク内容等を、キーワードとして示す。例えば、図１１を参照すると、文字列と、文字列に対応する意味タグとの組み合わせの例が示されている。ここで、意味タグは、意味情報の一例である。
【００８４】
図６は、クラウドサーバ１１１のハードウェア構成の一例を示す。図６に示されるように、クラウドサーバ１１１は、通信回路６５０と、処理回路６７０と、対話ルールＤＢ６９１と、オフロード命令生成ＤＢ６９２とを、構成要素として備えている。これらの構成要素は、バス６８０で相互に接続されており、互いの間でデータ及び命令を授受することが可能である。
【００８５】
処理回路６７０は、ＣＰＵ６７１と、プログラム６７３を格納したメモリ６７２とを有している。ＣＰＵ６７１は、クラウドサーバ１１１の動作を制御する。ＣＰＵ６７１は、メモリ６７２に展開されたコンピュータプログラム６７３に記述された命令群を実行する。これにより、ＣＰＵ６７１は種々の機能を実現することができる。コンピュータプログラム６７３には、クラウドサーバ１１１が後述する動作を実現するための命令群が記述されている。上述のコンピュータプログラム６７３は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、又は、インターネット等の電気通信回線を通じて伝送され得る。図６に示すハードウェアを備えた装置（例えばＰＣ）は、当該コンピュータプログラム６７３を読み込むことにより、本実施形態によるクラウドサーバ１１１として機能し得る。ここで、処理回路６７０又はＣＰＵ６７１は、第２プロセッサの一例である。
【００８６】
処理回路６７０は、対話ルールＤＢ６９１と、オフロード命令生成ＤＢ６９２とに接続されており、これらＤＢに格納された管理情報の取得及び編集を行うことができる。なお、本実施形態では、対話ルールＤＢ６９１及びオフロード命令生成ＤＢ６９２は、クラウドサーバ１１１の内部の構成要素であるが、クラウドサーバ１１１の外部に設けられていてもよい。その場合には、各ＤＢ及びクラウドサーバ１１１の構成要素の間の接続手段には、バス６８０に加えて、インターネット回線、有線又は無線ＬＡＮ等の通信回線が含まれ得る。詳細は後述するが、対話ルールＤＢ６９１は、種々の意味タグと、各意味タグに関する条件とを対応付けて登録している。オフロード命令生成ＤＢ６９２は、音声対話エージェントシステム１の応答メッセージと、応答メッセージに対応するローカルサーバ１０２に対する命令データ（本実施の形態では、オフロード命令データ）とを対応付けて登録している。オフロード命令データは、ユーザと音声対話エージェントシステム１との間の複数通りにわたる対話に対応した命令データであり、ローカルサーバ１０２の負荷を軽減するように構成された命令データである。オフロード命令データは、ユーザと音声対話エージェントシステム１との間の複数回の対話にも対応し得る命令データでもある。ここで、対話ルールＤＢ６９１及びオフロード命令生成ＤＢ６９２は、データベースの一例である。
【００８７】
通信回路６５０は、有線通信又は無線通信を介して、他の装置（例えばローカルサーバ１０２）と通信を行う回路である。通信回路６５０は、有線通信又は無線通信を介して、通信網に接続し、さらに、通信網を介して他の装置（例えば、ローカルサーバ１０２）と通信する。本実施の形態では、通信網は、情報通信ネットワーク２２０である。通信回路６５０は、例えばイーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮを介して通信を行う。
【００８８】
次いで、音声入出力装置２４０、機器１０１、ローカルサーバ１０２及びクラウドサーバ１１１について、システム構成の観点から説明する。図７は、音声入出力装置２４０のシステム構成の一例を示すブロック図である。図７に示されるように、音声入出力装置２４０は、集音部７００と、音声検出部７１０と、音声区間切り出し部７２０と、通信部７３０と、音声出力部７４０とを備える。
【００８９】
集音部７００は、図３の集音回路３０１に対応する。集音部７００は、ユーザの音声を収集してアナログ音声信号を生成し、生成したアナログ音声信号をデジタルデータに変換し、変換したデジタルデータから音声信号を生成する。
【００９０】
音声検出部７１０及び音声区間切り出し部７２０は、図３の処理回路３００により実現される。コンピュータプログラム３４２を実行したＣＰＵ３１０は、ある時点では、例えば音声検出部７１０として機能し、異なる他の一時点では音声区間切り出し部７２０として機能する。なお、これら２つの構成要素のうち、少なくとも１つが、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などの専用の処理を行うハードウェアによって実現されてもよい。
【００９１】
音声検出部７１０は、音声を検出したかどうかを判定する。例えば、検出した音声のレベルが所定値以下の場合には、音声検出部７１０は音声を検出していないと判断する。音声区間切り出し部７２０は、取得した音声信号の中から音声が存在する区間を検出する。例えば、当該区間は、時間区間である。
【００９２】
通信部７３０は、図３の通信回路３０３に対応する。通信部７３０は、ネットワーク等の有線通信又は無線通信を介して、音声入出力装置２４０の他の装置（例えばローカルサーバ１０２）と通信を行う。通信部７３０は、例えばイーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮを介して通信を行う。通信部７３０は、音声区間切り出し部７２０が検出した音声区間の音声信号を、他の装置に送信する。また、通信部７３０は、他の装置から受信した音声信号を音声出力部７４０に受け渡す。
【００９３】
音声出力部７４０は、図３の音声出力回路３０２に対応する。音声出力部７４０は、通信部７３０が受信した音声信号をアナログ音声信号に変換し、そのアナログ音声信号を出力する。
【００９４】
図８は、機器１０１のシステム構成の一例を示すブロック図である。図８に示されるように、機器１０１は、通信部８００と、機器制御部８１０とを備える。
【００９５】
通信部８００は、図４の通信回路４５０に対応する。通信部８００は、ネットワーク等の有線通信又は無線通信を介して、機器１０１の他の装置（例えばローカルサーバ１０２）と通信を行う。通信部８００は、例えばイーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮを介して通信を行う。
【００９６】
機器制御部８１０は、図４の入出力回路４１０及び処理回路４７０に対応する。機器制御部８１０は、通信部８００が受信した制御データを読み込み、機器１０１の動作を制御する。また、機器制御部８１０は、機器１０１の動作の制御上での処理結果の出力を制御する。例えば、機器制御部８１０は、通信部８００が受信した制御データの処理回路４７０による読み込み及び処理、入出力回路４１０の入出力制御等を実施する。
【００９７】
図９は、ローカルサーバ１０２のシステム構成の一例を示すブロック図である。図９に示されるように、ローカルサーバ１０２は、通信部９００と、受信データ解析部９１０と、音声認識部９２０と、ローカル辞書照合部９３０と、制御部９４０と、音声合成部９５０と、送信データ生成部９６０と、コマンド記録部９７０とを備える。
【００９８】
通信部９００は、図５の第一通信回路５５１及び第二通信回路５５２に対応する。通信部９００は、ネットワーク等の有線通信又は無線通信を介して、ローカルサーバ１０２の他の装置（例えば音声入出力装置２４０及び機器１０１）と通信を行う。通信部９００はまた、有線通信又は無線通信を介して、情報通信ネットワーク２２０等の通信網に接続し、さらに、通信網を介してクラウドサーバ１１１とも通信する。通信部９００は、例えばイーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮを介して通信を行う。通信部９００は、他の装置及びクラウドサーバ１１１等から受信したデータを受信データ解析部９１０に受け渡す。また、通信部９００は、送信データ生成部９６０が生成したデータを、他の装置及びクラウドサーバ１１１等に送信する。
【００９９】
受信データ解析部９１０は、図５の処理回路５７０に対応する。受信データ解析部９１０は、通信部９００が受信したデータの種別を解析する。また、受信データ解析部９１０は、受信したデータの種別を解析した結果、ローカルサーバ１０２内部にて更なる処理を行うか、それとも他の装置にデータを送信すべきかを判断する。前者の場合、受信データ解析部９１０は、受信したデータを音声認識部９２０等に受け渡す。後者の場合、受信データ解析部９１０は、次に送信すべき装置と、当該装置に送信すべきデータとの組み合わせを決定する。
【０１００】
音声認識部９２０は、図５の処理回路５７０と、音響モデルＤＢ５８０と、言語モデルＤＢ５８１とにより実現される。音声認識部９２０は、音声信号から、文字列データに変換する。具体的には、音声認識部９２０は、予め登録された音響モデルの情報を音響モデルＤＢ５８０より取得し、音響モデルと音声データの周波数特性とから、音声データを音素データに変換する。さらに、音声認識部９２０は、予め登録された言語モデルの情報を言語モデルＤＢ５８１より取得し、言語モデルと音素データの並び方とから、音素データを特定の文字列データに変換する。音声認識部９２０は、変換した文字列データをローカル辞書照合部９３０に引き渡す。
【０１０１】
ローカル辞書照合部９３０は、図５の処理回路５７０と、ローカル辞書ＤＢ５８４とにより実現される。ローカル辞書照合部９３０は、文字列データから、意味タグに変換する。意味タグとは、具体的には、制御対象となる機器及びタスク内容等を指すキーワードである。ローカル辞書照合部９３０は、受信した文字列データと、ローカル辞書ＤＢ５８４とを照合することで、当該文字列データと一致した意味タグを抽出する。なお、ローカル辞書ＤＢ５８４には、単語等の文字列と、文字列に対応する意味タグとが、対応付けられて収納されている。受信した文字列に一致する文字列を、ローカル辞書ＤＢ５８４内で探索することによって、受信した文字列と一致する、つまり適合する意味タグが抽出される。
【０１０２】
制御部９４０は、図５の処理回路５７０に対応する。制御部９４０は、コマンド記録部９７０に記録されたオフロード命令データの有無の判定処理、及び、コマンド記録部９７０に記録されたオフロード命令データと意味タグとの照合処理を行う。
【０１０３】
音声合成部９５０は、図５の処理回路５７０と、音声素片ＤＢ５８２と、韻律制御ＤＢ５８３とにより実現される。音声合成部９５０は、文字列データから、音声信号に変換する。具体的には、音声合成部９５０は、予め登録された音声素片モデル及び韻律制御モデルの情報をそれぞれ、音声素片ＤＢ５８２及び韻律制御ＤＢ５８３より取得し、音声素片モデル、韻律制御モデル及び文字列データから、文字列データを特定の音声信号に変換する。
【０１０４】
送信データ生成部９６０は、図５の処理回路５７０に対応する。送信データ生成部９６０は、受信データ解析部９１０が決定した、次に送信すべき装置及び当該装置に送信すべきデータの組み合わせから、送信データを生成する。
【０１０５】
コマンド記録部９７０は、図５のメモリ５４０に対応する。コマンド記録部９７０は、クラウドサーバ１１１がローカルサーバ１０２に送信したオフロード命令データを記録する。
【０１０６】
図１０は、クラウドサーバ１１１のシステム構成の一例を示すブロック図である。図１０に示されるように、クラウドサーバ１１１は、通信部１０００と、対話ルール照合部１０２０と、応答生成部１０３０とを備える。
【０１０７】
通信部１０００は、図６の通信回路６５０に対応する。通信部１０００は、ネットワーク等の有線通信又は無線通信を介して、情報通信ネットワーク２２０等の通信網に接続し、さらに、通信網を介して、他の装置（例えばローカルサーバ１０２）と通信を行う。通信部１０００は、例えばイーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮを介して通信を行う。
【０１０８】
対話ルール照合部１０２０は、図６の処理回路６７０と、対話ルールＤＢ６９１とにより実現される。対話ルール照合部１０２０は、意味タグとその条件とを照合し、オフロード命令生成ＤＢ参照用の処理ＩＤに変換する。
【０１０９】
応答生成部１０３０は、図６の処理回路６７０と、オフロード命令生成ＤＢ６９２とにより実現される。応答生成部１０３０は、オフロード命令生成ＤＢ６９２を照合し、制御対象となる機器１０１を制御する制御信号を生成する。さらに、応答生成部１０３０は、照合結果に基づき、ユーザ５１００に提供すべきテキスト情報の文字列データを生成する。
【０１１０】
図１１は、ローカル辞書ＤＢ５８４の登録内容の具体例を示す図である。ローカル辞書ＤＢ５８４には、単語等の文字列と意味タグの情報とが、互いに関連付けられて保持されている。意味タグとは、ある文字列の意味を表す論理表現を指す。また、意味タグは、変数として値を保持することができる。図１１のテーブルに示されるように、例えば、ローカル辞書ＤＢ５８４は、文字列「予約」と、意味タグ＜ｒｅｓｅｒｖｅ＞とを対応付けて保持している。また、例えば、ローカル辞書ＤＢ５８４は、文字列「音量２０」と、式を表わす意味タグ「［＜ｖｏｌｕｍｅ＞］＝２０」とを対応付けて保持している。＜ｖｏｌｕｍｅ＞は、文字列「音量」の意味を表す意味タグだが、鍵括弧「［］」で囲われた意味タグは、値を保持できる変数としての役割を備えることができる。
【０１１１】
図１２Ａ及び図１２Ｂをそれぞれ参照すると、対話ルールＤＢ６９１及びオフロード命令生成ＤＢ６９２の登録内容の具体例が示されている。例えば、図１２Ａは、対話ルールＤＢ６９１の具体例を示す。対話ルールＤＢ６９１には、意味タグと、意味タグ値の条件と、処理ＩＤの情報とが、互いに関連付けられて保持されている。例えば、文字列「番組予約」に対応する意味タグ＜ｒｅｓｅｒｖｅ＞＜ｐｒｏｇｒａｍ＞のように、文字列が複数の単語を含む場合、このような文字列に対応する意味タグは、複数の意味タグの組み合わせである場合がある。意味タグ値の条件とは、意味タグに設定される条件であり、意味タグに代入された値に関する条件である。処理ＩＤとは、対話ルールＤＢ６９１の各項目に一意に割り当てられた番号である。
【０１１２】
図１２Ｂは、オフロード命令生成ＤＢ６９２の具体例を示す。オフロード命令生成ＤＢ６９２には、処理ＩＤと、システム応答メッセージと、オフロード命令データとが、互いに関連付けられて保持されている。システム応答メッセージは、ユーザと音声対話エージェントシステム１との対話において、ユーザに発する応答メッセージである。オフロード命令データは、システム応答メッセージに対するユーザの返答に対する処理の命令データであり、ユーザと音声対話エージェントシステム１との複数通りにわたる対話に対応した命令データである。１つのオフロード命令データは、ユーザの複数通りの返答に対応するように構成されている。このようなオフロード命令データは、クラウドサーバ１１１とローカルサーバ１０２との間の通信を低減し、ローカルサーバ１０２の負荷を軽減する。さらに、本例では、オフロード命令データは、簡単な認識命令とこれに対応する制御命令とを含むため、オフロード命令データに基づく処理が簡易である。ここで、システム応答メッセージは、第１応答メッセージの一例であり、オフロード命令データは、条件分岐命令の一例である。ユーザと音声対話エージェントシステム１との複数通りにわたる対話は、第１応答メッセージに対するユーザの返答の選択候補の一例である。
【０１１３】
処理ＩＤは、オフロード命令生成ＤＢ６９２の各項目に一意に割り当てられた番号である。オフロード命令生成ＤＢ６９２の処理ＩＤは、対話ルールＤＢ６９１の処理ＩＤと対応している。処理ＩＤが同一の場合、オフロード命令生成ＤＢ６９２のシステム応答メッセージ及びオフロード命令データは、対話ルールＤＢ６９１の意味タグ及び意味タグ値の条件に対応する。例えば、オフロード命令生成ＤＢ６９２のシステム応答メッセージは、対話ルールＤＢ６９１の意味タグに対する応答メッセージである。また、オフロード命令生成ＤＢ６９２のオフロード命令データの内容は、対話ルールＤＢ６９１の意味タグ及び意味タグ値の条件に関連する。
【０１１４】
［２−２．実施の形態に係る音声対話エージェントシステムの動作］
次いで、音声対話エージェントシステム１の動作に関して、音声対話エージェントシステム１の応答時間を短縮する処理の流れを説明する。図１３Ａ及び図１３Ｂは、音声対話エージェントシステム１の応答時間を短縮する処理の一連のシーケンスを示す。このシーケンスは、ユーザ５１００が音声により音声入出力装置２４０に何らかの指示を開始したときに開始される。
【０１１５】
図１３Ａに示すように、ユーザ５１００が音声入出力装置２４０に、マイクロホンなどから音声により指示を入力すると、ステップＳ１５０１において、音声入出力装置２４０はユーザ５１００の音声データを取得する。音声入出力装置２４０の通信回路３０３は、取得した音声データをローカルサーバ１０２に送信する。ローカルサーバ１０２は当該音声データを受信する。なお、上記指示は、ユーザ５１００と音声対話エージェントシステム１とが行う複数回にわたる一連の対話において、最初に発せられる音声であるとして、以降の説明を行う。よって、図１３Ａは、音声が初めて発せられた場合の音声対話エージェントシステム１のシーケンスを示す。ここで、上記ユーザの音声は、第１音声の一例であり、上記音声データは、第１音声情報の一例である。
【０１１６】
次いで、ステップＳ１５０２において、ローカルサーバ１０２は、音声入出力装置２４０から音声データを受信し、音声データの音声認識処理を行う。音声認識処理とは、ローカルサーバ１０２が有する音声認識部９２０によってユーザの音声を認識する処理である。具体的には、ローカルサーバ１０２は、音響モデルＤＢ５８０及び言語モデルＤＢ５８１に登録された音響モデル及び言語モデルの情報を保持している。ユーザ５１００が音声入出力装置２４０に音声を入力すると、ローカルサーバ１０２のＣＰＵ５３０は、ユーザ５１００の音声から周波数特性を抽出し、音響モデルＤＢ５８０に保持されている音響モデルから、抽出した周波数特性に対応する音素データを抽出する。次に、ＣＰＵ５３０は、抽出した音素データの並び方が、言語モデルＤＢ５８１に保持されている言語モデルのどの文字列データに最も近いかを照合することにより、音素データを特定の文字列データに変換する。この結果、音声データが文字列データに変換される。
【０１１７】
次いで、ステップＳ１５０３において、ローカルサーバ１０２は、文字列データのローカル辞書照合処理を行う。ローカル辞書照合処理とは、ローカルサーバ１０２が有するローカル辞書照合部９３０によって、文字列データを意味タグに変換する処理である。具体的には、ローカルサーバ１０２は、ローカル辞書ＤＢ５８４に登録された辞書の情報を保持している。ローカルサーバ１０２のＣＰＵ５３０は、ステップＳ１５０２において変換された文字列データとローカル辞書ＤＢ５８４とを照合し、当該文字列データと一致する意味タグ、つまり当該文字列データに対応する意味タグを出力する。ここで、出力される意味タグは、第１フレーズ情報の一例である。
【０１１８】
さらに、ステップＳ１５０４において、ローカルサーバ１０２は、コマンド記録部９７０に、クラウドサーバ１１１から受信したオフロード命令データが記録されているか否かを判定する。記録されていない場合（ステップＳ１５０４でＮｏ）、ローカルサーバ１０２は、意味タグと自身のゲートウェイＩＤとを組み合わせてクラウドサーバ１１１に送信し、ステップＳ１５０５に進む。なお、上述したステップＳ１５０１〜Ｓ１５０３までの処理は、ユーザ５１００と音声対話エージェントシステム１との間の複数回にわたる一連の対話において、ユーザ５１００が最初に発する音声に対する処理であるため、オフロード命令データはまだ生成されておらず、コマンド記録部９７０に記録されていない。このため、以降の処理には、ユーザ５１００へシステム応答メッセージを出力する前に行われるステップＳ１５０１〜Ｓ１５０８の一連の処理が、引き続き選択される。
【０１１９】
しかしながら、ユーザ５１００と音声対話エージェントシステム１との間の一連の対話の途中では、オフロード命令データが生成され、コマンド記録部９７０に記録されている場合がある。このように、オフロード命令データが記録されている場合（ステップＳ１５０４でＹｅｓ）、図１３Ｂに示すような、以降の処理には、ユーザ５１００へシステム応答メッセージを出力した後に行われるステップＳ１５０９〜１５１４の一連の処理が選択される。この場合、ローカルサーバ１０２の処理は、ステップＳ１５０４からステップＳ１５１３に進むことになる。
【０１２０】
ステップＳ１５０４に続くステップＳ１５０５において、クラウドサーバ１１１は、受信した意味タグの対話ルール照合処理を行う。対話ルール照合処理とは、クラウドサーバ１１１が有する対話ルール照合部１０２０によって、意味タグを処理ＩＤに変換する処理である。具体的には、クラウドサーバ１１１は、対話ルールＤＢ６９１に保持された対話ルールの情報を保持している。対話ルールの情報は、図１２Ａに示されるように、意味タグ、意味タグ値の条件及び処理ＩＤを含む。クラウドサーバ１１１のＣＰＵ６７１は、ステップＳ１５０３において変換された意味タグと対話ルールＤＢ６９１とを照合し、対話ルールＤＢ６９１に保持されており且つ当該意味タグに対応する意味タグ値の条件を確認し、当該意味タグをこれに対応する適切な処理ＩＤに変換する。例えば、意味タグが、図１２Ａに示される＜ｒｅｓｅｒｖｅ＞＜ｐｒｏｇｒａｍ＞である場合、この意味タグは処理ＩＤ「Ｓ００１」に変換される。
【０１２１】
次いで、ステップＳ１５０６において、クラウドサーバ１１１は、処理ＩＤからのオフロード命令生成処理を行う。オフロード命令生成処理とは、クラウドサーバ１１１が有する応答生成部１０３０によって、システム応答メッセージとオフロード命令データとを生成する処理である。具体的には、クラウドサーバ１１１は、オフロード命令生成ＤＢ６９２に保持されたシステム応答メッセージ及びオフロード命令データの情報を保持している。クラウドサーバ１１１のＣＰＵ６７１は、ステップＳ１５０５において変換された処理ＩＤとオフロード命令生成ＤＢ６９２とを照合し、当該処理ＩＤに対応するシステム応答メッセージ及びオフロード命令データを出力する。例えば、図１２Ｂの例において、処理ＩＤが「Ｓ００１」である場合、システム応答メッセージ「予約していいですか？」と、オフロード命令データ「ｉｆ  （＜ｙｅｓ＞）  ｔｈｅｎ  ｃｍｄ＝０ｘ１００１０ｆ０ａ  ａｎｄ  ｒｅｐｌｙ  “それでは予約します”  ｅｌｓｅ  ｒｅｐｌｙ  “予約を中止します”」とが出力される。クラウドサーバ１１１は、生成したシステム応答メッセージ及びオフロード命令データとゲートウェイＩＤとを組み合わせてローカルサーバ１０２に送信する。
【０１２２】
ステップＳ１５０７において、ローカルサーバ１０２は、クラウドサーバ１１１から受信したシステム応答メッセージ、オフロード命令データ及びゲートウェイＩＤを対応付けて、コマンド記録部９７０に記録する。具体的は、ローカルサーバ１０２のＣＰＵ５３０は、コマンド記録部９７０に対応するメモリ５４０に、システム応答メッセージ、オフロード命令データ及びゲートウェイＩＤを対応付けて記憶させる。ここで、システム応答メッセージ及びゲートウェイＩＤは、第１応答情報の一例であり、オフロード命令データ及びゲートウェイＩＤは、第２応答情報の一例である。
【０１２３】
次のステップＳ１５０８において、ローカルサーバ１０２は、音声合成処理を行う。音声合成処理とは、ローカルサーバ１０２が有する音声合成部９５０が、システム応答メッセージを音声データに変換する処理である。具体的には、ローカルサーバ１０２は、音声素片ＤＢ５８２に登録された音声素片の情報と、韻律制御ＤＢに登録された韻律情報とを保持している。ローカルサーバ１０２のＣＰＵ５３０は、音声素片ＤＢ５８２に登録された音声素片の情報と、韻律制御ＤＢに登録された韻律情報とを読み込み、システム応答メッセージの文字列データから特定の音声データに変換する。そして、ローカルサーバ１０２は、ステップＳ１５０８にて変換した音声データを、音声入出力装置２４０に送信する。さらに、音声データを受信した音声入出力装置２４０は、システム応答メッセージを音声として、スピーカなどからユーザ５１００へ出力する。
【０１２４】
図１３Ｂを参照すると、その後、ユーザ５１００が、音声入出力装置２４０に音声を入力すると、ステップＳ１５０９において、音声入出力装置２４０はユーザ５１００の音声データを取得する。音声入出力装置２４０は、取得した音声データをローカルサーバ１０２に送信し、ローカルサーバ１０２は当該音声データを受信する。音声データには、システム応答メッセージに対する適切な回答が含まれている場合も、含まれていない場合もある。これに対する判断は、後の処理で行われる。以降では、ユーザ５１００へシステム応答メッセージを出力した後に行われるステップＳ１５０９〜１５１４の一連の処理が行われる。なお、音声入出力装置２４０が、音声の入力を、例えば所定の時間以上にわたって検出しない場合、ステップＳ１５０１〜Ｓ１５０８の処理を含む一連の処理を終了してもよい。ここで、上記ユーザの音声は、第２音声の一例であり、上記音声データは、第２音声情報の一例である。
【０１２５】
次いで、ステップＳ１５１０において、ローカルサーバ１０２は、音声入出力装置２４０から音声データを受信し、さらに、ステップＳ１５０２の処理と同様に、当該音声データを文字列データに変換する音声認識処理を行う。さらに、ステップＳ１５１１において、ローカルサーバ１０２は、ステップＳ１５０３の処理と同様に、変換した文字列データを意味タグに変換するローカル辞書照合処理を行う。
【０１２６】
次のステップＳ１５１２において、ローカルサーバ１０２は、コマンド記録部９７０に、クラウドサーバ１１１から受信したオフロード命令データが記録されているか否かを判定する。記録されている場合（ステップＳ１５１２でＹｅｓ）、ローカルサーバ１０２は、ステップＳ１５１３の処理に進む。記録されているオフロード命令データは、ステップＳ１５０７において記録されたデータである。本例では、ステップＳ１５０７において、オフロード命令データがコマンド記録部９７０に記録され、ステップＳ１５０８において、システム応答メッセージが音声として出力されているため、ステップＳ１５１３の処理が行われる。
【０１２７】
しかしながら、オフロード命令データが記録されていない場合（ステップＳ１５１２でＮｏ）、以降の処理には、例えば、ユーザ５１００へシステム応答メッセージを出力する前のステップＳ１５０１〜Ｓ１５０８の一連の処理が、選択されることになる。
【０１２８】
次のステップＳ１５１３において、ローカルサーバ１０２は、ステップＳ１５１１において変換された意味タグと、コマンド記録部９７０に記録されたオフロード命令データに含まれる条件とがマッチするか否かを判定する。マッチする場合（ステップＳ１５１３でＹｅｓ）、ローカルサーバ１０２は、オフロード命令データに記述された制御コマンドのうちの当該条件に適合時の制御コマンドを機器１０１に送信し、オフロード命令データに記述されたメッセージのうちの当該条件に適合時のメッセージの文字例データを出力する。さらに、ローカルサーバ１０２は、制御コマンドの実行通知とゲートウェイＩＤとを組み合わせて、クラウドサーバ１１１に送信する。受信したクラウドサーバ１１１は、ユーザ５１００と音声対話エージェントシステム１との間の複数回の対話を伴う機器１０１の制御の完了を認める。そして、ローカルサーバ１０２は、ステップＳ１５１４の音声合成処理に進む。ここで、上記意味タグは、第２フレーズ情報の一例である。
【０１２９】
一方、マッチしない場合（ステップＳ１５１３でＮｏ）、ローカルサーバ１０２は、オフロード命令データに記述されたメッセージのうちの当該条件に不適合時のメッセージの文字列データを出力する。さらに、ローカルサーバ１０２は、オフロード命令データに記述された制御コマンドのうちの当該条件に不適合時の制御コマンドを出力するが、図１２Ｂに示されるような本例では、制御コマンドを出力しない。なお、オフロード命令データには、当該条件への適合時と異なる不適合時の制御コマンドが記述され、この制御コマンドをローカルサーバ１０２が出力してもよい。そして、ローカルサーバ１０２は、制御コマンドの不実行通知とゲートウェイＩＤとを組み合わせて、クラウドサーバ１１１に送信する。さらに、ローカルサーバ１０２は、ステップＳ１５１４の音声合成処理に進む。
【０１３０】
例えば、コマンド記録部９７０に、オフロード命令データとして、図１２Ｂに示される「ｉｆ  （＜ｙｅｓ＞）  ｔｈｅｎ  ｃｍｄ＝０ｘ１００１０ｆ０ａ  ａｎｄ  ｒｅｐｌｙ  “それでは予約します”  ｅｌｓｅ  ｒｅｐｌｙ  “予約を中止します”」が記録されているとする。さらに、ステップＳ１５１３より前のステップＳ１５０８において、システム応答メッセージ「予約していいですか？」が音声入出力装置２４０から出力されているものとする。ユーザ５１００が、「はい」、「いいえ」又はその他のフレーズを発話した場合、ステップＳ１５１０の音声認識処理にて、ローカルサーバ１０２は、音声データを文字列「はい」、「いいえ」又は「フレーズ内容」に変換する。その後、ステップＳ１５１１のローカル辞書照合処理にて、ローカルサーバ１０２は、文字列「はい」、「いいえ」又は「フレーズ内容」を、意味タグ＜ｙｅｓ＞、＜ｎｏ＞、又は＜フレーズ内容のキーワード＞に変換する。そして、ステップＳ１５１２にて、ローカルサーバ１０２は、コマンド記録部９７０にオフロード命令データが記録されていると判定する。
【０１３１】
ステップＳ１５１３にて、ローカルサーバ１０２は、意味タグ＜ｙｅｓ＞、＜ｎｏ＞、又は＜フレーズ内容のキーワード＞とオフロード命令データの条件とがマッチするか否かを判定する。この例において、オフロード命令データの条件は「ｉｆ（＜ｙｅｓ＞）」であるため、意味タグが＜ｙｅｓ＞である場合、意味タグとオフロード命令データの条件とがマッチする。意味タグが、＜ｎｏ＞又は＜フレーズ内容のキーワード＞、つまり＜ｙｅｓ＞以外である場合、意味タグとオフロード命令データの条件とがマッチしない。マッチする場合、ローカルサーバ１０２は、制御コマンド「ｃｍｄ＝０ｘ１００１０ｆ０ａ」を機器１０１に送信し、「それでは予約します」というメッセージの文字列データを出力する。マッチしない場合、ローカルサーバ１０２は、「予約を中止します」というメッセージの文字列データのみを出力する。このように、オフロード命令データは、条件分岐命令の一例であり、意味タグ＜ｙｅｓ＞及び＜ｎｏ＞からなる１つ以上のフレーズ情報に応じて分岐する異なる複数の命令を含む。また、「それでは予約します」というメッセージ及び「予約を中止します」というメッセージは、第２応答メッセージの一例である。
【０１３２】
ステップＳ１５１４において、ローカルサーバ１０２は、音声合成処理を行う。この音声合成処理では、ローカルサーバ１０２が、ステップＳ１５１３の処理に関連して出力したメッセージを、ステップＳ１５０８の処理と同様に、音声データに変換する。例えば、上述で例示したメッセージの文字列データ「それでは予約します」又は「予約を中止します」が、音声データに変換される。ローカルサーバ１０２は、ステップＳ１５１４にて変換した音声データを、音声入出力装置２４０に送信する。さらに、音声データを受信した音声入出力装置２４０は、メッセージを音声として、スピーカなどからユーザ５１００へ出力する。
【０１３３】
上述したように、ステップＳ１５０１〜Ｓ１５１４の処理において、ユーザ５１００と音声対話エージェントシステム１との間の複数回の対話に関する処理は、ローカルサーバ１０２によって行われ、オフロード命令データの生成は、クラウドサーバ１１１によって行われる。このため、ローカルサーバ１０２とクラウドサーバ１１１との通信は、オフロード命令データの生成時に行われ、ユーザ５１００と音声対話エージェントシステム１とが対話する度に行われる必要がない。このため、ローカルサーバ１０２とクラウドサーバ１１１との間の通信回数が低く抑えられ、通信時間が短くなる。このような実施の形態に係る音声対話エージェントシステム１は、簡単な認識命令とこれに対応する制御命令とをローカル側にオフロードする、つまり負担が軽減するように与えることで、音声対話エージェントシステム１の応答時間を短縮する。また、容量が大きいデータベースを備えることができるクラウドサーバ１１１が、オフロード命令データを生成するため、ローカルサーバ１０２の負荷が低く抑えられる。
【０１３４】
また、音声対話エージェントシステム１の動作の上記説明は、ステップＳ１５０１において、ユーザ５１００の最初の音声が発せられるケースに関する説明であったが、ステップＳ１５０１における音声が、対話のどの時点か特定されていなくてもよい。
【０１３５】
また、実施の形態では、１つの条件と当該条件に対応する命令とを含むオフロード命令データが例示されていたが、これに限定されない。オフロード命令データは、２つ以上の条件と、各条件に対応する命令とを含んでもよい。これにより、ユーザ５１００の多様な回答に対応した機器１０１の制御が可能である。
【０１３６】
また、実施の形態では、ユーザ５１００と音声対話エージェントシステム１との間の対話に関する処理に対して、１つのオフロード命令データが用いられていたが、２つ以上のオフロード命令データが用いられてもよい。例えば、第１のオフロード命令データの条件が満たされない場合、第２のオフロード命令データが用いられるように処理が行われてもよい。
【０１３７】
また、実施の形態に係る音声対話エージェントシステム１では、ローカルサーバ１０２は、ステップＳ１５０４において、意味タグをクラウドサーバ１１１に送信していたが、これに限定されない。ローカルサーバ１０２は、意味タグの代わりに又は意味タグに加えて、文字列データを送信してもよい。このような文字列データは、第１フレーズ情報の一例である。この場合、クラウドサーバ１１１が、ローカル辞書ＤＢ５８４のような辞書ＤＢを備えていれば、クラウドサーバ１１１が、受信した文字列データを意味タグに変換してもよい。クラウドサーバ１１１は、ローカルサーバ１０２よりも容量が大きい辞書ＤＢを有することができるため、多種多様な文字列データから意味タグへの変換が可能である。
【０１３８】
また、実施の形態に係る音声対話エージェントシステム１では、クラウドサーバ１１１は、システム応答メッセージ及びオフロード命令データを一緒に、ローカルサーバ１０２に送信していたが、時間差を伴って別々に送信してもよい。例えば、クラウドサーバ１１１は、システム応答メッセージの送信の後にオフロード命令データを送信してもよく、オフロード命令データの送信タイミングは、ステップＳ１５０６でのシステム応答メッセージの送信後からステップＳ１５１２の処理を行う前まで期間のうちのいつでもよい。例えば、クラウドサーバ１１１は、上記期間を推定する、又は、予め推定された上記期間を記憶し、推定した期間内にオフロード命令データを送信してもよい。なお、オフロード命令データの送信は、音声入出力装置２４０がシステム応答メッセージを音声出力する前であることが、望ましく、このようなタイミングが推定され、推定されたタイミングに基づき、オフロード命令データが送信されてもよい。
【０１３９】
［３．効果等］
以上で説明したように、本開示の実施の形態に係る対話処理装置の一態様であるクラウドサーバ１１１は、音声認識結果を取得する取得部としての通信部１０００と、対話処理部としての対話ルール照合部１０２０及び応答生成部１０３０とを備える。対話ルール照合部１０２０及び応答生成部１０３０は、通信部１０００により取得される音声認識結果に基づいて応答情報を決定し、応答情報に応じた処理情報を決定する。なお、処理情報は、応答情報に対して推定されるユーザの返答についての推定返答情報と、推定返答情報に応じた動作制御情報とを含む。通信部１０００は、決定される応答情報及び処理情報を送信する。例えば、応答情報は、システム応答メッセージであってもよい。例えば、推定返答情報は、オフロード命令データに含まれる条件に関する情報であってよく、動作制御情報は、オフロード命令データに含まれる、条件に応じた制御コマンド及びメッセージを含んでもよい。
【０１４０】
上述の構成において、クラウドサーバ１１１は、音声認識結果に基づく応答情報と、応答情報に応じた処理情報とを決定し、送信する。そして、クラウドサーバ１１１から応答情報及び処理情報を受信するローカルサーバ１０２等の装置は、応答情報に基づき、ユーザに対して、ユーザの音声の認識結果に対する応答メッセージを出力することができ、処理情報の推定返答情報及び動作制御情報に基づき、応答メッセージに対するユーザの返答に対応した動作制御を行うことができる。推定返答情報は、応答情報に基づき推定された情報であり、動作制御情報は、推定返答情報に対応して設定された情報である。このような処理情報は、ユーザから返答を受け取った後に返答に応じて生成される情報ではなく、予め設定された情報である。これにより、当該装置は、ユーザから返答を受け取ったとき、返答に対応する情報を取得するために、クラウドサーバ１１１と通信する必要がない。よって、ユーザと複数回の対話を行う際、当該装置とクラウドサーバ１１１との通信回数が低減し、当該装置及びクラウドサーバ１１１の応答時間の短縮が可能になる。
【０１４１】
実施の形態に係る対話処理装置の一態様のクラウドサーバ１１１において、通信部１０００は、動作制御情報を用いて行われた動作制御の結果を示す動作制御結果情報を受信する。例えば、動作制御結果情報は、制御コマンドの実行通知であってもよい。上述の構成において、クラウドサーバ１１１は、動作制御結果情報を受信することによって、ユーザとローカルサーバ１０２等の装置との間の対話処理に関連する動作を終了することができる。よって、クラウドサーバ１１１の不要な待機及び動作の低減が可能になる。
【０１４２】
実施の形態に係る対話処理装置の一態様のクラウドサーバ１１１において、通信部１０００は、応答情報及び処理情報を共に送信する。上述の構成において、クラウドサーバ１１１の通信頻度が低減し、クラウドサーバ１１１及びローカルサーバ１０２等の装置の応答時間の短縮が可能になる。具体的には、クラウドサーバ１１１は、応答情報に対するユーザの返答を確認せずに処理情報を送信するため、ユーザの返答を確認するための通信が不要である。さらに、ローカルサーバ１０２等の装置が、応答情報に対する返答をユーザから受け取っているが、処理情報を未だ受信しておらず、次の動作を行えないという処理の遅延を防ぐことができる。
【０１４３】
実施の形態に係る対話処理装置の一態様のクラウドサーバ１１１において、音声認識結果が、通信部１０００を介して取得される。上述の構成において、クラウドサーバ１１１は、離れた位置にあるローカルサーバ１０２等の装置から音声認識結果を取得する。よって、クラウドサーバ１１１は、音声の取得場所の環境の影響を受けずに構成されることができる。
【０１４４】
実施の形態に係る対話処理装置の別の一態様のローカルサーバ１０２は、音声認識結果を取得する取得部としての音声認識部９２０と、通信部９００と、動作制御部としての制御部９４０とを備える。通信部９００は、音声認識部９２０により取得される第１の音声認識結果に基づいた応答情報と、応答情報に応じた処理情報とを受信する。なお、処理情報は、応答情報から推定されるユーザの返答についての推定返答情報と、推定返答情報に応じた動作制御情報とを含む。制御部９４０は、音声認識部９２０により取得される第２の音声認識結果と、推定返答情報との照合結果に応じて、動作制御情報に基づく動作を行う。
【０１４５】
上述の構成において、ローカルサーバ１０２は、ユーザの音声の第１の音声認識結果に基づく応答情報に基づき、ユーザに対して、第１の音声認識結果に対する応答メッセージを出力することができ、処理情報の推定返答情報及び動作制御情報に基づき、応答メッセージに対するユーザの返答に対応した動作制御を行うことができる。さらに、ローカルサーバ１０２は、ユーザの音声の第２の音声認識結果に対応した動作制御情報に基づく動作を行うことができる。処理情報は、ユーザから返答を受け取った後に返答に応じて生成される情報でなく、予め設定された情報である。これにより、ローカルサーバ１０２は、第２の音声認識結果を取得したとき、これに対応するための情報を取得するために、通信する必要がない。よって、ユーザと複数回の対話を行う際、ローカルサーバ１０２の応答時間の短縮が可能になる。
【０１４６】
実施の形態に係る対話処理装置の別の一態様のローカルサーバ１０２において、通信部９００は、応答情報及び処理情報を共に受信する。上述の構成において、ローカルサーバ１０２の通信頻度が低減し、ローカルサーバ１０２の応答時間の短縮が可能になる。具体的には、ローカルサーバ１０２は、応答情報に対するユーザの返答を取得する前に処理情報を受信するため、ユーザの返答に対応して通信する必要がない。さらに、ローカルサーバ１０２が、応答情報に対する返答をユーザから受け取っているが、処理情報を未だ受信しておらず、次の動作を行えないという処理の遅延を防ぐことができる。
【０１４７】
実施の形態に係る対話処理装置の別の一態様のローカルサーバ１０２において、通信部９００は、第１の音声認識結果を送信する。上述の構成において、第１の音声認識結果に基づいた処理は、クラウドサーバ１１１等のローカルサーバ１０２とは別の装置によって行われる。これにより、ローカルサーバ１０２における処理の負荷が低減し、処理速度の向上が可能になる。
【０１４８】
実施の形態に係る対話処理装置の別の一態様のローカルサーバ１０２において、第２の音声認識結果は、通信部９００により受信された応答情報に基づく応答が再生された後の音声認識結果である。上述の構成において、第２の音声認識結果は、応答情報に基づく応答メッセージに対するユーザの返答を含み得る。よって、ローカルサーバ１０２は、ユーザの返答に適切に対応した処理を可能にする。
【０１４９】
実施の形態に係るクラウドサーバ１１１及びローカルサーバ１０２において、処理情報は、推定返答情報及び動作制御情報の複数の組を含む。上述の構成において、ユーザの様々な返答に対応した制御が可能になる。
【０１５０】
実施の形態に係るクラウドサーバ１１１及びローカルサーバ１０２において、動作制御情報は、ユーザの返答に対する第２の応答情報と、制御対象への動作指示を含む動作指示情報とを含む。例えば、ユーザの返答は、メッセージを含み、推定返答情報は、メッセージの内容に対応したメッセージ情報を含み、動作制御情報は、メッセージ情報に応じた第２の応答情報及び動作指示情報を含んでよい。上述の構成において、動作制御情報に基づく動作では、ユーザへ返答に対する応答を提示して確認を受けつつ、制御対象を制御することが可能になる。例えば、メッセージ情報は、ユーザのメッセージの意味タグに対応し且つオフロード命令データ内の条件に含まれる意味タグであってもよい。メッセージ情報に応じた第２の応答情報は、オフロード命令データ内の条件に応じたメッセージであってよく、メッセージ情報に応じた動作指示情報は、オフロード命令データ内の条件に応じた制御コマンドであってもよい。
【０１５１】
また、実施の形態の一態様に係るクラウドサーバ１１１の対話処理方法は、音声認識結果を取得し、取得される音声認識結果に基づいて応答情報を決定し、応答情報に応じた処理情報を決定し、決定される応答情報及び処理情報を送信し、処理情報は、応答情報に対して推定されるユーザの返答についての推定返答情報と、推定返答情報に応じた動作制御情報とを含む。
【０１５２】
また、実施の形態の別の一態様に係るローカルサーバ１０２の対話処理方法は、第１の音声認識結果を取得して送信し、送信される第１の音声認識結果に基づいた応答情報と、応答情報に応じた処理情報とを受信する。ここで、処理情報が、応答情報から推定されるユーザの返答についての推定返答情報と、推定返答情報に応じた動作制御情報とを含む。さらに、対話処理方法は、第２の音声認識結果を取得し、取得される第２の音声認識結果と推定返答情報との照合結果に応じて、動作制御情報に基づく動作を行う。
【０１５３】
上述の対話処理方法によれば、実施の形態に係る対話処理装置による効果と同様の効果が得られる。なお、上記方法は、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵ、プロセッサ、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）などの回路、ＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  Ｃａｒｄ）又は単体のモジュール等によって、実現されてもよい。
【０１５４】
また、実施の形態での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。例えば、実施の形態での処理は、次のようなプログラム又はプログラムからなるデジタル信号によって、実現される。
【０１５５】
実施の形態の一態様に係るクラウドサーバ１１１の処理を実現するプログラムは、コンピュータに以下の機能を実行させるプログラムであって、音声認識結果を取得し、取得される音声認識結果に基づいて応答情報を決定し、応答情報に応じた処理情報を決定し、決定される応答情報及び処理情報を送信することを実行させる。なお、処理情報は、応答情報に対して推定されるユーザの返答についての推定返答情報と、推定返答情報に応じた動作制御情報とを含む。
【０１５６】
実施の形態の別の一態様に係るローカルサーバ１０２の処理を実現するプログラムは、コンピュータに以下の機能を実行させるプログラムであって、音声認識結果を取得し、取得される第１の音声認識結果に基づいた応答情報と、応答情報に応じた処理情報とを受信することを実行させる。ここで、処理情報は、応答情報から推定されるユーザの返答についての推定返答情報と、推定返答情報に応じた動作制御情報とを含む。プログラムはさらに、取得される第２の音声認識結果と推定返答情報との照合結果に応じて、動作制御情報に基づく制御を行うことをコンピュータに実行させる。
【０１５７】
［その他］
以上、本出願において開示する技術の例示として、実施の形態に係る対話処理装置等について説明したが、本開示は、実施の形態に限定されるものではない。本開示における技術は、適宜、変更、置き換え、付加、省略などを行った実施の形態の変形例又は他の実施の形態にも適用可能である。また、実施の形態で説明する各構成要素を組み合わせて、新たな実施の形態又は変形例とすることも可能である。
【０１５８】
上述したように、本開示の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【０１５９】
例えば、上記実施の形態に係る対話処理装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１６０】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１６１】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１６２】
さらに、本開示の技術はプログラムであってもよいし、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１６３】
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【０１６４】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１６５】
以上、一つの態様に係る対話処理装置等について、実施の形態に基づいて説明したが、本開示は、実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つの態様の範囲内に含まれてもよい。
【０１６６】
なお、本開示は、音声対話エージェントシステムとユーザとの対話に関するものであれば適用可能である。例えば、音声対話エージェントシステムを用いてユーザが家電機器等を動作させる場合に有効である。例えば、ユーザが音声操作に対応した電子レンジ又はオーブンを動作させる場合に、「温めて」という指示をした場合を想定する。このとき、音声対話エージェントシステムはユーザに対して「何分温めますか？」又は「何度に温めますか？」などと具体的な指示を聞き返すことが可能である。これに対して返答可能なユーザ（聞き返したことに対してエージェントシステムが指示を受け付けるユーザ）は当初に「温めて」と指示したユーザのみである。
【０１６７】
これ以外にも、ユーザの抽象的な指示に対して、音声対話エージェントシステムが具体的な内容を聞き返す動作に本開示は適用可能となる。また、音声対話エージェントシステムがユーザに対して聞き返す内容は、動作実行の確認などであってもよい。
【０１６８】
なお、上記態様において、ユーザからの音声の入力は、システム又は各家電機器が備えるマイクロホンによって行われるとしてもよい。また、音声対話エージェントシステムからユーザに対する聞き返しは、システム又は各家電機器が備えるスピーカなどからユーザに対して伝えるとしてもよい。本開示において、「所定の動作」は、例えば、スピーカを介してユーザに音声を出力する動作であってもよい。すなわち、本開示において、制御対象となる「機器」は、音声入出力装置（例えばスピーカ）であってもよい。本開示において、「プロセッサ」、「マイクロホン」、及び／又は「スピーカ」は、例えば、制御対象となる「機器」に内蔵されていてもよい。本開示において、「フレーズ情報」は、文字列又はその意味を示す情報である。上記態様における「文字列データ」及び「意味タグ」は、フレーズ情報の一例である。
【０１６９】
なお、上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。
【０１７０】
以下、サービスの類型１（自社データセンタ型クラウドサービス）を利用した情報管理システムが提供するサービスの全体像、サービスの類型２（ＩａａＳ利用型クラウドサービス）を利用した情報管理システムが提供するサービスの全体像、サービスの類型３（ＰａａＳ利用型クラウドサービス）を利用した情報管理システムが提供するサービスの全体像、サービスの類型４（ＳａａＳ利用型クラウドサービス）を利用した情報管理システムが提供するサービスの全体像について順次説明する。
【０１７１】
［サービスの類型１：自社データセンタ型クラウドサービス］
図１４は、実施の形態に係る音声対話エージェントシステムが適用可能である、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供する、サービスの全体像を示す図である。図１４に示すように、本類型では、サービスプロバイダ４１２０がグループ４１００から情報を取得し、ユーザに対してサービスを提供する。本類型では、サービスプロバイダ４１２０が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ４１２０が、ビッグデータを管理するクラウドサーバ１１１を保有している。したがって、データセンタ運営会社は存在しない。
【０１７２】
本類型では、サービスプロバイダ４１２０は、データセンタ（クラウドサーバ）４２０３を運営及び管理している。また、サービスプロバイダ４１２０は、オペレーティングシステム（ＯＳ）４２０２及びアプリケーション４２０１を管理する。サービスプロバイダ４１２０は、サービスプロバイダ４１２０が管理するＯＳ４２０２及びアプリケーション４２０１を用いてサービスを提供する（矢印２０４）。
【０１７３】
［サービスの類型２：ＩａａＳ利用型クラウドサービス］
図１５は、実施の形態に係る音声対話エージェントシステムが適用可能である、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供する、サービスの全体像を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築及び稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
【０１７４】
図１５に示すように、本類型では、データセンタ運営会社４１１０が、データセンタ（クラウドサーバ）４２０３を運営及び管理している。また、サービスプロバイダ４１２０は、ＯＳ４２０２及びアプリケーション４２０１を管理する。サービスプロバイダ４１２０は、サービスプロバイダ４１２０が管理するＯＳ４２０２及びアプリケーション４２０１を用いてサービスを提供する（矢印２０４）。
【０１７５】
［サービスの類型３：ＰａａＳ利用型クラウドサービス］
図１６は、実施の形態に係る音声対話エージェントシステムが適用可能である、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供する、サービスの全体像を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築及び稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
【０１７６】
図１６に示すように、本類型では、データセンタ運営会社４１１０は、ＯＳ４２０２を管理し、データセンタ（クラウドサーバ）４２０３を運営及び管理している。また、サービスプロバイダ４１２０は、アプリケーション４２０１を管理する。サービスプロバイダ４１２０は、データセンタ運営会社４１１０が管理するＯＳ４２０２及びサービスプロバイダ４１２０が管理するアプリケーション４２０１を用いてサービスを提供する（矢印２０４）。
【０１７７】
［サービスの類型４：ＳａａＳ利用型クラウドサービス］
図１７は、実施の形態に係る音声対話エージェントシステムが適用可能である、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供する、サービスの全体像を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。ＳａａＳ利用型クラウドサービスは、例えば、データセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
【０１７８】
図１７に示すように、本類型では、データセンタ運営会社４１１０は、アプリケーション４２０１を管理し、ＯＳ４２０２を管理し、データセンタ（クラウドサーバ）４２０３を運営及び管理している。また、サービスプロバイダ４１２０は、データセンタ運営会社４１１０が管理するＯＳ４２０２及びアプリケーション４２０１を用いてサービスを提供する（矢印２０４）。
【０１７９】
以上、いずれのクラウドサービスの類型においても、サービスプロバイダ４１２０がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、ＯＳ、アプリケーション又はビッグデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
【産業上の利用可能性】
【０１８０】
本開示の技術は、音声対話エージェントに適用できる。
【符号の説明】
【０１８１】
１０１，１０１ａ，１０１ｂ  機器
１０２  ローカルサーバ
１１１  クラウドサーバ
２４０  音声入出力装置
３００  音声入出力装置の処理回路
３０１  音声入出力装置の集音回路
３０２  音声入出力装置の音声出力回路
３０３  音声入出力装置の通信回路
３１０  音声入出力装置のＣＰＵ
３２０  音声入出力装置のメモリ
３３０  音声入出力装置のバス
３４１  音声入出力装置の機器ＩＤ
３４２  音声入出力装置のプログラム
４１０  機器の入出力回路
４３０  機器のＣＰＵ
４４０  機器のメモリ
４４１  機器の機器ＩＤ
４４２  機器のプログラム
４５０  機器の通信回路
４６０  機器のバス
４７０  機器の処理回路
５３０  ローカルサーバのＣＰＵ
５４０  ローカルサーバのメモリ
５４１  ローカルサーバのゲートウェイＩＤ
５４２  ローカルサーバのプログラム
５５１  ローカルサーバの第一通信回路
５５２  ローカルサーバの第二通信回路
５６０  ローカルサーバのバス
５７０  ローカルサーバの処理回路
５８０  ローカルサーバの音響モデルＤＢ
５８１  ローカルサーバの言語モデルＤＢ
５８２  ローカルサーバの音声素片ＤＢ
５８３  ローカルサーバの韻律制御ＤＢ
５８４  ローカルサーバのローカル辞書ＤＢ
６５０  クラウドサーバの通信回路
６７０  クラウドサーバの処理回路
６７１  クラウドサーバのＣＰＵ
６７２  クラウドサーバのメモリ
６８０  クラウドサーバのバス
６９１  クラウドサーバの対話ルールＤＢ
６９２  クラウドサーバのオフロード命令生成ＤＢ
７００  音声入出力装置の集音部
７１０  音声入出力装置の音声検出部
７２０  音声入出力装置の音声区間切り出し部
７３０  音声入出力装置の通信部
７４０  音声入出力装置の音声出力部
８００  機器の通信部
８１０  機器の機器制御部
９００  ローカルサーバの通信部
９１０  ローカルサーバの受信データ解析部
９２０  ローカルサーバの音声認識部
９３０  ローカルサーバのローカル辞書照合部
９４０  ローカルサーバの制御部
９５０  ローカルサーバの音声合成部
９６０  ローカルサーバの送信データ生成部
９７０  ローカルサーバのコマンド記録部
１０００  クラウドサーバの通信部
１０２０  クラウドサーバの対話ルール照合部
１０３０  クラウドサーバの応答生成部
【図１Ａ】
2018120203.tif 000003
【図１Ｂ】
2018120203.tif 000004
【図１Ｃ】
2018120203.tif 000005
【図２】
2018120203.tif 000006
【図３】
2018120203.tif 000007
【図４】
2018120203.tif 000008
【図５】
2018120203.tif 000009
【図６】
2018120203.tif 000010
【図７】
2018120203.tif 000011
【図８】
2018120203.tif 000012
【図９】
2018120203.tif 000013
【図１０】
2018120203.tif 000014
【図１１】
2018120203.tif 000015
【図１２Ａ】
2018120203.tif 000016
【図１２Ｂ】
2018120203.tif 000017
【図１３Ａ】
2018120203.tif 000018
【図１３Ｂ】
2018120203.tif 000019
【図１４】
2018120203.tif 000020
【図１５】
2018120203.tif 000021
【図１６】
2018120203.tif 000022
【図１７】
2018120203.tif 000023