(57)【特許請求の範囲】
【請求項１】
発話音声に対する音声認識結果に基づいて機器を制御する機器制御装置であって、
前記音声認識結果に基づいて判定された、対象機器および当該対象機器に実行させる対象機能、が対応付けられた機器機能情報を取得する機器機能情報取得部と、
発話から前記対象機能の実行までの時間が長いか否かを判定する時間判定部と、
前記時間判定部が、前記発話から前記対象機能の実行までの時間が長いと判定した場合に、前記機器機能情報取得部が取得した機器機能情報に基づき、前記対象機器に関連する第１応答文を決定する応答文決定部と、
前記応答文決定部が決定した第１応答文を示す情報を出力する出力制御部と、
前記発話音声が取得されてからの第１経過時間を計測する時間計測部と、
前記機器機能情報取得部が取得した機器機能情報に基づき、前記対象機能を実行させるための機能コマンドを生成する機能コマンド生成部と、
前記機能コマンド生成部が生成した機能コマンドを前記対象機器に出力する機能コマンド出力部を備え、
前記時間判定部は、
前記時間計測部が計測した前記第１経過時間が第１目標時間を超えた場合に、前記発話から前記対象機能の実行までの時間が長いと判定し、
前記時間計測部は、前記機能コマンド出力部が前記機能コマンドを出力すると、前記第１経過時間の計測を終了する
ことを特徴とする機器制御装置。
【請求項２】
前記出力制御部が前記第１応答文を示す情報を出力後、前記機能コマンド生成部が前記機能コマンドの生成を完了した場合、
前記機能コマンド出力部は、前記出力制御部が出力した第１応答文を示す情報に基づく当該第１応答文の出力が完了していなければ、当該第１応答文の出力を完了するまで、前記機能コマンドの出力を保留する
ことを特徴とする請求項１記載の機器制御装置。
【請求項３】
前記出力制御部が前記第１応答文を示す情報を出力してからの第１応答文出力後時間を計測する第１応答文出力後時間計測部と、
前記第１応答文出力後時間計測部が計測した第１応答文出力後時間が第３目標時間を超えたか否かを判定する第１応答文出力後時間判定部を備え、
前記応答文決定部は、
前記第１応答文出力後時間判定部が、前記第１応答文出力後時間は前記第３目標時間を超えたと判定した場合、第２応答文を決定し、
前記出力制御部は、
前記第１応答文を示す情報に加え、前記応答文決定部が決定した第２応答文を示す情報を出力する
ことを特徴とする請求項１記載の機器制御装置。
【請求項４】
前記第２応答文は、
前記機器機能情報取得部が取得した機器機能情報に基づく、前記対象機器に関連する応答文、
または、
謝罪メッセージ
であることを特徴とする請求項３記載の機器制御装置。
【請求項５】
前記対象機器に実行させる前記対象機能の緊急度を判定する緊急度判定部を備え、
前記出力制御部は、
前記緊急度判定部が、前記対象機器に実行させる前記対象機能の緊急度が高いと判定した場合は、前記対象機器を手動で操作することを促すメッセージを示す情報を出力する
ことを特徴とする請求項１から請求項４のうちのいずれか１項記載の機器制御装置。
【請求項６】
前記第１応答文を示す情報は、前記第１応答文を音声出力させるための情報である
ことを特徴とする請求項１記載の機器制御装置。
【請求項７】
前記第１応答文を示す情報は、前記第１応答文を表示させるための情報である
ことを特徴とする請求項１記載の機器制御装置。
【請求項８】
発話音声に対する音声認識結果に基づいて機器を制御する機器制御方法であって、
機器機能情報取得部が、前記音声認識結果に基づいて判定された、対象機器および当該対象機器に実行させる対象機能、が対応付けられた機器機能情報を取得するステップと、
時間判定部が、発話から前記対象機能の実行までの時間が長いか否かを判定するステップと、
応答文決定部が、前記時間判定部が、前記発話から前記対象機能の実行までの時間が長いと判定した場合に、前記機器機能情報取得部が取得した機器機能情報に基づき、前記対象機器に関連する第１応答文を決定するステップと、
出力制御部が、前記応答文決定部が決定した第１応答文を示す情報を出力するステップと、
時間計測部が、前記発話音声が取得されてからの第１経過時間を計測するステップと、
機能コマンド生成部が、前記機器機能情報取得部が取得した機器機能情報に基づき、前記対象機能を実行させるための機能コマンドを生成するステップと、
機能コマンド出力部が、前記機能コマンド生成部が生成した機能コマンドを前記対象機器に出力するステップを備え、
前記時間判定部は、
前記時間計測部が計測した前記第１経過時間が第１目標時間を超えた場合に、前記発話から前記対象機能の実行までの時間が長いと判定するステップを有し、
前記時間計測部は、前記機能コマンド出力部が前記機能コマンドを出力すると、前記第１経過時間の計測を終了するステップを有する
ことを特徴とする機器制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、発話音声に対する音声認識結果に基づいて機器を制御する機器制御装置、および、機器制御方法に関するものである。
【背景技術】
【０００２】
従来、ユーザの発話音声に対する音声認識結果に基づいて、各種の機器を制御する技術が知られている。このような技術において、発話から機器による機能の実行までの時間が長く空いてしまうことがある。
ここで、特許文献１には、ユーザの発話に対する音声認識結果が得られるまでの応答遅延時間を埋め合わせるため、暫定的な応答である「つなぎ言葉」を出力する音声対話システムが開示されている。特許文献１の音声対話システムにおいて、「つなぎ言葉」とは、「うん」または「えっとねえ」といった簡易的な返事あるいは相づちである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−４５２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合、ユーザは、当該機能の実行まで、長い時間待たされてしまう。その間、従来の当該技術においては、ユーザは、機器によって意図どおりの機能が実行されようとしているか否かを認識できないという課題があった。
このような課題に対し、特許文献１に開示されている技術は、発話に対する音声認識結果が得られるまでの応答遅延時間を埋め合わせるためのものであり、発話から機器による機能の実行までの時間について考慮されたものではない。また、当該技術において出力されるつなぎ言葉は、単なる簡易的な返事あるいは相づちである。従って、特許文献１に開示されているような技術では、依然として、上記の課題は解決されない。【０００５】
この発明は上記のような課題を解決するためになされたもので、ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係る機器制御装置は、発話音声に対する音声認識結果に基づいて機器を制御する機器制御装置であって、音声認識結果に基づいて判定された、対象機器および当該対象機器に実行させる対象機能、が対応付けられた機器機能情報を取得する機器機能情報取得部と、発話から対象機能の実行までの時間が長いか否かを判定する時間判定部と、時間判定部が、発話から対象機能の実行までの時間が長いと判定した場合に、機器機能情報取得部が取得した機器機能情報に基づき、対象機器に関連する第１応答文を決定する応答文決定部と、応答文決定部が決定した第１応答文を示す情報を出力する出力制御部と、発話音声が取得されてからの第１経過時間を計測する時間計測部と、機器機能情報取得部が取得した機器機能情報に基づき、対象機能を実行させるための機能コマンドを生成する機能コマンド生成部と、機能コマンド生成部が生成した機能コマンドを対象機器に出力する機能コマンド出力部を備え、時間判定部は、時間計測部が計測した第１経過時間が第１目標時間を超えた場合に、発話から対象機能の実行までの時間が長いと判定し、時間計測部は、機能コマンド出力部が機能コマンドを出力すると、第１経過時間の計測を終了することを特徴とするものである。
【発明の効果】
【０００７】
この発明によれば、ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る機器制御装置を備えた機器制御システムの構成の一例を説明する図である。
【図２】実施の形態１に係る機器制御装置、当該機器制御装置が備える音声操作装置、および、家電機器の概略構成例を示す図である。
【図３】実施の形態１に係る機器制御装置が備える音声操作装置の構成例を示す図である。
【図４】実施の形態１に係る機器制御装置が備える応答出力部およびコマンド制御部の構成例を示す図である。
【図５】実施の形態１において、応答文決定部が第１応答文を決定する際に参照する応答文情報の内容の一例を説明するための図である。
【図６】実施の形態１において、記憶部に記憶されている実行応答情報の内容の一例を説明するための図である。
【図７】実施の形態１に係る機器制御装置の動作を説明するためのフローチャートである。
【図８】実施の形態１に係る機器制御装置の応答出力部の動作について、詳細に説明するためのフローチャートである。
【図９】実施の形態１に係る機器制御装置のコマンド制御部の動作について詳細に説明するためのフローチャートである。
【図１０】実施の形態１に係る機器制御装置が、図８および図９で説明した動作を行い、実行所要時間が長いと判定した場合に、音声出力装置から第１応答文を音声出力させるまでの時間の流れのイメージを示した図である。
【図１１】実施の形態２に係る機器制御装置の構成例を示す図である。
【図１２】実施の形態２に係る機器制御装置のコマンド制御部の動作について、詳細に説明するためのフローチャートである。
【図１３】実施の形態２に係る機器制御装置が図１１で説明した動作を行い、第１応答文の音声出力が完了するまで機能コマンドの出力を保留した場合の、時間の流れのイメージを示した図である。
【図１４】実施の形態３に係る機器制御装置の構成例を示す図である。
【図１５】実施の形態３に係る機器制御装置の応答出力部の動作について、詳細に説明するためのフローチャートである。
【図１６】実施の形態３に係る機器制御装置が、図１５および図９で説明した動作を行い、実行所要時間が長いと判定した場合に、音声出力装置から第１応答文を音声出力させるまでの時間の流れのイメージを示した図である。
【図１７】実施の形態４に係る機器制御装置の構成例を示す図である。
【図１８】実施の形態１において、応答文決定部が第２応答文を決定する際に参照する第２応答文情報の内容の一例を説明するための図である。
【図１９】実施の形態４に係る機器制御装置の応答出力部の詳細な動作を説明するためのフローチャートである。
【図２０】実施の形態４に係る機器制御装置が、図１９および図９で説明した動作を行い、第１応答文を示す情報を出力してからの時間が長いと判定した場合に、音声出力装置から第２応答文を音声出力させるまでの時間の流れのイメージを示した図である。
【図２１】実施の形態５に係る機器制御装置構成例を示す図である。
【図２２】実施の形態５において、応答文決定部が第１応答文を決定する際に参照する第１応答文情報の内容の一例を説明するための図である。
【図２３】実施の形態５に係る機器制御装置の応答出力部の詳細な動作を説明するためのフローチャートである。
【図２４】実施の形態５に係る機器制御装置が、図２３で説明した動作を行い、実行所要時間が長いと判定した場合に、音声出力装置に、第１予測経過時間に応じた長さの第１応答文を音声出力させるまでの時間の流れのイメージを示した図である。
【図２５】実施の形態６に係る機器制御装置の構成例を示す図である。
【図２６】実施の形態６に係る機器制御装置の応答出力部の詳細な動作を説明するためのフローチャートである。
【図２７】実施の形態６に係る機器制御装置が、図２６で説明した動作を行い、実行所要時間が長いと判定した場合に、音声出力装置に、第１予測経過時間に応じた速度で第１応答文を音声出力させるまでの時間の流れのイメージを示した図である。
【図２８】実施の形態７に係る機器制御装置の構成例を示す図である。
【図２９】実施の形態７に係る機器制御装置の応答出力部の詳細な動作を説明するためのフローチャートである。
【図３０】実施の形態７に係る機器制御装置が図２８で説明した動作を行い、対象機器に実行させる対象機能の緊急度が高いと判定した場合に、対象機器を手動で操作することを促すメッセージを音声出力装置から音声出力させた場合の時間の流れのイメージを示した図である。
【図３１】実施の形態８に係る機器制御装置の構成例を示す図である。
【図３２】図３２Ａ，図３２Ｂは、実施の形態１〜実施の形態８に係る機器制御装置のハードウェア構成の一例を示す図である。
【図３３】実施の形態１に係る機器制御システムにおいて、音声入力装置および音声出力装置が、家電機器に搭載されているものとした場合の、機器制御システムの構成例を示す図である。
【図３４】実施の形態１に係る機器制御システムにおいて、機器制御装置が、家電機器に搭載されているものとした場合の、機器制御システムの構成例を示す図である。
【図３５】実施の形態１に係る機器制御システムにおいて、機器制御装置、音声入力装置、および、音声出力装置が、家電機器に搭載されているものとした場合の、機器制御システムの構成例を示している。
【発明を実施するための形態】
【０００９】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る機器制御装置１は、ユーザの発話音声に対する音声認識結果に基づいて、各種の機器を制御し、当該機器が有する機能を実行させる。また、実施の形態１に係る機器制御装置１は、ユーザの発話から機器による機能の実行までの時間が長い場合、当該機器に関連する応答文を音声出力することができる。
なお、以下の説明では、一例として、実施の形態１に係る機器制御装置１により制御される機器を、住宅で用いられる家電機器とする。
【００１０】
図１は、実施の形態１に係る機器制御装置１を備えた機器制御システム１０００の構成の一例を説明する図である。
機器制御システム１０００は、機器制御装置１、音声入力装置４１、音声出力装置４２、および、家電機器５を備える。機器制御装置１は、音声操作装置３００を備える。
機器制御装置１は、例えば、住宅外の場所に設置されたサーバに備えられ、音声入力装置４１、音声出力装置４２、および、家電機器５と、ネットワークを介して接続される。
家電機器５は、電子レンジ、ＩＨクッキングヒータ、炊飯器、テレビ、または、エアコン等、住宅で用いられるあらゆる電化製品を含む。
なお、図１では、機器制御システム１０００に備えられる家電機器５を１つのみ示しているが、機器制御システム１０００には２つ以上の家電機器５が接続され得る。
【００１１】
機器制御装置１が備える音声操作装置３００は、音声入力装置４１から取得したユーザの発話音声に対する音声認識処理を実行し、音声認識結果を得る。音声操作装置３００は、音声認識結果に基づき、制御対象となる家電機器５を判定するともに、当該家電機器５が有する機能のうち、当該家電機器５に実行させる機能を判定する。
実施の形態１では、ユーザの発話音声に対する音声認識結果に基づいて判定された、制御対象となる家電機器５を「対象機器」という。また、「対象機器」が有する機能のうち、ユーザの発話音声に対する音声認識結果に基づいて実行させる機能を「対象機能」ともいうものとする。
音声操作装置３００は、判定した対象機器と対象機能とを対応付けた情報（以下「機器機能情報」という。）と、ユーザの発話音声を、機器制御装置１に出力する。音声操作装置３００は、機器機能情報に、さらに音声認識結果を含めてもよい。
【００１２】
機器制御装置１は、音声操作装置３００から発話音声を取得すると、発話から対象機能の実行までの時間（以下「実行所要時間」という。）が長いか否かを判定する。機器制御装置１は、実行所要時間が長いと判定した場合、音声操作装置３００から取得した機器機能情報に基づいて、対象機能に関連する応答文を決定する。機器制御装置１は、対象機能に関連する応答文を決定した場合、当該応答文を示す情報を、音声出力装置４２に出力する。
また、機器制御装置１は、音声操作装置３００から出力された機器機能情報に基づき、対象機能を実行させるための機能コマンドを生成し、当該機能コマンドを、対象機器に出力する。
機器制御装置１は、対象機器から、機能コマンドに基づく対象機能の実行を完了したことを通知する実行完了通知が出力されると、音声出力装置４２に対して、対象機器が対象機能の実行を完了したことを知らせるための実行応答を出力させる。
【００１３】
家電機器５は、機器制御装置１から出力された機能コマンドに基づいて、自身が有する機能を実行する。
家電機器５は、機器制御装置１から出力された機能コマンドに基づいて、自身が有する機能の実行を完了すると、機器制御装置１に対して、実行完了通知を送信する。
【００１４】
音声入力装置４１は、ユーザの発話音声を受け付けて、音声操作装置３００に音声信号を入力することが可能なマイク等である。
音声出力装置４２は、音声を外部に出力することが可能なスピーカ等である。
音声入力装置４１と音声出力装置４２は、いわゆるスマートスピーカに備えられるものであってもよい。
【００１５】
図２は、実施の形態１に係る機器制御装置１、当該機器制御装置１が備える音声操作装置３００、および、家電機器５の概略構成例を示す図である。
なお、図２では、音声入力装置４１および音声出力装置４２は、スマートスピーカ４に備えられるものとしている。
図２に示すように、機器制御装置１は、音声操作装置３００の他、応答出力部１００およびコマンド制御部２００を備える。応答出力部１００は、音声操作装置３００から発話音声を取得すると、実行所要時間が長いか否かを判定する。応答出力部１００は、実行所要時間が長いと判定した場合、機器機能情報に基づいて、対象機能に関連する応答文を決定する。応答出力部１００は、対象機能に関連する応答文を決定した場合、当該応答文を示す情報を、音声出力装置４２に出力する。コマンド制御部２００は、音声操作装置３００から出力された機器機能情報に基づき、対象機能を実行させるための機能コマンドを生成し、当該機能コマンドを、対象機器に出力する。
【００１６】
家電機器５の機能コマンド取得部５１は、機器制御装置１のコマンド制御部２００から出力された機能コマンドを取得する。
家電機器５の機能コマンド実行部５２は、機能コマンド取得部５１が取得した機能コマンドに基づき、家電機器５が有する対象機能を実行する。
機能コマンド実行部５２が対象機能を実行すると、家電機器５の実行通知部５３は、機器制御装置１の応答出力部１００に、実行完了通知を出力する。具体的には、実行通知部５３は、実行完了通知を、ネットワークを介して、応答出力部１００に送信する。
【００１７】
図３および図４は、実施の形態１に係る機器制御装置１の構成例を示す図であって、図３は、実施の形態１に係る機器制御装置１が備える音声操作装置３００の構成例を示す図であり、図４は、実施の形態１に係る機器制御装置１が備える応答出力部１００およびコマンド制御部２００の構成例を示す図である。なお、説明の簡単のため、図３では、音声出力装置４２および家電機器５の図示を省略し、図４では、音声入力装置４１の図示を省略している。
機器制御装置１の構成について、まず、図３を用いて、機器制御装置１が備える音声操作装置３００の構成例から説明する。
音声操作装置３００は、図３に示すように、音声取得部３０１、音声認識部３０２、音声認識辞書ＤＢ（ＤａｔａＢａｓｅ）３０３、機器機能判定部３０４、および、機器機能ＤＢ３０５を備える。
音声取得部３０１は、音声入力装置４１から、発話音声を取得する。
ユーザは、音声入力装置４１に対して、家電機器５が有する機能を実行させるための指示を発話する。例えば、ＩＨクッキングヒータが家電機器５に含まれる場合、ユーザは、音声入力装置４１に対して、「ＩＨクッキングヒータで鮭の切り身を焼いて」と発話することで、ＩＨクッキングヒータに対して、切り身モードで魚を焼く機能の実行を指示することができる。また、例えば、レンジグリルが家電機器５に含まれる場合、ユーザは、「レンジグリルで熱燗をあたためて」と発話することで、レンジグリルに対して、熱燗モードで加熱する機能の実行を指示することができる。
音声取得部３０１は、音声入力装置４１が受け付けた、ユーザの発話音声を取得する。
音声取得部３０１は、取得した発話音声を、音声認識部３０２に出力する。また、音声取得部３０１は、取得した発話音声を、応答出力部１００に出力する。
【００１８】
音声認識部３０２は、音声認識処理を実行する。音声認識部３０２は、既存の音声認識技術を用いて、音声認識処理を実行すればよい。実施の形態１に係る機器制御装置１では、例えば、音声認識部３０２は、音声取得部３０１が取得した発話音声と音声認識辞書ＤＢ３０３を照合し、発話音声に含まれる１以上の単語を特定する音声認識処理を実行する。音声認識部３０２が発話音声に含まれる１以上の単語を特定する音声認識処理を実行する場合、音声認識結果は、例えば、当該１以上の単語である。
音声認識辞書ＤＢ３０３は、音声認識を行うための音声認識辞書を格納したデータベースである。
音声認識部３０２は、音声取得部３０１が取得した発話音声と、音声認識辞書ＤＢ３０３に格納されている音声認識辞書とを照合することで発話音声に含まれる単語を特定する。
【００１９】
例えば、上述の例を用いて説明すると、発話音声「ＩＨクッキングヒータで鮭の切り身を焼いて」について、音声認識部３０２は、「ＩＨクッキングヒータ」、「鮭」、「切り身」、および、「焼いて」という単語を特定する。また、例えば、発話音声「レンジグリルで熱燗をあたためて」について、音声認識部３０２は、「レンジグリル」、「熱燗」、および、「あたためて」という単語を特定する。
音声認識部３０２は、音声認識結果を、機器機能判定部３０４に出力する。
【００２０】
機器機能判定部３０４は、音声認識部３０２から出力された、音声認識結果を、機器機能ＤＢ３０５と照合し、対象機器および対象機能を判定する。
機器機能ＤＢ３０５には、機器関連情報が記憶されている。機器関連情報とは、音声認識結果と家電機器５とが対応付けられるとともに、音声認識結果と家電機器５が有する機能とが対応付けられた情報である。機器関連情報は、発話音声によって制御を行うことができる１つ以上の家電機器５に関して、予め生成され、機器機能ＤＢ３０５に記憶されているものとする。
【００２１】
例えば、音声認識部３０２から出力された音声認識結果に、「ＩＨクッキングヒータ」、「鮭」、「切り身」、および、「焼いて」が含まれている場合、機器機能判定部３０４は、機器関連情報に基づき、対象機器は「ＩＨクッキングヒータ」であると判定する。さらに、機器機能判定部３０４は、対象機能は、例えば、「ＩＨクッキングヒータ」が有する、「魚焼きグリル」、「切り身モード」、および、「火力４」であると判定する。
また、例えば、音声認識部３０２から出力された音声認識結果に、「レンジグリル」、「熱燗」、および、「あたためて」が含まれている場合、機器機能判定部３０４は、機器関連情報に基づき、対象機器は「レンジグリル」であると判定する。さらに、機器機能判定部３０４は、対象機能は、例えば、「レンジグリル」が有する、「のみものモード」、および、「設定温度５０℃」であると判定する。
【００２２】
機器機能判定部３０４は、対象機器と対象機能とを対応付けた機器機能情報を生成し、生成した機器機能情報を、機器制御装置１の応答出力部１００およびコマンド制御部２００に出力する。
上述の例でいうと、機器機能判定部３０４は、「ＩＨクッキングヒータ」の情報と、「魚焼きグリル」、「切り身モード」、および、「火力４」の情報とを対応付けた機器機能情報を生成し、機器制御装置１に送信する。または、機器機能判定部３０４は、「レンジグリル」の情報と、「のみものモード」、および、「設定温度５０℃」の情報とを対応付けた機器機能情報を生成し、機器制御装置１に送信する。
【００２３】
なお、上述の例では、音声認識結果に、機器名称が含まれているものとした。しかし、これは一例に過ぎず、音声認識結果に機器名称が含まれていなくてもよい。機器機能判定部３０４は、音声認識結果に機器名称が含まれていなくても、音声認識結果に含まれる、対象機器を特定可能な単語から、対象機器を判定することができる。例えば、ユーザが、音声入力装置４１に対して、「鮭の切り身を焼いて」と、発話したとする。この場合、音声認識部３０２は、発話音声「鮭の切り身を焼いて」について、「鮭」、「切り身」、および、「焼いて」という単語を特定する。機器機能判定部３０４は、例えば、「切り身」、「焼いて」という単語から、対象機器は「ＩＨクッキングヒータ」と判定する。機器機能判定部３０４は、音声認識結果から判定した対象機器と、機器関連情報に基づいて判定した対象機能とを対応付けた機器機能情報を生成する。
また、例えば、ユーザが発話によって対象機能の実行を指示する対象機器が１つであれば、発話内容に対象機器を特定可能な情報が含まれていないこともあり得る。しかし、この場合、対象機器は決まっているので、機器機能判定部３０４は、当該決まっている対象機器と、機器関連情報に基づいて判定した対象機能とを対応付けた、機器機能情報を生成する。
【００２４】
実施の形態１では、図３に示すように、音声認識辞書ＤＢ３０３および機器機能ＤＢ３０５は、音声操作装置３００に備えられるものとするが、これは一例に過ぎない。音声認識辞書ＤＢ３０３および機器機能ＤＢ３０５は、音声操作装置３００の外部の、音声操作装置３００が参照可能な場所に備えられるようにしてもよい。
【００２５】
次に、図４を用いて、機器制御装置１が備える応答出力部１００およびコマンド制御部２００の構成について説明する。
応答出力部１００は、機器機能情報取得部１０１、時間計測部１０２、時間判定部１０３、応答文決定部１０４、出力制御部１０５、応答ＤＢ１０６、および、実行通知受付部１０７を備える。
コマンド制御部２００は、機能コマンド生成部２０１および機能コマンド出力部２０２を備える。
【００２６】
応答出力部１００の機器機能情報取得部１０１は、音声操作装置３００の機器機能判定部３０４から出力された機器機能情報を取得する。
機器機能情報取得部１０１は、取得した機器機能情報を、応答文決定部１０４およびコマンド制御部２００に出力する。
【００２７】
応答出力部１００の時間計測部１０２は、発話音声が取得された時刻（以下「音声取得時刻」という。）からの経過時間（以下「第１経過時間」という。）を計測する。実施の形態１において、例えば、音声取得時刻とは、音声取得部３０１が発話音声を取得した時刻である。時間計測部１０２は、音声取得時刻を音声取得部３０１から取得することができる。例えば、音声取得部３０１は、発話音声に音声取得時刻を示す情報を付加して、当該発話音声を時間計測部１０２に出力すればよい。
【００２８】
また、実施の形態１において、音声取得時刻は、時間計測部１０２が音声取得部３０１から発話音声を取得した時刻としてもよい。
実施の形態１において、時間計測部１０２は、第１経過時間を、機能コマンド出力部２０２が機能コマンドを対象機器に出力するまで計測し続ける。時間計測部１０２は、機能コマンド出力部２０２が機能コマンドを対象機器に出力した旨の情報を、機能コマンド出力部２０２から取得することができる。時間計測部１０２は、機能コマンド出力部２０２から、機能コマンドを対象機器に出力した旨の情報を取得すると、第１経過時間の計測を終了する。
【００２９】
時間計測部１０２は、第１経過時間を、継続的に時間判定部１０３に出力する。時間計測部１０２は、機能コマンド出力部２０２から機能コマンドを対象機器に出力した旨の情報を取得すると、第１経過時間の出力を停止する。
【００３０】
時間判定部１０３は、実行所要時間が長いか否かを判定する。具体的には、時間判定部１０３は、時間計測部１０２から取得した第１経過時間が予め設定された時間（以下「第１目標時間」という。）を超えたか否かを判定する。第１目標時間には、例えば、発話から対象機能が実行されるまでの間に対象機器等から何の応答もない場合に、「待たされている」とユーザが感じると推測される時間よりも一定程度短い時間が、予め設定されている。時間判定部１０３は、例えば、時間計測部１０２から第１経過時間が出力される度に、上記判定を行う。
【００３１】
第１経過時間が第１目標時間を超えた場合、時間判定部１０３は、実行所要時間が長いと判定する。上述のとおり、時間計測部１０２は、機能コマンド出力部２０２から、機能コマンドを対象機器に出力した旨の情報を取得すると、第１経過時間の計測を終了する。第１経過時間が第１目標時間を超えた状態は、発話音声が取得されてから機能コマンド出力部２０２が機能コマンドを対象機器に出力するまでの間に既に第１目標時間が経過してしまった状態を意味する。例えば、ユーザに「待たされている」と感じさせないためには、この状態が判定された後、すみやかに音声出力装置４２等から後述する応答文を出力する必要がある。
【００３２】
一方、第１経過時間が第１目標時間を超えていない場合、時間判定部１０３は、実行所要時間が長くないと判定する。第１経過時間が第１目標時間を超えていない状態は、発話音声が取得されてから機能コマンド出力部２０２が機能コマンドを対象機器に出力するまでの間において、未だ第１目標時間が経過していない状態を意味する。
【００３３】
時間判定部１０３は、実行所要時間が長いと判定した場合、実行所要時間が長いと判定した旨の情報（以下「機能実行遅延情報」という。）を、応答文決定部１０４に出力する。
【００３４】
応答文決定部１０４は、時間判定部１０３が、実行所要時間が長いと判定した場合に、機器機能情報取得部１０１が取得した機器機能情報に基づき、対象機器に関連する応答文（以下「第１応答文」という。）を決定する。
応答文決定部１０４は、予め生成され、応答ＤＢ１０６に記憶されている、応答文情報に基づき、第１応答文を決定する。
【００３５】
ここで、図５は、実施の形態１において、応答文決定部１０４が第１応答文を決定する際に参照する応答文情報の内容の一例を説明するための図である。以下の説明において、応答文決定部１０４が第１応答文を決定する際に参照する応答文情報を、「第１応答文情報」という。
第１応答文情報は、機器機能情報と、第１応答文となり得る第１応答文候補とが対応付けて定義された情報である。なお、図５では、わかりやすさのため、ユーザが発話した内容（図５の「発話内容」の欄を参照）を、機器機能情報と対応付けて示すようにしている。図５に示すように、第１応答文情報において、例えば、１つの機器機能情報に対して、発話した内容に関する応答文、実行される機能に関する応答文、操作方法に関する応答文、または、豆知識に関する応答文が、第１応答文候補として対応付けられ得る。
応答文決定部１０４は、第１応答文情報において、機器機能情報取得部１０１が取得した機器機能情報と対応付けられている第１応答文候補から、第１応答文を決定する。応答文決定部１０４は、適宜の方法で、第１応答文を決定すればよい。
【００３６】
例えば、機器機能情報取得部１０１が取得した機器機能情報が、「ＩＨクッキングヒータ」の情報と、「魚焼きグリル」、「切り身モード」、および、「火力４」の情報とを対応付けた情報である場合、応答文決定部１０４は、「ただいま切り身モードを準備しています」を、第１応答文に決定する。
応答文決定部１０４は、決定した第１応答文の情報を、出力制御部１０５に出力する。
なお、図５に示した第１応答文情報の内容は一例に過ぎない。第１応答文情報において、１つの機器機能情報に対応付けられている第１応答文候補は１つのみであってもよいし、第１応答文候補は、発話した内容に関する応答文、実行される機能に関する応答文、操作方法に関する応答文、または、豆知識に関する応答文以外の、対象機器に関連する応答文であってもよい。第１応答文情報において、１つの機器機能情報に対する第１応答文候補として、対象機器に関連する、１つ以上の第１応答文が、定義されていればよい。また、機器機能情報に音声認識結果を含める場合、応答ＤＢ１０６に記憶される第１応答文情報は、音声認識結果と第１応答文となり得る第１応答文候補とが対応付けて定義された情報を含むものとしてもよい。その場合、応答文決定部１０４は、音声認識結果と対応付けられている第１応答文候補からも、第１応答文を決定することができる。
【００３７】
出力制御部１０５は、応答文決定部１０４が決定した、第１応答文を示す情報を、音声出力装置４２に出力する。
音声出力装置４２は、応答文決定部１０４から第１応答文を示す情報が出力されると、当該第１応答文を示す情報に従い、第１応答文を音声出力する。
【００３８】
また、出力制御部１０５は、実行通知受付部１０７から、実行完了通知を受け付けた旨の情報が出力されると、実行応答を示す情報を出力する。具体的には、出力制御部１０５は、実行完了通知を受け付けた旨の情報が出力されると、実行応答情報に基づき、実行応答を決定し、当該実行応答を示す情報を音声出力装置４２に出力する。実行応答情報は、予め生成され、記憶部（図示省略）に記憶されている。なお、実行完了通知については、後述する。
【００３９】
ここで、図６は、実施の形態１において、記憶部に記憶されている実行応答情報の内容の一例を説明するための図である。
実行応答情報には、機能コマンドと、実行応答の内容とが、対応付けて定義されている。なお、図６では、わかりやすさのため、ユーザが発話した内容（図６の「発話内容」の欄を参照）および機器機能情報を、機能コマンドと対応付けて示すようにしている。
出力制御部１０５は、図６に示すような実行応答情報に基づき、実行完了通知を受け付けた旨の情報に付与されている機能コマンドに対応付けられている実行応答を示す情報を、音声出力装置４２に出力する。なお、実行通知受付部１０７から出力される、実行完了通知を受け付けた旨の情報には、例えば、対象機器において対象機能を実行するもとになった機能コマンドの情報が付加されているものとする。対象機器が、実行通知受付部１０７に実行完了通知を出力する際に、当該実行完了通知に機能コマンドの情報を付加して出力するようになっている。
【００４０】
例えば、機器制御装置１から、対象機器であるＩＨクッキングヒータに、「ＩＨクッキングヒータ」の情報と、「魚焼きグリル」、「切り身モード」、および、「火力４」の情報とが対応付けられた機器機能情報に基づいて生成された機能コマンドを出力し、対象機器が当該機能コマンドに従って対象機能を実行したとする。この場合、ＩＨクッキングヒータから、当該対象機能を実行した旨の実行完了通知が出力され、実行通知受付部１０７が、当該実行完了通知を受け付ける。この場合、出力制御部１０５は、「切り身モードで加熱を開始しました」という実行応答を示す情報を、音声出力装置４２に出力する。音声出力装置４２は、「切り身モードで加熱を開始しました」という実行応答を音声出力する。
【００４１】
応答ＤＢ１０６は、図５に示したような第１応答文情報を記憶する。
なお、実施の形態１では、図４に示すように、応答ＤＢ１０６は、機器制御装置１に備えられるものとするが、これは一例に過ぎない。応答ＤＢ１０６は、機器制御装置１の外部の、機器制御装置１の応答文決定部１０４が参照可能な場所に備えられるようにしてもよい。
【００４２】
実行通知受付部１０７は、対象機器から出力された実行完了通知を受け付ける。
実行通知受付部１０７は、実行完了通知を受け付けた旨の情報を、出力制御部１０５に出力する。
【００４３】
コマンド制御部２００の機能コマンド生成部２０１は、機器機能情報取得部１０１が取得した機器機能情報に基づき、対象機器に対象機能を実行させるための機能コマンドを生成する。
例えば、機器機能情報取得部１０１が取得した機器機能情報が、「ＩＨクッキングヒータ」の情報と、「魚焼きグリル」、「切り身モード」、および、「火力４」の情報とを対応付けた情報である場合、コマンド制御部２００は、魚焼きグリルにおいて切り身モードによって火力４で魚を焼く機能をＩＨクッキングヒータに実行させるための、機能コマンドを生成する。
機能コマンド生成部２０１は、生成した機能コマンドを、機能コマンド出力部２０２に出力する。
【００４４】
コマンド制御部２００の機能コマンド出力部２０２は、機能コマンド生成部２０１が生成した機能コマンドを対象機器に出力する。具体的には、機能コマンド出力部２０２は、ネットワークを介して、対象機器に機能コマンドを送信する。
ここで、機能コマンド生成部２０１は、機器機能情報を取得してから機能コマンドを生成するまでに時間を要することがある。これは、機能コマンド生成部２０１が、機能コマンドの生成処理に時間を要する場合があること等に依る。
機能コマンド出力部２０２は、機能コマンド生成部２０１が機能コマンドの生成を完了するまで待機し、機能コマンド生成部２０１が機能コマンドの生成を完了すると、生成された機能コマンドを出力するようにする。
【００４５】
機器制御装置１の動作について説明する。
図７は、実施の形態１に係る機器制御装置１の動作を説明するためのフローチャートである。
機器制御装置１において、機器機能情報取得部１０１は、音声操作装置３００の機器機能判定部３０４から出力された機器機能情報を取得する（ステップＳＴ７０１）。
機器機能情報取得部１０１は、取得した機器機能情報を、応答文決定部１０４および機能コマンド生成部２０１に出力する。
【００４６】
時間判定部１０３は、実行所要時間が長いか否かを判定する（ステップＳＴ７０２）。
応答文決定部１０４は、ステップＳＴ７０２において時間判定部１０３により実行所要時間が長いと判定された場合、ステップＳＴ７０１にて機器機能情報取得部１０１が取得した機器機能情報に基づき、第１応答文を決定する（ステップＳＴ７０３）。
応答文決定部１０４は、決定した第１応答文の情報を、出力制御部１０５に出力する。
【００４７】
出力制御部１０５は、ステップＳＴ７０３にて応答文決定部１０４が決定した第１応答文を示す情報を出力する（ステップＳＴ７０４）。
音声出力装置４２は、応答文決定部１０４から第１応答文を示す情報が出力されると、第１応答文を音声出力する。
【００４８】
実施の形態１に係る機器制御装置１の応答出力部１００およびコマンド制御部２００の動作について、詳細に説明する。
機器制御装置１において、応答出力部１００の動作とコマンド制御部２００の動作とは、並行して実施される。
まず、応答出力部１００の動作について、詳細に説明する。
図８は、実施の形態１に係る機器制御装置１の応答出力部１００の動作について、詳細に説明するためのフローチャートである。
なお、図８を用いた以下の動作説明では、一例として、時間判定部１０３が、第１経過時間との比較に用いる第１目標時間は、「ｎ１秒」とする。
【００４９】
時間計測部１０２は、第１経過時間の計測を開始する（ステップＳＴ８０１）。
時間計測部１０２は、第１経過時間を、継続的に時間判定部１０３に出力する。
【００５０】
機器機能情報取得部１０１は、音声操作装置３００の機器機能判定部３０４から出力された機器機能情報を取得する（ステップＳＴ８０２）。
機器機能情報取得部１０１は、取得した機器機能情報を、応答文決定部１０４およびコマンド制御部２００に出力する。
【００５１】
時間計測部１０２は、機能コマンドが出力されたか否かを判定する（ステップＳＴ８０３）。具体的には、時間計測部１０２は、機能コマンド出力部２０２から機能コマンドを対象機器に出力した旨の情報を取得したか否かを判定する。
ステップＳＴ８０３において、時間計測部１０２が、機能コマンドが出力されたと判定した場合（ステップＳＴ８０３の“ＹＥＳ”の場合）、時間計測部１０２は、第１経過時間の計測を終了し、応答出力部１００は処理を終了する。なお、応答出力部１００は、実行通知受付部１０７が対象機器から送信された実行完了通知を受け付け、出力制御部１０５が実行応答を示す情報を出力した後、処理終了する。
【００５２】
ステップＳＴ８０３において、時間計測部１０２が、機能コマンドが未だ出力されていないと判定した場合（ステップＳＴ８０３の“ＮＯ”の場合）、時間判定部１０３は、第１経過時間がｎ１秒を超えたか否かを判定する（ステップＳＴ８０４）。
ステップＳＴ８０４において、時間判定部１０３が、第１経過時間がｎ１秒を超えていないと判定した場合（ステップＳＴ８０４の”ＮＯ”の場合）、時間判定部１０３は、実行所要時間が長くないと判定し、ステップＳＴ８０３に戻る。
ステップＳＴ８０４において、時間判定部１０３が、第１経過時間がｎ１秒を超えたと判定した場合（ステップＳＴ８０４の”ＹＥＳ”の場合）、時間判定部１０３は、実行所要時間が長いと判定し、機能実行遅延情報を、応答文決定部１０４に出力する。
【００５３】
応答文決定部１０４は、ステップＳＴ８０４にて時間判定部１０３から機能実行遅延情報が出力されると、ステップＳＴ８０２にて機器機能情報取得部１０１が取得した機器機能情報に基づき、第１応答文を決定する（ステップＳＴ８０５）。
応答文決定部１０４は、決定した第１応答文の情報を、出力制御部１０５に出力する。
【００５４】
出力制御部１０５は、ステップＳＴ８０５にて応答文決定部１０４が決定した第１応答文を示す情報を、音声出力装置４２に出力する（ステップＳＴ８０６）。
【００５５】
次に、コマンド制御部２００の動作について、詳細に説明する。
図９は、実施の形態１に係る機器制御装置１のコマンド制御部２００の動作について詳細に説明するためのフローチャートである。
【００５６】
機能コマンド生成部２０１は、機器機能情報取得部１０１から機器機能情報を取得し、機能コマンドの生成を開始する（ステップＳＴ９０１）。
【００５７】
機能コマンド出力部２０２は、機能コマンドが準備できたか否かを判定する（ステップＳＴ９０２）。具体的には、機能コマンド出力部２０２は、機能コマンド生成部２０１から、当該機能コマンド生成部２０１が生成した機能コマンドが出力されたか否かを判定する。
【００５８】
ステップＳＴ９０２において、機能コマンドが準備できていない場合（ステップＳＴ９０２の”ＮＯ”の場合）、機能コマンド出力部２０２は、機能コマンドが準備できるまで待機する。
ステップＳＴ９０２において、機能コマンドが準備できた場合（ステップＳＴ９０２の”ＹＥＳ”の場合）、機能コマンド出力部２０２は、機能コマンド生成部２０１が生成した機能コマンドを対象機器に出力する（ステップＳＴ９０３）。
【００５９】
図１０は、実施の形態１に係る機器制御装置１が、図８および図９で説明した動作を行い、実行所要時間が長いと判定した場合に、音声出力装置４２から第１応答文を音声出力させるまでの時間の流れのイメージを示した図である。
【００６０】
以上のように、機器制御装置１は、第１経過時間が第１目標時間を超えた場合、第１応答文を示す情報を出力するようにした。すなわち、機器制御装置１は、発話音声が取得されてから、機能コマンド出力部２０２が機能コマンドを出力するまでに、第１目標時間が経過した場合、時間判定部１０３が、実行所要時間が長いと判定し、出力制御部１０５が、応答文決定部１０４が決定した第１応答文を示す情報を、音声出力装置４２に出力するようにした。
【００６１】
機器制御装置１においては、上述のとおり、機能コマンドの生成処理に時間を要する場合があること等により、機能コマンド生成部２０１が機能コマンドを生成するまでに時間を要することがある。そのため、実行所要時間が長くかかる場合がある。そうすると、ユーザは、発話によって指示した、対象機器による対象機能が実行されるまでの待ち時間が長く感じられることになる可能性がある。
これに対し、機器制御装置１は、上述のとおり、発話音声が取得されてから、機能コマンド出力部２０２が機能コマンドを出力するまでの間に、第１目標時間が経過した場合、時間判定部１０３が、実行所要時間が長いと判定し、出力制御部１０５が、応答文決定部１０４が決定した第１応答文を音声出力装置４２に出力するようにした。
その結果、ユーザが発話によって対象機器による対象機能の実行を指示した際、実行所要時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識することができる。
【００６２】
以上のように、実施の形態１によれば、機器制御装置１は、音声認識結果に基づいて判定された、対象機器および当該対象機器に実行させる対象機能、が対応付けられた機器機能情報を取得する機器機能情報取得部１０１と、発話から対象機能の実行までの時間が長いか否かを判定する時間判定部１０３と、時間判定部１０３が、発話から対象機能の実行までの時間が長いと判定した場合に、機器機能情報取得部１０１が取得した機器機能情報に基づき、対象機器に関連する第１応答文を決定する応答文決定部１０４と、応答文決定部１０４が決定した第１応答文を示す情報を出力する出力制御部１０５と備えるように構成した。そのため、ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識することができる。
【００６３】
実施の形態２．
実施の形態１では、機器制御装置１において、機能コマンド出力部２０２は、機能コマンド生成部２０１が機能コマンドの生成を完了するまで、当該機能コマンドの出力を待機していた。
実施の形態２では、機能コマンド出力部２０２は、機能コマンド生成部２０１が機能コマンドの生成を完了しても、音声出力装置４２にて、出力制御部１０５が出力した第１応答文を示す情報に基づく第１応答文の音声出力を完了していなければ、当該機能コマンドの出力を保留する実施の形態について説明する。
【００６４】
実施の形態２に係る機器制御装置１を備えた機器制御システム１０００の構成は、実施の形態１において図１を用いて説明した機器制御システム１０００の構成と同様であるため、重複した説明を省略する。
また、実施の形態２に係る機器制御装置１の構成は、実施の形態１において図２〜図４を用いて説明した構成と同様であるため、重複した説明を省略する。
ただし、実施の形態２に係る機器制御装置１は、出力制御部１０５および機能コマンド出力部２０２の動作が、実施の形態１に係る機器制御装置１の出力制御部１０５および機能コマンド出力部２０２の動作と異なる。
【００６５】
図１１は、実施の形態２に係る機器制御装置１の構成例を示す図である。
図１１に示すように、出力制御部１０５は、第１応答文を示す情報、および、実行応答を示す情報を、音声出力装置４２に出力するとともに、第１応答文を示す情報を出力した場合は、第１応答文を示す情報を出力した旨の情報を、機能コマンド出力部２０２に出力する。また、出力制御部１０５は、音声出力装置４２にて第１応答文の音声出力を完了した旨の第１応答文出力完了通知を、機能コマンド出力部２０２に出力する。
出力制御部１０５は、音声出力装置４２にて第１応答文の音声出力を完了したことを、例えば、音声出力装置４２に出力した第１応答文に示す情報に基づいて判断すればよい。具体的には、出力制御部１０５は、例えば、第１応答文の長さによって、当該第１応答文の音声出力に要する時間を算出する。出力制御部１０５は、音声出力装置４２に対して第１応答文を示す情報を出力した時刻から、算出した、第１応答文の音声出力に要する時間を足した時刻を、音声出力装置４２にて第１応答文の音声出力を完了した時刻とする。そして、出力制御部１０５は、当該時刻になると、第１応答文出力完了通知を、機能コマンド出力部２０２に出力する。
また、例えば、音声出力装置４２が、第１応答文の音声出力を完了した際に、その旨を機器制御装置１に通知する機能を有している場合、出力制御部１０５は、機器制御装置１にて、音声出力装置４２から当該通知を取得した時刻を、音声出力装置４２にて第１応答文の音声出力を完了した時刻と判断してもよい。出力制御部１０５は、機器制御装置１が、音声出力装置４２から上記通知を取得すると、第１応答文出力完了通知を、機能コマンド出力部２０２に出力する。
【００６６】
機能コマンド出力部２０２は、機能コマンド生成部２０１が生成した機能コマンドを出力する際、当該機能コマンドを出力するよりも前に出力制御部１０５が音声出力装置４２に第１応答文を示す情報を出力しており、かつ、音声出力装置４２にて、当該第１応答文を示す情報に基づく第１応答文の音声出力が完了していない場合、当該第１応答文の音声出力が完了するまで、機能コマンドの送信を保留する。
機能コマンド出力部２０２は、出力制御部１０５から、第１応答文を示す情報を出力した旨の情報を取得したか否かによって、出力制御部１０５が第１応答文を示す情報を出力したか否かを判定すればよい。
また、機能コマンド出力部２０２は、音声出力装置４２にて、出力制御部１０５が出力した第１応答文を示す情報に基づく当該第１応答文の音声出力が完了したか否かを、出力制御部１０５から出力される第１応答文出力完了通知に基づいて判定すればよい。具体的には、機能コマンド出力部２０２は、出力制御部１０５から第１応答文出力完了通知が出力されていれば、第１応答文の音声出力が完了したと判定し、出力制御部１０５から第１応答文出力完了通知が出力されていなければ、第１応答文の音声出力は完了していないと判定する。
【００６７】
実施の形態２に係る機器制御装置１のコマンド制御部２００の動作について、詳細に説明する。
なお、実施の形態２に係る機器制御装置１の基本的な動作は、実施の形態１にて図７のフローチャートを用いて説明した、機器制御装置１の基本的な動作と同様であるため、重複した説明を省略する。また、実施の形態２に係る機器制御装置１の応答出力部１００の詳細な動作は、実施の形態１において図８を用いて説明した応答出力部１００の詳細な動作と同様であるため、重複した説明を省略する。
図１２は、実施の形態２に係る機器制御装置１のコマンド制御部２００の動作について、詳細に説明するためのフローチャートである。
図１２のステップＳＴ１２０１〜ステップＳＴ１２０２、ステップＳＴ１２０５の具体的な動作は、それぞれ、実施の形態１にて説明した、図９のステップＳＴ９０１〜ステップＳＴ９０２、ステップＳＴ９０５の具体的な動作と同様であるため、重複した説明を省略する。
【００６８】
ステップＳＴ１２０２において機能コマンド生成部２０１によって機能コマンドが準備できた場合（ステップＳＴ１２０２の”ＹＥＳ”の場合）、機能コマンド生成部２０１は、出力制御部１０５が既に音声出力装置４２に第１応答文を示す情報を出力しているか否かを判定する（ステップＳＴ１２０３）。
ステップＳＴ１２０３において、機能コマンド生成部２０１が、出力制御部１０５は未だ第１応答文を示す情報を出力していないと判定した場合（ステップ１２０３の”ＮＯ”の場合）、機器制御装置１はステップＳＴ１２０５の処理に進む。
【００６９】
ステップＳＴ１２０３において、機能コマンド生成部２０１が、出力制御部１０５が既に第１応答文を示す情報を出力していると判定した場合（ステップＳＴ１２０３の”ＹＥＳ”の場合）、出力制御部１０５は、音声出力装置４２にて、当該第１応答文を示す情報に基づく第１応答文の音声出力が完了したか否かを判定する（ステップＳＴ１２０４）。
【００７０】
ステップＳＴ１２０４において、第１応答文の音声出力が完了していないと判定した場合（ステップＳＴ１２０４の”ＮＯ”の場合）、機能コマンド生成部２０１は、第１応答文の音声出力が完了するまで待機し、機能コマンドの出力を保留する。
【００７１】
ステップＳＴ１２０４において、第１応答文の音声出力が完了していると判定した場合（ステップＳＴ１２０４の“ＹＥＳ”の場合）、機能コマンド生成部２０１は、機能コマンドを出力する（ステップＳＴ１２０５）。
【００７２】
図１３は、実施の形態２に係る機器制御装置１が、図８および図１２で説明した動作を行い、第１応答文の音声出力が完了するまで機能コマンドの出力を保留した場合の、時間の流れのイメージを示した図である。
機器制御装置１が第１応答文を示す情報を出力した場合、音声出力装置４２では第１応答文が音声出力される。このとき、第１応答文の音声出力が完了するよりも前に対象機器において対象機能が実行され、機器制御装置１から実行応答が出力されると、音声出力装置４２では、例えば、第１応答文の音声出力が中断されてしまう可能性がある。
これに対し、実施の形態２に係る機器制御装置１は、機能コマンドを出力する際、当該機能コマンドを出力するよりも前に音声出力装置４２に第１応答文を示す情報を出力しており、かつ、音声出力装置４２にて、当該第１応答文を示す情報に基づく第１応答文の音声出力が完了していない場合、当該第１応答文の音声出力が完了するまで、機能コマンドの出力を保留するようにした。これにより、機器制御装置１は、音声出力装置４２に対して第１応答文を音声出力させた場合、当該第１応答文の音声出力が中断されることがないようにすることができる。
【００７３】
以上のように、実施の形態２によれば、機器制御装置１は、出力制御部１０５が第１応答文を示す情報を出力後、機能コマンド生成部２０１が機能コマンドの生成を完了した場合、機能コマンド出力部２０２は、出力制御部１０５が出力した第１応答文を示す情報に基づく当該第１応答文の音声出力が完了していなければ、当該第１応答文の音声出力を完了するまで、機能コマンドの出力を保留するように構成した。そのため、機器制御装置１は、発話から機器による機能実行までの時間が長い場合に出力させた第１応答文の音声出力が中断されないようにすることができる。
【００７４】
実施の形態３．
実施の形態１では、機器制御装置１において、機能コマンドが対象機器に出力されるまで第１経過時間を計測し、当該第１経過時間が第１目標時間を超えた場合、第１応答文を示す情報を出力するようにしていた。
実施の形態３では、機器制御装置１が、機能コマンドに基づき対象機器が対象機能の実行を完了するまで、音声取得時刻からの経過時間を計測し、当該経過時間が予め設定された時間を超えた場合に、第１応答文を示す情報を出力する実施の形態について説明する。
【００７５】
実施の形態３に係る機器制御装置１を備えた機器制御システム１０００の構成は、実施の形態１において図１を用いて説明した機器制御システム１０００の構成と同様であるため、重複した説明を省略する。
また、実施の形態３に係る機器制御装置１の構成は、実施の形態１において図２〜図４を用いて説明した構成と同様であるため、重複した説明を省略する。
ただし、実施の形態３に係る機器制御装置１は、時間計測部１０２、時間判定部１０３、実行通知受付部１０７、および、機能コマンド出力部２０２の動作が、実施の形態１に係る機器制御装置１の時間計測部１０２、時間判定部１０３、実行通知受付部１０７、および、機能コマンド出力部２０２の動作と異なる。
【００７６】
図１４は、実施の形態３に係る機器制御装置１の構成例を示す図である。
図１４に示すように、実行通知受付部１０７は、対象機器である家電機器５から実行完了通知を受け付けると、実行完了通知を受け付けた旨の情報を、出力制御部１０５に出力するとともに、時間計測部１０２にも出力する。
機能コマンド出力部２０２は、機能コマンドを対象機器に出力した旨の情報を、時間計測部１０２に出力する必要はない。
【００７７】
時間計測部１０２は、音声取得時刻からの経過時間（以下「第２経過時間」という。）を計測する。音声取得時刻については、実施の形態１において説明済みであるため、詳細な説明を省略する。
実施の形態３において、時間計測部１０２は、第２経過時間を、実行通知受付部１０７が対象機器から実行完了通知を受け付けるまで計測し続ける。時間計測部１０２は、実行通知受付部１０７が対象機器から実行完了通知を受け付けた旨の情報を、実行通知受付部１０７から取得することができる。時間計測部１０２は、実行通知受付部１０７から、実行完了通知を受け付けた旨の情報を取得すると、第２経過時間の計測を終了する。
【００７８】
時間計測部１０２は、第２経過時間を、継続的に時間判定部１０３に出力する。時間計測部１０２は、実行通知受付部１０７から、実行完了通知を受け付けた旨の情報を取得すると、第２経過時間の出力を停止する。
【００７９】
時間判定部１０３は、実行所要時間が長いか否かを判定する。具体的には、時間判定部１０３は、時間計測部１０２から取得した第２経過時間が予め設定された時間（以下「第２目標時間」という。）を超えたか否かを判定する。第２目標時間には、例えば、発話から対象機能が実行されるまでの間に対象機器等から何の応答もない場合に、「待たされている」とユーザが感じると推測される時間よりも一定程度短い時間が、予め設定されている。実施の形態３では、第２目標時間は、第１目標時間よりも長い時間を想定しているが、第２目標時間は、第１目標時間と同じ長さの時間であってもよい。
時間判定部１０３は、例えば、時間計測部１０２から第２経過時間が出力される度に、上記判定を行う。
【００８０】
第２経過時間が第２目標時間を超えた場合、時間判定部１０３は、実行所要時間が長いと判定する。上述のとおり、時間計測部１０２は、実行通知受付部１０７から、実行完了通知を受け付けた旨の情報を取得すると、第２経過時間の計測を終了する。第２経過時間が第２目標時間を超えた状態は、発話音声が取得されてから、実行通知受付部１０７が対象機器から実行完了通知を受け付けるまでの間に既に第２目標時間が経過してしまった状態を意味する。例えば、ユーザに「待たされている」と感じさせないためには、この状態が判定された後、すみやかに音声出力装置４２等から第１応答文を出力する必要がある。
【００８１】
一方、第２経過時間が第２目標時間を超えていない場合、時間判定部１０３は、実行所要時間が長くないと判定する。第２経過時間が第２目標時間を超えていない状態は、発話音声が取得されてから、実行通知受付部１０７が対象機器から実行完了通知を受け付けるまでの間において、未だ第２目標時間が経過していない状態を意味する。
【００８２】
時間判定部１０３は、実行所要時間が長いと判定した場合、実行所要時間が長いと判定した旨の情報（以下「機能実行遅延情報」という。）を、応答文決定部１０４に出力する。
【００８３】
実施の形態３に係る機器制御装置１の応答出力部１００の動作について、詳細に説明する。
なお、実施の形態３に係る機器制御装置１の基本的な動作は、実施の形態１にて図７のフローチャートを用いて説明した、機器制御装置１の基本的な動作と同様であるため、重複した説明を省略する。また、実施の形態３に係る機器制御装置１のコマンド制御部２００の詳細な動作は、実施の形態１において図９を用いて説明したコマンド制御部２００の詳細な動作と同様であるため、重複した説明を省略する。
【００８４】
図１５は、実施の形態３に係る機器制御装置１の応答出力部１００の動作について、詳細に説明するためのフローチャートである。なお、図１５を用いた以下の動作説明では、一例として、時間判定部１０３が、第２経過時間との比較に用いる第２目標時間は、「ｎ２秒」とする。
図１５のステップＳＴ１５０１〜ステップＳＴ１５０２、ステップＳＴ１５０５〜ステップＳＴ１５０６の具体的な動作は、それぞれ、実施の形態１にて説明した、図８のステップＳＴ８０１〜ステップＳＴ８０２、ステップＳＴ８０５〜ステップＳＴ８０６の具体的な動作と同様であるため、重複した説明を省略する。
【００８５】
時間計測部１０２は、対象機器にて対象機能の実行が完了したか否かを判定する（ステップＳＴ１５０３）。具体的には、時間計測部１０２は、実行通知受付部１０７から、実行完了通知を受け付けた旨の情報を取得したか否かを判定する。
ステップＳＴ１５０３において、時間計測部１０２が、対象機器にて対象機能の実行が完了したと判定した場合（ステップＳＴ１５０３の“ＹＥＳ”の場合）、時間計測部１０２は、第２経過時間の計測を終了し、応答出力部１００は処理を終了する。なお、応答出力部１００は、実行通知受付部１０７が対象機器から送信された実行完了通知を受け付け、出力制御部１０５が実行応答を示す情報を出力した後、処理終了する。
【００８６】
ステップＳＴ１５０３において、時間計測部１０２が、対象機器にて対象機能の実行が未だ完了していないと判定した場合（ステップＳＴ１５０３の“ＮＯ”の場合）、時間判定部１０３は、第２経過時間がｎ２秒を超えたか否かを判定する（ステップＳＴ１５０４）。
ステップＳＴ１５０４において、時間判定部１０３が、第２経過時間がｎ２秒を超えていないと判定した場合（ステップＳＴ１５０４の”ＮＯ”の場合）、時間判定部１０３は、実行所要時間が長くないと判定し、ステップＳＴ１５０３に戻る。
ステップＳＴ１５０４において、時間判定部１０３が、第２経過時間がｎ２秒を超えたと判定した場合（ステップＳＴ１５０４の”ＹＥＳ”の場合）、時間判定部１０３は、実行所要時間が長いと判定し、機能実行遅延情報を、応答文決定部１０４に出力する。
【００８７】
図１６は、実施の形態３に係る機器制御装置１が、図１５および図９で説明した動作を行い、実行所要時間が長いと判定した場合に、音声出力装置４２から第１応答文を音声出力させるまでの時間の流れのイメージを示した図である。
【００８８】
以上のように、機器制御装置１は、第２経過時間が第２目標時間を超えた場合、第１応答文を示す情報を出力するようにした。すなわち、機器制御装置１は、発話音声が取得されてから、実行通知受付部１０７が実行完了通知を受け付けるまでに、第２目標時間が経過した場合、時間判定部１０３が、実行所要時間が長いと判定し、出力制御部１０５が、応答文決定部１０４が決定した第１応答文を示す情報を、音声出力装置４２に出力するようにした。
【００８９】
機器制御装置１において、機能コマンド生成部２０１が機能コマンドを生成するまでに時間を要することに加え、例えば、ネットワーク環境、あるいは、対象機器の処理能力等によって、機器制御装置１が機能コマンドを出力した後、対象機器から実行完了通知を受け付けるまでに、時間を要することがある。これによっても、実行所要時間が長くかかる場合がある。そうすると、ユーザは、発話によって指示した、対象機器による対象機能が実行されるまでの待ち時間が長く感じられる可能性がある。
これに対し、機器制御装置１は、上述のとおり、発話音声が取得されてから、実行通知受付部１０７が対象機器から実行完了通知を受け付けるまでの間に、第２目標時間が経過した場合、時間判定部１０３が、実行所要時間が長いと判定し、出力制御部１０５が、応答文決定部１０４が決定した第１応答文を音声出力装置４２に出力するようにした。
その結果、ユーザが発話によって対象機器による対象機能の実行を指示した際、実行所要時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識することができる。
【００９０】
以上のように、実施の形態３によれば、機器制御装置１において、時間判定部１０３は、時間計測部１０２が計測した第２経過時間が第２目標時間を超えた場合に、発話から対象機能の実行までの時間が長いと判定するようにした。そのため、実施の形態１同様、ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識することができる。
【００９１】
実施の形態４．
実施の形態１では、機器制御装置１において、実行所要時間が長いと判定した場合に出力する、対象機能に関連する応答文を示す情報は、第１応答文を示す情報のみとしていた。
実施の形態４では、機器制御装置１において、実行所要時間が長いと判定した場合に第１応答文を示す情報を出力するとともに、当該第１応答文を示す情報を出力してからの経過時間が長い場合には、新たな応答文（以下「第２応答文」という。）を示す情報を出力する実施の形態について説明する。
【００９２】
実施の形態４に係る機器制御装置１を備えた機器制御システム１０００の構成は、実施の形態１において図１を用いて説明した機器制御システム１０００の構成と同様であるため、重複した説明を省略する。
【００９３】
図１７は、実施の形態４に係る機器制御装置１ａの構成例を示す図である。なお、機器制御装置１ａの概略構成例、および、機器制御装置１ａの音声操作装置３００の構成例は、実施の形態１にて図２および図３を用いて説明した、機器制御装置１の概略構成例、および、機器制御装置１の音声操作装置３００の構成例と同様であるため、重複した説明を省略する。
図１７において、実施の形態１にて図４を用いて説明した、実施の形態１に係る機器制御装置１と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態４に係る機器制御装置１ａは、実施の形態１に係る機器制御装置１とは、応答出力部１００ａが、第１応答文出力後時間計測部１０８と、第１応答文出力後時間判定部１０９を備えた点が異なる。
【００９４】
第１応答文出力後時間計測部１０８は、出力制御部１０５が第１応答文を示す情報を出力してから、現在までの経過時間（以下「第１応答文出力後時間」という。）を計測する。
第１応答文出力後時間計測部１０８は、計測した第１応答文出力後時間の情報を、第１応答文出力後時間判定部１０９に出力する。なお、第１応答文出力後時間計測部１０８は、第１応答文出力後時間を、継続的に第１応答文出力後時間判定部１０９に出力する。
【００９５】
第１応答文出力後時間判定部１０９は、時間計測部１０２から取得した第１応答文出力後時間が予め設定された時間（以下「第３目標時間」という。）を超えたか否かを判定する。
第１応答文出力後時間判定部１０９は、第１応答文出力後時間計測部１０８から取得した第１応答文出力後時間が第３目標時間を超えたか否かによって、第１応答文を示す情報を出力してからの時間が長いか否かを判定する。第３目標時間には、ユーザが、第１応答文が出力された後に経過した場合に「待たされている」とユーザが感じると推測される時間よりも一定程度短い時間が、予め設定されている。第３目標時間は、第１目標時間または第２目標時間と同じ長さの時間であってもよい。
第１応答文出力後時間判定部１０９は、例えば、第１応答文出力後時間計測部１０８から第１応答文出力後時間が出力される度に、上記判定を行う。
【００９６】
第１応答文出力後時間が第３目標時間を超えた状態は、出力制御部１０５から第１応答文を示す情報が出力されてから第３目標時間が経過してしまった状態を意味する。例えば、ユーザに「待たされている」と感じさせないためには、この状態が判定された後、すみやかに音声出力装置４２等から第２応答文を出力する必要がある。
【００９７】
時間判定部１０３は、第１応答文を示す情報を出力してからの時間が長いと判定した場合、第１応答文を示す情報を出力してからの時間が長いと判定した旨の情報（以下「機能実行遅延情報」という。）を、応答文決定部１０４に出力する。
なお、第１応答文出力後時間判定部１０９は、第１応答文出力後時間が第３目標時間を超えていないと判定した場合は、第１応答文を示す情報を出力してからの時間は長くないとし、応答後時間超過情報は出力しない。
【００９８】
応答文決定部１０４は、時間判定部１０３が、実行所要時間が長いと判定した場合に第１応答文を決定するとともに、第１応答文出力後時間判定部１０９が、第１応答文出力後時間が第３目標時間を超えたと判定した場合に、第２応答文を決定する。応答文決定部１０４が第１応答文を決定する方法は、実施の形態１にて説明済みであるため、重複した説明を省略する。
応答文決定部１０４は、予め生成され、応答ＤＢ１０６に記憶されている、第２応答文情報に基づき、第２応答文を決定する。実施の形態４において、応答文決定部１０４が第２応答文を決定する際に参照する応答文情報を、「第２応答文情報」という。
【００９９】
ここで、図１８は、実施の形態１において、応答文決定部１０４が第２応答文を決定する際に参照する第２応答文情報の内容の一例を説明するための図である。
第２応答文情報は、機器機能情報と、第２応答文となり得る第２応答文候補とが対応付けて定義された情報である。なお、図１８では、わかりやすさのため、ユーザが発話した内容（図１８の「発話内容」の欄を参照）を、機器機能情報と対応付けて示すようにしている。図１８に示すように、第２応答文情報において、例えば、１つの機器機能情報に対して、発話した内容に関する応答文、実行される機能に関する応答文、操作方法に関する応答文、豆知識に関する応答文、または、謝罪メッセージが、第２応答文候補として対応付けられ得る。
応答文決定部１０４は、第２応答文情報において、機器機能情報取得部１０１が取得した機器機能情報と対応付けられている第２応答文候補から、第２応答文を決定する。応答文決定部１０４は、適宜の方法で、第２応答文を決定すればよい。ただし、応答文決定部１０４は、第２応答文を「お時間をおかけしてすみません」というような謝罪メッセージとしない場合は、出力済の第１応答文と対応する内容の第２応答文候補を、第２応答文に決定することが好ましい。ここでいう出力済の第１応答文とは、第１応答文出力後時間判定部１０９が、第１応答文出力後時間が第３目標時間を超えたと判定した、第１応答文を示す情報で特定される第１応答文である。応答文決定部１０４は、出力済の第１応答文の情報を、例えば、出力制御部１０５から、第１応答文出力後時間計測部１０８および第１応答文出力後時間判定部１０９を介して、取得すればよい。また、応答文決定部１０４は、第１応答文と対応する第２応答文候補を、第２応答文情報と、図５を用いて説明した第１応答文情報とを突き合わせることで、特定すればよい。
【０１００】
具体例を挙げると、例えば、応答文決定部１０４は、図５に示されているような応答文情報に基づき、「ただいま切り身モードを準備しています」を第１応答文に決定し、出力制御部１０５は、当該「ただいま切り身モードを準備しています」を示す情報を出力したとする。その後、出力制御部１０５が「ただいま切り身モードを準備しています」を示す情報を出力してから、第３目標時間が経過したとする。この場合、応答文決定部１０４は、図１８に示されているような第２応答文情報に基づき、「ただいま切り身モードを準備します」と同じ、発話した内容に関する応答文である、「焼き色は前回と同じ標準に設定します」を、第２応答文に決定する。
【０１０１】
なお、ここでは、応答ＤＢ１０６には、図５に示すような第１応答文情報と、図１８に示すような第２応答文情報とが、別々に記憶されているものとしたが、これは一例に過ぎず、第１応答文情報に、第２応答文情報の内容が含まれ、１つの応答文情報として、応答ＤＢ１０６に記憶されているものとしてもよい。この場合、応答文決定部１０４は、当該１つの応答文情報に基づき、第２応答文を決定すればよい。
また、図１８に示した第２応答文情報の内容は一例に過ぎない。第２応答文情報において、１つの機器機能情報に対応付けられている第２応答文候補は１つのみであってもよいし、第２応答文候補は、発話した内容に関する応答文、実行される機能に関する応答文、操作方法に関する応答文、豆知識に関する応答文、または、謝罪メッセージ以外の応答文であってもよい。第２応答文情報において、１つの機器機能情報に対する第２応答文候補として、対象機器に関連する１つ以上の第２応答文、または、謝罪メッセージが、定義されていればよい。また、機器機能情報に音声認識結果を含める場合、応答ＤＢ１０６に記憶される第２応答文情報は、音声認識結果と第２応答文となり得る第２応答文候補とが対応付けて定義された情報を含むものとしてもよい。その場合、応答文決定部１０４は、音声認識結果と対応付けられている第２応答文候補からも、第２応答文を決定することができる。
応答文決定部１０４は、決定した第２応答文の情報を、出力制御部１０５に出力する。
【０１０２】
出力制御部１０５は、応答文決定部１０４から第２応答文の情報が出力されると、当該第２応答文を示す情報を、音声出力装置４２に出力する。
音声出力装置４２は、出力制御部１０５から第２応答文を示す情報が出力されると、当該第２応答文を示す情報に従い、第２応答文を音声出力する。
なお、上述した、出力制御部１０５は、上述した、第２応答文を示す情報を出力する以外に、実施の形態１にて説明済みの、第１出力部を示す情報の出力、および、実行応答を示す情報の出力を行う。
【０１０３】
実施の形態４に係る機器制御装置１ａの応答出力部１００ａの動作について、詳細に説明する。
なお、実施の形態４に係る機器制御装置１ａの基本的な動作は、実施の形態１にて図７のフローチャートを用いて説明した、機器制御装置１の基本的な動作と同様であるため、重複した説明を省略する。また、実施の形態４に係る機器制御装置１ａのコマンド制御部２００の詳細な動作は、実施の形態１において図９を用いて説明したコマンド制御部２００の詳細な動作と同様であるため、重複した説明を省略する。
図１９は、実施の形態４に係る機器制御装置１ａの応答出力部１００ａの詳細な動作を説明するためのフローチャートである。なお、図１９を用いた以下の動作説明では、一例として、第１応答文出力後時間判定部１０９が、第１応答文出力後時間との比較に用いる第３目標時間は、「ｎ３秒」とする。
図１９のステップＳＴ１９０１〜ステップＳＴ１９０６の具体的な動作は、それぞれ、実施の形態１にて説明した、図８のステップＳＴ８０１〜ステップＳＴ８０６の具体的な動作と同様であるため、重複した説明を省略する。
【０１０４】
ステップＳＴ１９０６にて出力制御部１０５が第１応答文を示す情報を出力すると、第１応答文出力後時間計測部１０８は、第１応答文出力後時間の計測を開始する（ステップＳＴ１９０７）。
【０１０５】
第１応答文出力後時間判定部１０９は、第１応答文出力後時間がｎ３秒を超えたか否かを判定する（ステップＳＴ１９０８）。
ステップＳＴ１９０８において、第１応答文出力後時間判定部１０９が、第１応答文出力後時間がｎ３秒を超えていないと判定した場合（ステップＳＴ１９０８の”ＮＯ”の場合）、第１応答文出力後時間判定部１０９は、ステップＳＴ１９０８の処理を繰り返す。
ステップＳＴ１９０８において、第１応答文出力後時間判定部１０９が、第１応答文出力後時間がｎ３秒を超えたと判定した場合（ステップＳＴ１９０８の”ＹＥＳ”の場合）、第１応答文出力後時間判定部１０９は、第１応答文を示す情報が出力されてからの時間が長いと判定し、応答後時間超過情報を、応答文決定部１０４に出力する。
【０１０６】
応答文決定部１０４は、ステップＳＴ１９０８にて第１応答文出力後時間判定部１０９から応答後時間超過情報が出力されると、第２応答文を決定する（ステップＳＴ１９０９）。
応答文決定部１０４は、決定した第２応答文の情報を、出力制御部１０５に出力する。
【０１０７】
出力制御部１０５は、ステップＳＴ１９０９にて応答文決定部１０４が決定した第２応答文を示す情報を音声出力装置４２に出力する（ステップＳＴ１９１０）。
音声出力装置４２は、出力制御部１０５から出力された第２応答文を示す情報に従い、第２応答文を音声出力する。
【０１０８】
図２０は、実施の形態４に係る機器制御装置１ａが、図１９および図９で説明した動作を行い、第１応答文を示す情報を出力してからの時間が長いと判定した場合に、音声出力装置４２から第２応答文を音声出力させるまでの時間の流れのイメージを示した図である。
【０１０９】
以上のように、機器制御装置１ａは、第１応答文出力後時間が第３目標時間を超えた場合、第２応答文を示す情報を出力するようにした。すなわち、機器制御装置１ａは、第１応答文を示す情報が出力されてから、第３目標時間が経過した場合、第１応答文出力後時間判定部１０９が、第１応答文を示す情報を出力してからの時間が長いと判定し、出力制御部１０５が、応答文決定部１０４が決定した第２応答文を示す情報を、音声出力装置４２に出力するようにした。
これにより、第１応答文が出力されてもなおユーザが「待たされている」と感じると推測される場合に、音声出力装置４２から第２応答文が音声出力されるようになり、機器制御装置１ａは、第１応答文のみを音声出力させる場合と比べ、ユーザが、「待たされている」と感じる可能性をより低減することができる。
【０１１０】
以上のように、実施の形態４によれば、機器制御装置１ａは、出力制御部１０５が第１応答文を示す情報を出力してからの第１応答文出力後時間を計測する第１応答文出力後時間計測部１０８と、第１応答文出力後時間計測部１０８が計測した第１応答文出力後時間が第３目標時間を超えたか否かを判定する第１応答文出力後時間判定部１０９を備え、応答文決定部１０４は、第１応答文出力後時間判定部１０９が、第１応答文出力後時間は第３目標時間を超えたと判定した場合、第２応答文を決定し、出力制御部１０５は、第１応答文を示す情報に加え、応答文決定部１０４が決定した第２応答文を示す情報を出力するように構成した。そのため、機器制御装置１ａは、第１応答文を示す情報のみを出力する場合と比べ、ユーザが、「待たされている」と感じる可能性をより低減することができる。
【０１１１】
実施の形態５．
実施の形態１では、第１経過時間を計測する機能を備え、当該第１経過時間が第１目標時間を超えたか否かによって、実行所要時間が長いか否かを判定していた。
実施の形態５では、音声取得時刻から、対象機器に機能コマンドを出力するまでの経過時間を予測する機能を備え、予測した経過時間に基づいて、実行所要時間が長いか否かを判定する実施の形態を説明する。
【０１１２】
実施の形態５に係る機器制御装置１ｂを備えた機器制御システム１０００の構成は、実施の形態１において図１を用いて説明した機器制御システム１０００の構成と同様であるため、重複した説明を省略する。
【０１１３】
図２１は、実施の形態５に係る機器制御装置１ｂの構成例を示す図である。なお、機器制御装置１ｂの概略構成例、および、機器制御装置１ｂの音声操作装置３００の構成例は、実施の形態１にて図２および図３を用いて説明した、機器制御装置１の概略構成例、および、機器制御装置１の音声操作装置３００の構成例と同様であるため、重複した説明を省略する。
図２１において、実施の形態１に係る機器制御装置１と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態５に係る機器制御装置１ｂは、実施の形態１に係る機器制御装置１とは、応答出力部１００ｂが、時間計測部１０２に代えて、予測部１１０を備えた点が異なる。
なお、実施の形態５においては、音声操作装置３００の音声取得部３０１は、取得した発話音声を、予測部１１０に出力する。
【０１１４】
予測部１１０は、音声取得時刻から対象機能の実行までの経過時間を予測する。具体的には、予測部１１０は、音声取得時刻から、機能コマンド出力部２０２が機能コマンドを出力するまでの経過時間（以下「第１予測経過時間」とする。）を予測する。音声取得時刻については、実施の形態１において説明済みであるため、重複した説明を省略する。
【０１１５】
予測部１１０は、音声取得時刻を音声取得部３０１から取得することができる。例えば、音声取得部３０１は、発話音声に音声取得時刻を示す情報を付加して、当該発話音声を予測部１１０に出力すればよい。
また、実施の形態５において、音声取得時刻は、予測部１１０が音声取得部３０１から発話音声を取得した時刻としてもよい。
例えば、記憶部には、過去に、音声取得時刻から、機能コマンド出力部２０２が機能コマンドを出力するまでに要した時間の実績が、発話音声毎に、履歴として記憶されているものとする。
予測部１１０は、音声取得部３０１から取得した発話音声と、音声取得時刻と、記憶部に記憶されている履歴に基づき、第１予測経過時間を予測する。
予測部１１０は、予測した第１予測経過時間の情報を、時間判定部１０３に出力する。
【０１１６】
時間判定部１０３は、実行所要時間が長いか否かを判定する。具体的には、時間判定部１０３は、予測部１１０から取得した第１予測経過時間の情報が、予め設定された時間（以下「第４目標時間」という。）を超えているか否かを判定する。第４目標時間には、例えば、発話から対象機能が実行されるまでの間に対象機器等から何の応答もない場合に、「待たされている」とユーザが感じると推測される時間よりも一定程度短い時間が、予め設定されている。
【０１１７】
第１予測経過時間が第４目標時間を超えている場合、時間判定部１０３は、実行所要時間が長いと判定する。第１予測経過時間が第４目標時間を超えている状態は、発話音声が取得されてから機能コマンド出力部２０２が機能コマンドを対象機器に出力するまでに、第４目標時間が経過してしまうと予測される状態を意味する。例えば、ユーザに「待たされている」と感じさせないためには、この状態が判定された後、すみやかに音声出力装置４２等から第１応答文を出力する必要がある。
【０１１８】
一方、第１予測経過時間が第４目標時間を超えていない場合、時間判定部１０３は、実行所要時間が長くないと判定する。第１予測経過時間が第４目標時間を超えていない状態は、発話音声が取得されてから機能コマンド出力部２０２が機能コマンドを対象機器に出力するまでにおいて、第４目標時間が経過しないと予測される状態を意味する。
【０１１９】
時間判定部１０３は、実行所要時間が長いと判定した場合、機能実行遅延情報を、応答文決定部１０４に出力する。
【０１２０】
応答文決定部１０４は、時間判定部１０３が、実行所要時間が長いと判定した場合に、機器機能情報取得部１０１が取得した機器機能情報に基づき、予測部１１０が予測した第１予測経過時間に応じた長さの第１応答文を決定する。
応答文決定部１０４は、予め生成され、応答ＤＢ１０６に記憶されている、第１応答文情報に基づき、第１応答文を決定する。実施の形態５では、応答ＤＢ１０６に記憶されている第１応答文情報の内容が、実施の形態１にて応答ＤＢ１０６に記憶されているとした第１応答文情報の内容（図５参照）とは異なる。
【０１２１】
ここで、図２２は、実施の形態５において、応答文決定部１０４が第１応答文を決定する際に参照する第１応答文情報の内容の一例を説明するための図である。
実施の形態５では、第１応答文情報は、機器機能情報と、第１応答文となり得る第１応答文候補とが対応付けて定義された情報であり、当該第１応答文候補が、第１予測経過時間に応じて定義されている。なお、図２２では、わかりやすさのため、ユーザが発話した内容（図２２の「発話内容」の欄を参照）を、機器機能情報と対応付けて示すようにしている。図２２に示すように、第１応答文情報において、例えば、１つの機器機能情報に対して、発話した内容に関する応答文、実行される機能に関する応答文、操作方法に関する応答文、または、豆知識に関する応答文が、第１応答文候補として対応付けられ得る。
応答文決定部１０４は、第１応答文情報において、機器機能情報取得部１０１が取得した機器機能情報と対応付けられている第１応答文候補から、第１予測経過時間に応じた第１応答文を決定する。応答文決定部１０４は、機器機能情報に対応し、第１予測経過時間に応じた第１応答文候補であれば、どの第１応答文候補を第１応答文とするかは、適宜の方法で決定すればよい。
【０１２２】
例えば、機器機能情報取得部１０１が取得した機器機能情報が、「ＩＨクッキングヒータ」の情報と、「魚焼きグリル」、「切り身モード」、および、「火力４」の情報とを対応付けた情報であり、かつ、予測部１１０が予測した第１予測経過時間が５秒である場合、応答文決定部１０４は、「焼き色は前回と同じ標準の焼き色に設定します」を、第１応答文に決定する。
なお、ここでは、上述した例のように、応答文決定部１０４は、例えば第１予測経過時間が５秒である場合、第１応答文情報において、第１予想時間「３〜７秒」に対応する第１応答文候補を第１応答文に決定することとした。しかし、これは一例に過ぎず、応答文決定部１０４は、例えば、第１予測経過時間が５秒である場合、第１応答文情報において、第１予想時間「〜３秒」に対応する第１応答文候補を、「３〜７秒」に対応する第１応答文候補を、あわせて第１応答文候補とするようにしてもよい。すなわち、上述の例でいうと、応答文決定部１０４は、「ただいま切り身モードを準備しています。焼き色は前回と同じ標準の焼き色に設定します」を、第１応答文に決定してもよい。
【０１２３】
また、図２２に示した第１応答文情報の内容は一例に過ぎない。第１応答文情報において、１つの機器機能情報に対応付けられている第１応答文候補は１つのみであってもよいし、第１応答文候補は、発話した内容に関する応答文、実行される機能に関する応答文、操作方法に関する応答文、または、豆知識に関する応答文以外の応答文であってもよい。第１応答文情報において、１つの機器機能情報に対する第１応答文候補として、対象機器に関連する、１つ以上の第１応答文が、定義されていればよい。また、機器機能情報に音声認識結果を含める場合、応答ＤＢ１０６に記憶される第１応答文情報は、音声認識結果と第１応答文となり得る第１応答文候補とが対応付けて定義された情報を含むものとしてもよい。その場合、応答文決定部１０４は、音声認識結果と対応付けられている第１応答文候補からも、第１応答文を決定することができる。
応答文決定部１０４は、決定した第１応答文の情報を、出力制御部１０５に出力する。
【０１２４】
実施の形態５に係る機器制御装置１ｂの応答出力部１００ｂの動作について、詳細に説明する。
なお、実施の形態４に係る機器制御装置１ａの基本的な動作は、実施の形態１にて図７のフローチャートを用いて説明した、機器制御装置１の基本的な動作と同様であるため、重複した説明を省略する。また、実施の形態４に係る機器制御装置１ａのコマンド制御部２００の詳細な動作は、実施の形態１において図９を用いて説明したコマンド制御部２００の詳細な動作と同様であるため、重複した説明を省略する。
【０１２５】
図２３は、実施の形態５に係る機器制御装置１ｂの応答出力部１００ａの詳細な動作を説明するためのフローチャートである。なお、図２３を用いた以下の動作説明では、一例として、時間判定部１０３が、第１予測経過時間との比較に用いる第４目標時間は、「ｎ４秒」とする。
図２３のステップＳＴ２３０２、ステップＳＴ２３０５の具体的な動作は、それぞれ、実施の形態１にて説明した、図８のステップＳＴ８０２、ステップＳＴ８０６の具体的な動作と同様であるため、重複した説明を省略する。
【０１２６】
予測部１１０は、第１予測経過時間を予測する（ステップＳＴ２３０１）。
予測部１１０は、予測した第１予測経過時間の情報を、時間判定部１０３に出力する。
【０１２７】
時間判定部１０３は、第１予測経過時間がｎ４秒を超えているか否かを判定する（ステップＳＴ２３０３）。
ステップＳＴ２３０３において、時間判定部１０３が、第１予測経過時間がｎ４秒を超えていないと判定した場合（ステップＳＴ２３０３の”ＮＯ”の場合）、時間判定部１０３は、実行所要時間が長くないと判定し、応答出力部１００ｂは、処理を終了する。なお、応答出力部１００ｂは、出力制御部１０５が、実行通知受付部１０７が対象機器から出力された実行完了通知を受け付け、出力制御部１０５が実行応答を示す情報を出力した後、処理終了する。
ステップＳＴ２３０３において、時間判定部１０３が、第１予測経過時間がｎ４秒を超えていると判定した場合（ステップＳＴ２３０３の”ＹＥＳ”の場合）、時間判定部１０３は、実行所要時間が長いと判定し、機能実行遅延情報を、応答文決定部１０４に出力する。
【０１２８】
応答文決定部１０４は、ステップＳＴ２３０３にて時間判定部１０３から機能実行遅延情報が出力されると、ステップＳＴ２３０２にて機器機能情報取得部１０１が取得した機器機能情報に基づき、ステップＳＴ２３０１にて予測部１１０が予測した第１予測経過時間に応じた第１応答文を決定する（ステップＳＴ２３０４）。
応答文決定部１０４は、決定した第１応答文の情報を、出力制御部１０５に出力する。
【０１２９】
図２４は、実施の形態５に係る機器制御装置１ｂが、図２３で説明した動作を行い、実行所要時間が長いと判定した場合に、音声出力装置４２に、第１予測経過時間に応じた長さの第１応答文を音声出力させるまでの時間の流れのイメージを示した図である。
【０１３０】
以上のように、機器制御装置１ｂは、第１予測経過時間が第４目標時間を超えた場合、第１予測経過時間に応じた長さの第１応答文を示す情報を出力するようにした。すなわち、機器制御装置１は、発話音声が取得されてから、機能コマンド出力部２０２が機能コマンドを出力するまでの間に、第４目標時間が経過すると予測される場合、時間判定部１０３が、実行所要時間が長いと判定し、出力制御部１０５が、応答文決定部１０４が決定した、第１予測経過時間に応じた長さの第１応答文を示す情報を、音声出力装置４２に出力するようにした。その際、機器制御装置１ｂは、予測された、第１予測経過時間の長さに応じて、決定する第１応答文の長さを変更させるため、ユーザが発話によって対象機器による対象機能の実行を指示した際、実行所要時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識することができるとともに、機器制御装置１ｂは、音声出力装置４２に対して、実行所要時間の長さに関わらず一定の長さの第１応答文を音声出力させる場合よりも、ユーザが待たされていると感じる可能性を、より低減することができる。
【０１３１】
以上の実施の形態５では、予測部１１０が予測する第１予測経過時間は、音声取得時刻から、機能コマンド出力部２０２が機能コマンドを出力するまでの経過時間としたが、これは一例に過ぎない。
例えば、第１予測経過時間は、音声取得時刻から、機能コマンド出力部２０２が出力した機能コマンドが対象機器に到達するまで、としてもよい。また、例えば、第１予測経過時間は、音声取得時刻から、実行通知受付部１０７が、機能コマンド出力部２０２が出力した機能コマンドに対して対象機器から送信される実行完了通知を受け付けるまで、としてもよい。
予測部１１０は、機能コマンドが対象機器に到達するまでに要すると予測される時間、および、対象機器から送信された実行完了通知が実行通知受付部１０７に到達するまでに要すると予測される時間を、既存の技術を用い、インターネット環境に関する情報に基づいて、算出することができる。また、予測部１１０は、予め記憶されている、対象機器での対象機能の処理時間の実績に関する情報に基づき、対象機器が対象機能を実行するのに要すると予測される時間を算出することができる。予測部１１０は、算出可能な上記の各時間に基づいて、第１予測経過時間を予測すればよい。
【０１３２】
また、例えば、予測部１１０は、音声操作装置３００から出力された機器機能情報、言い換えれば、対象機器および対象機能が判定された後の情報、に基づき、対象機器および対象機能が判定された時刻（以下「対象機能判定時刻」という。）から、機能コマンド出力部２０２が機能コマンドを出力するまでの経過時間を、第１予測経過時間として予測するものとしてもよい。
実施の形態５において、例えば、対象機能判定時刻とは、機器機能判定部３０４が機器機能情報を取得した時刻である。予測部１１０は、対象機能判定時刻を機器機能判定部３０４から取得することができる。例えば、機器機能判定部３０４は、機器機能情報に対象機能判定時刻を示す情報を付加して、当該機器機能情報を予測部１１０に出力すればよい。
また、実施の形態１において、対象機能判定時刻は、予測部１１０が機器機能判定部３０４から機器機能情報を取得した時刻としてもよい。
【０１３３】
予測部１１０が、対象機能判定時刻から機能コマンド出力部２０２が機能コマンドを出力するまでの経過時間を第１予測経過時間とし、機器機能情報に基づいて当該第１予測経過時間を予測するようにすれば、予測部１１０は、対象機能を特定した上で当該第１予測経過時間を予測できる。予測部１１０が、対象機能を特定した上で第１予測経過時間を予測すると、音声取得時刻から機能コマンド出力部２０２が機能コマンドを出力するまでの経過時間を第１予測経過時間として当該第１予測経過時間を予測する場合よりも、より正確に当該第１予測経過時間を予測することができる。
このように、予測部１１０は、第１予測経過時間を、音声取得時刻から、機能コマンド出力部２０２が機能コマンドを出力するまでの経過時間としてもよいし、対象機能判定時刻から、機能コマンド出力部２０２が機能コマンドを出力するまでの経過時間としてもよい。
【０１３４】
以上のように、実施の形態５によれば、機器制御装置１ｂは、発話から対象機能の実行までの第１予測経過時間を予測する予測部１１０を備え、時間判定部１０３は、予測部１１０が予測した第１予測経過時間に基づき、発話から対象機能の実行までの時間が長いか否かを判定し、応答文決定部１０４は、時間判定部１０３が、発話から対象機能の実行までの時間が長いと判定した場合に、機器機能情報取得部１０１が取得した機器機能情報に基づき、予測部１１０が予測した第１予測経過時間に応じた長さとした第１応答文を決定するように構成した。そのため、ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識することができるとともに、機器制御装置１ｂは、音声出力装置４２に対して、実行所要時間の長さに関わらず一定の長さの第１応答文を音声出力させる場合よりも、ユーザが待たされていると感じる可能性を、より低減することができる。
【０１３５】
実施の形態６．
実施の形態５では、第１予測経過時間を予測し、予測した第１予測経過時間に基づいて、実行所要時間が長いと判定した場合、当該第１予測経過時間に応じた長さの第１応答文を決定するものとしていた。
実施の形態６では、音声出力装置４２にて、第１予測経過時間に応じた速さで第１応答文を音声出力させるようにした第１応答文を示す情報、を出力する実施の形態を説明する。
【０１３６】
実施の形態６に係る機器制御装置１ｂを備えた機器制御システム１０００の構成は、実施の形態１において図１を用いて説明した機器制御システム１０００の構成と同様であるため、重複した説明を省略する。
【０１３７】
また、実施の形態６に係る機器制御装置１ｂの構成は、実施の形態１において図２〜図３を用いて説明した構成、および、実施の形態５において図２１を用いて説明した構成と同様であるため、重複した説明を省略する。
ただし、実施の形態６に係る機器制御装置１ｂは、予測部１１０、応答文決定部１０４、および、出力制御部１０５の動作が、実施の形態５に係る機器制御装置１ｂの予測部１１０、応答文決定部１０４、および、出力制御部１０５の動作と異なる。
【０１３８】
図２５は、実施の形態６に係る機器制御装置１ｂの構成例を示す図である。
図２５に示すように、予測部１１０は、予測した第１予測経過時間の情報を、時間判定部１０３に出力するとともに、出力制御部１０５に出力する。
【０１３９】
出力制御部１０５は、第１応答文を示す情報を出力する際、予測部１１０から出力された第１予測経過時間の情報に基づき、当該第１応答文を示す情報に、第１予測経過時間に応じて調整した、第１応答文を音声出力する速度の情報（以下「応答文出力速度情報」という。）を付与して出力する。
出力制御部１０５は、例えば、第１予測経過時間内に第１応答文が出力完了する速度を、第１応答文を音声出力する速度に調整する。なお、音声出力装置４２において、どれぐらいの長さの第１応答文を音声出力するには、どれぐらいの時間を要するかは、予め決められているものとする。
音声出力装置４２は、出力制御部１０５から出力された第１応答文を示す情報に従い、当該第１応答文を示す情報に付与されている応答文出力速度情報に応じた再生速度で、第１応答文を音声出力する。
【０１４０】
応答文決定部１０４は、時間判定部１０３が、実行所要時間が長いと判定した場合に、機器機能情報取得部１０１が取得した機器機能情報に基づき、実施の形態１にて図５を用いて示したような第１応答文情報に基づき、第１応答文を決定する。具体的な第１応答文決定の動作は、実施の形態１において説明済みであるため、重複した説明を省略する。
【０１４１】
実施の形態６に係る機器制御装置１ｂの応答出力部１００ｂの動作について、説明する。
なお、実施の形態６に係る機器制御装置１ｂの基本的な動作は、実施の形態１にて図７のフローチャートを用いて説明した、機器制御装置１の基本的な動作と同様であるため、重複した説明を省略する。また、実施の形態６に係る機器制御装置１ｂのコマンド制御部２００の詳細な動作は、実施の形態１において図９を用いて説明したコマンド制御部２００の詳細な動作と同様であるため、重複した説明を省略する。
図２６は、実施の形態６に係る機器制御装置１ｂの応答出力部１００ｂの詳細な動作を説明するためのフローチャートである。
図２６のステップＳＴ２６０１〜ステップＳＴ２６０４の具体的な動作は、それぞれ、実施の形態５にて説明した図２３のステップＳＴ２３０１〜ステップＳＴ２３０３、および、実施の形態１にて説明した図８のステップＳＴ８０５の具体的な動作と同様であるため、重複した説明を省略する。
【０１４２】
出力制御部１０５は、ステップＳＴ２６０４にて応答文決定部１０４が決定した第１応答文を示す情報を、音声出力装置４２に出力する。その際、出力制御部１０５は、予測部１１０がステップＳＴ２６０１にて予測した第１予測経過時間に応じて第１応答文を音声出力する速度を調整し、応答文出力速度情報を、第１応答文を示す情報に付与して、音声出力装置４２に出力するようにする（ステップＳＴ２６０５）。
【０１４３】
図２７は、実施の形態６に係る機器制御装置１ｂが、図２６で説明した動作を行い、実行所要時間が長いと判定した場合に、音声出力装置４２に、第１予測経過時間に応じた速度で第１応答文を音声出力させるまでの時間の流れのイメージを示した図である。
図２７の例１で示すように、例えば、予測部１１０が第１予測経過時間Ａを予測すると、出力制御部１０５は、第１予測経過時間Ａに応じた応答文出力速度情報を付与した、第１応答文Ａを示す情報を、音声出力装置４２に出力する。音声出力装置４２は、第１予測経過時間Ａを示す情報に従い、第１予測経過時間Ａに応じた速度で、第１応答文Ａを音声出力する。
【０１４４】
以上のように、機器制御装置１ｂは、予測部１１０が第１予測経過時間を予測し、当該第１予測経過時間が第４目標時間を超えている場合、時間判定部１０３が、実行所要時間が長いと判定するようにした。そして、出力制御部１０５は、第１応答文を示す情報を出力する際、予測部１１０が予測した第１予測経過時間に基づき、当該第１応答文を示す情報に、応答文出力速度情報を付与して出力するようにした。
【０１４５】
機器制御装置１ｂは、予測された、第１予測経過時間の長さに応じて、音声出力装置４２から音声出力させる第１応答文の再生速度を変更するため、ユーザが発話によって対象機器による対象機能の実行を指示した際、実行所要時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識することができるとともに、機器制御装置１ｂは、音声出力装置４２に対して、実行所要時間の長さに関わらず一定の長さの第１応答文を音声出力させる場合よりも、ユーザが待たされていると感じる可能性を、より低減することができる。
【０１４６】
以上のように、実施の形態６によれば、機器制御装置１ｂは、発話から対象機能の実行までの第１予測経過時間を予測する予測部１１０を備え、時間判定部１０３は、予測部１１０が予測した第１予測経過時間に基づき、発話から対象機能の実行までの時間が長いか否かを判定し、出力制御部１０５は、時間判定部１０３が、発話から対象機能の実行までの時間が長いと判定した場合に、予測部１１０が予測した第１予測経過時間に応じて調整した、第１応答文を音声出力する速度の情報を、第１応答文を示す情報に付与して出力するように構成した。そのため、ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識することができるとともに、機器制御装置１ｂは、音声出力装置４２に対して、実行所要時間の長さに関わらず一定の長さの第１応答文を音声出力させる場合よりも、ユーザが待たされていると感じる可能性を、より低減することができる。
【０１４７】
実施の形態７．
実施の形態１では、機器制御装置１において、実行所要時間が長いと判定した場合、ユーザが発話した内容に関わらず、音声出力装置４２から、第１応答文を音声出力させるものとしていた。
実施の形態７では、ユーザが発話によって実行を指示した対象機器による対象機能が、緊急を要する機能である場合は、音声出力装置４２から、ユーザに対して手動操作を促すメッセージを音声出力させる実施の形態について説明する。
【０１４８】
実施の形態７に係る機器制御装置１ｃを備えた機器制御システム１０００の構成は、実施の形態１において図１を用いて説明した機器制御システム１０００の構成と同様であるため、重複した説明を省略する。
【０１４９】
図２８は、実施の形態７に係る機器制御装置１ｃの構成例を示す図である。
図２８において、実施の形態１に係る機器制御装置１と同様の構成については、同じ符号を付して重複した説明を省略する。また、機器制御装置１ｃの概略構成例、および、機器制御装置１ｃの音声操作装置３００の構成例は、実施の形態１にて図２および図３を用いて説明した、機器制御装置１の概略構成例、および、機器制御装置１の音声操作装置３００の構成例と同様であるため、重複した説明を省略する
実施の形態７に係る機器制御装置１ｃは、実施の形態１に係る機器制御装置１とは、応答出力部１００ｃが、緊急度判定部１１１を備えた点が異なる。
【０１５０】
緊急度判定部１１１は、機器機能情報取得部１０１が取得した機器機能情報に基づき、対象機器に実行させる対象機能の緊急度を判定する。なお、実施の形態７において、機器機能情報取得部１０１は、機器機能判定部３０４から取得した機器機能情報を、応答文決定部１０４、機能コマンド生成部２０１、および、緊急度判定部１１１に出力する。
具体例を挙げると、機器機能情報において、対象機能として、「すぐ止めて」または「すぐに火を止めて」等が対応付けられている場合、緊急度判定部１１１は、対象機能は、緊急を要する機能であるとし、緊急度が高いと判定する。
例えば、記憶部には、「すぐ止めて」または「すぐに火を止めて」といった、緊急を要する機能を定義した緊急機能情報が予め記憶されており、緊急度判定部１１１は、緊急機能情報に基づいて、対象機器に実行させる対象機能の緊急度を判定する。緊急度判定部１１１は、機器機能情報に含まれる対象機能が、緊急機能情報で定義されている場合、対象機器に実行させる対象機能の緊急度が高いと判定する。
【０１５１】
また、機器機能情報に音声認識結果が含まれている場合、緊急度判定部１１１は、当該音声認識結果に基づき、対象機器に実行させる対象機能の緊急度を判定するようにしてもよい。具体例を挙げると、例えば、緊急度判定部１１１は、音声認識結果に、感情をあらわす単語が含まれている場合に、対象機器に実行させる対象機能の緊急度が高いと判定するようにしてもよい。緊急度判定部１１１は、既存の感情推定技術を用いて、音声認識結果に、感情をあらわす単語が含まれているかを推定するようにする。
なお、実施の形態７では、上述のとおり、緊急度判定部１１１は、機器機能判定部３０４から音声認識結果を取得するものとするが、緊急度判定部１１１は、音声認識結果を、音声認識部３０２から取得するようにしてもよい。
【０１５２】
緊急度判定部１１１は、対象機器に実行させる対象機能の緊急度が高いと判定した場合、当該緊急度が高い旨の情報（以下「緊急機能指示有情報」という。）を、出力制御部１０５に出力する。
【０１５３】
出力制御部１０５は、緊急度判定部１１１から緊急機能指示有情報が出力された場合、対象機器を手動で操作することを促すメッセージを示す情報を出力する。対象機器を手動で操作することを促すメッセージとは、例えば、「手動で操作してください」である。
音声出力装置４２は、出力制御部１０５から出力された、「手動で操作してください」を示す情報に従い、「手動で操作してください」と音声出力する。
【０１５４】
実施の形態７に係る機器制御装置１ｃの応答出力部１００ｃの動作について、詳細に説明する。
なお、実施の形態７に係る機器制御装置１ｃの基本的な動作は、実施の形態１にて図７のフローチャートを用いて説明した、機器制御装置１の基本的な動作と同様であるため、重複した説明を省略する。また、実施の形態７に係る機器制御装置１ｃのコマンド制御部２００の詳細な動作は、実施の形態１において図９を用いて説明したコマンド制御部２００の詳細な動作と同様であるため、重複した説明を省略する。
【０１５５】
図２９は、実施の形態７に係る機器制御装置１ｃの応答出力部１００ｃの詳細な動作を説明するためのフローチャートである。
図２９のステップＳＴ２９０１〜ステップＳＴ２９０２、ステップＳＴ２９０５〜ステップＳＴ２９０８の具体的な動作は、それぞれ、実施の形態１にて説明した、図８のステップＳＴ８０１〜ステップＳＴ８０６の具体的な動作と同様であるため、重複した説明を省略する。
【０１５６】
緊急度判定部１１１は、ステップＳＴ２９０２にて機器機能情報取得部１０１から機器機能情報が出力されると、機器機能情報取得部１０１が取得した機器機能情報に基づき、対象機器に実行させる対象機能の緊急度を判定する（ステップＳＴ２９０３）。
ステップＳＴ２９０３において、緊急度判定部１１１が、対象機器に実行させる対象機能の緊急度は低いと判定した場合（ステップＳＴ２９０３の”ＮＯ”の場合）、機器制御装置１ｃは、ステップＳＴ２９０５の処理に進む。
ステップＳＴ２９０３において、緊急度判定部１１１が、対象機器に実行させる対象機能の緊急度は高いと判定した場合（ステップＳＴ２９０３の”ＹＥＳ”の場合）、緊急度判定部１１１は、緊急機能指示有情報を、出力制御部１０５に出力する。
【０１５７】
出力制御部１０５は、ステップＳＴ２９０３にて緊急度判定部１１１から緊急機能指示有情報が出力された場合、対象機器を手動で操作することを促すメッセージを示す情報を出力する（ステップＳＴ２９０４）。
【０１５８】
図３０は、実施の形態７に係る機器制御装置１ｃが、図２９で説明した動作を行い、対象機器に実行させる対象機能の緊急度が高いと判定した場合に、対象機器を手動で操作することを促すメッセージを音声出力装置４２から音声出力させた場合の時間の流れのイメージを示した図である。
なお、図３０では、比較のため、機器制御装置１ｃにおいて、対象機器に実行させる対象機能の緊急度は低いと判定した場合であって、実行所要時間が長いと判定した場合に、音声出力装置４２から第１応答文を音声出力させるまでの時間の流れのイメージを、あわせて図示するようにしている（図３０の３００１参照）。
【０１５９】
以上のように、機器制御装置１ｃは、ユーザが発話によって実行を指示した対象機器による対象機能が、緊急を要する機能である場合は、音声出力装置４２から、ユーザに対して手動操作を促すメッセージを音声出力させるようにした。
すなわち、機器制御装置１ｃは、緊急度判定部１１１が、対象機器に実行させる対象機能の緊急度が高いと判定した場合、出力制御部１０５は、対象機器を手動で操作することを促すメッセージを示す情報を、音声出力装置４２に出力するようにした。
【０１６０】
機器制御装置１ｃは、ユーザは発話によって実行を指示した、対象機器による対象機能が、緊急を要する機能である場合に、対象機器による対象機能の実行までユーザを待たせることなく、ユーザに対して、速やかに当該対象機能を実行するように促すことができる。
【０１６１】
なお、以上の説明では、実施の形態１に係る機器制御装置１に対して、実施の形態７を適用し、実施の形態１に係る機器制御装置１が、緊急度判定部１１１を備えるものとしたが、これは一例に過ぎない。実施の形態２〜実施の形態６に係る機器制御装置１，１ｂに対して、実施の形態７を適用し、実施の形態２〜実施の形態６に係る機器制御装置１，１ｂが、緊急度判定部１１１を備えるようにすることもできる。
【０１６２】
以上のように、実施の形態７によれば、機器制御装置１ｃは、対象機器に実行させる対象機能の緊急度を判定する緊急度判定部１１１を備え、出力制御部１０５は、緊急度判定部１１１が、対象機器に実行させる対象機能の緊急度が高いと判定した場合は、対象機器を手動で操作することを促すメッセージを示す情報を出力するように構成した。そのため、機器制御装置１ｃは、ユーザは発話によって実行を指示した、対象機器による対象機能が、緊急を要する機能である場合に、対象機器による対象機能の実行までユーザを待たせることなく、ユーザに対して、速やかに当該対象機能を実行するように促すことができる。
【０１６３】
実施の形態８．
実施の形態１では、機器制御装置１は、第１応答文を音声出力させるための、第１応答文を示す情報を出力するようにしていた。
実施の形態８では、第１応答文を表示させるための第１応答文を示す情報を出力する実施の形態を説明する。
【０１６４】
実施の形態８に係る機器制御装置１を備えた機器制御システム１０００の構成は、実施の形態１において図１を用いて説明した機器制御システム１０００の構成と同様であるため、重複した説明を省略する。
また、実施の形態８に係る機器制御装置１の構成は、実施の形態１において図２〜図４を用いて説明した構成と同様であるため、重複した説明を省略する。
ただし、実施の形態８に係る機器制御装置１は、出力制御部１０５の動作が、実施の形態１に係る機器制御装置１の出力制御部１０５の動作と異なる。
【０１６５】
図３１は、実施の形態８に係る機器制御装置１の構成例を示す図である。
図３１に示すように、出力制御部１０５は、第１応答文を示す情報を、音声出力装置４２に出力するとともに、表示装置５４に出力する。なお、出力制御部１０５が音声出力装置４２に出力する第１応答文を示す情報は、第１応答文を音声出力させるための情報であり、出力制御部１０５が表示装置５４に出力する第１応答文を示す情報は、第１応答文を表示させるための情報である。
実施の形態８において、表示装置５４は、図３１に示すように、対象機器である家電機器５に備えられることを想定している。
出力制御部１０５は、第１応答文を表示させるための第１応答文を示す情報を、表示装置５４に出力する。出力制御部１０５が表示装置５４に表示させる第１応答文は、文字列であってもよいし、イラストまたはアイコンであってもよい。
【０１６６】
実施の形態８に係る機器制御装置１の基本的な動作は、実施の形態１にて図７のフローチャートを用いて説明した、機器制御装置１の基本的な動作と同様であるため、重複した説明を省略する。また、実施の形態８に係る機器制御装置１のコマンド制御部２００の詳細な動作は、実施の形態１において図９を用いて説明したコマンド制御部２００の詳細な動作と同様であるため、重複した説明を省略する。
実施の形態８に係る機器制御装置１の応答出力部１００の詳細な動作を示すフローチャートは、実施の形態１にて示した図８のフローチャートと同様であるため、図８のフローチャートを用いて、実施の形態８に係る機器制御装置１の応答出力部１００の詳細な動作を説明する。
なお、実施の形態８に係る機器制御装置１におけるステップＳＴ８０１〜ステップＳＴ８０５の具体的な動作は、説明済みの、実施の形態１に係る機器制御装置１におけるステップＳＴ８０１〜ステップＳＴ８０５の具体的な動作と同様であるため、重複した説明を省略する。
【０１６７】
ステップＳＴ８０６において、出力制御部１０５は、第１応答文を示す情報を音声出力装置４２に出力するとともに、第１応答文を示す情報を、表示装置５４に出力する。
【０１６８】
以上のように、機器制御装置１は、第１応答文を音声出力させための、第１応答文を示す情報に加え、第１応答文を表示させるための、第１応答文を示す情報を出力するようにした。
これにより、そのため、ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを、視覚によっても、認識することができる。
【０１６９】
なお、以上の説明では、出力制御部１０５は、第１応答文を示す情報を、音声出力装置４２および表示装置５４に出力するものとしたが、これは一例に過ぎない。出力制御部１０５は、第１応答文を示す情報を、表示装置５４のみに出力するようにしてもよい。
【０１７０】
また、以上の説明では、実施の形態１に係る機器制御装置１に対して、実施の形態８を適用したものとしたが、これは一例に過ぎない。実施の形態２〜実施の形態７に係る機器制御装置１〜１ｃに対して、実施の形態８を適用し、実施の形態２〜実施の形態７に係る機器制御装置１〜１ｃが、第１応答文、第２応答文、または、対象機器を手動で操作することを促すメッセージを表示させるための、第１応答文を示す情報、第２応答文を示す情報、または、対象機器を手動で操作することを促すメッセージを示す情報を出力するようにすることもできる。実施の形態８を実施の形態７に適用した場合、機器制御装置１ｃは、対象機器を手動で操作することを促すメッセージを示す情報を出力し、例えば、表示装置５４において、当該メッセージを赤色で点滅表示させるようにすることもできる。
【０１７１】
以上のように、実施の形態８によれば、機器制御装置１において、出力制御部１０５は、第１応答文を表示させるための情報を出力するように構成した。そのため、ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを、視覚によっても、認識することができる。
【０１７２】
図３２Ａ，図３２Ｂは、実施の形態１〜実施の形態８に係る機器制御装置１〜１ｃのハードウェア構成の一例を示す図である。
実施の形態１〜実施の形態８において、音声取得部３０１と、音声認識部３０２と、機器機能判定部３０４と、応答出力部１００と、コマンド制御部２００の機能は、処理回路３２０１により実現される。すなわち、機器制御装置１〜１ｃは、ユーザの発話から対象機能の実行までの時間が長いと判定した場合に、対象機能に関連する第１応答文を示す情報を出力する制御を行うための処理回路３２０１を備える。
処理回路３２０１は、図３２Ａに示すように専用のハードウェアであっても、図３２Ｂに示すようにメモリ３２０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１０５であってもよい。
【０１７３】
処理回路３２０１が専用のハードウェアである場合、処理回路３２０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【０１７４】
処理回路３２０１がＣＰＵ３２０５の場合、音声取得部３０１と、音声認識部３０２と、機器機能判定部３０４と、応答出力部１００と、コマンド制御部２００の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、音声取得部３０１と、音声認識部３０２と、機器機能判定部３０４と、応答出力部１００と、コマンド制御部２００は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）３２０２、メモリ３２０６等に記憶されたプログラムを実行するＣＰＵ３２０５、またはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ３２０２、またはメモリ３２０６等に記憶されたプログラムは、音声取得部３０１と、音声認識部３０２と、機器機能判定部３０４と、応答出力部１００と、コマンド制御部２００の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ３１０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等が該当する。
【０１７５】
なお、音声取得部３０１と、音声認識部３０２と、機器機能判定部３０４と、応答出力部１００と、コマンド制御部２００の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、応答出力部１００については専用のハードウェアとしての処理回路３２０１でその機能を実現し、音声取得部３０１と、音声認識部３０２と、機器機能判定部３０４と、コマンド制御部２００については処理回路がメモリ３２０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、音声認識辞書ＤＢ３０３と、機器機能ＤＢ３０５と、応答ＤＢ１０６と、図示しない記憶部は、メモリ３２０６を使用する。なお、これは一例であって、音声認識辞書ＤＢ３０３と、機器機能ＤＢ３０５と、応答ＤＢ１０６と、図示しない記憶部は、ＨＤＤ３２０２、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、機器制御装置１〜１ｃは、音声入力装置４１、音声出力装置４２、または、家電機器５等との通信を行う、入力インタフェース装置３２０３、および、出力インタフェース装置３２０４を有する。
【０１７６】
なお、以上の実施の形態１〜実施の形態８では、音声操作装置３００は、機器制御装置１〜１ｃに備えられるものとしたが、これは一例に過ぎない。音声操作装置３００は、機器制御装置１〜１ｃの外部に備えられ、機器制御装置１〜１ｃと、ネットワークを介して接続されるものとしてもよい。
【０１７７】
また、以上の実施の形態１〜実施の形態８では、対象機器を家電機器５としたが、対象機器は家電機器５に限らない。例えば、工場に設置された機器、スマートフォン、または、車載機器等、発話音声に基づく音声認識結果に基づいて、自身が有する機能を実行することが可能なあらゆる機器を対象機器とすることができる。
【０１７８】
また、以上の実施の形態１〜実施の形態８では、図１に示すように、機器制御システム１０００において、機器制御装置１〜１ｃ、音声入力装置４１、音声出力装置４２、および、家電機器５を、それぞれ独立した装置として説明したが、これは一例に過ぎない。
【０１７９】
例えば、音声入力装置４１および音声出力装置４２が、家電機器５に搭載されているものであってもよい。
図３３は、実施の形態１に係る機器制御システム１０００において、音声入力装置４１および音声出力装置４２が、家電機器５に搭載されているものとした場合の、機器制御システム１０００の構成例を示している。なお、図３３において、機器制御装置１および家電機器５の詳細な構成については、記載を省略している。
【０１８０】
また、例えば、機器制御装置１〜１ｃが家電機器５に搭載されているものであってもよい。
図３４は、実施の形態１に係る機器制御システム１０００において、機器制御装置１が、家電機器５に搭載されているものとした場合の、機器制御システム１０００の構成例を示している。なお、図３４において、機器制御装置１および家電機器５の詳細な構成については、記載を省略している。
【０１８１】
また、例えば、機器制御装置１〜１ｃ、音声入力装置４１、および、音声出力装置４２が、家電機器５に搭載されているものであってもよい。
図３５は、実施の形態１に係る機器制御システム１０００において、機器制御装置１、音声入力装置４１、および、音声出力装置４２が、家電機器５に搭載されているものとした場合の、機器制御システム１０００の構成例を示している。なお、図３５において、機器制御装置１および家電機器５の詳細な構成については、記載を省略している。
【０１８２】
また、以上の説明では、機器制御装置１〜１ｃは、宅外のサーバに備えられ、宅内の家電機器５と通信することを想定したが、これに限らず、機器制御装置１〜１ｃは、宅内のネットワークに接続されるものであってもよい。
【０１８３】
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１８４】
この発明に係る機器制御装置は、ユーザの発話音声に対する音声認識結果に基づいて機器を制御する技術において、発話から機器による機能の実行までの時間が長い場合であっても、その間に、ユーザが、機器によって意図どおりの機能が実行されようとしているか否かを認識できるように構成したため、例えば、発話音声に対する音声認識結果に基づいて機器を制御する機器制御装置に適用することができる。
【符号の説明】
【０１８５】
１〜１ｃ  機器制御装置、４  スマートスピーカ、４１  音声入力装置、４２  音声出力装置、５  家電機器、５１  機能コマンド取得部、５２  機能コマンド実行部、５３  実行通知部、５４  表示装置、１００，１００ａ〜１００ｃ  応答出力部、１０１  機器機能情報取得部、１０２  時間計測部、１０３  時間判定部、１０４  応答文決定部、１０５  出力制御部、１０６  応答ＤＢ、１０７  実行通知受付部、１０８  第１応答文出力後時間計測部、１０９  第１応答文出力後時間判定部、１１０  予測部、１１１  緊急度判定部、２００  コマンド制御部、２０１  機能コマンド生成部、２０２  機能コマンド出力部、３００  音声操作装置、３０１  音声取得部、３０２  音声認識部、３０３  音声認識辞書ＤＢ、３０４  機器機能判定部、３０５  機器機能ＤＢ、１０００  機器制御システム、３２０１  処理回路、３２０２  ＨＤＤ、３２０３  入力インタフェース装置、３２０４  出力インタフェース装置、３２０５  ＣＰＵ、３２０６  メモリ。
【図１】
0006956921.tif 000002
【図２】
0006956921.tif 000003
【図３】
0006956921.tif 000004
【図４】
0006956921.tif 000005
【図５】
0006956921.tif 000006
【図６】
0006956921.tif 000007
【図７】
0006956921.tif 000008
【図８】
0006956921.tif 000009
【図９】
0006956921.tif 000010
【図１０】
0006956921.tif 000011
【図１１】
0006956921.tif 000012
【図１２】
0006956921.tif 000013
【図１３】
0006956921.tif 000014
【図１４】
0006956921.tif 000015
【図１５】
0006956921.tif 000016
【図１６】
0006956921.tif 000017
【図１７】
0006956921.tif 000018
【図１８】
0006956921.tif 000019
【図１９】
0006956921.tif 000020
【図２０】
0006956921.tif 000021
【図２１】
0006956921.tif 000022
【図２２】
0006956921.tif 000023
【図２３】
0006956921.tif 000024
【図２４】
0006956921.tif 000025
【図２５】
0006956921.tif 000026
【図２６】
0006956921.tif 000027
【図２７】
0006956921.tif 000028
【図２８】
0006956921.tif 000029
【図２９】
0006956921.tif 000030
【図３０】
0006956921.tif 000031
【図３１】
0006956921.tif 000032
【図３２】
0006956921.tif 000033
【図３３】
0006956921.tif 000034
【図３４】
0006956921.tif 000035
【図３５】
0006956921.tif 000036