(57)【要約】【課題】音声受付処理の開始のきっかけとなる発話及び制御対象機器を特定するための発話を行わせることなく、制御対象機器に関する発話を受け付ける。【解決手段】ユーザの発話内容に基づき機器を制御する制御装置が行う方法であって、複数の機器の少なくとも１つにおいて状態の変化を検出し、前記状態の変化を示す第１情報に基づき、複数の機器の中から制御対象機器を特定し、制御対象機器が特定された場合、集音装置を用いて前記ユーザの音声を受け付ける音声受付処理を開始するとともに、前記制御対象機器に関する発話をユーザに促すための通知を出力する。【選択図】図１
2020112692.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発話内容に基づき機器を制御する制御装置が行う方法であって、
複数の機器の少なくとも１つにおいて状態の変化を検出し、
前記状態の変化を示す第１情報に基づき、前記複数の機器の中から制御対象機器を特定し、
前記制御対象機器が特定された場合、集音装置を用いて前記ユーザの音声を受け付ける音声受付処理を開始するとともに、
前記制御対象機器に関する発話をユーザに促すための通知を出力する、
方法。
【請求項２】
前記通知は、前記制御対象機器に対応する第２情報と前記制御対象機器に対する制御内容の少なくとも一部を示す第３情報とを含む第４情報である、
請求項１記載の方法。
【請求項３】
前記状態の変化は、前記複数の機器のいずれかが備えるセンサから得られるセンサ値に基づき検出される、
請求項１又は２に記載の方法。
【請求項４】
さらに、前記音声受付処理を開始してから前記制御対象機器が一定期間制御されていないことを検出した場合、前記音声受付処理を再開するとともに前記通知を出力する、
請求項１〜３のいずれかに記載の方法。
【請求項５】
前記通知は、前記制御対象機器に関連するサービスを実行するための発話を促す第５情報である、
請求項１〜４のいずれかに記載の方法。
【請求項６】
前記通知は、音声出力装置から出力される音声である、
請求項１〜５のいずれかに記載の方法。
【請求項７】
前記通知は、電子音出力装置から出力される音である、
請求項１〜６のいずれかに記載の方法。
【請求項８】
前記通知は、ディスプレイから出力される映像である、
請求項１〜７のいずれかに記載の方法。
【請求項９】
前記通知は、発光装置から出力される光である、
請求項１〜８のいずれかに記載の方法。
【請求項１０】
前記集音装置は、前記制御対象機器とは異なる位置に設置され、
前記音声受付処理では、前記集音装置は前記制御対象機器に対して予め決められた方向にマイクの指向性を向ける指向性制御を実施する、
請求項１〜９のいずれかに記載の方法。
【請求項１１】
前記予め決められた方向は、前記制御対象機器を制御するために前記ユーザが発話した音声を前記集音装置が集音した方向の履歴に基づいて決定される、
請求項１０記載の方法。
【請求項１２】
前記制御対象機器の特定では、前記複数の機器の中の第１機器が所定の状態に変化し、且つ、前記第１機器とは異なる第２機器が所定の状態に変化した場合、前記第１機器及び前記第２機器の少なくとも一方が前記制御対象機器として特定される、
請求項１〜１１のいずれかに記載の方法。
【請求項１３】
ユーザの発話内容に基づき機器を制御装置であって、
複数の機器の少なくとも１つにおいて状態の変化を検出する検出部と、
前記状態の変化を示す第１情報に基づき、前記複数の機器の中から制御対象機器を特定する特定部と、
前記制御対象機器が特定された場合、音声受付処理を開始するとともに、前記制御対象機器に関する発話をユーザに促すための通知を出力する出力部とを備える、
制御装置。
【請求項１４】
請求項１〜１２のいずれかに記載の方法をコンピュータで実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ユーザの発話内容に基づき機器を制御する技術に関するものである。
【背景技術】
【０００２】
音声入力を利用して家庭にある電子機器の状態確認及び操作するシステムがある。例えば、このようなシステムではマイクを備えた端末によりユーザの発話が取得される。このマイクを備えた端末は、予め決められた特定のフレーズ（トリガーワード）が入力されることを待ち受ける。トリガーワードが入力されたことを検知すると、音声認識を開始し、トリガーワードに続くユーザの発話を示す音声信号をクラウド上に実装された音声処理システムへ転送する。音声処理システムは、転送された音声信号に基づいてユーザの発話内容を解析し、解析結果に基づいた処理を実行する。これにより、電子機器の状態確認及び操作が実現される。
【０００３】
特許文献１には、音声取得を開始するきっかけとなる予め決められた事象の発生を検知することにより、音声取得を開始し、音声取得を開始したことをユーザに通知するする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−００４２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、制御可能な機器が複数存在する場合、制御対象機器を特定するための情報（設置場所及び制御対象機器名など）と制御内容とをユーザは発話する必要がある。しかしながら、電子レンジで食材を調理する場合又は洗濯機で洗濯を開始する場合のように食材又は洗濯物をセットするといった物理的な事象が発生する場合においては、制御対象機器が自明であり、制御対象機器を特定するための発話をユーザに改めてさせることは煩雑である。
【０００６】
本開示は、上記の問題を解決するためになされたものであり、音声受付処理の開始のきっかけとなる発話及び制御対象機器を特定するための発話をユーザに行わせることなく、制御対象機器に関するユーザの発話を受け付けることができる方法、制御装置、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の一態様は、ユーザの発話内容に基づき機器を制御する制御装置が行う方法であって、
複数の機器の少なくとも１つにおいて状態の変化を検出し、
前記状態の変化を示す第１情報に基づき、前記複数の機器の中から制御対象機器を特定し、
前記制御対象機器が特定された場合、集音装置を用いて前記ユーザの音声を受け付ける音声受付処理を開始するとともに、
前記制御対象機器に関する発話をユーザに促すための通知を出力するものである。
【発明の効果】
【０００８】
本開示によれば、音声制御可能な機器が複数存在するシステム構成において、ユーザにとって煩雑な音声受付処理の開始のきっかけとなる発話及び制御対象機器を特定するための発話をユーザに行わせることなく、制御対象機器に関するユーザの発話を受け付けることができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１における複数の被制御機器を音声で制御可能な音声制御システムの全体構成の一例を示すブロック図である。
【図２】図１に示す音声対話辞書ＤＢのデータ構成の一例を示す図である。
【図３】図１に示す開始条件テーブルのデータ構成の一例を示す図である。
【図４】図１に示すビームフォームテーブルのデータ構成の一例を示す図である。
【図５】実施の形態１において、宅内の間取りに配置される制御機器と被制御機器との具体例を示す図である。
【図６】実施の形態１における音声制御システムが音声受付処理の開始条件を判定し、音声受付処理を開始するまでの処理の一例を示すフローチャートである。
【図７】実施の形態１における音声制御システムが音声受付処理を開始してから制御対象機器に対する制御コマンドを特定する際の処理の一例を示すフローチャートである。
【図８】実施の形態２における音声制御システムの全体構成の一例を示すブロック図である。
【図９】実施の形態２における音声制御システムが音声受付処理の開始条件を判定し、音声受付処理を開始するまでの処理の一例を示すフローチャートである。
【図１０】図９の続きのフローチャートである。
【図１１】実施の形態２における音声制御システムが音声受付処理を開始してから制御対象機器に対する制御コマンドを特定する際の処理の一例を示すフローチャートである。
【図１２】図１１の続きのフローチャートである。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
ユーザの発話する音声から音声認識処理を実行し、音声認識結果を解析することで、電子機器を制御する制御装置が検討されている。このような制御装置において、常に音声認識処理が起動されていると、ユーザは常に会話が第三者に聞かれているような不安を抱く可能性がある。また、常に音声認識処理が起動されていると、意図しない音声により電子機器が誤動作を引き起こす可能性がある。そこで、このような制御装置では、一般的に、特定のフレーズ（トリガーワード）が発話されたことを条件として音声認識処理が開始される。しかしながら、音声認識処理が開始されるたびにトリガーワードを発話することはユーザにとって煩わしい。
【００１１】
このような課題に対し、前述した特許文献１に係る技術では、予め決められた事象を検知することにより音声認識処理を開始し、音声認識処理を開始したことを音声によりユーザに通知することで、毎回トリガーワードを話す煩わしさの防止と、常に会話が聞かれているような不安をユーザに与えることへの防止とが図られている。
【００１２】
しかしながら、特許文献１の技術は、音声対話のインターフェースが特定の電子機器に実装されていることが前提となっており、一つの制御装置で複数の電子機器を制御することは想定されていない。そのため、特許文献１の技術は、音声認識処理の開始後に複数の電子機器の中から制御対象の電子機器を特定する構成にはなっていない。
【００１３】
一つの制御装置で複数の電子機器の中から特定の電子機器を音声で制御する場合、制御対象機器の特定が必要となる。例えば、２台のエアコンというように同種の電子機器が複数存在するようなケースでは、制御対象機器の特定が必要になる。また、異なる機種において同じ発話フレーズで動作する機能を有する複数の電子機器が存在するようなケースでは、例えば、「温めて」という発話がなされた場合に、エアコンは暖房運転を開始する一方、電子レンジも温め運転を開始するため、制御対象機器の特定が必要になる。
【００１４】
ところで、特許文献１の技術において、予め決められた事象が例えば電子レンジへの食材のセットである場合、ユーザが制御したい電子機器は電子レンジと考えられる。
【００１５】
しかしながら、制御可能な電子機器として、エアコンと電子レンジとが含まれる場合、「温めて」との発話だけでは、制御装置は、電子レンジとエアコンとのどちらが制御対象であるかを特定できないため、制御対象となる電子機器を特定するための対話処理を行う必要があり、ユーザ及び制御装置の双方にとって煩雑である。
【００１６】
これまで、制御可能な複数の電子機器の中から特定の電子機器を音声で制御する制御装置において、予め決められた事象を検知することにより音声認識を開始するとともに、制御対象となる電子機器を特定し、特定した電子機器に関するユーザの発話を受け付ける技術は検討されていなかった。
【００１７】
以上の課題を解決するために、本開示の一態様は、ユーザの発話内容に基づき機器を制御する制御装置が行う方法であって、
複数の機器の少なくとも１つにおいて状態の変化を検出し、
前記状態の変化を示す第１情報に基づき、前記複数の機器の中から制御対象機器を特定し、
前記制御対象機器が特定された場合、集音装置を用いて前記ユーザの音声を受け付ける音声受付処理を開始するとともに、
前記制御対象機器に関する発話をユーザに促すための通知を出力するものである。
【００１８】
この構成によれば、機器の状態の変化が検出され、その状態の変化を示す第１情報に基づいて複数の機器の中から制御対象機器が特定された上で音声受付処理が開始されるとともに、制御対象機器に関する発話をユーザに促すための通知が出力されている。そのため、本構成は、音声受付処理の開始のきっかけとなる発話及び制御対象機器を特定するための発話というような煩雑な発話をユーザに行わせることなく、複数の機器の中から制御対象機器を特定して音声受付処理を開始し、制御対象機器に関する発話を受け付けることができる。
【００１９】
上記構成において、前記通知は、前記制御対象機器に対応する第２情報と前記制御対象機器に対する制御内容の少なくとも一部を示す第３情報とを含む第４情報であってもよい。
【００２０】
本構成によれば、音声受付処理の開始とともに、制御対象機器に対応する第２情報と制御対象機器の制御内容の一部を示す第３情報とを含む第４情報が出力されているため、どの機器が制御対象機器であり、その制御対象機器が制御の受け付け可能状態であることをユーザにより確実に知らせることができる。
【００２１】
上記構成において、前記状態の変化は、前記複数の機器のいずれかが備えるセンサから得られるセンサ値に基づき検出されてもよい。
【００２２】
本構成によれば、複数の機器が備えるセンサから得られるセンサ値に基づき状態の変化が検出されるため、機器の状態変化を正確に検出できる。
【００２３】
上記構成において、さらに、前記音声受付処理を開始してから前記制御対象機器が一定期間制御されていないことを検出した場合、前記音声受付処理を再開するとともに前記通知を出力してもよい。
【００２４】
本構成によれば、音声受付処理が開始されてから一定期間、制御対象機器が制御されなかった場合に、音声受付処理が再開されるとともに、ユーザに発話を促す通知が出力されているため、ユーザが制御対象機器に対する制御を忘れた場合、そのことをユーザに思い出させることができる。
【００２５】
上記構成において、前記通知は、前記制御対象機器に関連するサービスを実行するための発話を促す第５情報であってもよい。
【００２６】
本構成によれば、制御対象機器に関連するサービスを実行するための発話を促す第５情報が出力されるため、制御対象の幅を機器に限定することなくサービスにまで広げることが可能となる。
【００２７】
上記構成において、前記通知は、音声出力装置から出力される音声であってもよい。
【００２８】
本構成によれば、音声を通じて通知を出力できる。
【００２９】
上記構成において、前記通知は、電子音出力装置から出力される音であってもよい。
【００３０】
本構成によれば、「ピー」及び「ポーン」などの簡単な電子音により、音声受付処理の開始をユーザに通知できる。したがって、音声での通知が煩わしいと感じるユーザにとっては簡易的な通知音で不快感を低減することが可能となる。
【００３１】
上記構成において、前記通知は、ディスプレイから出力される映像であってもよい。
【００３２】
音声では通知をユーザが聞き逃した場合、再確認できないが、視覚情報で通知を出力する本構成は、ユーザにより通知の見逃しを抑制できる。
【００３３】
上記構成において、前記通知は、発光装置から出力される光であってもよい。
【００３４】
本構成によれば、ＬＥＤなどの発光装置から出力される光により、音声受付処理の開始をユーザに対して視覚的に認識させることができる。
【００３５】
上記構成において、前記集音装置は、前記制御対象機器とは異なる位置に設置され、
前記音声受付処理では、前記集音装置は前記制御対象機器に対して予め決められた方向にマイクの指向性を向ける指向性制御を実施してもよい。
【００３６】
本構成によれば、ユーザが発話するであろう方向からのユーザの発話をより的確に集音できる。
【００３７】
上記構成において、前記予め決められた方向は、前記制御対象機器を制御するために前記ユーザが発話した音声を前記集音装置が集音した方向の履歴に基づいて決定されてもよい。
【００３８】
本構成によれば、集音装置における指向性の方向が、ユーザが制御対象機器を制御する際に発話した方向の履歴から決定されるため、指向性の方向を自動でキャリブレーションすることが可能となり、ユーザの設定を省略することが可能となる。
【００３９】
上記構成において、前記制御対象機器の特定では、前記複数の機器の中の第１機器が所定の状態に変化し、且つ、前記第１機器とは異なる第２機器が所定の状態に変化した場合、前記第１機器及び前記第２機器の少なくとも一方が前記制御対象機器として特定されてもよい。
【００４０】
本構成によれば、例えば、第１機器の稼働中に第２機器による割り込みが入り、ユーザがその割り込みに対処するために第１機器の状態を変化させる必要がある場合において、第１機器及び第２機器の少なくとも一方の制御に対する発話をユーザに促すことができる。また、本構成によれば、例えば、第１機器の状態変化と第２機器の状態変化というように複数の機器の状態の変化を条件に音声受付開始処理を開始できる。
【００４１】
また、本開示は、以上のような特徴的な処理を実行する方法として実現することができるだけでなく、方法に含まれる特徴的なステップを実行するための処理部を備える制御装置などとして実現することもできる。また、このような方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【００４２】
以下、添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ及びステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。
【００４３】
（実施の形態１）
図１は、実施の形態１における複数の被制御機器２０００を音声で制御可能な音声制御システムの全体構成の一例を示すブロック図である。図１に示す音声制御システムは、ネットワーク４０００に接続される音声処理装置１０００（制御装置の一例）、被制御機器２０００（機器の一例）、及び制御機器３０００（出力部、音声出力装置、及び集音装置の一例）を備える。
【００４４】
音声処理装置１０００は、主制御部１１００、メモリ１２００、及び通信部１３００を備える。主制御部１１００は、例えば、ＣＰＵなどのプロセッサで構成される。主制御部１１００は、制御コマンド発行部１１１０、意図解釈部１１２０、応答生成部１１３０、音声認識部１１４０、音声入力制御部１１５０、及び音声合成部１１６０を備える。主制御部１１００が備える各ブロックは、プロセッサがプログラムを実行することで実現されてもよいし、専用の電気回路で構成されてもよい。
【００４５】
意図解釈部１１２０は、制御コマンド決定部１１２１及び状態判定部１１２２（検出部及び特定部の一例）を備える。メモリ１２００は、例えば、半導体メモリ又はハードディスクなどの不揮発性のメモリで構成される。メモリ１２００は、音声対話辞書ＤＢ（データベース）１２１０、開始条件テーブル１２２０、ビームフォームテーブル１２３０を備える。
【００４６】
音声処理装置１０００を構成する全ての要素は、ネットワーク４０００に接続された物理的なサーバに実装、またはクラウドサービス上の仮想サーバ上に実装されてもよいし、制御機器３０００と同一端末に実装されてもよい。さらには、被制御機器２０００のうちの少なくとも一つの被制御機器２０００に、制御機器３０００及び音声処理装置１０００の機能を持たせてもよく、これらの構成を組み合わせて実現できるすべての構成を採用することが可能である。
【００４７】
制御コマンド発行部１１１０は、制御コマンド決定部１１２１により決定された制御コマンドを通信部１３００を介して制御対象機器として特定された被制御機器２０００に送信する。
【００４８】
制御コマンド決定部１１２１は、音声認識部１１４０から音声認識結果としてのテキストデータを取得し、取得したテキストデータの構文などを解析し、テキストデータに含まれる単語などを特定する。そして、制御コマンド決定部１１２１は、解析結果とメモリ１２００に保存されている音声対話辞書ＤＢ１２１０とを照合することで、状態判定部１１２２により特定された制御対象機器に対する制御内容を決定し、制御コマンド発行部１１１０に出力する。
【００４９】
状態判定部１１２２は、被制御機器２０００のセンサ部２００３が検出したセンサ値を通信部１３００を介して取得し、取得したセンサ値と開始条件テーブル１２２０とを照合することで、複数の被制御機器２０００の中から音声受付処理の開始条件を満たす被制御機器２０００の有無を判定する。そして、状態判定部１１２２は、音声受付処理の開始条件を満たす被制御機器２０００があると判定した場合、その被制御機器２０００を制御対象機器として特定し、制御対象機器の機器ＩＤを音声入力制御部１１５０、応答生成部１１３０、及び制御コマンド決定部１１２１のそれぞれに出力する。
【００５０】
応答生成部１１３０は、状態判定部１１２２により制御対象機器が特定された場合、制御対象機器を制御するための発話をユーザに促すための応答文のテキストデータを生成し、音声合成部１１６０に出力する。ここで、制御対象機器を制御するための発話をユーザに促すための応答文としては、例えば、「レンジに食材が入れられました。どのように制御しますか。」というように、制御対象機器に対応する情報である「レンジ」と制御対象機器の制御内容の少なくとも一部を示す情報である「どのように制御しますか」とが含まれている。ここで、制御対象機器に対応する情報は第２情報の一例であり、制御対象機器を示す情報が採用できる。制御対象機器の制御内容の少なくとも一部を示す情報は第３情報の一例である。また、応答文は第４情報の一例である。制御内容の少なくとも一部を示す第３情報とは、例えば、「レンジの温め運転を開始しますか」というような制御内容そのものを示す情報であってもよいし、「レンジに食材が入れられました。」というように、制御対象機器の状態を含む情報であってもよいし、「どのように制御しますか」というように制御方法を婉曲的に問い合わせるメッセージあってもよい。さらに、制御内容そのものを示す情報は、例えば「温め運転を開始しますか、それとも、解凍運転を開始しますか、それとも、オーブン運転を開始しますか」というように制御内容を選択形式で問い合わせるメッセージが採用されてもよい。
【００５１】
また、応答生成部１１３０は、制御コマンド決定部１１２１により制御対象機器に対する制御内容が決定された場合、その旨を示す応答文のテキストデータを生成し、音声合成部１１６０に出力する。さらに、応答生成部１１３０は、制御コマンド決定部１１２１により制御内容を特定するための情報の不足に伴う聞き返しが必要であると判定された場合、聞き返すための応答文のテキストデータを生成し、音声合成部１１６０に出力する。
【００５２】
音声認識部１１４０は、制御機器３０００の音声入力部３０３０から通信部１３００を介して取得された音声信号をテキストデータに変換し、変換したテキストデータを音声認識結果として制御コマンド決定部１１２１に出力する。
【００５３】
音声入力制御部１１５０は、状態判定部１１２２により制御対象機器が特定された場合、音声受付処理の開始を指示する制御コマンドを通信部１３００を介して制御機器３０００へ送信する。これにより、制御機器３０００は、音声受付処理を開始し、制御対象機器を制御するためのユーザの発話を受け付ける。また、音声入力制御部１１５０は、ビームフォームテーブル１２３０を参照し、特定された制御対象機器に対応するビームフォーム方向を取得し、音声受付処理の開始を指示する制御コマンドと合わせてビームフォーム方向を送信してもよい。
【００５４】
音声合成部１１６０は、応答生成部１１３０により生成された応答文のテキストデータを取得し、音声合成処理を行うことで応答音声信号を生成し、通信部１３００を介して制御機器３０００へ送信する。
【００５５】
通信部１３００は、音声処理装置１０００をネットワーク４０００に接続する通信回路で構成される。通信部１３００により、音声処理装置１０００は、被制御機器２０００及び制御機器３０００とネットワーク４０００を介して相互に通信可能に接続される。具体的には、通信部１３００は、制御機器３０００に音声受付処理の開始を指示する制御コマンド、被制御機器２０００を制御するための制御コマンド、及び応答音声信号などを送信する。また、通信部１３００は、被制御機器２０００のセンサ部２００３が検出したセンサ値及び制御機器３０００で取得された音声信号などを受信する。
【００５６】
被制御機器２０００は、制御部２００１、通信部２００２、及びセンサ部２００３を備える。被制御機器２０００は、例えば、電子レンジ、ＩＨ調理器、及びエアコンなどの生活家電、テレビ及びレコーダなどのＡＶ機器、ドアホンなどの住宅機器、並びに固定電話及びスマートフォンなどの通信機器などネットワーク４０００に接続され遠隔制御可能な機器で構成される。
【００５７】
制御部２００１は、例えばＣＰＵ及びメモリを含むコンピュータで構成され、通信部２００２を介して受信した被制御機器２０００を制御するための制御コマンドを実行する。
【００５８】
通信部２００２は、被制御機器２０００をネットワーク４０００へ接続する通信回路で構成され、センサ部２００３により取得されたセンサ値をネットワーク４０００を介して音声処理装置１０００の状態判定部１１２２に通知する。また、通信部２００２は、制御コマンド発行部１１１０から通信部１３００を介して送信された制御コマンドを受信する。
【００５９】
センサ部２００３は、温度センサ及び開閉センサなどの任意のセンサで構成され、被制御機器２０００の種類又は判定したい状態によって異なるセンサが採用される。開閉センサは、例えば、ジャイロセンサ又は加速度センサである。センサ部２００３は、被制御機器２０００に搭載された１又は複数のセンサで構成されてもよいし、被制御機器２０００から分離して配置された１又は複数のセンサで構成されてもよい。例えば、エアコンであれば、センサ部２００３として、室内、室外、及び冷媒等の温度を検出する温度センサなどが採用され、冷蔵庫であれば、センサ部２００３として、扉の開閉を検出する開閉センサ及び庫内の温度を検出する温度センサなどが採用される。
【００６０】
制御機器３０００は、通信部３０１０、音声出力部３０２０、及び音声入力部３０３０を備える。音声入力部３０３０は、指向性制御部３０３１及びマイク３０３２を備える。制御機器３０００は、例えばスマートスピーカ等の集音機能を備える音声出力装置、又はスマートフォン等の集音機能及び音声出力機能を備える携帯端末である。なお、制御機器３０００は、被制御機器２０００に含まれる構成が採用されてもよい。例えば、複数の被制御機器２０００のうち特定の被制御機器２０００に制御機器３０００の機能を搭載し、その特定の被制御機器２０００に制御機器３０００の機能を担わせる態様である。なお、制御機器３０００は、デスクトップ型のコンピュータで構成されてもよい。
【００６１】
通信部３０１０は、音声入力部３０３０により取得された音声信号を音声処理装置１０００に送信したり、音声受付処理を開始させる制御コマンド及び応答音声信号を受信したりする。
【００６２】
音声出力部３０２０は、例えば、音声入力部３０３０により取得された音声信号を音声に変換して外部空間に出力するスピーカであり、音声処理装置１０００から送信された応答音声信号を再生する。
【００６３】
音声入力部３０３０のマイク３０３２は、例えば、ユーザが発話した音声を集音し、音声信号に変換する。本実施の形態では、指向性制御を可能とするために、マイク３０３２は、複数のマイクからなるアレーマイクで構成されている。なお、指向性制御が行われない場合は、マイク３０３２は１つのマイクで構成される。指向性制御部３０３１は、音声処理装置１０００の音声入力制御部１１５０から送信されたビームフォーム方向を取得すると、そのビームフォーム方向にマイク３０３２の指向性を向ける指向性制御を実行する。
【００６４】
ネットワーク４０００は、例えば、光ファイバ、無線、又は公衆電話回線など任意のネットワークである。例えば、音声処理装置１０００、被制御機器２０００、及び制御機器３０００が宅内に設置されている場合、ネットワーク４０００は、インターネット等の外部ネットワークとは切り離された宅内のローカルネットワークであってもよい。また、音声処理装置１０００及び被制御機器２０００が宅内に設置され、音声処理装置１０００がクラウドサーバで構成されている場合、ネットワーク４０００は、外部ネットワークと、外部ネットワークに接続された宅内のローカルネットワークとを含んでいてもよい。
【００６５】
図２は、図１に示す音声対話辞書ＤＢ１２１０のデータ構成の一例を示す図である。音声対話辞書ＤＢ１２１０は、図２に示すように、機器ＩＤの列１００、場所の列１０１、発話の列１０２、及び制御内容の列１０３を備え、被制御機器２０００のそれぞれについて、機器ＩＤ、場所、発話、及び制御内容を対応付けて記憶する。音声対話辞書ＤＢ１２１０は、ユーザの発話から被制御機器２０００を制御するための制御コマンドを特定する際に制御コマンド決定部１１２１より参照される。機器ＩＤは、被制御機器２０００を一意に特定するための識別子である。例えば、機器ＩＤは、エアコンであれば「エアコン＿０１」、ＩＨ調理器であれば「ＩＨ＿０１」などである。場所は、例えば、リビング及びキッチンなどの被制御機器２０００の設置場所である。発話は、例えば、「あたためて」及び「涼しくして」などの被制御機器２０００を制御するための発話内容である。制御内容は、例えば、「暖房ＯＮ」及び「冷房ＯＮ」などの発話に応じた被制御機器２０００の制御内容である。例えば、エアコンは、「あたためて」との発話に対して暖房運転を開始し、「涼しくして」の発話に対して冷房運転を開始する。
【００６６】
図３は、図１に示す開始条件テーブル１２２０のデータ構成の一例を示す図である。開始条件テーブル１２２０は状態判定部１１２２が音声受付処理の開始条件を満たすか否かを判断する際に参照される。開始条件を満たすか否かについての処理の詳細は後述する。開始条件テーブル１２２０は、図３に示すように、機器ＩＤの列２００、開始条件の列２０１、制御対象機器の列２０２、及び応答部の列２０３を備え、被制御機器２０００のそれぞれについて、機器ＩＤ、開始条件、制御対象機器、及び応答部を対応付けて記憶する。機器ＩＤは、図２に示す機器ＩＤと同じである。開始条件は、音声受付処理の開始条件である。例えば、機器ＩＤ「電子レンジ＿０１」の電子レンジにおいては、開始条件として「ｄｏｏｒ＿ｓｔａｔｅ＝Ｏｐｅｎ、ｄｏｏｒ＿ｓｔａｔｅ＝Ｃｌｏｓｅ、ｏｐｅｎ＿ｃｌｏｓｅ＿ｉｎｔｅｒｖａｌ＝３ｓｅｃ」が記憶されている。したがって、扉が開状態にされ、３秒以内に扉が閉状態にされたという状態変化が検出された場合、この電子レンジは、音声受付処理の開始条件を満たすと判定されるとともに制御対象機器として特定される。
【００６７】
制御対象機器の列２０２は、開始条件の列２０１に記憶された条件が全て満たされたときに制御対象となる被制御機器２０００が記憶されている。基本的には、制御対象機器の列２０２には機器ＩＤの列２００に機器ＩＤが記憶された被制御機器２０００が記憶されている。但し、５行目、６行目のように、機器ＩＤの列２０１に記憶された複数の被制御機器２０００の一方（例えば、ＩＨ調理器）が記憶されていていてもよいし、７行目のように、機器ＩＤの列２０１に記憶された複数の被制御機器２０００とは異なる被制御機器２０００（例えば、レコーダ）が記憶されていてもよい。
【００６８】
応答文は、音声受付処理の開始時に制御機器３０００から音声により出力される応答文である。例えば、１行目の電子レンジが音声受付処理の開始条件を満たした場合、応答文として「レンジに食材が入れられました。どのように制御しますか？」との応答音声が制御機器３０００から出力される。これにより、ユーザは電子レンジが発話の受け付け可能状態であることを確認できる。
【００６９】
図４は、図１に示すビームフォームテーブル１２３０のデータ構成の一例を示す図である。ビームフォームテーブル１２３０は、図４に示すように、機器ＩＤの列３００及びビーム方向の列３０１を備え、被制御機器２０００のそれぞれについて、機器ＩＤ及びビームフォーム方向を対応付けて記憶する。機器ＩＤは図２に示す機器ＩＤと同じである。ビームフォーム方向は、制御機器３０００の基準方向を０°としたときの、制御機器３０００の指向性の方向を示す角度であり、例えば０°〜３５９°の値を取る。
【００７０】
図５を参照して、ビームフォーム方向の決定方法について説明する。ビームフォーム方向は、例えば、被制御機器２０００の設置位置に基づいて決定される。例えば電子レンジ４１１については、電子レンジ４１１の設置位置及び制御機器３０００であるスマートスピーカ４２１の設置位置を繋ぐ直線Ｌ１と、基準方向Ｌ０との成す角度θがビームフォームの方向として決定される。基準方向Ｌ０は、スマートスピーカ４２１の設置位置を通る、床面と平行な所定の方向である。なお、ビームフォームテーブル１２３０に記憶されるビームフォーム方向は、例えば被制御機器２０００の設置時にユーザ又は作業員などによってスマートフォン等の入力装置を用いて入力されて、音声処理装置１０００に送信される。
【００７１】
また、ビームフォーム方向は、被制御機器２０００が音声によって、よく制御される方向に応じてキャリブレーションされてもよい。キャリブレーションの方法は、例えば、スマートフォンなどの設定アプリを用いてユーザが指定する方法がある。この場合、音声処理装置１０００の主制御部１１００は、ある被制御機器２０００についてユーザが指定したビームフォーム方向を取得すると、ビームフォームテーブル１２３０に記憶されたその被制御機器２０００のビームフォーム方向を取得したビームフォーム方向で更新すればよい。
【００７２】
また、キャリブレーションの方向は、例えば、ある被制御機器２０００を音声により制御する際にスマートスピーカ４２１が音声を集音した方向の履歴に基づいて決定する方法がある。この場合、スマートスピーカ４２１は、被制御機器２０００が音声により制御される際に集音したユーザの音声を示す音声信号に、音声を集音した方向と制御された被制御機器２０００の機器ＩＤとを対応付けた集音信号を含ませて音声処理装置１０００に送信する。この音声信号を受信した音声処理装置１０００は、音声情報に対応付けられた集音情報を履歴としてメモリ１２００に蓄積する。一方、主制御部１１００は、ある被制御機器２０００についてメモリ１２００に蓄積された集音情報の蓄積個数が所定個数増加すると、最新の所定個数の集音情報に含まれる方向の平均値を算出し、算出した平均値を新たなビームフォーム方向としてビームフォームテーブル１２３０の該当する被制御機器２０００のビームフォーム方向を更新すればよい。
【００７３】
図５は、実施の形態１において、宅内の間取りに配置される制御機器３０００と被制御機器２０００との具体例を示す図である。以下、図５に示す間取りに配置された制御機器３０００と被制御機器２０００との動作例を説明する。図５に示す間取りは、キッチン４１０、リビング・ダイニング４２０、玄関・廊下４３０、サニタリ・浴室４４０、トイレ４５０、及び寝室４６０で構成される。キッチン４１０には電子レンジ４１１及びＩＨ調理器４１２が設置されている。リビング・ダイニング４２０にはスマートスピーカ４２１（制御機器３０００の一例）、エアコン４２３、及びテレビ４２４が設置されている。玄関・廊下４３０には、ドアホン４３１が設置されている。サニタリ・浴室４４０には洗濯機４４１が設置されている。寝室４６０にはエアコン４６１が設置されている。
【００７４】
例えば、ユーザが電子レンジ４１１の扉を開けて食材を入れて３秒以内に扉を閉めたとする。このとき、電子レンジ４１１の開閉センサによって扉が開状態のセンサ値及び閉状態のセンサ値が３秒以内に順次、音声処理装置１０００に送信される。センサ値を受信した音声処理装置１０００は、開始条件テーブル１２２０を参照し、電子レンジ４１１が音声受付処理の開始条件を満たしているため、電子レンジ４１１を制御対象機器として特定する。このとき、音声処理装置１０００は、図３に示す開始条件テーブル１２２０に記憶された電子レンジ４１１の応答文「レンジに食材が入れられました。どのように制御しますか？」を示す応答音声信号をスマートスピーカ４２１に送信する。また、このとき、音声処理装置１０００は、図４に示すビームフォームテーブル１２３０を参照し、電子レンジ４１１に対応するビームフォーム方向を取得し、スマートスピーカ４２１に送信する。
【００７５】
これにより、スマートスピーカ４２１は、受信した応答音声信号が示す応答音声を出力する。さらに、スマートスピーカ４２１は、取得したビームフォーム方向に指向性を向ける指向性制御を行い、音声受付処理を開始する。この時、音声処理装置１０００は、ユーザの発話に対して、図２に示す音声対話辞書ＤＢ１２１０に記憶された電子レンジの電子辞書を参照して、制御内容を決定する。したがって、例えば、ユーザが「あたためて」と発話したとすると、その発話の音声信号がスマートスピーカ４２１から音声処理装置１０００に送信され、「自動温め開始」の制御コマンドが音声処理装置１０００から電子レンジ４１１へと送信され、電子レンジ４１１は自動温め運転を開始する。
【００７６】
図６は、実施の形態１における音声制御システムが音声受付処理の開始条件を判定し、音声受付処理を開始するまでの処理の一例を示すフローチャートである。
【００７７】
まず、被制御機器２０００のセンサ部２００３により被制御機器２０００の状態を示すセンサ値が取得されると（Ｓ１００：ＹＥＳ）、被制御機器２０００の制御部２００１はセンサ値を音声処理装置１０００の状態判定部１１２２に通知するために、センサ値を通信部２００２を介して音声処理装置に送信する（Ｓ１０１）。ここで、被制御機器２０００は、状態変化があった場合にセンサ値を送信してもよいし、任意の周期で定期的にセンサ値を送信してもよい。
【００７８】
また、被制御機器２０００の制御部２００１は、状態を検出したセンサの種類及び被制御機器２０００の構成などに応じて、状態変化があった場合にセンサ値を送信する態様と定期的にセンサ値を送信する態様とを分けてもよい。なお、センサ値には送信元の被制御機器２０００の機器ＩＤが対応付けられている。
【００７９】
センサ部２００３によりセンサ値が取得されない場合（Ｓ１００：ＮＯ）、センサ部２００３はセンサ値の取得待ち状態になる。
【００８０】
次に、状態判定部１１２２は、取得したセンサ値と開始条件テーブル１２２０とを照合し、制御対象機器が特定できたか否かを判定する（Ｓ１０２）。制御対象機器が特定できなかった場合（Ｓ１０２：ＮＯ）、処理はＳ１００へ遷移し、センサ部２００３は再びセンサ値の取得待ち状態となる。一方、制御対象機器が特定できた場合（Ｓ１０２：ＹＥＳ）、処理はＳ１０３に遷移する。
【００８１】
例えば、機器ＩＤ「電子レンジ＿０１」のセンサ値が取得された場合、開始条件テーブル１２２０の１行目と２行目とのレコードが抽出され、抽出されたレコードの開始条件の列２０１が参照される。ここで、取得したセンサ値が電子レンジの扉が閉状態になったことを示す「ｄｏｏｒ＿ｓｔａｔｅ＝Ｃｌｏｓｅ」であり、現時点から３秒以内に電子レンジの扉が開状態になったことを示す「ｄｏｏｒ＿ｓｔａｔｅ＝Ｏｐｅｎ」のセンサ値が取得されていたとすると、１行目の開始条件の列２０１に記憶された全ての条件が満足されるため、１行目の制御対象機器の列２０２に記憶された電子レンジが制御対象機器として特定される。一方、１行目の開始条件の列に記憶された条件のうち、「ｄｏｏｒ＿ｓｔａｔｅ＝Ｏｐｅｎ」のみが取得されている場合、この開始条件は保留にされる。また、「ｄｏｏｒ＿ｓｔａｔｅ＝Ｏｐｅｎ」の取得時点から３秒経過した時点で「ｄｏｏｒ＿ｓｔａｔｅ＝Ｃｌｏｓｅ」が取得されなかった場合、この保留はリセットされる。
【００８２】
Ｓ１０３では、状態判定部１１２２は、Ｓ１０２で特定された制御対象機器の機器ＩＤを音声入力制御部１１５０、制御コマンド決定部１１２１、及び応答生成部１１３０のそれぞれに出力する。例えば、機器ＩＤ「電子レンジ＿０１」の電子レンジが制御対象機器として特定された場合、機器ＩＤ「電子レンジ＿０１」が音声入力制御部１１５０、制御コマンド決定部１１２１、及び応答生成部１１３０のそれぞれに出力される。以下に示す、Ｓ１０４及びＳ１０５の処理と、Ｓ１０６〜Ｓ１０８の処理と、Ｓ１０９の処理とは並列して行われる。
【００８３】
Ｓ１０４では、音声入力制御部１１５０は、制御機器３０００に対して、音声受付処理の開始を指示する制御コマンドとビームフォーム方向とを通信部１３００を介して送信する。詳細には、音声入力制御部１１５０は、ビームフォームテーブル１２３０の機器ＩＤの列３００を参照し、出力された機器ＩＤにマッチするレコードを抽出し、抽出したレコードの列３０１に記憶されたビームフォーム方向を、制御対象機器のビームフォーム方向として取得する。そして、音声入力制御部１１５０は、取得したビームフォーム方向を音声受付処理の開始を指示する制御コマンドと合わせて通信部１３００を介して制御機器３０００に送信する。
【００８４】
次に、制御機器３０００の指向性制御部３０３１は、指向性制御を実行して受信したビームフォーム方向にマイク３０３２の指向性を向け、音声受付処理を開始する（Ｓ１０５）。
【００８５】
Ｓ１０６では、応答生成部１１３０は、出力された機器ＩＤが示す制御対象機器に対応する応答文を開始条件テーブル１２２０から取得することで、制御対象機器の制御をユーザに促す応答文のテキストデータを生成する（Ｓ１０６）。例えば、状態判定部１１２２から機器ＩＤ「電子レンジ＿０１」が出力されたとすると、応答生成部１１３０は、開始条件テーブル１２２０の１行目の応答文の列２０３に記憶された「レンジに食材が入れられました。どのように制御しますか？」の応答文のテキストデータを取得する。取得された応答文のテキストデータは音声合成部１１６０に出力される。
【００８６】
次に、音声合成部１１６０は、音声合成処理を行うことで出力された応答文の応答音声信号を生成し、生成した応答音声信号を通信部１３００を介して制御機器３０００に送信する（Ｓ１０７）。
【００８７】
次に、制御機器３０００の音声出力部３０２０は、応答音声信号が示す応答音声を出力する（Ｓ１０８）。上記の電子レンジの例では、「レンジに食材が入れられました。どのように制御しますか？」との応答音声が音声出力部３０２０から出力される。これにより、ユーザは、電子レンジに食材を入れたという自身の動作によって電子レンジが制御の待ち状態になった判断し、これから音声による発話をすることで電子レンジを制御できることを確認できる。
【００８８】
Ｓ１０９では、制御コマンド決定部１１２１は、通知された機器ＩＤが示す制御対象機器の音声対話辞書を音声対話辞書ＤＢ１２１０から選択する（Ｓ１０９）。例えば、機器ＩＤ「電子レンジ＿０１」の電子レンジが制御対象機器であるとすると、音声対話辞書ＤＢ１２１０の中から、機器ＩＤ「電子レンジ＿０１」の音声対話辞書が選択される。これにより、ユーザが電子レンジに対して「あたためて」と発話した場合に、誤って、エアコンが暖房運転を開始したり、ＩＨ調理器が加熱を開始したりといった事態が発生することが防止される。
【００８９】
図７は、実施の形態１における音声制御システムが音声受付処理を開始してから制御対象機器に対する制御コマンドを特定する際の処理の一例を示すフローチャートである。ユーザの発話を示す音声信号が音声入力部３０３０により取得されると（Ｓ２００：ＹＥＳ）、制御機器３０００は、取得した音声信号を通信部３０１０を介して音声処理装置１０００に送信する。この音声信号は音声認識部１１４０により取得される。
【００９０】
次に、音声認識部１１４０は、音声認識処理を実行して取得した音声信号をテキストデータに変換し、音声認識結果として制御コマンド決定部１１２１に出力する（Ｓ２０１）。一方、ユーザの発話を示す音声信号が得られない間は、音声入力部３０３０は音声信号の取得待ち状態になる（Ｓ２００：ＮＯ）。
【００９１】
次に、制御コマンド決定部１１２１は、音声認識結果に被制御機器２０００を特定する情報が含まれているか否かを判定する。ここで、被制御機器２０００を特定する情報は、例えば、ある被制御機器２０００の機器名である。制御対象機器を特定する情報が含まれている場合（Ｓ２０２：ＮＯ）、制御コマンド決定部１１２１は、図６のＳ１０２で制御対象機器として特定された被制御機器２０００に代えて、音声認識結果に含まれる被制御機器２０００を制御対象機器として決定し（Ｓ２０７）、処理をＳ２０３に進める。
【００９２】
Ｓ２０２でＮＯと判定されるケースは、例えば、図６のＳ１０２で電子レンジが制御対象機器として特定されて音声受付処理が開始された後、ユーザが「エアコン、あたためて」と発話したようなケースである。この場合は、直近のユーザの発話を尊重して電子レンジではなくエアコンが制御対象機器として特定される。
【００９３】
一方、音声認識結果に被制御機器２０００を特定する情報が含まれていない場合（Ｓ２０２：ＹＥＳ）、制御コマンド決定部１１２１は、Ｓ２０１で取得された音声認識結果と、図６のＳ１０２で特定された制御対象機器の音声対話辞書とを照合することで、制御コマンドを絞り込む。例えば、制御対象機器が機器ＩＤ「電子レンジ＿０１」の電子レンジであるとすると、音声対話辞書ＤＢ１２１０から機器ＩＤ「電子レンジ＿０１」の音声対話辞書の中から、制御コマンドが絞り込まれる。
【００９４】
制御コマンド決定部１１２１により制御コマンドが一意に特定された場合（Ｓ２０４：ＹＥＳ）、制御コマンド発行部１１１０は、一意に特定された制御コマンドを通信部１３００を介して制御対象機器に送信する（Ｓ２０５）。
【００９５】
次に、制御対象機器としての被制御機器２０００の制御部２００１は、送信された制御コマンドを実行する（Ｓ２０６）。これにより、例えば、制御対象機器が電子レンジであり、ユーザにより「あたためて」との発話がなされたとすると、電子レンジにより食材を温める動作が実行される。
【００９６】
一方、制御コマンド決定部１１２１により制御コマンドが一意に特定されなかった場合（Ｓ２０４：ＮＯ）、応答生成部１１３０は、制御対象機器を音声制御するための発話をユーザに聞き返す応答文のテキストデータを生成する。聞き返す応答文は、例えば「どのように制御しますか？」など、制御対象機器に対する制御内容を聞き返すメッセージが採用できる。一意に特定できないケースは、例えば、制御対象機器の音声対話辞書の発話の列１０２に記憶されたいずれの発話もＳ２０１で取得された音声認識結果に含まれていなかったケースが該当する。
【００９７】
次に、音声合成部１１６０は、聞き返す応答文の応答音声信号を生成し、通信部１３００を介して制御機器３０００に送信する（Ｓ２０８）。これにより、制御機器３０００の音声出力部３０２０から「どのように制御しますか？」などのメッセージが音声により出力される。Ｓ２０８の処理の終了後、処理はＳ２００へ遷移する。
【００９８】
一方、Ｓ２１０では、応答生成部１１３０は、Ｓ２０４で一意に特定された制御コマンドが示す制御内容を示す応答文のテキストデータを生成する（Ｓ２１０）。制御内容を示す応答文は、例えば「レンジの温めを開始します。」といった応答文である。次に、音声合成部１１６０は、制御内容を示す応答文の応答音声信号を生成し、通信部１３００を介して制御機器３０００に送信する。これにより、制御機器３０００の音声出力部３０２０から「レンジの温めを開始します。」といった応答文の音声が出力される（Ｓ２１１）。その結果、ユーザは自身の発話通りに制御対象機器が制御されているかを確認できる。
【００９９】
以上、実施の形態１によれば、被制御機器２０００の状態の変化が検出され、その状態の変化を示すセンサ値に基づいて複数の被制御機器２０００の中から制御対象機器が特定された上で音声受付処理が開始されている。さらに、音声受付処理の開始とともに、制御対象機器を制御するための発話をユーザに促す応答文が音声で制御機器３０００から出力されている。そのため、音声受付処理の開始のきっかけとなる発話及び制御対象機器を特定するための発話というような煩雑な発話をユーザに行わせることなく、複数の被制御機器２０００の中から制御対象機器を特定し、その制御対象機器に対するユーザの発話を取得できる。
【０１００】
（実施の形態２）
実施の形態２は、音声受付処理を開始してから制御対象機器が一定期間制御されていないことを検出した場合、音声受付処理を再開するとともに、制御対象機器を制御するための発話をユーザに促す応答文を出力するものである。
【０１０１】
図８は、実施の形態２における音声制御システムの全体構成の一例を示すブロック図である。図８において図１との相違点は、音声処理装置１０００が第１タイマー１４０１及び第２タイマー１４０２をさらに備える点にある。
【０１０２】
第１タイマー１４０１は、音声受付処理が開始されてから音声受付処理が再開されるまでの第１期間を計時する。第２タイマー１４０２は、音声受付処理のタイムアウト期間である第２期間を計時する。第１期間は、例えば、音声受付処理が開始されてからユーザが制御対象機器を音声制御するための発話を忘れている可能性が高いことが見込まれる期間である。第２期間は第１期間よりも短い期間である。
【０１０３】
図９は、実施の形態２における音声制御システムが音声受付処理の開始条件を判定し、音声受付処理を開始するまでの処理の一例を示すフローチャートである。なお、図９において図６と同一の処理には同一のステップ番号を付している。図９に示すＳ１００〜Ｓ１０９は図６に示すＳ１００〜Ｓ１０９と同じである。図９の処理を通じて、制御対象機器が特定され、音声受付処理が開始され、ユーザに発話を促す応答文が出力される。
【０１０４】
図１０は、図９の続きのフローチャートである。なお、図１０に示すＳ１１０〜Ｓ１１４の処理は、図９に示すＳ１０４〜Ｓ１０５の処理と、Ｓ１０６〜Ｓ１０８の処理と、Ｓ１０９の処理と並行して行われる。
【０１０５】
Ｓ１１０では、状態判定部１１２２は、第２タイマー１４０２の計時を開始する。Ｓ１１１では、状態判定部１１２２は、開始条件テーブル１２２０を参照し、Ｓ１０２で特定した制御対象機器に対してタイムアウト条件が含まれているか否かを判定する。タイムアウト条件が含まれている場合（Ｓ１１１：ＹＥＳ）、第１期間にタイムアウト条件が示す時間をセットして、第１タイマー１４０１の計時を開始する（Ｓ１１２）。一方、制御対象機器に対してタイムアウト条件が含まれていない場合（Ｓ１１１：ＮＯ）、処理は終了する。図３の例において、電子レンジが制御対象機器である場合、２行目の開始条件の列２０１には、「ｄｏｏｒ＿ｓｔａｔｅ＝Ｏｐｅｎ、ｄｏｏｒ＿ｓｔａｔｅ＝Ｃｌｏｓｅ、ｏｐｅｎ＿ｃｌｏｓｅ＿ｉｎｔｅｒｖａｌ＝３ｓｅｃ」に加えてさらに、タイムアウト条件である「Ｏｐｅｒａｔｉｏｎ＿ｔｉｍｅｏｕｔ＝１０ｍｉｎ」が含まれている。そのため、第１期間が１０分に設定されて第１タイマー１４０１の計時が開始される。
【０１０６】
次に、状態判定部１１２２は、第１期間が経過して第１タイマー１４０１がタイムアウトしたか否か判定する（Ｓ１１３）。第１タイマー１４０１がタイムアウトした場合（Ｓ１１３：ＹＥＳ）、状態判定部１１２２は、応答生成部１１３０に対して開始条件テーブル１２２０から応答文の取得を指示する（Ｓ１１４）。図３の２行目の電子レンジの例では、第１タイマー１４０１のタイムアウトにより、開始条件の列２０１に記憶された全ての条件が満足されることになる。これにより、状態判定部１１２２は応答文の取得を応答生成部１１３０に指示し、応答生成部１１３０は、２行目の応答文である「レンジに食材が入れられて１０分が経ちました。制御をわすれていませんか？」を取得する。一方、第１タイマー１４０１がタイムアウトしていない場合（Ｓ１１３：ＮＯ）、第１タイマー１４０１の計時が継続される。
【０１０７】
Ｓ１１４が終了すると、処理は図９のＳ１０３に遷移し、Ｓ１０４〜Ｓ１０５の処理と、Ｓ１０６〜Ｓ１０８の処理と、Ｓ１０９の処理と、Ｓ１１０〜Ｓ１１４の処理とが再度実行される。この場合、Ｓ１１４で取得した応答文が生成され（Ｓ１０６）、その応答文の応答音声信号が制御機器３０００に送信され（Ｓ１０７）、その応答文の応答音声が制御機器３０００から出力される（Ｓ１０８）。これにより、ユーザに制御を思い出させることができる。なお、図１０のＳ１１０〜Ｓ１１４の処理は、何回も繰り返されることを回避するために所定回数繰り返された場合、図９のＳ１０３に遷移せずに、処理を終了してもよい。何回も繰り返されるケースは、例えば、音声受付処理の開始後、ユーザが外出するようなケースである。
【０１０８】
図１１は、実施の形態２における音声制御システムが音声受付処理を開始してから制御対象機器に対する制御コマンドを特定する際の処理の一例を示すフローチャートである。なお、図１１において図７と同一の処理には同一のステップ番号を付している。図１１において、図７との相違点は、Ｓ２００：ＮＯの次に処理がＳ２１２に遷移する点、Ｓ２０４：ＹＥＳの次に処理が図１２のＳ２１４に遷移する点にある。
【０１０９】
音声入力部３０３０により、ユーザの発話を示す音声信号が取得されない場合（Ｓ２００：ＮＯ）、状態判定部１１２２は、第２期間の経過により第２タイマー１４０２がタイムアウトしたか否かを判定する（Ｓ２１２）。第２タイマー１４０２がタイムアウトした場合（Ｓ２１２：ＹＥＳ）、状態判定部１１２２は、音声受付処理を終了させる（Ｓ２１３）。この場合、制御コマンド発行部１１１０は、音声受付処理の終了を指示する制御コマンドを発行し、通信部１３００を介して制御機器３０００に送信する。制御機器３０００は、この制御コマンドを受信すると、音声入力部３０３０による集音を終了する。これにより、ユーザの発話が常に外部に漏れることへの防止が図られている。
【０１１０】
一方、第２タイマー１４０２がタイムアウトしない場合（Ｓ２１２：ＮＯ）、処理はＳ２００に遷移し、音声入力部３０３０はユーザの発話の待ち状態になる。
【０１１１】
Ｓ２０４において、制御コマンドが一意に特定された場合（Ｓ２０４：ＹＥＳ）、図１２に示すＳ２１４に処理は遷移する。図１２は、図１１の続きのフローチャートである。なお、Ｓ２１４〜Ｓ２１６の処理は、図１１のＳ２０５〜Ｓ２０６の処理と、Ｓ２１０〜Ｓ２１１の処理と並行して行われる。
【０１１２】
Ｓ２１４では、状態判定部１１２２は、第２タイマー１４０２が計時中であるか否かを判定する。第２タイマー１４０２が計時中である場合（Ｓ２１４：ＹＥＳ）、状態判定部１１２２は、第２タイマー１４０２の計時を終了させる（Ｓ２１５）。次に、状態判定部１１２２は、音声受付処理を終了させる（Ｓ２１６）。すなわち、第２タイマー１４０２の計時中にユーザの発話によって制御コマンドが一意に特定できたため、第２タイマー１４０２の計時を終了させるのである。この場合、制御コマンド発行部１１１０から音声受付処理の終了を示す制御コマンドが制御機器３０００に送信される。一方、第２タイマー１４０２が計時中でない場合（Ｓ２１４：ＮＯ）、処理は終了される。
【０１１３】
実施の形態２によれば、音声受付処理の開始条件として、例えば、電子レンジが開閉された後、一定期間、電子レンジが制御されなかった場合に音声受付処理を再開させるとともに、「レンジに食材が入れられましたが、制御が開始されていないようです。お忘れではないですか？」などの応答文が出力される。これにより、ユーザが制御すると予測されるタイミングで制御がなされなかった場合に、音声受付処理を再開させることができるとともに、応答文によりユーザが制御対象機器の制御を忘れていないかを確認することができる。
【０１１４】
（変形例）
本開示は下記の変形例が採用できる。
【０１１５】
（１）上記実施の形態では、音声受付処理の開始条件としては、電子レンジに食材が入れられたことが採用されたが、本開示はこれに限定されない。例えば、電子レンジ１の扉が開閉されること、或いは、ＩＨ調理器の上に物が置かれたことが開始条件として採用されてもよい。
【０１１６】
（２）音声受付処理の開始条件は、１つの被制御機器２０００の状態変化ではなく、複数の被制御機器２０００の状態変化に基づいて成立の有無が判定されてもよい。
【０１１７】
図３の５行目の例では、機器ＩＤの列２００には、機器ＩＤ「電話＿０１」の電話機と機器ＩＤ「ＩＨ＿０１」のＩＨ調理器とが記憶されている。そして、開始条件の列２０１には、電話機の着信を示す「ｉｎｃｏｍｉｎｇ＝ｔｒｕｅ」と、ＩＨ調理器の使用を示す「ｉｈ＿ｃｏｏｋｅｒ＿ｓｔａｔｅ＝Ｏｎ」とが記憶され、制御対象機器の列２０２には「ＩＨ調理器」が記憶されている。そのため、状態判定部１１２２は、ＩＨ調理器の使用中に、電話機に着信があった場合、ＩＨ調理器を制御対象機器として特定する。この場合、応答文の列２０３には「電話の着信があります。使用中のＩＨはどうしますか？」の応答文が記憶されている。そのため、応答生成部１１３０は、この応答文を制御機器３０００の音声出力部３０２０から出力させる。
【０１１８】
これにより、ＩＨ調理器の使用中に電話機に着信があった場合、ユーザは、例えば、「停止」又は「弱火」といった発話を行うことにより、ＩＨ調理器を停止又は弱火にした上で、ＩＨ調理器から離れて電話に出ることができる。
【０１１９】
同様に、図３の６行目の例では、機器ＩＤの列２００に機器ＩＤ「インターフォン＿０１」のインターフォンと、機器ＩＤ「ＩＨ＿０１」のＩＨ調理器とが記憶され、開始条件の列２０１には、インターフォンが来客者からの呼出を受け付けたことを示す「ｒｉｎｇ＿ｉｎｔｅｒｃｏｍ＝ｔｒｕｅ」とＩＨ調理器の使用中を示す「ｉｈ＿ｃｏｏｋｅｒ＿ｓｔａｔｅ＝Ｏｎ」とが記憶され、制御対象機器の列２０２には「ＩＨ調理器」が記憶されている。
【０１２０】
そのため、状態判定部１１２２は、ＩＨ調理器の使用中に、インターフォンの着信があった場合、ＩＨ調理器を制御対象機器として特定する。この場合、応答文の列２０３には「来客があります。使用中のＩＨはどうしますか？」の応答文が記憶されている。そのため、応答生成部１１３０は、この応答文を制御機器３０００の音声出力部３０２０から出力させる。
【０１２１】
これにより、ＩＨ調理器の使用中にインターフォンの呼出があった場合、ユーザは、例えば、「停止」又は「弱火」といった発話を行うことにより、ＩＨ調理器を停止又は弱火にした上で、ＩＨ調理器から離れてインターフォンの呼出に出ることができる。
【０１２２】
また、図３の７行目の例では、機器ＩＤの列２００には、機器ＩＤ「インターフォン＿０１」のインターフォンと機器ＩＤ「ＴＶ＿０１」のテレビとが記憶されている。そして、開始条件の列２０１には、インターフォンが来客者からの呼出を受け付けたことを示す「ｒｉｎｇ＿ｉｎｔｅｒｃｏｍ＝ｔｒｕｅ」と、テレビのＯＮを示す「ｔｖ＿ｓｔａｔｅ＝Ｏｎ」とが記憶され、制御対象機器の列２０２には「テレビ／レコーダ」が記憶されている。そのため、状態判定部１１２２は、テレビの視聴中に、インターフォンの呼出があった場合、テレビとレコーダとを制御対象機器として特定する。この場合、応答文の列２０３には「来客があります。視聴中のテレビはどのようにしますか？」の応答文が記憶されている。そのため、応答生成部１１３０は、この応答文を制御機器３０００の音声出力部３０２０から出力させる。
【０１２３】
これにより、テレビの視聴中に来客があった場合、ユーザは、例えば、「テレビ、オフ。レコーダ、録画」といった発話を行うことにより、テレビをＯＦＦするとともに視聴中のテレビ番組をレコーダに録画させることができる。
【０１２４】
（３）上記実施の形態では、音声受付処理の開始時に制御対象機器の制御を促す応答文が制御機器３０００から出力される例が示されたが、本開示はこれに限定されず、音声受付処理の開始時に制御対象機器に関連するサービスの実行を促す応答文が制御機器３０００から出力されてもよい。
【０１２５】
図３の３行目の例では、機器ＩＤの列２００には、機器ＩＤ「冷蔵庫＿０１」が記憶され、開始条件の列２０１に「ｄｏｏｒ＿ｓｔａｔｅ＝Ｏｐｅｎ」が記憶され、制御対象機器の列２０２には「冷蔵庫」が記憶され、応答文の列２０３には「在庫切れなどがありましたらお申し付け下さい。」の応答文が記憶されている。この応答文は第５情報の一例である。
【０１２６】
そのため、状態判定部１１２２は、冷蔵庫の扉が開状態になった場合、冷蔵庫を制御対象機器として特定する。そして、応答生成部１１３０は、この応答文を制御機器３０００の音声出力部３０２０から出力させる。
【０１２７】
この場合、ユーザは例えば、「トマト買い足し」というように、冷蔵庫に在庫が切れている食材を買い足す旨の発話をする。これにより、音声処理装置１０００は、例えば、クラウド上の食材購入サイトにアクセスし、このユーザに代行して食材を買い足す処理を行う。これにより、買い足された食材がユーザの自宅に配達され、ユーザは在庫切れの食材を冷蔵庫に補充できる。なお、この場合、音声対話辞書ＤＢ１２１０に制御対象機器に関連するサービスに対応する音声対話辞書を記憶させておき、制御コマンド決定部１１２１は、この音声対話辞書を参照し、サービスの実行内容を決定すればよい。
【０１２８】
（４）上記実施の形態では、音声受付処理の開始時にユーザに発話を促す応答文を音声により制御機器３０００から出力させたが、本開示はこれに限定されない。例えば、制御機器３０００がＬＥＤ等の発光装置を備えている場合は、制御機器３０００は、応答文の音声出力に代えて又は加えて、発光装置から光を出力してもよい。また、制御機器３０００は、応答文の音声出力に代えてビープ音等の電子音を音声出力部３０２０から出力してもよい。また、制御機器３０００がディスプレイを備えている場合、制御機器３０００は、応答文の音声出力に代えて又は加えて、ディスプレイに応答文の映像を表示してもよい。また、これらの態様は適宜組み合わされてもよい。
【産業上の利用可能性】
【０１２９】
本開示は、音声対話により機器を制御する際に、ユーザの負担が軽減できるので、音声対話により機器を制御したり機器に関するサービスを実行する技術分野において有用である。
【符号の説明】
【０１３０】
１０００      ：音声処理装置
１１００      ：主制御部
１１１０      ：制御コマンド発行部
１１２０      ：意図解釈部
１１２１      ：制御コマンド決定部
１１２２      ：状態判定部
１１３０      ：応答生成部
１１４０      ：音声認識部
１１５０      ：音声入力制御部
１１６０      ：音声合成部
１２００      ：メモリ
１２２０      ：開始条件テーブル
１２３０      ：ビームフォームテーブル
１３００      ：通信部
１４０１      ：第１タイマー
１４０２      ：第２タイマー
２０００      ：被制御機器
２００１      ：制御部
２００２      ：通信部
２００３      ：センサ部
３０００      ：制御機器
３０１０      ：通信部
３０２０      ：音声出力部
３０３０      ：音声入力部
３０３１      ：指向性制御部
３０３２      ：マイク
４０００      ：ネットワーク
【図１】
2020112692.tif 000003
【図２】
2020112692.tif 000004
【図３】
2020112692.tif 000005
【図４】
2020112692.tif 000006
【図５】
2020112692.tif 000007
【図６】
2020112692.tif 000008
【図７】
2020112692.tif 000009
【図８】
2020112692.tif 000010
【図９】
2020112692.tif 000011
【図１０】
2020112692.tif 000012
【図１１】
2020112692.tif 000013
【図１２】
2020112692.tif 000014