(57)【要約】      （修正有）【課題】ネットワークにより接続された機器を制御する電子機器を提供する。【解決手段】外部から入力される第１の音声の内容により、第１の音声が入力された以降に入力される第２の音声の内容に基づいて各機器３１０〜３４０の制御の実行を判定する電子機器３３２において、第１の音声が所望の音声であることを判定するための判定用音声データを作成管理し、作成管理されている判定用音声データを用いて第１の音声が所望の音声であることを判定する管理手段と、第２の音声の内容に基づいて機器の制御を実行する制御手段と、を備える。制御手段は、管理手段による判定結果に従って機器の制御を実行し、第２の音声の内容を解析するために用いる音声認識辞書の種類を選択する選択手段を持ち、管理手段が複数の前記判定用音声データを持つ場合、第１の音声が所望の音声であると判定するために用いた判定用音声データの種類に応じて音声認識辞書の種類を決定する。【選択図】図１
2020091492.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力される第１の音声の内容により、前記第１の音声が入力された以降に入力される第２の音声の内容に基づいて１台または複数台の機器の制御の実行を判定する電子機器において、
前記第１の音声が所望の音声であることを判定するための判定用音声データを、複数回外部から入力された音声により作成管理し、作成管理されている前記判定用音声データを用いて前記第１の音声が所望の音声であることを判定する管理手段と、
第２の音声の内容に基づいて前記１台または複数台の機器の制御を実行する制御手段と、を備え
前記管理手段により前記判定用音声データを用いて、前記第１の音声が所望の音声であると判定された場合に、前記制御手段により前記第２の音声の内容に基づいて前記１台または複数台の機器の制御を実行する電子機器であって、
前記第２の音声の内容を解析するために用いる音声認識辞書の種類を選択する選択手段を持ち、
前記管理手段が複数の前記判定用音声データを持つ場合、前記第１の音声が所望の音声であると判定するために用いた前記判定用音声データの種類に応じて、前記選択手段は前記音声認識辞書の種類を決定する電子機器。
【請求項２】
前記第２の音声の内容を解析するために用いる前記音声認識辞書の種類を選択する前記選択手段を持ち、
前記電子機器の状態に応じて、前記選択手段は前記音声認識辞書の種類を決定する、請求項１に記載の電子機器。
【請求項３】
外部から入力される第１の音声の内容により、前記第１の音声が入力された以降に入力される第２の音声の内容に基づいて１台または複数台の機器の制御の実行を判定する制御方法において、
前記第１の音声が所望の音声であることを判定するための判定用音声データを、複数回外部から入力された音声により作成管理し、作成管理されている前記判定用音声データを用いて前記第１の音声が所望の音声であることを判定する管理手段と、
第２の音声の内容に基づいて前記１台または複数台の機器の制御を実行する制御手段と、を備え
前記管理手段により前記判定用音声データを用いて、前記第１の音声が所望の音声であると判定された場合に、前記制御手段により前記第２の音声の内容に基づいて前記１台または複数台の機器の制御を実行する制御方法であって、
前記第２の音声の内容を解析するために用いる音声認識辞書の種類を選択する選択手段を持ち、
前記管理手段が複数の前記判定用音声データを持つ場合、前記第１の音声が所望の音声であると判定するために用いた前記判定用音声データの種類に応じて、前記選択手段は前記音声認識辞書の種類を決定する制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、家庭やオフィスや小規模事業所におけるホームオートメーションの分野における、音声によって複数の機器を制御する電子機器及びその制御方法に関するものである。
【背景技術】
【０００２】
従来ホームオートメーションの分野において、音声入力により家庭やオフィスや小規模事業所における種々の機器を操作及び制御する音声認識装置及び方法が存在している。
【０００３】
この音声認識装置及び方法は、ユーザから入力された音声を解析することで、その入力された音声が当該装置の機能をオンにする音声であるか否かの判定を行ったり、当該装置の機能をオンにする音声であると判定した場合は、継続する音声の内容を分析しその分析結果に基づく処理を行ったりするものである。また、ユーザから入力された音声の特徴を認識することで、音声を発したユーザを特定し、そのユーザに適した処理を行ったりするものもある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第2015/029379号
【特許文献２】国際公開第2015/033523号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ホームオートメーションシステムの形態としては、各々の機器が家庭内のネットワークにより互いに接続され、更にこの接続された複数の機器をトータルで制御するホスト機器がネットワークに接続されているものがある。この場合ホスト機器は、ネットワークで接続された各機器の動作の制御を行ったり、各機器に関する情報を集めてユーザが一元的に閲覧等できるよう管理したりしている。
【０００６】
ユーザは、例えば音声によりホスト機器に命令することで、ホスト機器とネットワークで接続された各々の機器の制御を行ったり、その接続された各々の機器に関する情報を一元的に閲覧したりすることができる。
【０００７】
このような形態のホームオートメーションシステムは、制御対象の機器をネットワークにより容易に接続させることが可能なため、接続機器の数や種類が多数になる傾向がある。また、制御対象の機器の追加、変更、バージョンアップ、設置場所の移動及び廃棄等に伴うネットワークへの新たな参加、設定変更及びネットワークからの脱退が度々発生する傾向にある。また、接続している機器の動作内容や仕様等の種類が多数に及ぶことから、家庭内やオフィスでも老若男女問わずホームオートメーションシステムを使用する傾向にある。特に最近の多種多様な機能をもつ機器やセンサの小型化に伴い、この傾向はますます顕著になってきている。
【０００８】
しかし従来のホームオートメーションシステムでは、多種多様の機器の制御や幅広いユーザ層への対応が十分とは言えないものであった。例えば、家庭内でホームオートメーションシステムを使用する場合、家族一人ひとりの生活スタイルによりマッチした機器の制御が十分に行われているとは言えないものであった。
【０００９】
本実施形態は、上記課題を鑑みてなされたもので、ネットワークにより接続された多種多様な機器を、ユーザの個々の生活スタイルによりマッチするように制御する電子機器及びその制御方法を提案することを目的とする。
【課題を解決するための手段】
【００１０】
実施形態の電子機器は、外部から入力される第１の音声の内容により、前記第１の音声
が入力された以降に入力される第２の音声の内容に基づいて１台または複数台の機器の制
御の実行を判定する電子機器において、前記第１の音声が所望の音声であることを判定す
るための判定用音声データを、複数回外部から入力された音声により作成管理し、作成管
理されている前記判定用音声データを用いて前記第１の音声が所望の音声であることを判
定する管理手段と、第２の音声の内容に基づいて前記１台または複数台の機器の制御を実
行する制御手段とを備え、前記管理手段により前記判定用音声データを用いて、前記第１
の音声が所望の音声であると判定された場合に、前記制御手段により前記第２の音声の内
容に基づいて前記１台または複数台の機器の制御を実行し、前記第２の音声の内容を解析するために用いる音声認識辞書の種類を選択する選択手段を持ち、前記管理手段が複数の前記判定用音声データを持つ場合、前記第１の音声が所望の音声であると判定するために用いた前記判定用音声データの種類に応じて、前記選択手段は前記音声認識辞書の種類を決定する。
【図面の簡単な説明】
【００１１】
【図１】図１は一実施形態に係るホームオートメーションシステムの全体像の例を示す図である。
【図２】図２は一実施形態に係るセンサの他の例を示す一覧である。
【図３】図３は一実施形態に係るホスト機器の例を示す図である。
【図４】図４は一実施形態に係るホスト機器の機能ブロック図である。
【図５Ａ】図５Ａは一実施形態に係る予約語の登録における処理シーケンスの例を示す図である。
【図５Ｂ】図５Ｂは一実施形態に係る予約語の登録における処理シーケンスの例を示す図である。
【図６Ａ】図６Ａは一実施形態に係る予約語の登録における処理シーケンスの例を示す図である。
【図６Ｂ】図６Ｂは一実施形態に係る予約語の登録における処理シーケンスの例を示す図である。
【図７Ａ】図７Ａは一実施形態に係る予約語の登録における処理シーケンスの例を示す図である。
【図７Ｂ】図７Ｂは一実施形態に係る予約語の登録における処理シーケンスの例を示す図である。
【図８Ａ】図８Ａは一実施形態に係る予約語の認識における処理シーケンスの例を示す図である。
【図８Ｂ】図８Ｂは一実施形態に係る予約語の認識における処理シーケンスの例を示す図である。
【図９Ａ】図９Ａは一実施形態に係る予約語の認識における処理シーケンスの例を示す図である。
【図９Ｂ】図９Ｂは一実施形態に係る予約語の認識における処理シーケンスの例を示す図である。
【図１０Ａ】図１０Ａは一実施形態に係る予約語を認識した以降に、継続してユーザが発した機器やセンサを制御する言葉をもとに該当する機器やセンサを制御する処理シーケンスの例を示す図である。
【図１０Ｂ】図１０Ｂは一実施形態に係る予約語を認識した以降に、継続してユーザが発した機器やセンサを制御する言葉をもとに該当する機器やセンサを制御する処理シーケンスの例を示す図である。
【図１１Ａ】図１１Ａは一実施形態に係る予約語を認識した以降に、継続してユーザが発する機器やセンサを制御する言葉が、一定時間内に継続される場合の処理シーケンスの例を示す図である。
【図１１Ｂ】図１１Ｂは一実施形態に係る予約語を認識した以降に、継続してユーザが発する機器やセンサを制御する言葉が、一定時間内に継続される場合の処理シーケンスの例を示す図である。
【図１２Ａ】図１２Ａは一実施形態に係る予約語を認識した以降に、継続してユーザが発する機器やセンサを制御する言葉が、一定時間を超えて継続される場合の処理シーケンスの例を示す図である。
【図１２Ｂ】図１２Ｂは一実施形態に係る予約語を認識した以降に、継続してユーザが発する機器やセンサを制御する言葉が、一定時間を超えて継続される場合の処理シーケンスの例を示す図である。
【図１３】図１３は一実施形態に係る予約語を認識した以降に、機器やセンサを制御する際に用いる制御情報の内容を具体的に示した一覧である。
【図１４】図１４は一実施形態に係る複数の予約語に応じて変更する動作内容の例を示す一覧である。
【図１５Ａ】図１５Ａは一実施形態に係る複数の予約語の登録において、各予約語に応じて変更する動作内容もあわせて登録する処理シーケンスの例を示す図である。
【図１５Ｂ】図１５Ｂは一実施形態に係る複数の予約語の登録において、各予約語に応じて変更する動作内容もあわせて登録する処理シーケンスの例を示す図である。
【図１６Ａ】図１６Ａは一実施形態に係る予約語の認識において、各予約語に応じて動作内容を設定する処理シーケンスの例を示す図である。
【図１６Ｂ】図１６Ｂは一実施形態に係る予約語の認識において、各予約語に応じて動作内容を設定する処理シーケンスの例を示す図である。
【図１７】図１７は一実施形態に係る予約語において、その予約語に継続する言葉に応じて設定する動作内容の例を示す一覧である。
【図１８Ａ】図１８Ａは一実施形態に係る登録済み予約語の認識において、その予約語に継続する言葉に応じて動作内容を設定する処理シーケンスの例を示す図である。
【図１８Ｂ】図１８Ｂは一実施形態に係る登録済み予約語の認識において、その予約語に継続する言葉に応じて動作内容を設定する処理シーケンスの例を示す図である。
【図１８Ｃ】図１８Ｃは一実施形態に係る登録済み予約語の認識において、その予約語に継続する言葉に応じて動作内容を設定する処理シーケンスの例を示す図である。
【図１８Ｄ】図１８Ｄは一実施形態に係る登録済み予約語の認識において、その予約語に継続する言葉に応じた動作内容を設定する処理シーケンスの別の例を示す図である。
【図１８Ｅ】図１８Ｅは一実施形態に係る登録済み予約語の認識において、その予約語に継続する言葉に応じた動作内容を設定する処理シーケンスの別の例を示す図である。
【図１９Ａ】図１９Ａは一実施形態に係る予約語の認識において、その認識した予約語に継続する言葉に応じて動作内容を設定する処理シーケンスの例を示す図である。
【図１９Ｂ】図１９Ｂは一実施形態に係る予約語の認識において、その認識した予約語に継続する言葉に応じて動作内容を設定する処理シーケンスの例を示す図である。
【図２０】図２０は一実施形態に係る複数の予約語の認識において、その予約語に応じて使用する音声認識辞書の種類の例を示す一覧である。
【図２１Ａ】図２１Ａは一実施形態に係る複数の予約語の認識において、その予約語に応じて使用する音声認識辞書の種類を変更する処理シーケンスの例を示す図である。
【図２１Ｂ】図２１Ｂは一実施形態に係る複数の予約語の認識において、その予約語に応じて使用する音声認識辞書の種類を変更する処理シーケンスの例を示す図である。
【図２２】図２２は一実施形態に係る複数の予約語の認識において、その予約語に継続する言葉や応じて設定する動作内容や、使用する音声認識辞書の種類を変更する例を示す一覧である。
【図２３】図２３は一実施形態に係る音声認識辞書の種類の変更において、予約語以外の内容に応じて変更する例を示す一覧である。
【図２４】図２４は一実施形態に係る音声認識辞書の種類の変更において、予約語以外の内容に応じて変更する音声認識辞書の種類を登録する処理のシーケンスを示す図である。
【図２５】図２５は一実施形態に係る音声認識辞書の種類の変更において、予約語以外の内容に応じて登録する音声認識辞書の種類を変える場合の処理のシーケンスを示す図である。
【図２６】図２６は一実施形態に係る処理において、ユーザが登録済みの予約語を忘れてしまった場合の、予約語を表示するための予約語（救済用）と、それに対応して予約語を表示する範囲の例を示す一覧である。
【図２７】図２７は一実施形態に係るホスト機器の機能ブロック図である。
【図２８】図２８は一実施形態に係る処理において、予約語、付加語、あるいは付加情報を登録するシーンが発生したとき、あるいは予約語、付加語、を認識するシーンが発生したときに、ホスト機器３３２が登録のシーンあるいは認識のシーンを録音あるいは録画する場合の時間経過の一例を示している図である。
【図２９】図２９は一実施形態に係る録音あるいは録画されたシーンの各データを再生する際の再生対象のデータが表示されている様子の一例を示している図である。
【発明を実施するための形態】
【００１２】
図１は、本実施形態に係るホームオートメーションシステムの全体構成の一例を示した図である。ホームオートメーションシステムは、クラウドに置かれたサーバ群からなるクラウドサーバ１と、ＨＧＷ（ＨｏｍｅＧａｔｅＷａｙ）機能を持つホスト機器３３２を経由してネットワーク３３３で互いに接続されている各種センサ３１０や各種設備機器３２０や各種家電機器３４０が配置されているホーム３と、クラウドサーバ１とホスト機器３３２とを接続するインターネット２とから成る。
【００１３】
ホーム１は、ＨＧＷ機能を持つホスト機器３３２を経由して、家庭内のネットワーク３３３で互いに接続されている各種センサ３１０や各種設備機器３２０や各種家電機器３４０が配置された家庭やオフィスや小規模事業所であり、その規模は問わない。
【００１４】
ホスト機器３３２は、予め設定されている情報やネットワーク３３３で接続されたセンサから通知された情報をもとにネットワーク３３３で接続されている機器やセンサを制御したり、また各々の機器やセンサに関する情報を一元管理したりする機能を有する。
【００１５】
更にホスト機器３３２は、マイクを備えておりユーザ３３１が発した言葉を取り込むことが出来る。ホスト機器３３２は、ユーザ３３１が発した言葉の中から予め決められたキーワード（以降予約語と呼ぶ）を認識すると、その予約語に続いてユーザ３３１が発した言葉を取り込み、その取り込んだ言葉の内容を解析することで解析結果に応じた応答をユーザ３３１に返したり、或いはネットワーク３３３で接続されている機器やセンサを解析結果に応じて制御をしたりする機能を有する。
【００１６】
逆にホスト機器３３２は、ユーザ３３１が発した言葉の中から予約語を認識しない限り、ユーザ３３１が発した言葉を継続して取り込むことはしない。これによりホスト機器３３２は、周囲の不要な音声を拾って動作することを防いでいる。
【００１７】
予約語の認識はホスト機器３３２内で行われ、予約語に続いてユーザ３３１が発した言葉を継続して取り込み、その取り込んだ言葉の内容の解析は、クラウドサーバ１において行われる。ホスト機器３３２の機能の詳細については後で説明する。
【００１８】
各種設備機器３２０と各種家電機器３４０は、説明の便宜上設備機器３２０が移動があまり容易でない機器を意味しており、各種家電機器３４０が移動が比較的容易である機器を意味している。例示した設備機器や家電機器の名称は、個々の機器の能力や機能を制限するものではない。
【００１９】
各種センサ３１０の具体例として、防犯カメラ３１１、火災報知器３１２、人感センサ３１３、温度センサ３１４がある。また、各種設備機器３２０３２０の具体例として、インターフォン３２５、照明３２６、エアコン３２７、給湯器３２８がある。また、各種家電機器３４０の具体例として、洗濯機３４１、冷蔵庫３４２、電子レンジ３４３、扇風機３４４、炊飯器３４５、テレビ３４６がある。
【００２０】
図２は、図１に示す各種センサ３１０のその他の例を示したものである。
【００２１】
図３は、図１に示すホスト機器３３２の種々の例を示している。
【００２２】
ホスト機器３３２−１は、図１に示すホスト機器３３２であり、ＨＧＷ機能を内蔵する据え置き型の例である。ホスト機器３３２−１は、ネットワーク３３３を通じてホーム１内に配置されている他の機器やセンサと接続されており、またインターネット２を通じてクラウドサーバ１と接続されている。ホスト機器３３２−１は、据え置き型のため例えばモーター等の自律的に移動する手段を搭載しない例である。
【００２３】
ホスト機器３３２−２は、ＨＧＷ機能を内蔵しない据え置き型の例である。そのためホスト機器３３２−２は、ネットワーク３３３を通じてＨＧＷ３３０と接続されている。ホスト機器３３２−２は、ＨＧＷ３３０を経由してネットワーク３３３を通じてホーム１内に配置されている他の機器やセンサと接続され、またＨＧＷ３３０を経由してインターネット２を通じてクラウドサーバ１と接続されている。ホスト機器３３２−２は、据え置き型のため例えばモーター等の自律的に移動する手段を搭載しない例である。
【００２４】
ホスト機器３３２−３は、ＨＧＷ機能を内蔵する可動型の例である。ホスト機器３３２−３は、ネットワーク３３３を通じて他の機器やセンサと接続されており、またインターネット２を通じてクラウドサーバ１と接続されている。ホスト機器３３２−３は、可動型のため例えばモーター等の自律的に移動するための手段を搭載する例である。
【００２５】
ホスト機器３３２−４は、ＨＧＷ機能を内蔵しない可動型の例である。そのためホスト機器３３２−４は、ネットワーク３３３を通じてＨＧＷ３３０と接続されている。ホスト機器３３２−４は、ＨＧＷ３３０を経由してネットワーク３３３を通じて他の機器やセンサと接続され、またＨＧＷ３３０を経由してインターネット２を通じてクラウドサーバ１と接続されている。ホスト機器３３２−４は、可動型のため例えばモーター等の自律的に移動するための手段を搭載する例である。
【００２６】
図４は、図１に示すホスト機器３３２の機能ブロックを示したものである。ホスト機器３３２は、内部の処理全体を制御するシステムコントローラ４０２、とそれにより各機能を制御する制御管理部４０１、トリガー設定部４０３、トリガー認識部４０５、入力管理部４２０及びネットワーク３３３と接続するためのネットワークＩ／Ｆ４２７をもつ。制御管理部４０１は、内部にホスト機器３３２の各種動作を制御するための複数のアプリケーションを管理するＡＰＰ−Ｍｇ４０１−１、ホスト機器３３２の各機能ブロックの初期設定や種々の状態設定や動作設定などの設定内容を管理するＣＯＮＦ−Ｍｇ４０１−２からなる。
【００２７】
またホスト機器３３２は、ユーザ３３１とのインターフェース（Ｉ／Ｆ）として、ユーザ３３１が発する言葉を取り込むためのマイク４２１、ユーザ３３１に対して応答を音声で出力するためのスピーカ４２３及びユーザ３３１に対してホスト機器３３２の状態を通知するための表示部４２５とを持つ。
【００２８】
マイク４２１は、入力管理部４２０に接続されている。入力管理部４２０は、内部で管理する状態に応じて、マイク４２１から入力された音声データを、トリガー設定部４０３、トリガー認識部４０５及び音声処理部４０７の何れに送るかの制御をする。表示部４２５は、ホスト機器３３２の状態をユーザ３３１に通知するものであり、例えばＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）である。
【００２９】
メモリ４１０は、動作モード保存エリア４１０−１、予約語保存エリア４１０−２、音声蓄積エリア４１０−３の３つの領域に分かれている。各々のエリアに保存される情報の内容は後で説明する。
【００３０】
先に述べたようにホスト機器３３２の機能は、ユーザ３３１が発した言葉の中から予約語を認識すると、その予約語に継続するユーザ３３１の発した言葉を取り込み、その取り込んだ言葉の内容を解析することで、解析結果に応じた応答をユーザ３３１に返したりネットワーク３３３を通じて接続されている機器やセンサの動作を制御したりする機能を持つ。
【００３１】
これらの機能を実現するために、ホスト機器３３２は、大きく４つの処理を行う。１つ目の処理は、予約語の登録である。２つ目の処理は、予約語の認識である。３つ目の処理は、動作を制御する機器やセンサの制御内容の登録である。４つ目の処理は、制御内容が登録されている機器やセンサの制御である。
【００３２】
最初に、１つ目の処理である予約語の登録について説明する。  
ホスト機器３３２は、予約語をホスト機器３３２に登録する機能を有している。予約語を登録するために、ホスト機器３３２は、予約語を登録するモード（以降予約語登録モードと呼ぶ）を有している。
【００３３】
図５Ａおよび図５Ｂは、予約語を登録するためにホスト機器３３２が「予約語登録モード」に遷移している状態において、予約語の登録開始から登録完了までのホスト機器３３２の処理シーケンスの例を示している。
【００３４】
なおホスト機器３３２は、モード変更するために予め決められた順番通りにユーザ３３１が発した言葉を認識することで、モード変更ができるようにしてもよい。あるいは表示部４２５にメニュー画面を表示し、そのメニュー画面をユーザ３３１が操作することでモード変更ができるようにしてもよい。あるいは、ネットワークＩ／Ｆ４２７を経由して接続されているスマートフォンやタブレットに表示されたホスト機器３３２のモードを変更するメニュー画面をユーザ３３１が操作することで、モード変更ができるようにしてもよい。
【００３５】
予約語として登録する言葉をユーザ３３１が発すると、ホスト機器３３２はマイク４２１から入力された音声データを入力管理部４２０に取り込む（Ｓ５０１）。入力管理部４２０は、内部で管理する状態に応じて入力された音声データの転送先を決める機能を有している。ホスト機器３３２のモードが設定モードである場合、入力管理部４２０は、受信した音声データをトリガー設定部４０３に転送する（Ｓ５０２）。トリガー設定部４０３は、受信した音声データをメモリ４１０の音声蓄積エリア４１０−３に保存する（Ｓ５０３）とともに、ユーザ３３１の音声を取り込んだ回数が規定回数に達しているかの確認（Ｓ５０４）を行う。
【００３６】
トリガー設定部４０３は、ユーザ３３１の音声を取り込んだ回数が規定回数に達しているかの確認の結果、規定回数に達していないと判定した場合、登録する言葉を発するようにユーザ３３１に促す表示を行う（Ｓ５０７）と共に、入力管理部４２０に対して入力継続通知を送付する（Ｓ５０６）。入力継続通知を受信した入力管理部４２０は、内部の状態をマイクからの音声の入力待ちの状態に遷移させる（Ｓ５００）。
【００３７】
なお、登録する言葉を入力するようにユーザ３３１に対して促す表示は、トリガー設定部４０３が表示装置４２５に対して登録未完了通知を送信（Ｓ５０５）し、その登録未完了通知を受信した表示装置４２５が例えば発光ダイオード（ＬＥＤ）を赤色で点滅させる（Ｓ５０７）、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。また表示による方法の代わりに音声による方法を用いて、登録する言葉の入力をユーザ３３１に促してもよい。この場合トリガー設定部４０３は、スピーカ４２３に対して登録未完了通知を送信し、この登録未完了通知を受け取ったスピーカ４２３は、例えば「もう一度入力してください」とユーザ３３１に対してアナウンスする方法でもよい。或いはトリガー設定部４０３は、ユーザ３３１に対して登録する言葉の入力を促すのに、表示による方法と音声による方法の両方を用いてもよい。或いはホスト機器３３２が可動型の場合、トリガー設定部４０３は、ホスト機器３３２が例えばある一定の角度幅で繰り返し回転移動するように、記載していない移動手段に対して指示を出してもよい。
【００３８】
トリガー設定部４０３は、ユーザ３３１の音声を取り込んだ回数が規定回数に達しているかの確認の結果、規定回数に達していると判定した場合、それまでに音声蓄積エリア４１０−３に保存してある音声データを読み出し（Ｓ５０８）、インターネット２を通じてクラウドサーバ１にある音声認識クラウド１０１の中の認識用データ変換部１０１−１に送付する（Ｓ５０９）。
【００３９】
認識用データ変換部１０１−１は、トリガー設定部４０３から送られてきた音声データを、予約語として認識するための認識用データに変換する（Ｓ５１０）。認識用データへの変換が完了すると、認識用データ変換部（１０１−１）は、インターネット２を通じて認識用データをトリガー設定部４０３に送付（Ｓ５１１）する。認識用データを受信したトリガー設定部４０３は、受信したデータをメモリ４１０の予約語保存エリア４１０−２に保存する（Ｓ５１２）。
【００４０】
トリガー設定部４０３は、予約語の登録が完了したことをユーザ３３１に対して知らせる表示（Ｓ５１４）を行う。予約語の登録が完了したことをユーザ３３１に対して知らせる表示は、トリガー設定部４０３が表示装置４２５に対して登録完了通知を送信（Ｓ５１４）し、その登録完了通知を受信した表示装置４２５が例えばＬＥＤを緑色で点灯させる、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。或いはトリガー設定部４０３は、予約語の登録が完了したことをユーザ３３１に対して通知するのに、表示による方法の代わりに音声による方法を用いてもよい。この場合トリガー設定部４０３は、スピーカ４２３に対して登録完了通知を送信し、この登録完了通知を受け取ったスピーカ４２３は、例えば「登録が完了しました」とユーザ３３１に対してアナウンスする方法でもよい。或いはトリガー設定部４０３は、ユーザ３３１に対して予約語の登録が完了したことを通知するのに、表示による方法と音声による方法の両方を用いてもよい。或いはホスト機器３３２が可動型の場合、トリガー設定部４０３は、ホスト機器３３２が例えばある一定の移動幅で繰り返し直線移動するように、記載していない移動手段に対して指示を出してもよい。
【００４１】
以上のように、トリガー設定部４０３は、予約語の登録においてデータの流れを管理する役割を持っている。
【００４２】
図６Ａおよび図６Ｂは、予約語の登録開始から登録完了までの別のシーケンス例を示している。ホスト機器３３２が取り込んだ音声データを予約語として登録するのに不十分な場合がある。このように取り込んだデータが不十分な場合の処理の例を示す。
【００４３】
図６Ａおよび図６Ｂに示すＳ６００からＳ６１５の処理は、それぞれ図５Ａおよび図５Ｂに示すＳ５００からＳ５１５の処理と同一である。図５Ａおよび図５Ｂにおける処理と図６Ａおよび図６Ｂにおける処理との相違点は、図６Ｂの処理にＳ６１６の処理からＳ６１９の処理が追加されている点である。
【００４４】
トリガー設定部４０３は、ユーザ３３１が発した言葉を取り込んだ回数が規定回数に達しているかの確認（Ｓ６０４）を行った結果、規定回数に達していると判定した場合、それまでに音声蓄積エリア４１０−３に保存してある音声データを読み出し（Ｓ６０８）、インターネット２を通じてクラウドサーバ１にある音声認識クラウド１０１の中の認識用データ変換部１０１−１に送付する（Ｓ６０９）。
【００４５】
トリガー設定部４０３は、ユーザ３３１が発した言葉を取り込んだ回数が規定回数に達していないと判定した場合、登録する言葉を発するようにユーザ３３１に促す表示を行う（Ｓ６０７）と共に、入力管理部４２０に対して入力継続通知を送付する（Ｓ６０６）。入力継続通知を受信した入力管理部４２０は、内部の状態をマイクからの音声の入力待ちの状態に遷移させる（Ｓ６００）。
【００４６】
なお、登録する言葉を入力するようにユーザ３３１に対して促す表示は、トリガー設定部４０３が表示装置４２５に対して登録未完了通知を送信（Ｓ６０５）し、その登録未完了通知を受信した表示装置４２５が例えばＬＥＤを赤色で点滅させる（Ｓ６０７）、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。また表示による方法の代わりに音声による方法を用いて、登録する言葉の入力をユーザ３３１に促してもよい。この場合トリガー設定部４０３は、スピーカ４２３に対して登録未完了通知を送信し、この登録未完了通知を受け取ったスピーカ４２３は、例えば「もう一度入力してください」とユーザ３３１に対してアナウンスする方法でもよい。或いはトリガー設定部４０３は、ユーザ３３１に対して登録する言葉の入力を促すのに、表示による方法と音声による方法の両方を用いてもよい。或いはホスト機器３３２が可動型の場合、トリガー設定部４０３は、ホスト機器３３２が例えばある一定の角度幅で繰り返し回転移動するように、記載していない移動手段に対して指示を出してもよい。
【００４７】
認識用データ変換部１０１−１は、トリガー設定部４２０より送られてきた全音声データを認識用データに変換する際に、送られてきた音声データが認識用データに変換できるかどうかを判定する（Ｓ６１６）。送られてきた音声データの幾つかが認識用データに変換できないと判定した場合、認識用データ変換部１０１−１は、インターネット２を通じてトリガー設定部４０３に対して音声データ追加要求を送信（Ｓ６１７）する。音声データ追加要求を受信したトリガー設定部４０３は、予約語として登録したい言葉をユーザ３３１に追加で入力してもらう回数を設定し（Ｓ６１８）、入力管理部４２０に対して入力継続通知（Ｓ６１９）を通知する。
【００４８】
トリガー設定部４０３がユーザ３３１に追加で入力してもらう追加回数を設定した（Ｓ６１８）時点では、表示部４２５の例えばＬＥＤは赤色で点灯したままである。この表示に従って、ユーザ３３１は、Ｓ６１８で追加設定された回数分、予約語として登録する言葉を発する。
【００４９】
入力管理部４２０は、入力継続通知を受信すると（Ｓ６１９）、内部状態を入力待ちに遷移させ（Ｓ６００）、ユーザ３３１が発する言葉の入力待ち状態となる。
【００５０】
図５Ａおよび図５Ｂに示す処理、図６Ａおよび図６Ｂに示す処理は、ユーザ３３１が発した音声を入力管理部４０２が取り込んだ回数が規定回数に達してから、その取り込んだ音声データをまとめてクラウドサーバ１にある認識用データ変換部１０１−１に送信する例であるが、ユーザ３３１が発した音声を入力管理部４２０が取り込むごとに、その取り込んだ音声データを認識用データ変換部１０１−１に送信してもよい。図７Ａおよび図７Ｂは、ユーザ３３１が発した音声を入力管理部４２０が取り込むごとに、その取り込んだ音声データを逐次クラウドサーバ１にある認識用データ変換部１０１−１に送付して、認識用データに変換する場合のシーケンス例である。
【００５１】
図７Ａに示すＳ７００からＳ７０２の処理は、それぞれ図５Ａに示すＳ５００からＳ５０２に示す処理と同一である。また図７Ａに示すＳ７０３とＳ７０４の処理は、それぞれ図５Ａに示すＳ５０５とＳ５０７の処理と同一である。
【００５２】
予約語として登録する言葉をユーザ３３１が発すると、ホスト機器３３２は、マイク４２１から入力された音声データを入力管理部４２０に取り込む（Ｓ７０１）。ホスト機器３３２のモードが予約語登録モードであるので、入力管理部４２０は、受信した音声データをトリガー設定部４０３に転送する（Ｓ７０２）。トリガー設定部４０３は、受信した音声データを、受信するごとに逐次クラウドサーバ１にある認識用データ変換部１０１−１に送信する（Ｓ７０６）。認識用データ変換部１０１−１は、トリガー設定部４０３より送られてきた音声データを認識用データに変換する際に、送られてきた音声データが認識用データに変換できるかどうかを判定する（Ｓ７０７）。
【００５３】
送られてきた音声データが認識用データに変換できないと判定した場合は、認識用データ変換部１０１−１はインターネット２を通じてトリガー設定部４０３に対して音声データ追加要求を送信する（Ｓ７０８）。音声データ追加要求を受信したトリガー設定部４０３（Ｓ７０８）は、ユーザ３３１の音声を取り込んだ回数が規定回数に達しているかの確認（Ｓ７１４）を行う。トリガー設定部４０３は、ユーザ３３１の音声を取り込んだ回数が規定回数に達しているかの確認の結果、規定回数に達していないと判定した場合、登録する言葉を発するようにユーザ３３１に促す表示を継続すると共に、入力管理部４２０に対して入力継続通知を送付する（Ｓ７１５）ことで、入力管理部４２０をマイクからの音声の入力待ちの状態に遷移させる（Ｓ７００）。入力管理部４２０は、入力継続通知を受信すると（Ｓ７１５）、内部状態を入力待ちに遷移させ（Ｓ７００）、ユーザ３３１が発する言葉の入力待ち状態となる。
【００５４】
認識用データ変換部１０１−１は、送られてきた音声データが認識用データに変換できると判定（Ｓ７０７）した場合は、音声データを認識用データに変換する（Ｓ７０９）。認識用データ変換部１０１−１は、認識用データに変換した（Ｓ７０９）結果、既に認識用データに変換したものも含めてすべての認識用データを用いて、マイク４２１より入力された音声データを予約語として認識できる精度を確保しているかどうかの判定を行う（Ｓ７１０）。
【００５５】
すべての認識用データにより、マイク４２１より入力された音声データを予約語として認識するのに十分な精度を確保していると判定した場合は、予約語として登録したい言葉をユーザ３３１が発するのを止めてもらうために、インターネット２を通じて、認識用データが十分である旨の情報を付加した認識用データ（認識用データ充足通知付）をトリガー設定部４０３に通知する（Ｓ７１１）。認識用データ（認識用データ充足）を受信したトリガー設定部４０３は、この時点までに受信した認識用データで、マイク４２１より入力された音声データを予約語として認識するのに十分な認識用データが存在すると認識し、ユーザ３３１の音声を取り込んだ回数が規定回数に達していなくても、これ以上ユーザ３３１に対して登録する言葉の入力を促すことを中止する（Ｓ７１２）。トリガー設定部４０３は、この時点までに受信した認識用データすべてを予約語保存エリア４１０−２に保存する（Ｓ７１６）とともに、入力管理部４２０、表示部４２５、認識用データ変換部１０１−１に登録完了通知を送付する（Ｓ７１７）（Ｓ７１８）（Ｓ７１９）。これにより、変換された認識用データの精度により、ユーザ３３１の音声を取り込んだ回数が規定回数に達しなくて予約語として登録する言葉をユーザ３３１に発してもらうのを止めてもらうことが可能となり、より自由度のある予約語の登録処理が可能となる。なお、規定回数は、ホスト機器３３２の設定値としてユーザ３３１による変えることが可能であり、また後述する付加情報の１つとして変えることが可能である。
【００５６】
認識用データ変換部１０１−１は、この時点までに作成した認識用データにより、マイク４２１より入力された音声データを予約語として認識するのに十分な精度を確保していないと判定した場合は、変換した認識用データのみをトリガー設定部４０３に送付する（Ｓ７１３）。認識用データを受信したトリガー設定部４０３は、ユーザ３３１の音声を取り込んだ回数が規定回数に達しているかの確認（Ｓ７１４）を行う。トリガー設定部４０３は、規定回数に達しているかの確認の結果規定回数に達していないと判定した場合、登録する言葉を発するようにユーザ３３１に促す表示を継続すると共に、入力管理部４２０に対して入力継続通知を送付する（Ｓ７１５）ことで、入力管理部４２０をマイクからの音声の入力待ちの状態に遷移させる（Ｓ７００）。
【００５７】
なお、登録する言葉を入力するようにユーザ３３１に対して促す表示は、トリガー設定部４０３が表示装置４２５に対して登録未完了通知を送信（Ｓ７０３）し、その登録未完了通知を受信した表示装置４２５が例えばＬＥＤを赤色で点滅させる（Ｓ７０４）、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。また表示による方法の代わりに音声による方法を用いて、登録する言葉の入力をユーザ３３１に促してもよい。この場合トリガー設定部４０３は、スピーカ４２３に対して登録未完了通知を送信し、この登録未完了通知を受け取ったスピーカ４２３は、例えば「もう一度入力してください」とユーザ３３１に対してアナウンスする方法でもよい。或いはトリガー設定部４０３は、ユーザ３３１に対して登録する言葉の入力を促すのに、表示による方法と音声による方法の両方を用いてもよい。或いはホスト機器３３２が可動型の場合、トリガー設定部４０３は、ホスト機器３３２が例えばある一定の角度幅で繰り返し回転移動するように、記載していない移動手段に対して指示を出してもよい。
【００５８】
認識用データを受信したトリガー設定部４０３は、規定回数に達しているかの確認（Ｓ７１４）の結果規定回数に達していると判定した場合、登録完了通知を入力管理部４２０、表示部４２５、認識用データ変換部１０１−１に登録完了通知を送付する（Ｓ７１７）（Ｓ７１８）（Ｓ７１９）。登録完了通知を受信（Ｓ７１８）した認識用データ変換部１０１−１は、Ｓ７１０の処理を行うために一時的に保存していた変換済み認識用データをクリアする。
【００５９】
次に、ホスト機器３３２の２つ目の処理である予約語の認識について説明する。
【００６０】
ホスト機器３３２は、ユーザ３３１が発した言葉の中から予約語を認識した場合、継続するユーザ３３１が発した言葉の内容を解析することで、その解析結果をもとに機器やセンサを制御する機能を有している。この予約語を認識し、予約語を認識した以降に機器やセンサを制御するために、ホスト機器３３２は、予約語を認識および機器やセンサを制御するモード（以降動作モードと呼ぶ）を有している。
【００６１】
図８Ａおよび図８Ｂは、動作モードにおいて、ユーザ３３１が発した言葉が登録済みの予約語の１つであると認識するまでの、ホスト機器３３２の処理シーケンスの例を示している。
【００６２】
ユーザ３３１が言葉を発すると、ホスト機器３３２は、マイク４２１から入力された音声データを入力管理部４２０に取り込む（Ｓ８０１）。ホスト機器３３２のモードが動作モードである場合、入力管理部４２０は、受信した音声データをトリガー認識部４０５に転送する（Ｓ８０２）。トリガー認識部４０５は、入力管理部４２０から転送されてきた音声データを受け取ると、転送されてきた音声データが予約語であるかどうかを判定するために、メモリ４１０の予約語保存エリア４１０−２から読みだし（Ｓ８０３）た認識用データと比較を行う（Ｓ８０４）。
【００６３】
トリガー認識部４０５は、入力された音声データが予約語と認識出来ないと判定した場合（Ｓ８０５）、予約語を発するようにユーザ３３１に促す表示を行う（Ｓ８０８）と共に、入力管理部４２０に入力継続通知を送付する（Ｓ８０７）。なお、予約語を発するようにユーザ３３１に促す表示は、トリガー認識部４０５が表示部４２５に対して認識未完了通知を送信（Ｓ８０６）し、その認識未完了通知を受信した表示部４２５が例えばＬＥＤを赤色で点滅させる（Ｓ８０８）、というようにユーザ３３１３が認識できる表示方法で行うことが望ましい。またトリガー設定部４０３は、表示による方法の代わりに音声による方法を用いて、音声の入力をユーザ３３１に促してもよい。この場合トリガー認識部４０５は、スピーカ４２３に対して、認識未完了通知を送信し、この認識未完了通知を受け取ったスピーカ４２３は、例えば「聞こえなかったよ」とユーザ３３１に対してアナウンスする方法でもよい。或いはトリガー認識部４０５は、ユーザ３３１に対して音声の入力を促すのに、表示による方法と音声による方法の両方を用いてもよい。或いはホスト機器３３２が可動型の場合、トリガー設定部４０３は、ホスト機器３３２が例えばある一定の角度幅で繰り返し回転移動するように、記載していない移動手段に対して指示を出してもよい。
【００６４】
トリガー認識部４０５は、入力された音声データが予約語と認識出来た場合（Ｓ８０５）、ユーザ３３１が発した音声を予約語として認識したことを示す表示を行う（Ｓ８１０）。なお、ユーザ３３１が発した音声を予約語として認識したことを示す表示は、トリガー認識部４０３が表示装置４２５に対して認識完了通知を送信（Ｓ８０９）し、その認識完了通知を受信した表示装置４２５が例えばＬＥＤを緑色で点灯させる（Ｓ８１０）、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。またトリガー認識部４０５は、表示による方法の代わりに音声による方法を用いて、ユーザ３３１が発した音声を予約語として認識しことを通知してもよい。この場合トリガー認識部４０５は、スピーカ４２３に対して認識完了通知を送信し、この認識完了通知を受け取ったスピーカ４２３は、例えば「はいはい」や「聞こえたよ」とユーザ３３１に対してアナウンスする方法でもよい。或いはトリガー認識部４０５は、ユーザ３３１が発した音声を予約語として認識したことを示すのに、表示による方法と音声による方法の両方を用いてもよい。或いはホスト機器３３２が可動型の場合、トリガー設定部４０３は、ホスト機器３３２が例えばある一定の移動幅で繰り返し直線移動するように、記載していない移動手段に対して指示を出してもよい。
【００６５】
図９Ａおよび図９Ｂは、動作モードにおいて、ユーザ３３１が発した言葉を登録済みの予約語の１つであると認識するまでのホスト機器３３２の処理シーケンスの他の例である。
【００６６】
図９Ａおよび図９Ｂのシーケンス例と図８Ａおよび図８Ｂのシーケンス例との違いは、予約語の認識を行う過程で、認識確率を考慮に入れている点である。認識確率とは、認識用データと、入力管理部４２０から転送されてきた音声データの周波数成分や強さ等の特徴点の比較を行い、両者が一致しているレベルことを意味している。図９Ａおよび図９Ｂに示すＳ９００からＳ９１２の処理は、それぞれＳ８００からＳ８１２に示す処理と同一で、図９Ａおよび図９Ｂにおける処理において図８Ａおよび図８Ｂとの処理との違いは、Ｓ９１３からＳ９１６の処理が追加されている点である。
【００６７】
トリガー認識部４０５は、入力管理部４２０から転送されてきた音声データを受け取ると、メモリ４１０の予約語保存エリア４１０−２から認識用データを読み出し（Ｓ９０３）、入力管理部４２０から転送されてきた音声データとの比較を行う（Ｓ９０４）。
【００６８】
トリガー認識部４０５は、入力された音声データが予約語と認識出来たと判定（Ｓ９０５）した場合、認識確率の判定処理（Ｓ９１３）に移る。
【００６９】
ここでトリガー認識部４０５が行う音声認識処理は、メモリ４１０の予約語保存エリア４１０−２から読み出した認識用データと入力管理部４２０から転送されてきた音声データの周波数成分や強さ等の特徴点との比較を行い、両者が一定のレベル以上一致する場合に、入力管理部４２０から転送された音声データは認識用データである、と判定するものである。
【００７０】
ホスト機器３３２は、認識用データと入力管理部４２０から転送されてきた音声データの周波数成分や強さ等の特徴点との比較を行う際に、両者が一致しているレベルを判定する閾値を複数設けることも可能である。このようにすることで、ホスト機器３３２は、ユーザが発した言葉の中から予約語を認識する際に、予約語を認識出来た／予約語を認識出来ない、という２通りの判定ではなく、例えば予約語を認識出来た／予約語を認識出来ない／予約語を認識出来たとは言えない、というように、予約語に近いが正しい予約語ではない、という判定を加えることも出来る。このように認識確率の閾値を複数設けることで、ユーザ３３１が例えば予約語を正確に覚えていない場合、ユーザ３３１が予約語に近い言葉を繰り返し発することで、そのユーザ３３１の発した言葉を取り込んだホスト機器３３２は「予約語を認識出来たとは言えない」という判定結果に応じた応答をし、その応答内容を見たユーザ３３１は、正しい予約語に近づくことができる、というメリットがある。
【００７１】
図９Ａおよび図９Ｂの例は、認識確率の閾値を２つ設けた場合の例である。予約語を認識出来る閾値を閾値１とし予約語を認識出来ない閾値を閾値０とすると、Ｓ９０４において比較の結果、認識確率が閾値１以上の場合は、予約語が認識出来た、との判定結果となる。また認識確率が閾値０以上閾値１未満の場合は、予約語を認識出来たいと言えない、との判定結果となる。また認識確率が閾値０未満の場合は、予約語が認識出来ない、との判定結果となる。したがってＳ９０５の処理は、認識確率を閾値０と大小比較を行う処理である。またＳ９１３の処理は、認識確率を閾値１と大小比較を行う処理となる。
【００７２】
ホスト機器３３２は、認識確率が閾値０以上閾値１未満である、と判定した場合（Ｓ９１３）、予約語を発するようにユーザ３３１に促す表示を行う（Ｓ９１５）と共に、入力管理部４２０に入力継続通知を送付する（Ｓ９１６）。なお、予約語を発するようにユーザ３３１に促す表示は、トリガー認識部４０５が表示部４２５に対して認識不十分通知を送付（Ｓ９１４）し、その認識不十分通知を受信した表示部４２５が例えばＬＥＤを緑色で点滅させる（Ｓ９１５）、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。
【００７３】
このように、認識確率が低い場合に、予約語を発するようにユーザ３３１に促す表示は、認識に失敗した場合の表示（Ｓ９０８）や認識に成功した場合の表示（Ｓ９１０）と変えることで、ユーザ３３１は、自分が発した言葉が予約語に近いが正しく予約語を発していない、と認識することができる。
【００７４】
またトリガー設定部４０３は、表示による方法の代わりに音声による方法を用いて、音声の入力をユーザ３３１に促してもよい。この場合トリガー認識部４０５は、スピーカ４２３に対して認識不十分通知を送信（Ｓ９１４）し、この認識不十分通知を受け取ったスピーカ４２３は、例えば「何か呼んだ？」とユーザ３３１に対してアナウンスする方法でもよい。或いはトリガー認識部４０５は、ユーザ３３１に対して音声の入力を促すのに、表示による方法と音声による方法の両方を用いてもよい。或いはホスト機器３３２が可動型の場合、トリガー設定部４０３は、ホスト機器３３２が例えばある一定の角度幅で繰り返し回転移動するように、記載していない移動手段に対して指示を出してもよい。
【００７５】
次に、ホスト機器３３２の３つ目の処理である、動作を制御する機器やセンサの制御内容の登録と、４つ目の処理である、制御内容が登録されている機器やセンサの制御について説明する。
【００７６】
まずは、ホスト機器３３２を用いた機器やセンサの制御の全体像を説明する。
【００７７】
ホスト機器３３２は、ユーザ３３１が発した言葉の中から予約語を認識した場合、予約語を認識した以降にユーザが発した言葉を継続して取り込み、その取り込んだ言葉の内容を解析することで機器やセンサを制御する機能を有している。
【００７８】
図１０Ａおよび図１０Ｂは、ホスト機器が、予約語の認識が完了した以降において、マイク４２１から取り込んだ機器やセンサの制御内容を含んだ音声データの内容に基づいて、機器やセンサを制御する場合の処理シーケンスの例を示している。入力管理部４２０の内部状態は、予約語の認識は完了しているので認識済み（Ｓ１０００）に遷移している。
【００７９】
ユーザ３３１が、機器やセンサを制御する内容を含んだ言葉を発すると、ホスト機器３３２はマイク４２１を通じて（Ｓ１００１）、その音声データ（制御内容）を入力管理部４２０に取り込む（Ｓ１００２）。入力管理部４２０は、内部状態が認識済みであるので、入力された音声データ（制御内容）を音声処理部４０７に転送する（Ｓ１００２）。音声処理部４０７は、転送された音声データ（制御内容）をインターネット２を通じて、クラウドサーバ１にある音声認識クラウド１０１の中の音声テキスト変換部１０１−２に送る。
【００８０】
音声テキスト変換部１０１−２は、インターネット２を通じて送られてき音声データを、テキストデータに変換する処理を行う（Ｓ１００４）。この処理により、もともとマイク４２１を通じて取り込まれたユーザ３３１が発した音声が、テキストデータに変換される。
【００８１】
テキストデータへの変換が完了すると音声テキスト変換部１０１−２は、変換したテキストデータを内部に保存すると共に変換完了通知を音声処理部４０７に送付する（Ｓ１００５）。
【００８２】
音声処理部４０７は、変換完了通知を受け取ると、音声テキスト変換部１０１−２に対してテキスト分析要求を送信する（Ｓ１００６）。音声テキスト変換部１０１−２は、テキスト分析要求を受信すると、内部に保存してあるテキストに変換済みのデータとともにテキスト分析要求をテキスト分析部１０２−１に送付する（Ｓ１００７）。テキスト分析部１０２−１は、テキスト分析要求を受信（Ｓ１００７）したら、付随しているテキストデータの内容の解析を実施する（Ｓ１００８）。テキスト分析部１０２−１は、送られてきたテキストデータの内容の解析が完了すると、その解析結果をテキスト分析結果通知として応答・アクション生成部１０２−２に送付する（Ｓ１００９）。応答・アクション生成部１０２−２は、テキスト分析結果を受信（Ｓ１００９）すると、その内容に基づいて対象となる機器とその機器を制御するコマンドを生成し（Ｓ１０１０）、生成したコマンドを応答・アクション生成結果通知として音声処理部４０７に送付する（Ｓ１０１１）。
【００８３】
音声処理部４０７は、応答・アクション生成結果通知を受信する（Ｓ１０１１）と、応答・アクション生成結果通知の内容から制御対象の機器やセンサとその制御内容を特定する（Ｓ１０１２）。音声処理部４０７は、特定した制御対象の機器やセンサとその制御内容を、制御対象の機器やセンサが認識出来るフォーマットに変換して、必要なタイミングにおいてネットワーク３３３を通じて対象機器や対象センサにアクション通知として送信する（Ｓ１０１３）。
【００８４】
アクション通知の通知先である制御対象の機器やセンサは、アクション通知を受け取る（Ｓ１０１３）と、その中に含まれる制御内容に基づいて動作を行う（Ｓ１０１４）。
【００８５】
ホスト機器３３２は、ユーザ３３１が連続して音声を発する場合、この連続した音声を一連の音声と判定して途中でユーザ３３１に対して予約語を発することを要求することなく、この連続した音声を取り込むことが出来る。逆にホスト機器３３２は、ユーザ３３１が、ある程度時間をおいて音声を発する場合は、再度予約語の入力を要求する。各々の場合について、図１１Ａおよび図１１Ｂと図１２Ａおよび図１２Ｂを用いて説明する。
【００８６】
図１１Ａおよび図１１Ｂは、予約語の認識が完了した以降において、ユーザ３３１が時間Ｔ０以内に連続的に言葉を発する場合の処理シーケンスの例である。ホスト機器３３２が、マイク４２１から入力された音声データ（制御内容）を入力管理部４２０に取り込む（Ｓ１１０１）と、入力管理部４２０は入力間隔確認タイマＴを起動させる。入力間隔確認タイマＴが満了する時間（＝Ｔ０）以前の時間Ｔ１に、マイク４２１を通じてユーザ３３１が発した次の音声データ（制御内容）を入力管理部４２０に取り込んだ場合（Ｓ１１２１）、入力管理部４２０は、その取り込んだ音声データ（制御内容）を音声処理部４０７に転送する（Ｓ１１２２）。同時に、起動中の入力間隔確認タイマＴを再度起動させる。音声処理部４０７は、転送されてきた音声データ（制御内容）をインターネット２を通じて、クラウドサーバ１にある音声認識クラウド１０１の中の音声テキスト変換部１０１−２に送る（Ｓ１１２３）。以降は、Ｓ１１０４からＳ１１１０の処理と同様に、音声認識クラウド１０１において送られてきた音声データ（Ｓ１１２３）の処理を継続する。
【００８７】
なお入力間隔確認タイマＴは、入力管理部４２０がマイク４２１から入力された音声データを取り込んだタイミングで起動しているが、これに限らず例えば入力管理部４２０が、マイク４２１から送られてきたデータをトリガー設定部４０３や音声処理部４０７に転送するタイミングで起動してもよい。また、入力管理部４２０の内部状態が認識済みに遷移（Ｓ１１００）したタイミングで、起動してもよい。
【００８８】
図１２Ａおよび図１２Ｂは、ユーザ３３１が時間Ｔ０以内に連続的に音声を発しない場合の例である。ホスト機器３３２は、マイク４２１から入力された音声データ（制御内容）を入力管理部４２０に取り込む（Ｓ１２０１）と、入力管理部４２０は入力間隔確認タイマＴを起動させる。入力管理部４２０は、入力間隔確認タイマＴが満了する時間（＝Ｔ０）を過ぎると、内部状態を入力待ちに遷移させる（Ｓ１２２０）。
【００８９】
ホスト機器３３２は、入力間隔確認タイマＴが満了する時間（＝Ｔ０）を過ぎてからマイク４２１から入力された次の音声データを取り込んだ場合（Ｓ１２２４）、この取り込んだ音声データをもとに機器やセンサを制御する処理を実行せず、予約語を発するようにユーザ３３１を促す表示を行う。
【００９０】
入力間隔確認タイマＴが満了すると、入力管理部は内部の状態を入力待ちに遷移させる（Ｓ１２２０）とともに、タイムアウト通知を音声処理部４０７に通知する（Ｓ１２２１）。タイムアウト通知を受け取った音声処理部４０７は、表示部４２５に対して認識未完了通知を送信し（Ｓ１２２２）、その認識未完了通知を受信した表示部４２５は、予約語を発するようにユーザ３３１に促す表示、例えばＬＥＤを赤色で点滅させる（Ｓ１２２３）。
【００９１】
入力間隔確認タイマＴが満了後に、マイク４２１から入力された次の音声データを取り込んだ場合（Ｓ１２２４）、入力管理部４２０は、内部状態を認識中に遷移させる（Ｓ１２２５）とともに、その取り込んだ音声データをトリガー認識部４０５に転送する（Ｓ１２２６）。以降、ホスト機器３３２は、図８Ａおよび図８ＢのＳ８０３からＳ８１２までの処理あるいは図９Ａおよび図９ＢのＳ９０３からＳ９１６までの処理を行い、予約語の認識を再度行う。
【００９２】
次にホスト機器３３２を用いた機器やセンサを制御するための制御内容の登録と、その登録された制御内容に基づいて行う機器やセンサの制御について説明する。
【００９３】
図１３は、ホスト機器３３２が、予約語を認識した後図１０Ａおよび図１０Ｂのシーケンス図に示したように各種センサ３１０や各種設備機器３２０や各種家電機器３４０を制御する際に用いる制御情報の内容の具体的な例を示したものである。
【００９４】
項目１は、応答・アクション生成部１０２−２より送信される応答・アクション生成結果通知に含まれている、各種センサ３１０や各種設備機器３２０や各種家電機器３４０を制御する情報（以降応答・アクション情報と呼ぶ）の具体例である。この応答・アクション生成情報は、機器３３２が制御する機器やセンサ等の「対象」と、その制御対象を制御する内容を表す「命令」とから成る。ホスト機器３３２は、応答・アクション生成結果通知を受信すると、その中に含まれるアクション情報を抽出し、そのアクション情報の内容に基づいて、対象となる機器の制御を行う。
【００９５】
「命令」の例としては、制御する対象の機器を起動させる（動作させる）「起動命令」、終了させる（停止させる）「停止命令」、動作中の内容（モード）を変更する「動作変更命令」、対象機器に予め設定している内容（モード）を変更する「設定変更命令」等がある。
【００９６】
応答・アクション生成部１０２−２が応答・アクション生成結果通知に含む応答・アクション情報を生成するために、ユーザ３３１は予め制御対象の機器とその制御内容、及びその機器を制御させるためにホスト機器３３２に対して発する言葉、の組み合わせを、ホスト機器３３２の初期設定として応答・アクション生成部１０２−２に登録する必要がある。以下図１３の例を用いて、ホスト機器３３２の初期設定における応答・アクション情報の登録に関して説明する。
【００９７】
項目２は、ホスト機器３３２を通して制御する機器である「対象」である。この「対象」は、各種センサ３１０や各種設備機器３２０や各種家電機器３４０に含まれる機器やセンサの識別名称であり、具体例としてエアコン１を記載している。
【００９８】
項目３は、「項目２」に示す機器の制御内容である「命令」である。この「命令」は、具体例として項目２に挙げたエアコン１の命令を記載しており、エアコンを動かす「起動命令」、エアコンを停止させる「停止命令」、エアコンの動作内容を変える「動作変更命令」、エアコンの設定内容を変える「設定変更命令」を例として記載している。
【００９９】
項目２及び項目３の各機器やセンサの製品仕様は、記載していない製品仕様の情報が保存されている製品仕様クラウドサーバに予め保存されている。ユーザ３３１は、ホスト機器３３２を通して制御したい対象機器や対象センサの項目２及び項目３の製品仕様の情報を製品仕様クラウドサーバから入手する。
【０１００】
次にユーザ３３１は、ホスト機器３３２を通して項目２及び項目３の制御内容を実行する際に、ホスト機器３３２に発する言葉である項目４＝「フレーズ」を決定する。この「フレーズ」は、項目３に挙げたエアコン１の命令に対応する内容であることが望ましく、例えばエアコンを動かす「起動命令」に対しては「エアコンつけて」、エアコンを停止させる「停止命令」に対しては「エアコンけして」、エアコンの動作内容である「冷房」を「ドライ」に変える「動作変更命令」に対しては「ドライにして」、エアコンの設定内容である運転開始時間を「夜１０時運転開始」に変える「設定変更命令」に対しては「夜１０時にエアコンつけて」を例として記載している。
【０１０１】
以上より決定した（対象、命令、フレーズ）の組み合わせを、ユーザ３３１は、ホスト機器３３２の初期設定として作成する。ユーザ３３１は、ホスト機器３３２を通じて制御したい機器すべてに対して同様の作成を行い、最終的に制御対象すべての機器に関する（対象、命令、フレーズ）を１つにまとめた応答・アクション情報一覧を生成する。作成された応答・アクション情報一覧は、ホスト機器３３２を通して応答・アクション生成部１０２−２に登録される。
【０１０２】
応答・アクション生成部１０２−２に応答・アクション情報一覧が登録されると、図１０Ａおよび図１０Ｂに示すように、ホスト機器３３２は、予約語の認識が完了した以降、引き続きユーザ３３１が発する言葉を取り込んで解析することで、機器やセンサを制御することができる。
【０１０３】
例えば、ユーザ３３１が発した言葉＝エアコンつけて、の場合、音声テキスト変換部１０１−２は入力された音声データを「えあこんつけて」というテキストに変換し、テキスト分析部１０２−１は、テキストデータ「えあこんつけて」を「エアコンつけて」という内容であると分析する。この分析結果をもとに応答・アクション生成部１０２−２は、既に登録されている応答・アクション情報一覧を参照し、「エアコンつけて」という「フレーズ」の分析結果に対応する応答・アクション情報を検索する。これにより、（対象＝エアコン１、命令＝運転開始）と言う応答・アクション情報を抽出し、応答・アクション生成結果通知に（対象＝エアコン１、命令＝運転開始）の応答・アクション情報を設定して音声処理部４０７に通知する。
【０１０４】
音声処理部４０７は、受信した応答・アクション生成結果通知に設定されている応答・アクション情報を参照して、各種センサ３１０や各種設備機器３２０や各種家電機器３４０の中の該当する機器やセンサを制御する。
【０１０５】
次にホスト機器３３２を用いて機器やセンサを制御する場合、種々の条件により機器やセンサを制御する制御内容や、ホスト機器３３２の動作内容を変更する場合について説明する。
【０１０６】
図１４は、ホスト機器３３２に予約語が複数登録されている場合、ホスト機器３３２がユーザ３３１の発した言葉を予約語の１つであると認識し、その認識した予約語に応じて行う動作内容の例の一覧である。
【０１０７】
ホスト機器３３２は、複数の予約語を登録することが可能であり、またその複数の予約語の各々を認識した場合に、その認識した予約語に応じた動作内容（以降付加情報１と呼ぶ）を設定することが出来る。
【０１０８】
図１４に示すようにホスト機器３３２は、予約語として例えば「いろは」「オレ様だ」「息子や」の３つを登録しているものとする。ホスト機器３３２は、ユーザ３３１が発した言葉を予約語「いろは」と認識した場合は、既に設定されている動作内容を変えないが、ユーザ３３１が発した言葉を予約語「オレ様だ」と認識した場合は、以降ユーザ３３１の発する言葉を認識したら必ず「ご主人様喜んで」とスピーカ４２３を通じてアナウンスするように動作を変更する。また、ユーザ３３１が発した言葉を予約語「息子や」と認識した場合、ホスト機器３３２は、ユーザ３３１がシニアユーザであると判定し、シニアの場合はゆっくりと話をする傾向にあるため、図１１Ａおよび図１１Ｂに示す入力間隔確認タイマの満了時間Ｔ０を通常の設定時間より長くするように設定変更する。
【０１０９】
図１４の例は、ホスト機器３３２が、ホスト機器自身の動作内容を変える例を示しているが、それに限らず、ホスト機器３３２とネットワーク３３３で接続されている機器やセンサに対する動作の制御を行ってもよい。
【０１１０】
ホスト機器３３２は、複数の予約語に応じてホスト機器３３２の動作を変えるために、各々の予約語に対する付加情報１を予めホスト機器３３２に登録しておく必要がある。
【０１１１】
ホスト機器３３２は、予約語をホスト機器３３２に登録する際に、登録する予約語に対応する付加情報１もあわせて登録するモード（以降予約語登録（付加情報１）モードと呼ぶ）を有している。
【０１１２】
図１５Ａおよび図１５Ｂは、予約語およびそれに対応する付加情報１を合わせて登録するために、ホスト機器３３２が「予約語登録（付加情報１）モード」に遷移している状態において、予約語の登録開始から付加情報１の登録完了までのホスト機器３３２の処理シーケンスの例を示している。図１５Ａおよび図１５Ｂに示すＳ１５００からＳ１５１４の処理は、それぞれ図５Ａおよび図５Ｂに示すＳ５００からＳ５１４の処理と同一である。図１５Ａおよび図１５Ｂにおける処理の図５Ａおよび図５Ｂとの処理の相違点は、Ｓ１５１５がＳ５１５と異なる点と、Ｓ１５１６からＳ１５２３が追加されている点である。
【０１１３】
トリガー設定部４０３は、予約語の登録が完了したことをユーザ３３１に対して知らせる表示（Ｓ１５１４）を行う。予約語の登録が完了したことをユーザに対して知らせる表示（Ｓ１５１５）は、トリガー設定部４０３が表示装置４２５に対して登録完了通知を送信（Ｓ１５１４）し、その登録完了通知を受信した表示装置４２５が例えばＬＥＤを緑色で点滅させる、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。これにより、トリガー設定部４０３は、付加情報１の登録を行うようにユーザ３３１に促すことが可能となる。
【０１１４】
ＬＥＤが緑色に点滅している（Ｓ１５１５）ことを認識したユーザ３３１は、Ｓ１５１１で登録が完了した予約語に対応した付加情報１を設定することができる。
【０１１５】
付加情報１の設定方法は、ユーザ３３１が発した音声をマイク４２１を通じてホスト機器３３２が取り込み、その取り込んだ音声データを解析することで、登録できるようにしてもよい。或いはまた表示装置４２５に、付加情報１を設定するメニューを表示させ、ユーザ３３１がそのメニューに従って操作することで登録できるようにしてもよい。或いは図４に示すネットワークＩ／Ｆ４２７を経由して接続されている外部のデバイス、例えばスマートフォンやタブレットを用いて、そのスマートフォンやタブレットの表示画面に予約語に対応した付加情報１を設定するメニューを表示させ、ユーザ３３１がその表示されたメニュー画面に従って操作することで登録できるようにしてもよい。図１５Ａおよび図１５Ｂは、表示部４２５に表示された付加情報１を設定するメニューを表示させ、ユーザ３３１がそのメニューに従って操作することで付加情報１を登録する場合の処理シーケンスの例である。
【０１１６】
ユーザ３３１に付加情報１の入力を促すためにＬＥＤが緑色に点滅する（Ｓ１５１５）と、表示部４２５に付加情報１を登録するためのメニューが表示される。ユーザ３３１は、表示されたメニュー画面に従って操作することで、付加情報１を作成する。作成が完了した付加情報１は、入力管理部４２０に取り込まれる（Ｓ１５１７）。入力管理部４２０は、取り込んだ付加情報１をトリガー設定部４０３に転送する。トリガー設定部４０３は、転送された付加情報１をメモリ４１０の予約語保存エリア４１０−２に保存する（Ｓ１５１９）。
【０１１７】
なおトリガー設定部４０３は、付加情報１をメモリ４１０の予約語保存エリア４１０−２に保存する際にはＳ１５１３で登録した予約語と関連付けて保存する。
【０１１８】
また、音声処理部４０７は、付加情報１の登録が完了したことをユーザ３３１に対して知らせる表示（Ｓ１５２２）を行う。付加情報１の登録が完了したことをユーザ３３１に対して知らせる表示（Ｓ１５２２）は、音声処理部４０７が表示装置４２５に対して登録完了通知を送信（Ｓ１５２０）し、その登録完了通知を受信した表示装置４２５が例えばＬＥＤを緑色で点灯させる、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。
【０１１９】
図１６Ａおよび図１６Ｂは、図１５Ａおよび図１５Ｂに示す処理によりメモリ４１０の予約語保存エリア４１０−２に付加情報１が保存された場合に、ユーザ３３１が発した言葉の中から予約語の認識し、その認識した予約語の付加情報１を予約語保存エリア４１０−２から読み出して、ホスト機器３３２に対して動作を設定する場合のシーケンスの例である。
【０１２０】
図１６Ａおよび図１６Ｂに示すＳ１６００からＳ１６１２の処理は、それぞれ図８Ａおよび図８Ｂに示すＳ８００からＳ８１２の処理と同一である。図１６Ａおよび図１６Ｂの処理における図８Ａおよび図８Ｂの処理との違いは、Ｓ１６１３とＳ１６１４の処理が追加されている点である。
【０１２１】
ユーザ３３１が発した言葉を予約語として認識すると（Ｓ１６０５）、トリガー認識部４０５は、該当する予約語に対応した付加情報１をメモリ４１０の予約語保存エリア４１０−２から読み出す。付加情報１を読み出したトリガー認識部４０５は、読み出した付加情報１（Ｓ１６１３）の内容の動作をホスト機器３３２に設定する（Ｓ１６１４）。図１４に示されている例の内容が予約語保存エリア４１０−２に保存されている場合、Ｓ１６０５で予約語として「息子や」を認識した場合、トリガー認識部４０５は、Ｓ１６１４にて入力間隔確認タイマＴの満了時間Ｔ０を、通常の値をより長くするように設定する。
【０１２２】
図１７（Ａ）は、ユーザ３３１が発した言葉を、ホスト機器３３２に登録されている予約語として認識した場合、その認識した予約語に継続するユーザ３３１が発した言葉に応じて、ホスト機器３３２が特定の動作をする動作内容の例の一覧である。
【０１２３】
ホスト機器３３２は、ユーザ３３１が発した言葉を、登録されている予約語であると認識した場合、その認識した予約語に継続してユーザ３３１が発した言葉（以降付加語と呼ぶ）の内容に応じて動作内容（以降付加情報２と呼ぶ）を設定することが出来る。
【０１２４】
例えば図１７（Ａ）に示すように、予約語として「いろは」が登録されているとする。この場合、ホスト機器３３２は、予約語「いろは」を認識した場合、この予約語「いろは」に続くユーザ３３１の発した言葉を認識しない場合は、既に設定されている動作内容を変更しない。ホスト機器３３２は、予約語「いろは」に続くユーザ３３１の発した言葉として「ちゃん」を認識した場合は、ユーザ３３１の機嫌がよいと判定し、スピーカ４２３を通して応答する場合は、応答する際のトーンを上げるように動作内容を変更する。また、ホスト機器３３２は、予約語「いろは」に続くユーザ３３１の発した言葉として「や」を認識した場合は、ユーザ３３１がシニアユーザであると推定し、ユーザ３３１がゆっくりと話す傾向にあるため、図１１Ａおよび図１１Ｂに示す入力間隔確認タイマの満了時間Ｔ０を通常の設定時間より長くするように変更する。またホスト機器３３２は、予約語「いろは」に続くユーザ３３１の発した言葉として「おい」を認識した場合は、ユーザ３３１が怒っていると判定し、「申し訳ございません」とスピーカ４２３を通じてすぐにアナウンスするようにする。
【０１２５】
図１７（Ａ）の例は、１つの予約語に対して複数の付加語を設定し予約語に対する複数の付加語の組み合わせごとに付加情報２を設定することで、ホスト機器３３２が付加情報２の内容に基づいて動作内容を変える例を示しているが、複数の予約語と複数の付加語との組み合わせごとに付加情報２を設定することも可能である。図１７（Ｂ）に示すように、例えばホスト機器３３２が予約語として「いろは」と「おおきに」「あーしんど」の３つを登録しているとする。この場合、各予約語に対して付加語を定義し、その予約語＋付加語の組み合わせごとに付加情報２を設定してもよい。
【０１２６】
また、ユーザによっては、予約語を発するだけで、ある特定の動作をしてほしいときがある。例えば、ある個人の口癖がある場合、その口癖を予約語としてホスト機器３３２に登録し、併せてこの予約語に対応した動作をホスト機器３３２に登録することで、その個人の特性にあった機器やセンサの動作の制御を簡易に実行することができる。図１７（Ｂ）の予約語「あーしんど」の例では、「あーしんど」という予約語をホスト機器３３２が認識した場合に、ホスト機器３３２がユーザ３３１の発した言葉の中から予約語を認識しただけで、ネットワーク３３３に接続されている冷蔵庫の中に保存されているビールの情報をスピーカ４２３を通してアナウンスする、ということも可能である。
【０１２７】
ホスト機器３３２は、予約語に対する付加語の内容に応じて動作を変えるために、予約語に対応した付加語と、この予約語と付加語の組み合わせに対する動作内容である付加情報２、の組み合わせを予めホスト機器３３２に登録しておく必要がある。このためホスト機器３３２は、登録済み予約語に対して、対応する付加語や付加情報を追加登録するモードを有している。ホスト機器３３２に既に登録されている予約語に対して、付加情報１を追加するモードを付加情報１追加登録モード、付加語と付加情報２を追加するモードを付加情報２追加登録モードと呼ぶこととする。
【０１２８】
付加情報２の設定方法は、付加情報１の設定同様にユーザ３３１が発した音声をマイク４２１を通じてホスト機器３３２が取り込み、その取り込んだ音声データを解析することで、登録できるようにしてもよい。或いはまた表示装置４２５に、付加情報２を設定するメニューを表示させ、ユーザ３３１がその表示されたメニューに従って操作することで登録できるようにしてもよい。或いは図４に示すネットワークＩ／Ｆ４２７を経由して接続されている外部のデバイス、例えばスマートフォンやタブレットを用いて、そのスマートフォンやタブレットの表示画面に予約語および付加語に対応した付加情報２を設定するメニューを表示させ、ユーザ３３１がその表示されたメニュー画面に従って操作することで登録できるようにしてもよい。
【０１２９】
図１８Ａ、図１８Ｂおよび図１８Ｃは、図１７（Ａ）（Ｂ）に示す登録済みの予約語に対して、付加語の登録とその付加語に対する動作内容（付加情報２）の登録を行う場合の処理シーケンスの例である。
【０１３０】
登録済みの予約語に対する付加語を追加登録するために、ユーザ３３１はホスト機器３３２を「付加情報２追加登録モード」に変更する。ホスト機器を「付加情報２追加登録モード」に変更すると、ユーザ３３１は、ホスト機器３３２に登録済みの予約語と、その予約語に対して登録したい付加語を発する。ホスト機器３３２は、ユーザ３３１の発した言葉の中から、最初に予約語の認識を行う（Ｓ１８０５）。
【０１３１】
ホスト機器３３２は、ユーザ３３１が発した言葉をマイク４２１を通じて入力管理部４２０に取り込む（Ｓ１８０１）。入力管理部４２０は、音声データを取り込むと内部で管理する内部状態を認識中（予約語）に遷移させる（Ｓ１８０２）とともに、入力された音声データをトリガー認識部４０５に転送する（Ｓ１８０３）。
【０１３２】
トリガー認識部４０５は、入力管理部４２０から転送されてきた音声データを受け取ると、メモリ４１０の予約語保存エリア４１０−２から認識用データを読み出し（Ｓ１８０４）、入力管理部４２０から転送されてきた音声データとの比較を行う（Ｓ１８０５）。トリガー認識部４０５は、入力された音声データが予約語と認識出来た場合、入力管理部４２０に認識完了通知（Ｓ１８０６）を通知する。認識完了通知を受け取った入力管理部４２０は、内部で管理する内部状態を認識中（予約語）から入力待ち（付加語）に遷移（Ｓ１８０７）させる。
【０１３３】
ホスト機器３３２は、ユーザ３３１が予約語に続いて発した言葉をマイク４２１を通じて入力管理部４２０に取り込む（Ｓ１８０８）。入力管理部４２０は、内部で管理する内部状態が入力待ち（付加語）である（Ｓ１８０７）ので、入力された音声データをトリガー設定部４０３に転送する（Ｓ１８０９）。以降、図５Ａおよび図５Ｂで説明した予約語の登録同様に、トリガー設定部４０３は、受信した音声データをメモリ４１０の音声蓄積エリア４１０−３に保存（Ｓ１８１０）しながら、規定回数の付加語の取り込みを行う（Ｓ１８１１）。
【０１３４】
トリガー設定部４０３は、規定回数に達しているかの確認の結果規定回数に達していないと判定した場合、登録する付加語の音声の入力をユーザ３３１に促す表示を行う（Ｓ１８１２）と共に、入力管理部４２０に入力継続通知を送信する（Ｓ１８１４）。なお、付加語として登録する音声の入力をユーザ３３１に対して促す表示（Ｓ１８１３）は、トリガー設定部４０３が表示装置４２５に対して登録未完了通知を送信（Ｓ１８１２）し、その登録未完了通知を受信した表示装置４２５が例えばＬＥＤを赤色で点滅させる、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。また表示による方法の代わりに音声による方法を用いて、登録する音声の入力をユーザ３３１に促してもよい。この場合トリガー設定部４０３は、スピーカ４２３に対して登録未完了通知を送信し、この登録未完了通知を受け取ったスピーカ４２３は、たとえば「もう一度入力してください」とユーザ３３１に対してアナウンスする方法でもよい。或いはトリガー設定部４０３は、ユーザ３３１に対して登録する音声の入力を促すのに、表示による方法と音声による方法の両方を用いてもよい。
【０１３５】
トリガー設定部４０３は、規定回数に達しているかの確認の結果規定回数に達していると判定した場合、それまでに音声蓄積エリア４１０−３に保存している音声データを読み出し（Ｓ１８１５）、インターネット２を通じてクラウドサーバ１にある音声認識クラウド１０１の中の認識用データ変換部１０１−１に送付する（Ｓ１８１６）。
【０１３６】
認識用データ変換部１０１−１は、トリガー設定部４０３から送られてきた音声データを、付加語を認識するための認識用データに変換する（Ｓ１８１７）。認識用データへの変換が完了すると、認識用データ変換部１０１−１は、インターネット２を通じて認識用データをトリガー設定部４０３に送付（Ｓ１８１８）する。付加語を認識するための認識用データ（以降認識用データ（付加語）と呼ぶ）を受信したトリガー設定部４０３は、受信したデータをメモリ４１０の予約語保存エリア４１０−２に保存する（Ｓ１８１９）。トリガー設定部４０３は、認識用データ（付加語）を保存する際には、Ｓ１８０６で認識した予約語と関連づけて保存する。これにより、Ｓ１８０６で認識した予約語に関連付けされて認識用データ（付加語）を保存することが可能となる。
【０１３７】
また、トリガー設定部４０３は、付加語の登録が完了したことをユーザ３３１に対して知らせる表示（Ｓ１８２２）を行う。予約語の登録が完了したことをユーザ３３１に対して知らせる表示（Ｓ１８２２）は、トリガー設定部４０３が表示装置４２５に対して登録完了通知を送信（Ｓ１８２１）し、その登録完了通知を受信した表示装置４２５が例えばＬＥＤを緑色で点滅させる（Ｓ１８２２）、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。或いはトリガー設定部４０３は、予約語の登録が完了したことをユーザ３３１に対して通知するのに、表示による方法の代わりに音声による方法を用いてもよい。この場合トリガー設定部４０３は、スピーカ４２３に対して登録完了通知を送信し（Ｓ１８２１）、この登録完了通知を受け取ったスピーカ４２３が例えば「登録が完了しました」とユーザ３３１に対してアナウンスする方法でもよい。或いはトリガー設定部４０３は、予約語の登録が完了したことをユーザ３３１に対して通知するのに、表示による方法と音声による方法の両方を用いてもよい。これにより、ユーザ３３１は、付加語に対応した動作内容である付加情報２の内容を言葉で発するタイミングを知ることができる。
【０１３８】
ユーザ３３１に付加情報２の入力を促すためにＬＥＤが緑色に点滅させる（Ｓ１８２２）と、表示部４２５に付加情報２を登録するためのメニューが表示される。ユーザ３３１は、表示されたメニュー画面に従って操作することで、付加情報２を作成する。作成が完了し付加情報２は、入力管理部４２０に取り込まれる（Ｓ１８２４）。入力管理部４２０は、取り込んだ付加情報２をトリガー設定部４０３に転送する（Ｓ１８２５）。トリガー設定部４０３は、転送された付加情報２をメモリ４１０の予約語保存エリア４１０−２に保存する（Ｓ１８２６）。
【０１３９】
なおトリガー設定部４０３は、付加情報２をメモリ４１０の予約語保存エリア４１０−２に保存する際にはＳ１８０６で認識した予約語と関連付けて保存する。これにより、Ｓ１８０６で認識した予約語に関連付けされ、かつＳ１８１９で保存された付加語に関連付けされた動作内容（付加情報２）を保存することが可能となる。
【０１４０】
登録済みの予約語に対して、付加情報だけをあとから追加することも可能である。
【０１４１】
図１８Ｄおよび図１８Ｅは、図１８Ａ、図１８Ｂおよび図１８Ｃとは異なり登録済みの予約語に対して、付加情報だけを追加する場合の処理シーケンスの例である。
【０１４２】
図１８Ｄに示すＳ１８５０からＳ１８５６の処理は、それぞれ図１８Ａに示すＳ１８００からＳ１８０６の処理と同一である。また、図１８Ｄおよび図１８Ｅに示すＳ１８７１からＳ１８８０の処理は、それぞれ図１８Ｃに示すＳ１８２１からＳ１８３０の処理と同一である。図１８Ａ、図１８Ｂおよび図１８Ｃのシーケンス例と図１８Ｄおよび図１８Ｅとのシーケンス例との違いは、図１８Ａ、図１８Ｂおよび図１８ＣのＳ１８０７からＳ１８２０の付加語登録処理に対応する処理が、図１８Ｄおよび図１８Ｅには無い点である。
【０１４３】
ユーザ３３１に付加情報１の入力を促すためにＬＥＤが緑色に点滅させる（Ｓ１８７１）と、表示部４２５に付加情報１を登録するためのメニューが表示される。ユーザ３３１は、表示されたメニュー画面に従って操作することで、付加情報１を作成する。作成が完了し付加情報１は、入力管理部４２０に取り込まれる（Ｓ１８７４）。入力管理部４２０は、取り込んだ付加情報１をトリガー設定部４０３に転送する（Ｓ１８７５）。トリガー設定部４０３は、転送された付加情報１をメモリ４１０の予約語保存エリア４１０−２に保存する（Ｓ１８７６）。
【０１４４】
なおトリガー設定部４０３は、付加情報１をメモリ４１０の予約語保存エリア４１０−２に保存する際にはＳ１８５６で認識した予約語と関連付けて保存する。これにより、Ｓ１８５６で認識した予約語に関連付けされた動作内容を保存することが可能となる。
【０１４５】
図１９Ａおよび図１９Ｂは、図１８Ａ、図１８Ｂおよび図１８Ｃに示す処理によりメモリ４１０の予約語保存エリア４１０−２に付加語及び付加情報２が保存された場合に、ユーザ３３１が発した言葉の中から予約語と付加語を認識し、その認識した予約語と付加語の組み合わせに対応する付加情報２を予約語保存エリア４１０−２から読み出して、ホスト機器３３２に対して動作を設定する場合のシーケンス例である。
【０１４６】
図１９Ａに示すＳ１９００からＳ１９０８の処理は、それぞれ図１６Ａに示すＳ１６００からＳ１６０８の処理と同一である。図１９Ａおよび図１９Ｂの処理における処理の図１６Ａおよび図１６Ｂの処理との違いは、Ｓ１９０９からＳ１９１１の付加語の認識の処理が追加されている点と、Ｓ１９１２からＳ１９１３の付加情報２の読み出し処理を行う点である。
【０１４７】
ユーザ３１１が発した言葉を取り込んだデータに対して、図１９ＡのＳ１９０５において予約語の認識が成功すると、トリガー認識部４２０は、ユーザ３１１が発した言葉を取り込んだデータに対して、認識に成功した予約語に継続して入力された音声データが、付加語であるかの判定を判定するために、メモリ４１０の予約語保存エリア４１０−２から読み出した認識用データ（付加語）との比較を行う（Ｓ１９１１）。予約語に継続する音声データが付加語であると認識した場合、トリガー認識部４０５は、該当する予約語と付加語に対応した付加情報２をメモリ４１０の予約語保存エリア４１０−２から読み出す（Ｓ１９１２）。付加情報２を読み出したトリガー認識部４０５は、読み出した付加情報２の内容の動作をホスト機器３３２に設定する（Ｓ１９１３）。
【０１４８】
以上のように、ホスト機器３３２に予約語、付加語、付加情報を登録することで、ホスト機器３３２は、ホスト機器３３２の動作や、ホスト機器３３２とネットワークで接続されている機器やセンサに対する動作を自由に制御することが出来、個々人の生活スタイルにあった機器やセンサの制御が可能となる。
【０１４９】
図２０は、ホスト機器３３２に予約語が複数登録された場合、ユーザ３３１が発した言葉の中から予約語のいずれかであると認識した場合、その認識した予約語に応じて、音声認識クラウド１０１の音声テキスト変換部１０１−２で用いる音声認識辞書を変更する例の一覧である。
【０１５０】
ホスト機器３３２は、複数の予約語を登録することが可能である。ホスト機器３３２は、ユーザ３３１が発した言葉を、登録された複数の予約語のいずれかであると認識した場合、その認識した予約語に応じて音声認識クラウド１０１の音声テキスト変換部１０１−２で用いる音声からテキストに変換するための音声認識辞書を変更することができる。例えば図２１Ａおよび図２１Ｂに示すように、ホスト機器３３２は、予約語として「こんにちは」「Ｈｅｌｌｏ」「おおきに」の３つを登録しているものとする。この場合ホスト機器３３２は、予約語「こんにちは」を認識した場合は、音声認識クラウド１０１の音声テキスト変換部１０１−２で用いる音声認識辞書を日本語辞書に変更するように命令を出すことができる。また、予約語「Ｈｅｌｌｏ」を認識した場合は、ホスト機器３３２は、音声認識クラウド１０１の音声テキスト変換部１０１−２に対して、音声認識辞書の種類を英語辞書に変更するように命令を出すことができる。さらにまた、予約語「おおきに」を認識した場合は、ホスト機器３３２は、音声認識クラウド１０１の音声テキスト変換部１０１−２で用いる音声認識辞書の種類を方言辞書（関西弁）に変更するように命令を出すことができる。
【０１５１】
ホスト機器３３２が認識した予約語に応じて音声認識クラウド１０１の音声テキスト変換部１０１−２で用いる音声認識辞書の種類を変えるためには、ユーザ３３１は、ホスト機器３３２に対して予約語を登録する際に、予約語に対応して音声テキスト変換部１０１−２で使用する音声認識辞書の種類（以降付加情報３と呼ぶ）をあわせて登録する必要がある。
【０１５２】
予約語に対応する音声認識辞書の種類（付加情報３）を、予約語の登録とあわせて登録する処理シーケンスは、図１５Ａおよび図１５Ｂに示す予約語に対して付加情報１を登録する処理シーケンスと同一であり、表示部４２５に表示されるメニュー画面で付加情報１を入力する（Ｓ１５１６）代わりに、付加情報３の入力画面を選択して入力すればよい。以降、図１５ＢのＳ１５１４以降の処理を用いて、付加情報３を登録する処理の流れについて説明する。図１５ＢのＳ１５１４以降に記載されている付加情報１は、付加情報３と読み替えて説明する。
【０１５３】
ユーザ３３１に付加情報３の入力を促すためにＬＥＤが緑色点滅する（Ｓ１５１４）と、表示部４２５に付加情報３を登録するためのメニューが表示される。ユーザ３３１は、表示されたメニュー画面に従って付加情報３の入力操作することで、付加情報３として辞書の種類を選択することができる。作成が完了し付加情報３は、入力管理部４２０に取り込まれる（Ｓ１５１６）。入力管理部４２０は、取り込んだ付加情報３をトリガー設定部４０３に転送する。トリガー設定部４０３は、転送された付加情報３をメモリ４１０の予約語保存エリア４１０−２に保存する。
【０１５４】
なおトリガー設定部４０３は、付加情報３をメモリ４１０の予約語保存エリア４１０−２に保存する際にはＳ１５１３で登録した予約語と関連付けて保存する。
【０１５５】
図２１Ａおよび図２１Ｂは、図２０に示したようにホスト機器３３２に予約語が複数登録された場合の、各予約語がホスト機器３３２で認識された場合に、音声テキスト変換部１０１−２で使用する音声認識辞書の種類を変更するシーケンス例を示している。図２１Ａおよび図２１Ｂに示すＳ２１００からＳ２１１３の処理は、それぞれ図１６Ａおよび図１６Ｂに示すＳ１６００からＳ１６１３の処理と同一である。図２１Ａおよび図２１Ｂにおける処理の図１６Ａおよび図１６Ｂの処理との相違点は、図１６Ａおよび図１６Ｂの処理の場合は、トリガー認識部４０３が付加情報１を読み出した後、その付加情報１の内容に基づいてホスト機器３３２の動作の設定を行う（Ｓ１６１４）のに対して、図２１Ａおよび図２１Ｂの場合は、トリガー認識部４０３が付加情報３を読み出した後、その付加情報３の内容に基づいて音声テキスト変換部１０１−２で使用する音声認識辞書の種類を変えるために音声テキスト変換部１０１−２とのやり取りを行う（Ｓ２１１４−１からＳ２１１４−３）点である。
【０１５６】
なお、予約語の認識及び音声認識辞書の変更が完了したことをユーザに対して知らせる表示は、トリガー設定部４０３が表示装置４２５に対して登録完了通知を送信（Ｓ２１０９）し、その登録完了通知を受信した表示装置４２５が例えばＬＥＤを緑色で点灯させる、というようにユーザ３３１が認識できる表示方法で行うことが望ましい。或いはトリガー認識部４０５は、スピーカ４２３に対して認識完了通知を送付することで、その認識完了通知を受け取ったスピーカ４２３が例えば「はいはいなんでしょうか？。ところで、音声認識の辞書は方言辞書（関西弁）に変えましたよ」とユーザ３３１に対して音声によりアナウンスする方法でもよい。或いはトリガー認識部４０５は、予約語の認識と認識した予約語に対応した音声認識辞書の変更とが完了したことをユーザ３３１に対して通知するに、表示装置４２５を用いた表示による方法とスピーカ４２３を用いた音声による方法の両方を用いてもよい。
【０１５７】
なお、図１４に示す予約語に対応する動作内容（付加情報１）、図１７（Ａ）（Ｂ）に示す予約語に対する付加語ごとの動作内容（付加情報２）、及び図２０に示す予約語に対する音声認識辞書の種類（付加情報３）は、組み合わせて登録を行うことができる。
【０１５８】
図２２は、図１４に示す予約語に対応する動作内容の登録、図１７（Ａ）に示す予約語に対する付加語の登録、付加語に対する動作内容の登録及び図２０に示す予約語に対する音声認識辞書の種類の登録を組み合わせて行う場合の組み合わせの一覧である。ホスト機器３３２は、例えば予約語「こんにちは」に対しては、音声認識辞書の種類として日本語辞書を使用するように設定する。ホスト機器３３２は、また予約語「こんにちは」に対して付加語として「ちゃん」「や」「おい」を登録し、付加語が「ちゃん」の場合は応答する際のトーンを上げるようにホスト機器３３２の動作内容を変更し、付加語が「や」の場合は入力間隔確認タイマＴの満了時間Ｔ０を長くするように設定内容を変更し、また付加語が「おい」の場合は、「申し訳ございません」とすぐにアナウンスするように動作内容をする。
【０１５９】
図２３は、予約語以外の内容（以降変更条件と呼ぶ）に応じてテキスト変換部１０１−２で使用する音声認識辞書の種類を変更する例の一覧である。例えば図２３（Ａ）は、変更条件として時刻を設定した場合の例である。ホスト機器３３２は、音声認識クラウド１０１のテキスト変換部１０１−２が音声データをテキストに変換する際に使用する音声認識辞書の種類を、その音声認識辞書を使用する時間によって変更するように指示する例を示している。
【０１６０】
ホスト機器３３２は、例えば、時刻０５：００から０８：００までは家族一般用辞書を使用し、時刻０８：００から１６：００までは奥様用辞書を使用し、時刻１６：００から２０：００までは家族一般用辞書を使用し、時刻２０：００から０５：００までは大人用辞書を使用するように、インターネット２を通じてテキスト変換部１０１−２に指示する。
【０１６１】
また図２３（Ｂ）は、変更条件＝ホスト機器３３２の動作ステータスとした場合の例である。ホスト機器３３２は、テキスト変換部１０１−２が使用する音声認識辞書の種類を、その音声認識辞書を使用する際のホスト機器３３２の動作ステータスの種類によって変更するように指示することができる。
【０１６２】
ホスト機器３３２は、例えば、動作ステータス＝今から出勤の時は時刻・ルート検索辞書を使用し、動作ステータス＝外出の時は一般辞書を使用し、動作ステータス＝夜モードの時はリフレッシュ辞書を使用するように、インターネット２を通じてテキスト変換部１０１−２に指示する。
【０１６３】
ホスト機器３３２は、条件に応じて使用する音声認識辞書の種類の情報である、変更条件種類情報を登録するモード（以降変更条件登録モードと呼ぶ）以降を有している。
【０１６４】
ユーザ３３１は、変更条件に応じて音声認識辞書の種類を使い分けるために、変更条件種類情報をホスト機器３３２に予め登録する必要がある。
【０１６５】
変更条件に応じて音声認識辞書の種類を使い分けるための登録方法は、ユーザ３３１が発した音声をマイク４２１を通じてホスト機器３３２が取り込み、その取り込んだ音声データを解析することで、登録できるようにしてもよい。或いはまた表示装置４２５に、付加情報１を設定するメニューを表示させ、ユーザ３３１がそのメニューに従って操作することで登録できるようにしてもよい。或いは図４に示すネットワークＩ／Ｆ４２７を経由して接続されている外部のデバイス、例えばスマートフォンやタブレットを用いて、そのスマートフォンやタブレットの表示画面に予約語に付加情報１を設定するメニューを表示さ、ユーザ３３１がその表示されたメニュー画面に従って操作することで登録できるようにしてもよい。
【０１６６】
図２４は、表示部４２５に表示された変更条件種類情報を設定するメニューを表示させ、ユーザ３３１がそのメニューに従って操作することで変更条件に応じて使い分ける音声認識辞書の種類を登録する場合の処理シーケンスの例である。図２４に示すＳ２４１７からＳ２４２３の処理は、付加情報１の登録シーケンスである図１５ＢのＳ１５１７からＳ１５２３の処理と同一である。
【０１６７】
ユーザ３３１は、表示されたメニュー画面に従って操作することで、変更条件に応じて使い分ける音声認識辞書の種類を入力する。入力が完了した変更条件種類情報は、入力管理部４２０に取り込まれる（Ｓ２４１７）。入力管理部４２０は、取り込んだ変更条件種類情報をトリガー設定部４０３に転送する（Ｓ２４１８）。トリガー設定部４０３は、転送された変更条件種類情報をメモリ４１０の予約語保存エリア４１０−２に保存する（Ｓ２４１９）。
【０１６８】
図２５は、図２３に示すように変更条件に応じて音声認識辞書の種類を変更するための変更条件種類情報がメモリ４１０の予約語保存エリア４１０−２に保存されている場合に、その保存されている変更条件種類情報の内容に応じて、ホスト機器３３２が音声テキスト変換部１０１−２に、音声認識辞書の変更を通知する場合の処理シーケンスの例である。
【０１６９】
図２５の処理は、例えば図９Ｂに示す予約語の認識の処理が終了した（Ｓ９１１）あとに、継続して行うことが望ましい。或いは、予約語の認識が行われた後に、図１０Ａおよび図１０Ｂに示すように、機器やセンサを制御するためにユーザ３３１がホスト機器３３２に発した場合に、その言葉をホスト機器３３２が取り込んだタイミング（Ｓ１００１）で行うことが望ましい。
【０１７０】
図２５は、図１０Ａおよび図１０Ｂに示すように機器やセンサを制御するためにユーザ３３１がホスト機器３３２に言葉を発した場合に、その言葉をホスト機器３３２が取り込んだタイミング（Ｓ１００１）で、音声認識辞書の変更の判定とその結果の通知を行う場合の例である。
【０１７１】
予約語の認識が完了した場合、ホスト機器３３２は、継続してユーザの発した音声を、マイク４２１を通じて入力管理部４２０に取り込む（Ｓ２５０１）。入力管理部４２０は、音声データを取り込んだタイミングで、変更条件種類情報を読み出すために、音声処理部４０７に読み出し要求（変更条件種類情報）を送信する（Ｓ２５０２）とともに取り込んだ音声データに対する処理は一時停止する。読み出し要求（変更条件種類情報）を受信した音声処理部４０７は、メモリ４１０の予約語保存エリア４１０−２から、変更条件と音声認識辞書の種類の組み合わせが含まれている変更条件種類情報を読み出す（Ｓ２５０３）。音声処理部４０７は、読み出した変更条件種類情報の「変更条件」を解析し、その内容がホスト機器３３２の状態に適合しているかの判定を行う（Ｓ２５０４）。判定の結果適合していると判定された場合、音声処理部４０７は、「変更条件」に対応する「音声認識辞書の種類」を読み出し、音声認識辞書種類通知により変更後の音声認識辞書の種類をインターネット２を通じて音声テキスト変換部１０１−２に通知する（２５０５）。音声認識辞書種類通知を受信した音声テキスト変換部１０１−２は、通知された音声認識辞書の種類を参照し、現在使用中の音声認識辞書の種類を通知された音声認識辞書の種類に変更する（Ｓ２５０６）
音声テキスト変換部１０１−２は、音声認識辞書の種類の変更が完了すると、変更完了の通知として、音声処理部４０７に対して音声認識辞書変更完了通知を通知する（Ｓ２５０７）。
【０１７２】
音声処理部４０７は、音声認識辞書変更完了通知を受信すると（Ｓ２５０７）、入力管理部４２０に対して、変更条件種類情報の読み出しが完了した旨の通知として、読み出し完了通知を送信する（Ｓ２５０８）。入力管理部４２０は、読み出し完了通知を受信する（Ｓ２５０８）と、Ｓ２５０１において取り込んでいた音声データに対する処理を再開する。
【０１７３】
ユーザ３３１は、ホスト機器３３２に登録した予約語を忘れてしまう場合がある。そのような場合に備えて、ユーザ３３１は、登録済みの予約語を簡易な方法で確認できることが望ましい。
【０１７４】
図２６は、図５Ａおよび図５Ｂに示す処理シーケンスの例で予約語を登録したユーザ３３１が、登録済みの予約語を忘れてしまった場合、登録済みの予約語の一部または全部をユーザ３３１に通知するための予約語（以降救済予約語と呼ぶ）と表示内容（表示範囲）の例の一覧を示している。例えば「わからない」という予約語に対しては、ホスト機器３３２に登録済みの予約語の全てを表示部４２５に表示する、或いはホスト機器に３３２に接続された外部のデバイスの表示エリアに表示する場合を示している。また「ちょっと教えて」という予約語に対しては、ホスト機器３３２に登録済みの予約語のうち予め決められた一部を表示部４２５に表示する、或いはホスト機器３３２に接続された外部のデバイスの表示エリアに表示する場合を示している。また「使ってないヤツ」という予約語に対しては、ホスト機器３３２に登録済みの予約語のうち使用履歴が過去１年間ない予約語を表示部４２５に表示する、或いはホスト機器３３２に接続された外部のデバイスの表示エリアに表示する場合を示している。ホスト機器３３２に接続された外部のデバイスとしては、例えばスマートフォンやタブレット、液晶テレビ等の表示画面が比較的大きくユーザが一度に多くの予約語を参照することができるデバイスであることが望ましい。
【０１７５】
このように、登録済みの予約語を表示させるための予約語の登録は、ホスト機器のモード＝設定モード（予約語（表示用））に変更して、図５Ａおよび図５Ｂに示す予約語の登録の処理シーケンスに従って登録すればよい。
【０１７６】
上記の例は、図２６に示した「救済予約語」をユーザが発することで、すぐに該当する予約語が表示される例である。しかし、ホスト機器３３２が、該当する予約語を表示するまえに、ユーザ３３１に対して合言葉を聞くようにしてもよい。ユーザが「救済予約語」を発した後、ホスト機器３３２はスピーカ４２３を通じて例えば「山」と音声を発し、これに対して例えばユーザ３３１が「川」と応答したときに、該当する予約語を表示してもよい。
【０１７７】
更に、ホスト機器３３２は、ユーザ３３１が発した言葉を取り込んで、予約語、付加語、あるいは付加情報を登録するシーンを録音あるいは録画することも出来る。あるいは、予約語、付加語、を認識した場合に、その認識するシーンを録音あるいは録画することもできる。
【０１７８】
図２７は、ホスト機器３３２が、ユーザ３３１が発した言葉を取り込んで、予約語、付加語、あるいは付加情報の登録、予約語あるいは付加語の認識、のシーンを録音あるいは録画する場合、ホスト機器３３２の機能ブロック図を示している。図４との違いは、ホスト機器２７００が予約語、付加語、あるいは付加情報を登録するシーンを録画する、あるいは予約語あるいは付加語を認識するシーンを録画するためのカメラ２７０２を有する点、また制御管理部２７０１がＡＰＰ−Ｍｇ２７０１−１、ＣＯＮＦ−Ｍｇ２７０１−２に加えＥＶＴ−Ｍｇ２７０１−３を有する点、システムコントローラ４０２が録音あるいは録画したシーンのデータを再生するための再生制御機能を有している点である。ＥＶＴ−Ｍｇ２７０１−３は、予約語、付加語、あるいは付加情報を登録するシーンの発生、また、予約語、付加語、を認識するシーンの発生、に起因して後述する録音あるいは録画を行う機能を有している。以下、ホスト機器３３２が、ユーザ３３１が発した言葉を取り込んで、予約語、付加語、あるいは付加情報を登録するシーンを録音あるいは録画する処理の流れ、また予約語、付加語を認識するシーンを録音あるは録画する処理の流れ、について説明する。
【０１７９】
図２８は、予約語、付加語、あるいは付加情報を登録するシーンが発生したとき、あるいは、予約語、付加語、を認識するシーンが発生した場合に、登録のシーンあるいは認識のシーンをホスト機器３３２が録音あるいは録画する場合の時間経過を示している。
【０１８０】
時刻t1において、ホスト機器３３２は、ユーザが発した言葉を予約語として登録を開始したとする。予約語の登録の開始は、例えば図５Ａおよび図５Ｂの予約語の登録シーケンスにおける、入力管理部４２０がＳ５０２の処理を行うタイミングとしてもよい。入力管理部４２０は、予約語の登録の開始を認識すると、その旨をＥＶＴ−Ｍｇ２７０１−３に通知する。予約語の登録開始の旨の通知を受信したＥＶＴ−Ｍｇ２７０１―３は、マイク４２１を通じて予約語登録のシーンをＲｅｃ１として録音する、あるいはカメラ２７０２を通じて予約語登録のシーンをＲｅｃ１として録画する。予約語の登録の終了は、例えば図５Ａおよび図５Ｂの予約語の登録シーケンスにおける、入力管理部４２０がＳ５１２の登録完了通知を受け取ったタイミングとしてもよい。予約語の登録の終了を把握した入力管理部４２０は、その旨とＥＶＴ−Ｍｇ２７０１−３に通知する。予約語の登録完了の旨を受信したＥＶＴ−Ｍｇ２７０１−３は、マイク４２１を通じて行っていた予約語登録のシーンの録音を終了させる、あるいはカメラ２７０２を通じて行っていた予約語登録のシーンの録画を終了させる。
【０１８１】
同様に、時刻t2において、ホスト機器３３２はユーザが発した言葉を予約語として認識を開始したとする。予約語の認識の開始は、例えば図８Ａおよび図８Ｂの予約語の認識シーケンスにおける、入力管理部４２０がＳ８０２の処理を行うタイミングとしてもよい。入力管理部４２０は、予約語の認識の開始を認識すると、その旨をＥＶＴ−Ｍｇ２７０１−３に通知する。予約語の認識開始の旨の通知を受信したＥＶＴ−Ｍｇ２７０１―３は、マイク４２１を通じて予約語認識のシーンをＲｅｃ２として録音する、あるいはカメラ２７０２を通じて予約語認識のシーンをＲｅｃ２として録画する。予約語の認識の終了は、例えば図８Ａおよび図８Ｂの予約語の登録シーケンスにおける、入力管理部４２０がＳ８１１の認識完了通知を受け取ったタイミングとしてもよい。予約語の登録の終了を把握した入力管理部４２０は、その旨とＥＶＴ−Ｍｇ２７０１−３に通知する。予約語の登録完了の旨を受信したＥＶＴ−Ｍｇ２７０１−３は、マイク４２１を通じて行っていた予約語認識のシーンの録音を終了させる、あるいはカメラ２７０２を通じて行っていた予約語認識のシーンの録画を終了させる。
【０１８２】
同様に、t3およびt4において発生した登録あるいは認識のイベントを録画あるいは録音する。
【０１８３】
ホスト機器３３２は、録音または録画された登録のシーンまたは認識のシーンを再生することができる。
【０１８４】
図２９は、録画あるいは録音されたシーンの各データを再生する際に、再生対象のデータが表示されている様子の一例を示している。図２９の例では、図２８の時間軸に対するイベントの発生する様子に対応する形で、４つの再生対象のデータのアイコンが表示されている。この再生対象のデータのアイコン表示は、例えば表示部４２５に表示されてもよい。あるいはホスト機器３３２に接続された外部デバイス、例えばスマートフォンやタブレット、液晶テレビ等に表示されてもよい。
【０１８５】
表示されているアイコンは、録音または録画された日時と、録画または録音の対象のデータの内容を表している。例えばアイコンの表示内容が、予約語登録「おおきに」の場合は、録画または録音されているデータの内容が、「おおきに」を予約語として登録したシーンであることを示している。同様にアイコンの表示内容が、予約語認識「おおきに」の場合は、録画または録音されているデータの内容が、「おおきに」を予約語として認識したシーンであることを示している。
【０１８６】
ユーザ３３１は、再生したいデータのアイコンを選択することが、対象となるデータの録音または録画された内容を確認することが出来る。
【０１８７】
更にまたホスト機器３３２は、ネットワーク３３３で接続されているカメラやマイクに指示を出し、これらのカメラやマイクにより、予約語、付加語、あるいは付加情報を登録するシーンが発生した場合に、あるいは、予約語、付加語、を認識するシーンが発生した場合に、登録のシーンあるいは認識のシーンを録音あるいは録画してもよい。
【０１８８】
既に説明したようにホスト機器３３２は、ユーザ３３１が発した言葉の中から予約語を認識することで、その予約語に対応した付加情報の内容をもとに、ネットワークで接続された機器やセンサを制御することが出来る。この対象となる機器やセンサの制御内容は、高いセキュリティを必要とする場合もある。例えば、金庫の扉の開閉の制御をホスト機器を用いて実施できるように、ホスト機器３３２に付加情報として金庫の扉の開閉動作が設定されている予約語が登録されているとする。この場合、ホスト機器３３２は、該当する予約語を認識した場合、金庫の扉の開閉を行うとともに、金庫の周辺にあるマイクやカメラを用いて、制御対象の機器である金庫の周辺を録音あるいは録画することで、金庫の扉の開閉動作のセキュリティを保つことが可能となる。ユーザ３３１は、ネットワークで接続されたマイクやカメラを用いて録音あるいは録画されたデータも、ホスト機器３３２に内蔵されているマイクやカメラを用いて録音あるいは録画されたデータ同様に、その内容を確認することが出来る。  ホスト機器３３２による制御対象となる機器やセンサの制御内容が高いセキュリティを必要とする場合、ホスト機器３３２は更にまた、制御内容を実施するまえに、制御対象の機器やセンサの周辺にあるマイクやカメラを用いて録音した音声や録画した映像を用いて、録音された音声を発した人物あるいは録画された映像の人物の正当性確認を行ってもよい。ホスト機器３３２は、特定の付加情報における制御内容を実行する前に、あらかじめ登録してある特定人物の声や顔などの特徴点と、制御対象の機器やセンサの周辺にあるマイクやカメラを用いて集音された音声や撮影された映像とを比較し、該当人物の正当性が確認された場合のみ、該当する制御内容を実行するようにしてもよい。
【０１８９】
以上の実施形態の説明は、認識用データ変換部１０１−１、音声テキスト変換部１０１−２、テキスト分析部１０２−１、応答・アクション生成部１０２−２が、いずれもクラウドサーバ１の中に存在しているものとして説明したが、これらの一部あるいは全てがホスト機器３３２の中に存在していても構わない。その場合も、既に説明した各処理の動作シーケンスの例は、記載済みのものと同様となる。
【０１９０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１９１】
１・・・クラウドサーバ、２・・・インターネット、３・・・ホーム、１０１・・・音声認識クラウド、１０２・・・対応アクション生成クラウド、３１０・・・各種センサ、３２０・・・各種設備機器、３３０・・・ＨＧＷ（ＨｏｍｅＧａｔｅＷａｙ）、３３１・・・ユーザ、３３２・・・ホスト機器、３４０・・・各種家電機器。
【図１】
2020091492.tif 000003
【図２】
2020091492.tif 000004
【図３】
2020091492.tif 000005
【図４】
2020091492.tif 000006
【図５Ａ】
2020091492.tif 000007
【図５Ｂ】
2020091492.tif 000008
【図６Ａ】
2020091492.tif 000009
【図６Ｂ】
2020091492.tif 000010
【図７Ａ】
2020091492.tif 000011
【図７Ｂ】
2020091492.tif 000012
【図８Ａ】
2020091492.tif 000013
【図８Ｂ】
2020091492.tif 000014
【図９Ａ】
2020091492.tif 000015
【図９Ｂ】
2020091492.tif 000016
【図１０Ａ】
2020091492.tif 000017
【図１０Ｂ】
2020091492.tif 000018
【図１１Ａ】
2020091492.tif 000019
【図１１Ｂ】
2020091492.tif 000020
【図１２Ａ】
2020091492.tif 000021
【図１２Ｂ】
2020091492.tif 000022
【図１３】
2020091492.tif 000023
【図１４】
2020091492.tif 000024
【図１５Ａ】
2020091492.tif 000025
【図１５Ｂ】
2020091492.tif 000026
【図１６Ａ】
2020091492.tif 000027
【図１６Ｂ】
2020091492.tif 000028
【図１７】
2020091492.tif 000029
【図１８Ａ】
2020091492.tif 000030
【図１８Ｂ】
2020091492.tif 000031
【図１８Ｃ】
2020091492.tif 000032
【図１８Ｄ】
2020091492.tif 000033
【図１８Ｅ】
2020091492.tif 000034
【図１９Ａ】
2020091492.tif 000035
【図１９Ｂ】
2020091492.tif 000036
【図２０】
2020091492.tif 000037
【図２１Ａ】
2020091492.tif 000038
【図２１Ｂ】
2020091492.tif 000039
【図２２】
2020091492.tif 000040
【図２３】
2020091492.tif 000041
【図２４】
2020091492.tif 000042
【図２５】
2020091492.tif 000043
【図２６】
2020091492.tif 000044
【図２７】
2020091492.tif 000045
【図２８】
2020091492.tif 000046
【図２９】
2020091492.tif 000047