(57)【要約】【課題】利用者のプライバシーを保護すると同時に、サーバへのデータ集中を回避し、利用者の音声情報を認識して利用者が所有する家電機器を適切に制御する。【解決手段】利用者が発した音声から音声情報を取得し、前記音声情報が前記機器の制御に関連する定型文を示すと判定した場合、前記定型文に対応する制御指示を実行し、前記音声情報がネットワークを介してサーバ装置への送信が必要と判定した場合、前記音声情報を前記サーバ装置へ送信する。【選択図】図１
2020144375.tif 000002
【特許請求の範囲】
【請求項１】
サーバ装置と機器とを備えるシステムにより実行されるシステムの制御方法であって、
前記機器は、
利用者が発した音声から音声情報を取得し、
前記音声情報がネットワークを介して接続される家電機器の制御に関する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、
前記機器から送信された前記音声情報を取得し、
前記音声情報に対応する家電機器の制御を実施する問合せを前記機器へ送信し、
前記機器は、
前記サーバ装置から送信された前記問合せを受信し、
前記問合せに対する結果を前記サーバ装置へ送信し、
前記サーバ装置は、
前記機器から送信された前記結果を受信し、
前記結果が前記問合せに対して前記利用者の承認である場合に、制御の対象である前記家電機器へ制御指示を送信する、
システムの制御方法。
【請求項２】
前記機器は、
前記音声情報を前記サーバ装置へ送信する場合、前記送信の可否を前記利用者に問い合わせ、前記利用者から前記問合せに対する許可を受けた場合に、前記音声情報を前記サーバ装置へ送信する、
請求項１に記載のシステムの制御方法。
【請求項３】
前記機器は、
前記音声情報が前記機器の制御に関連する定型文を示すと判定した場合、前記定型文に対応する制御指示を実行する、
請求項１に記載のシステムの制御方法。
【請求項４】
前記機器は、
ディスプレイを備え、
前記問合せの内容と、前記問合せに同意する場合の同意ボタンと、前記問合せに同意しない場合の非同意ボタンを前記ディスプレイに表示し、
前記問合せに対して、前記同意ボタンまたは前記非同意ボタンを選択する、  請求項１に記載のシステムの制御方法。
【請求項５】
前記機器は、
ディスプレイを備え、
前記問合せの内容を前記ディスプレイに表示し、
前記結果は音声によりなされる、
請求項１に記載のシステムの制御方法。
【請求項６】
前記結果は音声によりなされる、
請求項１に記載のシステムの制御方法。
【請求項７】
機器とサーバ装置とを備えるシステムであって、
前記機器は、
利用者が発した音声から音声情報を取得する集音部と、
ネットワークを介してサーバ装置と通信する第１の通信部と、
第１の処理回路とを備え、
前記第１の処理回路は、
前記音声情報がネットワークを介して接続される家電機器の制御に関する音声情報であると判断した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、
ネットワークを介して機器と通信する第２の通信部と、
第２の処理回路と、を備え、
前記第２の通信部は前記機器から送信された前記音声情報を取得し、
前記第２の処理回路は、前記音声情報に対応する制御指示を、前記制御指示の対象である家電機器に送信し、
前記サーバ装置は、
前記機器から送信された前記音声情報を取得し、
前記音声情報に対応する家電機器の制御を実施する問合せを前記機器へ送信し、
前記機器は、
前記サーバ装置から送信された前記問合せを受信し、
前記問合せに対する結果を前記サーバ装置へ送信し、
前記サーバ装置は、
前記機器から送信された前記結果を受信し、
前記結果が前記問合せに対して前記利用者の承認である場合に、制御の対象である前記家電機器へ前記制御指示を送信する、
システム。
【請求項８】
サーバ装置と機器とを備えるシステムに実行させるプログラムであって、
前記機器に、
利用者が発した音声から音声情報を取得させ、
前記音声情報がネットワークを介して接続される家電機器の制御に関する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信させ、
前記サーバ装置に、
前記機器から送信された前記音声情報を取得させ、
前記音声情報に対応する制御指示を、前記制御指示の対象である家電機器に送信させ、
前記サーバ装置に、
前記機器から送信された前記音声情報を取得させ、
前記音声情報に対応する家電機器の制御を実施する問合せを前記機器へ送信させ、
前記機器は、
前記サーバ装置から送信された前記問合せを受信させ、
前記問合せに対する結果を前記サーバ装置へ送信させ、
前記サーバ装置は、
前記機器から送信された前記結果を受信させ、
前記結果が前記問合せに対して前記利用者の承認である場合に、制御の対象である前記家電機器へ前記制御指示を送信させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークに接続可能な集音機器が音声情報を収集し、収集した音声情報に基づいて、ネットワークを介して家電機器を制御する、家電機器制御システムに関するものである。
【背景技術】
【０００２】
近年、ネットワーク接続機能を有した家電機器の普及に伴い、ネットワークを介して家電機器を制御するシステムが提案されている。また、音声認識技術における認識率の向上に伴い、家電機器に対する操作命令を音声入力し、家電機器を制御することが可能となってきた。
【０００３】
従来の音声認識システムとしては、クライアントで入力した音声情報をサーバに送信し、音声認識をサーバで行うことで、処理能力が低いクライアントの負荷を低減する技術が提案されている（例えば、特許文献１参照）。
【０００４】
前記特許文献１では、クライアントが、音声情報の特徴パラメータを圧縮符号化し、圧縮符号化した特徴パラメータを送信することで、クライアントとサーバとの間のデータ送信量が抑えられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３３７６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記特許文献１では、サーバが全ての音声認識を行っているため、音声認識対象の音声情報が全て、クライアントからサーバに送信されている。つまり、クライアントが入力した音声情報が全てサーバに転送される。その結果、サーバへのデータ集中を回避するために、クライアントとサーバとの間のデータ送信量を更に削減する必要があった。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明の一態様による制御方法は、サーバ装置と機器とを備えるシステムにより実行されるシステムの制御方法であって、
前記機器は、
利用者が発した音声から音声情報を取得し、
前記音声情報が前記機器の制御に関連する定型文を示すと判定した場合、前記定型文に対応する制御指示を実行し、
前記音声情報がネットワークを介してサーバ装置への送信が必要と判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、
前記機器から送信された前記音声情報を取得し、
前記音声情報に対して所定の処理を実施し、
前記音声情報が前記サーバ装置への送信が必要と判定した場合とは、
前記音声情報が前記ネットワークを介して接続される家電機器の制御に関連する音声情報であると判定した場合である。
【発明の効果】
【０００８】
この構成によれば、利用者のプライバシーを保護すると同時に、サーバへのデータ集中を回避し、利用者の音声情報を認識して利用者が所有する家電機器を適切に制御し得る。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態による家電機器制御システムの全体構成の一例を示す図である。
【図２】本発明の実施の形態によるサーバ装置の構成の一例を示すブロック図である。
【図３】本発明の実施の形態による集音機器の構成の一例を示すブロック図である。
【図４】本発明の実施の形態によるゲートウェイの構成の一例を示すブロック図である。
【図５】本発明の実施の形態による家電機器の構成の一例を示すブロック図である。
【図６】本発明の実施の形態による制御情報テーブルのデータ構成の一例を示す図である。
【図７】本発明の実施の形態による機器管理情報テーブルのデータ構成の一例を示す図である。
【図８】本発明の実施の形態による制御情報保持部が保持する制御情報テーブルのデータ構成の一例を示す図である。
【図９】本発明の実施の形態による機器管理情報テーブルのデータ構成の一例を示す図である。
【図１０】本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。
【図１１】本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。
【図１２】本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。
【図１３】本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。
【図１４】本発明の実施の形態において、ゲートウェイにおける音声情報の解析処理を説明するための模式図である。
【図１５】本発明の実施の形態において、サーバ装置における音声情報の認識処理を説明するための模式図である。
【図１６】本発明の実施の形態の変形例のフローチャートである。
【図１７】本発明の実施の形態において、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。
【図１８】本発明の実施の形態による確認結果データベースのデータ構成の一例を示す図である。
【図１９】本発明の実施の形態の別の変形例のフローチャートである。
【図２０】本発明の実施の形態の更に別の変形例のフローチャートである。
【図２１】本発明の実施の形態において、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。
【図２２】本発明の実施の形態の別の変形例のフローチャートである。
【図２３】本発明の実施の形態において、サーバ装置に音声情報を送信してもよいか否かを利用者に問い合わせる画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
（本発明の一態様に至る経緯）
近年、部屋に設置された集音機器が利用者の発する会話や利用者の行為によって発生する音を収集してクラウドサーバに送信し、クラウドサーバがその音を分析して、利用者の指示、意図、及び状況等を理解して、その理解に基づいて部屋に設置された家電機器を制御する技術に関する研究が進められている。
【００１１】
利用者の指示、意図、及び状況等をグラウドサーバに理解させるには、集音機器が集音した音声を全てクラウドサーバに送信することが好ましい。その際、問題となるのが利用者のプライバシーである。つまり、全ての音声がクラウドサーバに送信されることに対して、プライバシーの観点から懸念を持つ利用者も存在する。
【００１２】
前記特許文献１では、認識対象の音声情報が全てクラウドサーバに送信されており、利用者のプライバシーを保護するという課題が全く考慮されていない。よって、上述の懸念を持つ利用者の要望に全く応えることはできない。
【００１３】
更に、特許文献１では、背景技術でも述べたように、認識対象となる音声情報が全てサーバに送信されているため、サーバへのデータ集中を回避するためには更なる改善の余地がある。
【００１４】
本発明の一態様の目的は、利用者のプライバシーを保護すると同時に、サーバへのデータ集中を回避し、利用者の音声情報を認識して利用者が所有する家電機器を適切に制御し得る技術を提供することである。
【００１５】
本発明の一態様による制御方法は、サーバ装置と、家電機器と、ゲートウェイと、集音機器とを備える家電機器制御システムにおける家電機器の制御方法であって、
前記ゲートウェイは、利用者の音声情報を前記集音機器から受信し、前記受信した音声情報を解析し、前記解析した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、前記ゲートウェイから受信した音声情報を認識し、前記認識した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記ゲートウェイへ前記音声情報に対応する制御指示を送信し、
前記家電機器は、前記ゲートウェイを介して前記サーバ装置から制御指示を受信し、前記制御指示を実行する。
【００１６】
この場合、ゲートウェイは、集音機器が集音した音声情報に、例えば所定のキーワードが含まれており、その音声情報が家電機器の制御に関する音声情報であれば、その音声情報をサーバ装置へ送信する。つまり、ゲートウェイは、音声情報が家電機器の制御に関する音声情報でなければ、その音声情報をサーバ装置に送信しない。そのため、音声認識のためにサーバ装置へ送信する音声情報のデータ転送量を削減することが可能となる。
【００１７】
また、集音機器が集音した音声情報のうちサーバ装置への送信が必要とゲートウェイが、判断した音声情報のみがサーバ装置に送信される。そのため、家庭内の会話等プライベートな情報がサーバ装置に送信されることを抑制できる。
【００１８】
上記態様において、前記ゲートウェイは、前記集音機器から受信した音声情報が、前記家電機器の制御に関連する定型文を示すと判定した場合、前記音声情報を前記サーバ装置へ送信する代わりに、前記定型文に対応する制御指示を前記家電機器へ送信してもよい。
【００１９】
この場合、ゲートウェイは、集音機器が集音した音声情報が定型文であれば、定型文に
対応する制御指示を、家電機器に送信する。つまり、ゲートウェイは、自身で制御対象の家電機器に対する制御指示を決定できる場合、音声情報をサーバ装置へ送信しない。
【００２０】
そのため、音声認識のためにサーバ装置へ送信する音声情報のデータ転送量を更に削減すると同時に利用者のプライバシーを更に保護できる。
【００２１】
上記態様において、前記ゲートウェイは、前記受信した音声情報が前記定型文を示すと判定した場合、前記定型文に対応する制御指示の内容をネットワークを介して接続された入力装置に出力させ、前記内容が正しい旨の前記利用者の確認入力が前記入力装置により受け付けられた場合、前記定型文に対応する制御指示を前記家電機器へ送信してもよい。
【００２２】
この場合、サーバ装置が認識した制御指示が正しいか否かを利用者に問い合わせ、正しい旨の確認結果が入力された場合に、家電機器に制御指示が送信される。そのため、利用者の意図に反する動作を家電機器が行うことを防止できる。
【００２３】
上記態様において、前記ゲートウェイは、前記サーバ装置から受信した制御指示の内容をネットワークを介して接続された入力装置に出力させ、前記内容が正しい旨の前記利用者の確認入力が前記入力装置により受け付けられた場合、前記サーバ装置から受信した制御指示を前記家電機器へ送信してもよい。
【００２４】
この場合、ゲートウェイが認識した制御指示が正しいか否かを利用者に問い合わせ、正しい旨の確認結果が入力された場合に、家電機器に制御指示が送信される。そのため、利用者の意図に反する動作を家電機器が行うことを防止できる。
【００２５】
上記態様において、前記サーバ装置は、前記ゲートウェイから送信された音声情報の認識結果の正誤を利用者に問い合わせるための問い合わせ通知を前記ゲートウェイに送信し、
前記ゲートウェイは、前記問い合わせ通知が示す前記認識内容をネットワークを介して接続された入力装置に出力させ、前記認識内容に対する前記利用者の回答を示す音声情報であって前記入力装置で受け付けられた音声情報を前記入力装置から受信した場合、前記受け付けられた音声情報を解析せずに、前記サーバ装置に送信してもよい。
【００２６】
ゲートウェイが利用者からの全ての回答を示す音声情報を一律に解析する態様を採用すると、例えば、この音声情報に定型文が含まれていれば、ゲートウェイは、家電機器にこの定型文に対応する制御指示を送信してしまう。これでは、サーバ装置は、利用者による確認結果を取得できず、音声情報の認識結果が正しいか否かを判断できない。そこで、本態様では、ゲートウェイは、利用者からの回答を示す音声情報を入力装置から受信した場合、この音声情報を解析することなくサーバ装置へ送信している。これにより、サーバ装置が利用者による回答を取得できなくなる事態を回避できる。
【００２７】
上記態様において、前記ゲートウェイは、前記音声情報を前記サーバ装置に送信する場合、前記送信の可否を利用者に問い合わせるための問い合わせ通知を前記ネットワークを介して接続された入力装置に出力し、前記利用者から前記送信を許可する確認入力が前記入力装置により受け付けられた場合、前記音声情報を前記サーバ装置に送信してもよい。
【００２８】
この場合、ゲートウェイが音声情報をサーバ装置に送信すると判断した場合であっても、利用者により音声情報をサーバ装置に送信してもよいとの承諾が得られた場合にのみ音声情報がサーバ装置に送信される。そのため、利用者のプライバシーを更に保護できると同時に、サーバ装置に送信されるデータ量を抑制できる。
【００２９】
上記態様において、前記ゲートウェイは、前記サーバ装置に前記音声情報を送信する場合、前記ゲートウェイの周辺の環境情報を取得して前記サーバ装置に送信し、
前記サーバ装置は、前記ゲートウェイから送信された前記音声情報及び前記環境情報を用いて前記制御指示を決定してもよい。
【００３０】
この場合、音声情報のみならず、ゲートウェイの周辺の環境情報、すなわち、利用者の宅内の環境情報もサーバ装置に送信されるため、サーバ装置は利用者が意図する制御指示をより正確に決定できる。
【００３１】
上記態様において、前記ゲートウェイは、前記定型文と前記定型文に対応する制御指示とが対応付けて保持された制御情報テーブルを用いて前記定型文に対応する制御指示を決定してもよい。
【００３２】
この場合、制御情報テーブルには定型文と定型文に対応する制御指示とが対応付けられているため、ゲートウェイは定型文に対応する制御指示を高速且つ正確に決定できる。
【００３３】
上記態様において、前記定型文は、制御対象となる家電機器と、前記家電機器に対する制御指示とを含む文であり、
前記家電機器の制御に関連する音声情報は、前記定型文には該当しないが、前記家電機器を制御する関連する単語を含む音声情報であってもよい。
【００３４】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００３５】
（実施の形態）
１．１  家電機器制御システムの構成
図１は、実施の形態による家電機器制御システムの全体構成の一例を示す図である。図１に示すように、家電機器制御システムは、サーバ装置１０１、集音機器１０２、ゲートウェイ１０３、及び家電機器１０４を備える。
【００３６】
図１の例では、集音機器１０２とゲートウェイ１０３と家電機器１０４とは利用者の宅内に設置されている。ゲートウェイ１０３とサーバ装置１０１とは、外部ネットワークを介して相互に通信可能に接続されている。外部ネットワークとしては例えば、インターネットが採用される。したがって、ゲートウェイ１０３及びサーバ装置１０１はＴＣＰ／ＩＰ等のインターネットの通信プロトコルを用いて相互に通信を行う。集音機器１０２、ゲートウェイ１０３、及び家電機器１０４は、内部ネットワークを介して相互に通信可能に接続されている。内部ネットワークとしては、例えば、ＩＥＥＥ８０２．３シリーズの有線ＬＡＮ、ＩＥＥＥ８０２．１１シリーズの無線ＬＡＮ、或いは両者が混在するローカルエリアネットワークが採用される。
【００３７】
制御対象の家電機器１０４は、例えば、エアコン等の空調機器、テレビ等のＡＶ機器、洗濯機、照明機器、電子シャッター、或いはインターフォン等である。ゲートウェイ１０３は、自身と接続している家電機器１０４に対し、家電機器１０４を識別する機器ＩＤと機器種別とを対応付けて管理している。
【００３８】
宅内にある集音機器１０２は、利用者の会話を含む音声情報を収集し、宅内のゲートウェイ１０３へ送信する。音声情報を受信したゲートウェイ１０３は、音声モデルや辞書データ等を含むデータベースを用いて、受信した音声情報（入力音声）の簡易解析を行う。そして、ゲートウェイ１０３は、解析結果が、家電機器１０４の制御に関連する定型文である場合、家電機器１０４に対して定型文が示す制御指示を送信する。なお、この「定型文」は、ゲートウェイ１０３のデータベースが予め保持している解析キーワードであり、
制御指示が予め対応付けられている。よって、ゲートウェイ１０３は、このデータベースを参照することで、解析の結果得られた「定型文」が示す制御指示を特定できる。ゲートウェイ１０３は、解析結果が、予め保持している定型文である場合、サーバ装置１０１へ音声情報を送信しない。
【００３９】
一方、解析結果が定型文ではないが、家電機器１０４の制御に関連する単語（例えば「電源」等）を含む場合、ゲートウェイ１０３は、集音機器１０２から受信した音声情報を
サーバ装置１０１へ送信する。なお、この「単語」は、ゲートウェイ１０３のデータベ
ースが予め保持している解析キーワードであり、制御指示が対応付けられていない。よって、ゲートウェイ１０３は、「単語」と家電機器１０４を制御するための制御指示とを対応付けることができない。ゲートウェイ１０３は、解析結果が、予め保持している定型文でなく単語を含む場合、サーバ装置１０１へ音声情報を送信する。
【００４０】
音声情報を受信したサーバ装置１０１は、音声モデルや辞書データ等を含むデータベースを用いて、受信した音声情報（入力音声）の認識処理を行う。サーバ装置１０１は、認識結果が、家電機器１０４の制御に関連する内容（例えば「テレビを見たい」等）を含む場合に、ゲートウェイ１０３を介して、家電機器１０４に対して制御指示を送信する。
【００４１】
１．２  サーバ装置１０１の構成
続いて、サーバ装置１０１の詳細な構成を説明する。図２は、サーバ装置１０１の構成の一例を示すブロック図である。
【００４２】
サーバ装置１０１は、図２に示すように、送受信部２０１、認識部２０２、データベース保持部２０３、制御情報保持部２０４、機器管理情報保持部２０５、判断部２０６、及び制御部２０７を備える。
【００４３】
サーバ装置１０１は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ、ＲＯＭ、及びハードディスク等から構成される。前記ＲＡＭ、ＲＯＭ、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、サーバ装置１０１はその機能を果たす。
【００４４】
なお、サーバ装置１０１の送受信部２０１、認識部２０２、データベース保持部２０３、制御情報保持部２０４、機器管理情報保持部２０５、判断部２０６、制御部２０７等の各機能ブロックは、集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、１以上のブロック、又は各ブロックの一部を含むように１チップ化されてもよい。
【００４５】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００４６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【００４７】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【００４８】
また、各機能ブロックは、ソフトウェアで実現されてもよいし、ＬＳＩとソフトウェア
の組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
【００４９】
（１）  送受信部２０１
送受信部２０１は、例えば、サーバ装置１０１をインターネットに接続させるための通信装置を含む。そして、送受信部２０１は、ゲートウェイ１０３から、集音機器１０２が収集した音声情報とゲートウェイＩＤとを受信する。また、送受信部２０１は、ゲートウェイ１０３へ、家電機器１０４の機能をコントロールするための制御指示を送信する。家電機器１０４への制御指示とは、例えば、テレビについては、例えば、電源ＯＮ／ＯＦＦの指示、チャンネル切り替えの指示、及び音量調節の指示等が該当し、エアコンについては、例えば、電源ＯＮ／ＯＦＦの指示及び温度調節の指示等が該当し、電動シャッターについては、例えば、電動シャッターの開閉の指示等が該当する。
【００５０】
（２）  認識部２０２及びデータベース保持部２０３
認識部２０２は、データベース保持部２０３が保持する音声モデルや辞書データを用いて、送受信部２０１を介して受信した音声情報（入力音声）を分析する認識処理を実行し、認識結果を出力する。ここで、サーバ装置１０１は、一般に利用、又は公開されている任意の音声認識技術を用いて、音声情報を認識すればよい。以下、簡単に説明する。
【００５１】
図１５は、サーバ装置１０１における音声情報の認識処理を説明するための模式図である。音声モデル１５０１は、音声の波形の特徴がモデル化されたデータである。図１５の例では、音声モデル１５０１として、例えば、「ア（ａ）」、「イ（ｉ）」、「ウ（ｕ）」といった、日本語の音素の音声モデル１５０１が示されている。
【００５２】
辞書データ１５０２には、単語を保持する単語データベース１５０４だけでなく、１以上のパターンの単語の並び順を保持する並び順データベース１５０５も含まれる。
【００５３】
図１５の単語データベース１５０４の例では、日本語の「電源（ｄｅｎｇｅｎ）」、「ＯＮ」、「ＯＦＦ」、「点ける（ｔｓｕｋｅｒｕ）」、「消す（ｋｅｓｕ）」、「暑い（ａｔｓｕｉ）」、「寒い（ｓａｍｕｉ）」、「温度（ｏｎｄｏ）」、「気温（ｋｉｏｎ）」等が登録されている。
【００５４】
また、図１５の並び順データベース１５０５の例では、日本語の「電源（ｄｅｎｇｅｎ）」という単語の次にくる単語の候補として、日本語の助詞の「を（ｗｏ）」、「が（ｇａ）」、「の（ｎｏ）」等が挙げられ、この助詞の次にくる単語の候補として、日本語の「点ける（ｔｓｕｋｅｒｕ）」、「消す（ｋｅｓｕ）」等が挙げられている。
【００５５】
まず、認識部２０２は、入力された音声情報１５０３の音素の並びを音声モデル１５０１を用いて検出する。次に、認識部２０２は、検出した音素の並びに対して、単語データベース１５０４及び並び順データベース１５０５を参照して、１以上の音素に対して単語を割り当てる。ここで、並び順データベース１５０５には、各単語の候補に対する確率が定められており、認識部２０２は、この確率にしたがって単語を決定する。このような処理を用いて認識部２０２は音声情報１５０３を認識する。
【００５６】
（３）  制御情報保持部２０４
制御情報保持部２０４は、家電機器１０４ごとの機能をコントロールするための制御情報テーブルを保持している。
【００５７】
図６は、制御情報テーブルのデータ構成の一例を示す図である。図６の制御情報テーブルの例では、「機器種別」と「制御指示」とが対応付けて保持されている。「機器種別」は、エアコン、テレビ、洗濯機といった、家電機器１０４の種別を識別するデータである
。図６の例では、エアコンに対する制御指示として、電源ＯＮ、電源ＯＦＦ、及び温度を１度上げる等が保持されている。
【００５８】
図６において、「制御指示」としては、機能をコントロールするための指示情報が採用されてもよいし、制御コマンドそのものが採用されてもよい。また、図６に例示された機器種別及び制御指示は一例にすぎず、他の種別の家電機器１０４が制御対象となるのであれば、当然、その家電機器１０４の機器種別及び制御指示が図６に登録される。
【００５９】
（４）  機器管理情報保持部２０５
機器管理情報保持部２０５は、同一宅内に存在するゲートウェイ１０３、家電機器１０４、及び家電機器１０４の種別を管理するための機器管理情報テーブルを保持する。
【００６０】
図７は、機器管理情報テーブルのデータ構成の一例を示す図である。機器管理情報テーブルには、「ゲートウェイＩＤ」、「機器ＩＤ」、及び「機器種別」が対応付けて保持されている。「ゲートウェイＩＤ」は、ゲートウェイ１０３を個々に区別するための識別子であり、例えば、ゲートウェイ１０３の製造番号が採用できる。「機器ＩＤ」は、家電機器１０４を個々に区別するための識別子であり、例えば、家電機器１０４の製造番号が採用できる。「機器種別」は、図６に示す「機器種別」と同じである。
【００６１】
図7の機器管理情報テーブルの例では、ゲートウェイＩＤ「３２４５６３８９」を持つ
ゲートウェイ１０３と、機器ＩＤ「１２３４５６」及び機器ＩＤ「８９６０２３」とを
持つ家電機器１０４は同一宅内に存在することが示されている。また、両家電機器１０４は、それぞれ「エアコン」及び「テレビ」であることが示されている。
【００６２】
（５）  判断部２０６
判断部２０６は、ゲートウェイ１０３から受信した音声情報の認識部２０２による認識結果が家電機器１０４の制御に関するものである場合、機器管理情報保持部２０５が保持する機器管理情報テーブル（図７）と、送受信部２０１がゲートウェイ１０３から受信したゲートウェイＩＤとを用いて、認識結果に対応する家電機器１０４と同じ機器種別の家電機器１０４が、当該ゲートウェイ１０３と同一宅内に存在するか否かを判断する。例えば、ゲートウェイＩＤ「３２４５６３８９」のゲートウェイ１０３から送信された音声情報の認識結果が「エアコン」の制御に関するものである場合、機器管理情報テーブル（図７）には、このゲートウェイ１０３に対して「エアコン」が対応付けて登録されているため、このゲートウェイ１０３と同一宅内に「エアコン」が存在すると判断される。
【００６３】
（６）  制御部２０７
制御部２０７は、上記（１）〜（５）の各ブロックを管理・制御して、サーバ装置１０１の機能を実現する。
【００６４】
１．３  集音機器１０２の構成
続いて、集音機器１０２の詳細な構成を説明する。図３は、集音機器１０２の構成の一例を示すブロック図である。
【００６５】
集音機器１０２は、図３に示すように、送受信部３０１、集音部３０２、及び制御部３０３を備える。
【００６６】
集音機器１０２は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ、ＲＯＭ、及びハードディスク等から構成される。前記ＲＡＭ、ＲＯＭ、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、集音機器１０２はその機能を果たす。
【００６７】
なお、送受信部３０１、集音部３０２、及び制御部３０３等の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、１以上のブロック、又は各ブロックの一部を含むように１チップ化されてもよい。
【００６８】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００６９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【００７０】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【００７１】
また、各機能ブロックは、ソフトウェアで実現されてもよいし、ＬＳＩとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
【００７２】
（１）送受信部３０１
送受信部３０１は、例えば、ＩＥＥＥ８０２．３シリーズの有線ＬＡＮやＩＥＥＥ８０２．１１シリーズの無線ＬＡＮの通信装置を含む。そして、送受信部３０１は、集音部３０２が収集した音声情報をゲートウェイ１０３へ送信する。
【００７３】
（２）集音部３０２
集音部３０２は、利用者による家電を制御するための直接的な音声指示（例えば「テレビＯＮ」等）を収集する。また、集音部３０２は、利用者による家電機器１０４を制御するための直接的な指示ではない日常会話等も収集することができる。具体的には、集音部３０２は、マイク及びマイクが検知した音声信号を処理する処理部等を含む。ここで、集音部３０２は、例えば、マイクから出力される音声信号からノイズ等を除去し、アナログデジタル変換してデジタルの音声信号を生成する処理等を実行する。また、集音部３０２は、マイクから音声信号が出力されると、即座にノイズ除去及びアナログデジタル変換等の処理を開始し、処理結果を随時、送受信部３０１に出力する。
【００７４】
（３）制御部３０３
制御部３０３は、上記（１）〜（２）の各ブロックを管理・制御して、集音機器１０２の機能を実現する。
【００７５】
１．４  ゲートウェイ１０３の構成
続いて、ゲートウェイ１０３の詳細な構成を説明する。図４は、ゲートウェイ１０３の構成の一例を示すブロック図である。
【００７６】
ゲートウェイ１０３は、図４に示すように、送受信部４０１、解析部４０２、データベース保持部４０３、制御情報保持部４０４、機器管理情報保持部４０５、判断部４０６、ゲートウェイＩＤ保持部４０７、及び制御部４０８を備える。
【００７７】
ゲートウェイ１０３は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ、ＲＯＭ、及びハードディスク等から構成される。前記ＲＡＭ、ＲＯＭ、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュ
ータプログラムに従って動作することにより、ゲートウェイ１０３はその機能を果たす。
【００７８】
なお、送受信部４０１、解析部４０２、データベース保持部４０３、制御情報保持部４０４、機器管理情報保持部４０５、判断部４０６、ゲートウェイＩＤ保持部４０７、制御部４０８等の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、１以上のブロック、又は各ブロックの一部を含むように１チップ化されてもよい。
【００７９】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８０】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【００８１】
また、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【００８２】
また、各機能ブロックは、ソフトウェアで実現されてもよいし、ＬＳＩとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
【００８３】
（１）  送受信部４０１
送受信部４０１は、ゲートウェイ１０３を内部ネットワークに接続させる通信装置及び外部ネットワークに接続させる通信装置を含む。そして、送受信部４０１は、集音機器１０２から、集音機器１０２が収集した音声情報を内部ネットワークを介して受信する。また、送受信部４０１は、家電機器１０４へ、家電機器１０４の機能をコントロールするための制御指示を内部ネットワークを介して送信する。また、送受信部４０１は、サーバ装置１０１へ、認識処理を依頼する音声情報を外部ネットワークを介して送信する。さらに、送受信部４０１は、サーバ装置１０１から受信した家電機器１０４への制御指示を外部ネットワークを介して受信し、対象の家電機器１０４へ送信する。
【００８４】
家電機器１０４への制御指示としては、例えば、テレビであれば、電源ＯＮ／ＯＦＦの指示、チャンネル切り替えの指示、及び音量調節の指示等が採用され、エアコンであれば、例えば、電源ＯＮ／ＯＦＦの指示及び温度調節の指示等が採用される。
【００８５】
（２）  解析部４０２及びデータベース保持部４０３
解析部４０２は、データベース保持部４０３が保持する音声モデル及び辞書データを用いて、送受信部４０１が集音機器１０２から受信した音声情報（入力音声）の解析を行い、解析結果を出力する。ここで、解析部４０２は、一般に利用、又は公開されている任意の音声認識技術を用いて、音声情報を解析すればよい。以下、簡単に説明する。
【００８６】
図１４は、ゲートウェイ１０３における音声情報の解析処理を説明するための模式図である。音声モデル１４０１は、図１５の音声モデル１５０１と同様、音声の波形の特徴がモデル化されたデータである。
【００８７】
辞書データ１４０２は、前述した家電機器１０４の制御に関連する１以上の定型文を保持する定型文データベース１４０４と、単語を保持する単語データベース１４０５とを含む。なお、辞書データ１４０２には、１以上のパターンの単語の並び順を保持する並び順
データベースが含まれても良い。
【００８８】
定型文データベース１４０４には、例えば、「テレビＯＮ」、「テレビＯＦＦ」、「２チャンネル」、「照明ＯＮ」、「照明ＯＦＦ」、「エアコンＯＮ」、「エアコンＯＦＦ」というように、制御対象となる家電機器１０４と、その家電機器１０４に対する制御指示が明確に分かる文が保持されている。
【００８９】
単語データベース１４０５には、例えば、「電源」、「ＯＮ」、「ＯＦＦ」、「点ける」、「消す」、「温度」、「気温」というように、家電機器１０４を制御する際に用いられる単語や、「暑い」、「寒い」、「暗い」、というように、家電機器１０４の制御を示唆する単語が保持されている。
【００９０】
まず、解析部４０２は、入力された音声情報１４０３の音素の並びを音声モデル１４０１を用いて検出する。次に、解析部４０２は、検出した音素の並びに対して、単語データベース１４０５を参照して、１以上の音素に対して単語を割り当てる。そして、割り当てた単語から得られる文が定型文データベース１４０４に保持されているいずれか１の定型文と一致すれば、入力された音声情報は定型文であると判定する。
【００９１】
一方、解析部４０２は、検出した音素の並びに単語を割り当てた文が、定型文データベース１４０４に保持されたいずれの定型文にも該当しなかった場合、入力された音声情報は家電の制御に関する単語であると判定する。ここで、単語データベース１４０５には、家電機器１０４の制御に関する単語が登録されているため、検出した音素の並びに単語を割り当てることができなかった場合、解析部４０２は、入力された音声情報は家電機器１０４の制御に関する単語でなく、且つ定型文でもないと判定すればよい。
【００９２】
なお、ゲートウェイ１０３が保持する単語データベース１４０５に登録されている単語数はサーバ装置１０１が保持する単語データベース１５０４よりも遙かに少ない。また、ゲートウェイ１０３に並び順データベースを保持させる態様を採用したとしても、この並び順データベースに登録された並び順のパターンはサーバが保持する並び順データベース１５０５に登録されたパターンより遙かに少ない。また、ゲートウェイ１０３が保持する音声モデル１４０１に登録されている音声モデルの個数及び１の音声モデルを構成するデータ点数はサーバ装置１０１が保持する音声モデル１５０１に登録されている音声モデルの個数及び１の音声モデルを構成するデータ点数に比べて遙かに少ない。よって、サーバ装置１０１は、ゲートウェイ１０３に対してより高度な音声情報の認識処理を実現する。
【００９３】
解析部４０２は、音声情報の解析結果が、家電機器１０４の制御に関連する定型文である場合、音声情報をサーバ装置１０１に送信しないと判定し、判断部４０６に解析結果（定型文）を通知する。この場合、ゲートウェイ１０３が、定型文と家電機器１０４を制御するための制御指示とを対応付ける処理を行う。
【００９４】
一方、解析部４０２は、音声情報の解析結果が、家電機器１０４の制御に関連する定型文でなはないが、家電機器１０４の制御に関連する単語を含む場合、音声情報をサーバ装置１０１に送信すると判定し、送受信部４０１を介してサーバ装置１０１へ、音声情報を送信する。この場合、サーバ装置１０１が受信した音声情報の認識処理を行う。
【００９５】
なお、データベース保持部４０３は、サーバ装置１０１から新しい定型文及び単語が送信された場合、これらの定型文及び単語を、保持している辞書データ（定型文及び単語）に追加してもよい。この詳細については後述する。
【００９６】
（３）  制御情報保持部４０４
制御情報保持部４０４は、家電機器１０４ごとの機能をコントロールするための制御情報テーブルを保持している。
【００９７】
図８は、制御情報保持部４０４が保持する制御情報テーブルのデータ構成の一例を示す図である。図８の制御情報テーブルの例では、「機器種別」と「制御指示」と「定型文」とが対応付けて保持されている。「機器種別」は、図６に示す「機器種別」と同じである。「制御指示」は、図６に示す「制御指示」と同じである。「定型文」は、制御対象となる家電機器１０４と、その家電機器１０４に対する制御指示が明確に分かる文である。制御情報テーブルが保持する定型文は図１４に示す定型文データベース１４０４にも保持されている。
【００９８】
図８の例では、エアコンに対応する制御指示として、電源ＯＮ、電源ＯＦＦ、及び温度を１度上げる等が登録されている。また、図８の例では、エアコンの電源ＯＮに対応する定型文として、「エアコンＯＮ」、「エアコン点ける」等が登録され、エアコンの電源ＯＦＦに対応する定型文として「エアコンＯＦＦ」、「エアコン消す」等が登録されている。ここで、制御情報テーブルに登録される「制御指示」としては、機能をコントロールするための指示情報が採用されてもよいし、制御コマンドそのものが採用されてもよい。また、図８の例では、機器種別としてエアコン及びテレビが例示されているが、利用者の宅内に他の種別の家電機器１０４が設置されていれば、その家電機器１０４の機器種別、制御指示、及び定型文が制御情報テーブルに登録される。
【００９９】
（４）  機器管理情報保持部４０５
機器管理情報保持部４０５は、ゲートウェイ１０３と同一宅内に存在する家電機器１０４及び家電機器１０４の機器種別を管理するための機器管理情報テーブルを保持する。
【０１００】
図９は、機器管理情報テーブルのデータ構成の一例を示す図である。図９に示す機器管理情報テーブルの例では、「機器ＩＤ」と「機器種別」とが対応付けて保持されている。「機器ＩＤ」は、ゲートウェイ１０３と同一宅内に存在する家電機器１０４を個々に区別するための識別子であり、例えば、家電機器１０４の製造番号が採用される。「機器種別」は、家電機器の種別を識別するためのデータである。
【０１０１】
図９の例では、機器ＩＤ「１２３４５６」、機器ＩＤ「８９６０２３」を持つ家電機器１０４が、ゲートウェイ１０３と同一宅内に存在することが示されている。また、両家電機器１０４がそれぞれ「エアコン」と「テレビ」であることが示されている。なお、図９の例では、機器種別としてエアコン及びテレビが例示されているが、利用者の宅内に他の種別の家電機器１０４が設置されていれば、その家電機器１０４の機器ＩＤ及び機器種別が制御情報テーブルに登録される。
【０１０２】
（５）  判断部４０６
判断部４０６は、解析部４０２から、定型文の解析結果が通知されると、機器管理情報保持部４０５が保持する機器管理情報テーブルを用いて、その解析結果に対応する家電機器１０４が、ゲートウェイ１０３と同一宅内に存在するか否かを判断する。そして、判断部４０６は、対応する家電機器１０４が同一宅内に存在すると判断した場合、制御情報保持部４０４が保持している制御情報テーブルを用いて、解析結果（定型文）に対応する制御指示を決定する。判断部４０６は、決定した制御指示を、送受信部４０１を介して、同一宅内に存在すると判断した家電機器１０４へ送信する。
【０１０３】
例えば、解析部４０２からエアコンＯＮの解析結果が通知されたとすると、判断部４０６は、機器管理情報テーブル（図９）の「機器種別」にエアコンが登録されているか否かを調べる。図９の例では、「機器種別」として、エアコンが登録されているため、判断部
４０６は、解析結果に対応する家電機器１０４がゲートウェイ１０３と同一宅内に存在すると判断する。次に、判断部４０６は、制御情報テーブル（図８）を用いて「エアコンＯＮ」に対応する制御指示を特定する。図８の例では、「エアコンＯＮ」の定型文に対して「電源ＯＮ」の制御指示が対応付けられているため、判断部４０６は、エアコンの「電源ＯＮ」を制御指示として決定し、送受信部４０１に渡す。エアコンの「電源ＯＮ」の制御指示が渡された送受信部４０１は、「電源ＯＮ」の制御指示をエアコンの家電機器１０４に送信する。これにより、エアコンは電源がＯＮする。
【０１０４】
（６）  ゲートウェイＩＤ保持部４０７
ゲートウェイＩＤ保持部４０７は、当該ゲートウェイを一意に識別可能な識別子（ゲートウェイＩＤ）を保持する。
【０１０５】
（７）  制御部４０８
制御部４０８は、上記（１）〜（６）の各ブロックを管理・制御して、ゲートウェイ１０３の機能を実現する。
【０１０６】
１．５  家電機器１０４の構成
続いて、家電機器１０４の詳細な構成を説明する。図５は、家電機器１０４の構成の一例を示すブロック図である。家電機器１０４は、図５に示すように、送受信部５０１、実行部５０２、及び制御部５０３を備える。
【０１０７】
家電機器１０４は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ、ＲＯＭ、及びハードディスク等から構成される。前記ＲＡＭ、ＲＯＭ、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、家電機器１０４はその機能を果たす。
【０１０８】
なお、送受信部５０１、実行部５０２、及び制御部５０３等の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、１以上のブロック、又は各ブロックの一部を含むように１チップ化されてもよい。
【０１０９】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１１０】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０１１１】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１１２】
また、各機能ブロックは、ソフトウェアで実現されてもよいし、ＬＳＩとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
【０１１３】
（１）  送受信部５０１
送受信部５０１は、家電機器１０４を内部ネットワークに接続させる通信装置を含む。そして、送受信部５０１は、ゲートウェイ１０３から内部ネットワークを介して送信される制御指示受信する。
【０１１４】
ここで、制御指示としては、機能をコントロールするための指示情報が採用されてもよいし、制御コマンドそのものが採用されてもよい。
【０１１５】
（２）  実行部５０２
実行部５０２は、送受信部５０１が受信した制御指示に基づき処理を実行する。例えば、家電機器１０４がエアコンの場合、エアコン自身の電源を点けたり、消したり、温度調節したりする。
【０１１６】
（３）  制御部５０３
制御部５０３は、上記（１）〜（２）の各ブロックを管理・制御して、家電機器１０４の機能を実現する。
【０１１７】
１．６  家電機器制御システムの動作
集音機器１０２が音声情報を収集し、ゲートウェイ１０３又はサーバ装置１０１が制御指示を家電機器１０４へ送信する場合の家電機器制御システムの動作の一例について、図１０〜図１３を用いて説明する。
【０１１８】
まず、集音機器１０２の集音部３０２は、音声信号を検知すると、検知した音声信号から音声情報を生成し、送受信部３０１を介してゲートウェイ１０３へ送信する（ステップＳ１００１）。
【０１１９】
ゲートウェイ１０３は、送受信部４０１を介して音声情報を受信する（ステップＳ１００２）。次に、ゲートウェイ１０３の解析部４０２は、データベース保持部４０３で保持する音声モデル１４０１及び辞書データ１４０２を用いて、受信した音声情報が定型文か否かを解析する（ステップＳ１００３）。
【０１２０】
解析部４０２による解析結果が定型文である場合（ステップＳ１００４でＹｅｓ）、処理を図１１に示すステップＳ１１０１に進める。ステップＳ１１０１において、判断部４０６は、機器管理情報保持部４０５で保持する機器管理情報テーブル（図９）を用いて、定型文に対応する家電機器１０４がゲートウェイ１０３と同一宅内に存在するか否かを判断する（ステップＳ１１０１）。
【０１２１】
ステップＳ１１０２において存在しないと判断された場合（ステップＳ１１０２でＮｏ）、処理が終了される。一方、ステップＳ１１０２において、存在すると判断された場合（ステップＳ１１０２でＹｅｓ）、判断部４０６は、制御情報保持部４０４が保持する制御情報テーブル（図８）を用いて、解析結果が示す定型文に対応する家電機器１０４の制御指示を抽出して、送受信部４０１を介して家電機器１０４へ送信する（ステップＳ１１０３）。例えば、解析結果が「エアコンＯＮ」の定型文であったとすると、エアコンの「電源ＯＮ」が制御指示として抽出される。
【０１２２】
次に、家電機器１０４の送受信部５０１は制御指示を受信し（ステップＳ１１０４）、実行部５０２は、受信した制御指示を用いて処理を実行する（ステップＳ１１０５）。例えば、解析結果が「エアコンＯＮ」の定型文であったとすると、「電源ＯＮ」の制御指示がエアコンに送信される。そして、エアコンは、「電源ＯＮ」の制御指示を受信し、自身の電源をＯＮする。
【０１２３】
図１０に示すステップＳ１００４において、ゲートウェイ１０３の解析部４０２が定型文でないと判断した場合（ステップＳ１００４でＮｏ）、処理が図１２のステップＳ１２０１に進められる（ステップＳ１００５）。ステップＳ１２０１において、解析部４０２は、データベース保持部４０３で保持する音声モデル１４０１及び辞書データ１４０２を
用いて、受信した音声情報に家電機器１０４の制御に関連する単語が含まれるか否かを解析する（ステップＳ１２０１）。解析部４０２が含まないと判断した場合（ステップＳ１２０２でＮｏ）、処理が終了される。一方、ステップＳ１２０２において、含むと判断された場合（ステップＳ１２０２でＹｅｓ）、解析部４０２は、送受信部４０１を介して、受信した音声情報と、ゲートウェイＩＤ保持部４０７が保持するゲートウェイＩＤとを対応付けてサーバ装置１０１へ送信する（ステップＳ１２０３）。
【０１２４】
サーバ装置１０１の送受信部２０１が音声情報とゲートウェイＩＤとを受信すると（ステップＳ１２０４）、認識部２０２は、データベース保持部２０３が保持する音声モデル１５０１及び辞書データ１５０２を用いて、受信した音声情報が家電機器１０４の制御に関連するか否かを認識する（ステップＳ１２０５）。
【０１２５】
ステップＳ１２０６において、受信した音声情報が家電機器１０４の制御に関連しないと判断された場合（ステップＳ１２０６でＮｏ）、処理が終了される。一方、ステップＳ１２０６において、判断部２０６は、受信した音声情報が家電機器１０４の制御に関連する音声情報であると判断した場合（ステップＳ１２０６でＹｅｓ）、処理を図１３のステップＳ１３０１に進める。
【０１２６】
ステップＳ１３０１において、判断部２０６は、機器管理情報保持部２０５で保持する機器管理情報テーブル（図７）と、受信したゲートウェイＩＤとを用いて、認識部２０２の認識結果に対応する家電機器１０４が存在するか否かを判断する（ステップＳ１３０２）。
【０１２７】
ステップＳ１３０２において、判断部２０６は、対応する家電機器１０４が存在しないと判断した場合（ステップＳ１３０２でＮｏ）、処理を終了する。一方、判断部２０６は、対応する家電機器１０４が存在すると判断した場合（ステップＳ１３０２でＹｅｓ）、処理をステップＳ１３０３に進める。
【０１２８】
認識部２０２による音声情報の認識結果に例えば「暑い」の単語が含まれていたとする。この「暑い」は部屋の温度に関連する単語であるため、判断部２０６は、「暑い」に対応する家電機器１０４はエアコンであると判断する。そして、判断部２０６は、機器管理情報テーブル（図７）において、対象となるゲートウェイＩＤに対応する「機器種別」としてエアコンが登録されていなければ、ステップＳ１３０６でＮｏと判断すればよい。一方、判断部２０６は、機器管理情報テーブル（図７）において、対象となるゲートウェイＩＤに対応する「機器種別」としてエアコンが登録されていれば、ステップＳ１３０２でＹｅｓと判断すればよい。
【０１２９】
ステップＳ１３０３において、判断部２０６は、制御情報保持部２０４で保持する制御情報テーブル（図６）を用いて、認識部２０２の認識結果に対応する家電機器１０４の制御指示を決定し、送受信部２０１を介して、家電機器１０４へ送信する（ステップＳ１３０３）。なお、サーバ装置１０１が送信した制御指示は、ゲートウェイ１０３を介して、家電機器１０４に送信される。
【０１３０】
例えば、認識部２０２の認識結果に対応する家電機器１０４がエアコンであったとする。この場合、判断部２０６は、制御情報テーブル（図６）において、エアコンに対応付けられた「制御指示」のうちいずれかの制御指示を決定すればよい。例えば、認識部２０２の認識結果において「暑い」の他に「電源ＯＮ」の単語が含まれていたとする。この場合、判断部２０６は、電源ＯＮを制御指示として決定すればよい。そして、判断部２０６は、エアコンの電源ＯＮの制御指示を送受信部５０１を介して対象となるゲートウェイ１０３に送信すればよい。
【０１３１】
ステップＳ１３０４において、家電機器１０４は、送受信部５０１を介して制御指示を受信し（ステップＳ１３０４）、実行部５０２は、受信した制御指示に基づき処理を実行する（ステップＳ１３０５）。例えば、エアコンの電源ＯＮの制御指示をゲートウェイ１０３が受信したとすると、ゲートウェイ１０３はこの制御指示を制御対象のエアコンに送信する。エアコンの送受信部５０１がこの制御指示を受信すると、エアコンの実行部５０２は、エアコンの電源をＯＮする処理を実行する。
【０１３２】
＜変形例＞
本実施の形態は、以下の変形例を採用することができる。
【０１３３】
（１）ゲートウェイ１０３は、音声情報の簡易分析を行い、（ａ）サーバ装置１０１にて更なる詳細分析が必要であると判断した場合、又は（ｂ）周辺機器や周辺環境等、他の状況や状態も加味する必要があると判断した場合、受信した音声情報をサーバ装置１０１へ送信すればよい。一方、ゲートウェイ１０３は、（ａ）又は（ｂ）に該当しないと判断した場合、自身で制御指示を決定し、家電機器１０４へ送信すればよい。
【０１３４】
例えば、ゲートウェイ１０３は、簡易解析の結果、音声情報から「あつい」の単語を解析できたが、この「あつい」は、部屋の温度が「暑い」ことを指しているのか、食べ物の温度が「熱い」ことを指しているのかが分からない。この場合、ゲートウェイ１０３は、（ａ）又は（ｂ）に該当すると判断すればよい。
【０１３５】
そして、サーバ装置１０１は、受信した音声情報から、ニュアンス、トーン、及び文脈等を解析して、利用者の意図を理解し、制御指示を決定すればよい。また、この場合、サーバ装置１０１は、ゲートウェイ１０３に音声情報に加えて、周辺の環境情報を送信させ、環境情報も加味して、制御指示を決定すればよい。ここで、環境情報としては、例えば、ゲートウェイ１０３が設置された宅内の温度及び湿度の情報、宅内に人物がいる又は人物がいないを示す情報、稼働している家電機器１０４の有無又は種別を示す情報、及び各人物の表面温度が採用できる。
【０１３６】
例えば、音声情報の認識結果に「暑い」の単語が含まれ、エアコンが稼働していなかったとすると、サーバ装置１０１は、冷房モードでエアコンの電源をＯＮする制御指示を決定すればよい。
【０１３７】
また、例えば、音声情報の認識結果に「寒い」の単語が含まれ、エアコンが稼働していなかったとすると、サーバ装置１０１は、暖房モードでエアコンの電源をＯＮする制御指示を決定すればよい。
【０１３８】
また、例えば、音声情報の認識結果に「暑い」の単語が含まれ、エアコンが稼働していたとすると、サーバ装置１０１は、エアコンの温度を下げる制御指示を決定すればよい。
【０１３９】
また、例えば、音声情報の認識結果に「寒い」の単語が含まれ、エアコンが稼働していたとすると、サーバ装置１０１は、エアコンの温度を上げる制御指示を決定すればよい。
【０１４０】
また、例えば、音声情報の認識結果に「電源ＯＮ」の単語が含まれ、且つ、テレビの話題が含まれていたとすると、サーバ装置１０１は、テレビの電源ＯＮを制御指示として決定すればよい。
【０１４１】
なお、ゲートウェイ１０３は、例えば、エアコンに温度及び湿度の情報を問い合わせ、エアコンが備える温度センサ及び湿度センサにより宅内の温度及び湿度を検知させ、検知
結果を取得することで、宅内の温度及び湿度の情報を取得すればよい。
【０１４２】
また、ゲートウェイ１０３は、例えば、宅内にセキュリティーシステムが設置されており、そのセキュリティーシステムが留守番モードに設定されていれば、宅内に人物がいないと判断し、そのセキュリティーシステムが在宅モードに設定されていれば、宅内に人物がいると判断すればよい。或いは、ゲートウェイ１０３は、例えば、宅内にスマート分電盤が設置されていれば、スマート分電盤が検知する消費電力の推移から宅内に人物がいるいないを判断してもよい。
【０１４３】
また、ゲートウェイ１０３は、各家電機器１０４にステータスの確認情報を送信し、各家電機器１０４から返信された確認結果から稼働している家電機器１０４の有無を判断すればよい。
【０１４４】
また、ゲートウェイ１０３は、例えば、エアコンが人物の表面温度を測定する機能を持つものであれば、エアコンに人物の表面温度を検知させ、人物の表面温度を取得すればよい。
【０１４５】
（２）集音機器１０２は、家電機器１０４に集音機能として組み込まれてもよいし、ゲートウェイ１０３に集音機能として組み込まれてもよい。前者の場合、ゲートウェイ１０３は、各家電機器１０４から音声情報を取得することになる。また、後者の場合、ゲートウェイ１０３は、利用者がゲートウェイごしに発した音声から音声情報を取得することになる。
【０１４６】
また、集音機器１０２は、家電機器１０４及びゲートウェイ１０３のそれぞれに集音機能として組み込まれてもよい。また、集音機器１０２の集音機能を家電機器１０４及びゲートウェイ１０３のそれぞれに組み込んだ上で、集音機器１０２を家電機器１０４及びゲートウェイ１０３とは独立して設けてもよい。
【０１４７】
また、集音機器１０２は、例えば、部屋の天井に埋め込まれる、或いは、床から立設された専用の装置で構成されてもよいし、利用者によって携帯される携帯端末（例えば、スマートフォン、携帯電話、或いはタブレット端末）が備えるマイク及びアプリケーションで構成されてもよい。
【０１４８】
（３）家電機器１０４は、利用者が自身に話しかけていると認識した場合、利用者が発する全ての音声情報、又は、複数の利用者が会話しているのであれば、会話全体の音声情報をサーバ装置１０１に送信してもよい。或いは、家電機器１０４は、音声情報の簡易解析を行い、その音声情報が家電機器１０４の制御に関連する音声情報であると判断した場合、ゲートウェイ１０３に音声情報を送信してもよい。
【０１４９】
ここで、家電機器１０４は、「自身に話しかけられている」か否かを以下の手法で判断すればよい。例えば、利用者の顔が家電機器１０４へ向いているか否かを検出する手法、利用者が自身のリモコンを操作したか否かを検出する手法、及び利用者が自身に向けて手を振る等のジェスチャーを検出する手法が採用できる。
【０１５０】
ここで、家電機器１０４は、利用者の目線が自身に向いているか否かにより利用者の顔が自身に向いているか否かを判断すればよい。この場合、家電機器１０４は、利用者の顔に赤外線を照射して赤外カメラで利用者の顔を撮像し、得られた画像から角膜反射位置及び瞳孔位置等を検出し、これらの位置関係から利用者の視線を検知すればよい。そして、家電機器１０４は、検知した利用者の視線の延長線上に自身が位置すれば、利用者は自身を向いていると判断すればよい。
【０１５１】
また、家電機器１０４は、ジェスチャー認識装置を用いて利用者が自身に向けてジェスチャーを行っているか否かを判断すればよい。
【０１５２】
（４）ゲートウェイ１０３が音声情報をサーバ装置１０１へ送信する場合に、家電機器１０４の制御に関連する単語を含む音声情報だけではなく、その前後の音声情報（例えば、前後１分間の音声情報等）も合わせて送信してもよい。これにより、サーバ装置１０１は、前後の音声情報を用いて利用者の意図をより正確に理解できる。
【０１５３】
（５）サーバ装置１０１が家電機器１０４に制御指示を送信した後、利用者に当該制御指示の内容をディスプレイを持つ入力装置に提示して、利用者の許諾を得た上で、制御指示を家電機器１０４が実行してもよい。ここで、入力装置は、宅内ネットワークを介してゲートウェイ１０３と通信できる機能やマイク等の集音機能を持つ装置であり、例えば、テレビやスマートフォンが採用できる。なお、入力装置は、ゲートウェイ１０３に組み込まれてもよいし、家電機器１０４に組み込まれてもよい。
【０１５４】
以下、この変形例について説明する。図１６は、本発明の実施の形態の変形例のフローチャートである。まず、サーバ装置１０１の判断部２０６がゲートウェイ１０３から送信された音声情報から制御指示を決定すると、判断部２０６は、決定した制御指示が正しいか否かを利用者に問い合わせるための問い合わせ通知を送受信部２０１を介してゲートウェイ１０３に送信する（ステップＳ１６０１）。
【０１５５】
ゲートウェイ１０３の送受信部４０１はこの問い合わせ通知を受信すると（ステップＳ１６１１）、受信した問い合わせ通知を入力装置に送信する（ステップＳ１６１２）。入力装置はこの問い合わせ通知を受信すると（ステップＳ１６２１）、制御指示の内容をディスプレイに表示する（ステップＳ１６２２）。ここで、入力装置は、例えば、図１７に示すような画面をディスプレイに表示する。図１７は、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。図１７の例では、音声情報からエアコンの電源ＯＮの制御指示をサーバ装置１０１が決定したため、「エアコンの電源をＯＮしてよろしいですか？」との文言が表示されている。この文言の下には、「ＯＫ」と記載された同意ボタン１７０１と「ＮＯ」と記載された非同意ボタン１７０２とが配置されている。利用者は、エアコンの電源ＯＮに同意する場合、つまり、サーバ装置１０１による音声認識が正しい場合、同意ボタン１７０１を選択する操作を入力装置に入力する。一方、利用者は、エアコンの電源ＯＮに同意しない場合、すなわち、サーバ装置１０１による音声認識が正しくない場合、非同意ボタン１７０２を選択する操作を入力装置に入力する。
【０１５６】
入力装置は、利用者から同意ボタン１７０１又は非同意ボタン１７０２が選択する操作が入力され、制御指示に同意するか否かの利用者からの確認結果が入力されると（ステップＳ１６２３）、確認結果をゲートウェイ１０３に送信する（ステップＳ１６２４）。ここで、利用者により同意ボタン１７０１が選択されると、同意する旨の情報を含む確認結果がゲートウェイ１０３に送信され、利用者により非同意ボタン１７０２が選択されると、同意しない旨の情報を含む確認結果がゲートウェイ１０３に送信される。
【０１５７】
ゲートウェイ１０３の送受信部４０１が確認結果を受信すると（ステップＳ１６１３）、判断部４０６は、確認結果に同意する旨の情報が含まれていれば（ステップＳ１６１４でＹＥＳ）、サーバ装置１０１による音声情報の認識結果は正しいと判断し、ステップＳ１６０１で送信された問い合わせ通知に係る制御指示を送受信部４０１を介して対象となる家電機器１０４に送信する（ステップＳ１６１５）。例えば、エアコンの電源をＯＮするとの制御指示に利用者が同意した場合、エアコンに電源ＯＮの制御指示が送信される。
【０１５８】
対象の家電機器１０４の送受信部５０１が、ゲートウェイ１０３からの制御指示を受信すると（ステップＳ１６３１）、実行部５０２は制御指示を実行する（ステップＳ１６３２）。例えば、エアコンは、電源ＯＮの制御指示を受信したとすると、自身の電源をＯＮする。
【０１５９】
ステップＳ１６１４において、同意しない旨の情報が確認結果に含まれていれば（ステップＳ１６１４でＮＯ）、ステップＳ１６１５がスルーされ、処理がステップＳ１６１６に進められる。
【０１６０】
ステップＳ１６１６において、ゲートウェイ１０３の制御部５０３は、ステップＳ１６１３で受信した確認結果を送受信部５０１を介してサーバ装置１０１に送信する（ステップＳ１６１６）。サーバ装置１０１の送受信部２０１が確認結果を受信すると（ステップＳ１６０２）、判断部２０６は、受信した確認結果を、問い合わせに係る制御指示及び音声情報と関連付けて、確認結果データベースに保存する（ステップＳ１６０３）。図１８は、確認結果データベースのデータ構成の一例を示す図である。図１８の確認結果データベースの例では、「ゲートウェイＩＤ」、「日付」、「確認結果」、「音声情報」、及び「認識した制御指示」が対応付けて保持されている。「ゲートウェイＩＤ」は確認結果を送信したゲートウェイ１０３のゲートウェイＩＤである。「日付」は確認結果の受信日時である。「確認結果」は確認結果の内容である。ここでは、同意又は非同意が確認結果の内容として採用される。「音声情報」は、問い合わせに係る制御指示の認識元の音声情報である。図１８の例では、「あつい（ａｔｓｕｉ）」の音声情報が保持されている。ここで、確認結果データベースに保持される音声情報は、例えば、認識した音声のテキストデータであってもよいし、音声信号の波形データであってもよい。
【０１６１】
「認識した制御指示」は、サーバ装置１０１の認識部２０２による音声情報の認識結果である。図１８の１行目のレコードの例では、このレコードに保持された音声情報に対して、認識部２０２がエアコンの電源ＯＮと認識したため、「エアコンの電源ＯＮ」が保持されている。
【０１６２】
このように確認結果データベースを構築することで、サーバ装置１０１は、音声情報に対する制御指示を学習できる。例えば、あるゲートウェイ１０３から「あつい」の音声情報が送信され、サーバ装置１０１は、この「あつい」を部屋の温度が高いと解釈して、エアコンの電源ＯＮを制御指示として決定したが、この制御指示に対して利用者から同意しない旨の確認結果が入力されたとする。この場合、サーバ装置１０１は、以後、「あつい」に対してエアコンの電源ＯＮ以外の制御指示を決定すればよい。
【０１６３】
この変形例では、サーバ装置１０１が認識した制御指示が正しいか否かを利用者に問い合わせ、同意する旨の確認結果が入力された場合に、家電機器１０４に制御指示が送信される。そのため、利用者の意図に反する動作を家電機器１０４が行うことを防止できる。
【０１６４】
（６）ゲートウェイ１０３が家電機器１０４に制御指示を送信する場合、利用者に当該制御指示の内容を入力装置（例えば、テレビやスマートフォン等）に提示して、利用者の許諾を得た上で、制御指示を家電機器１０４が実行してもよい。
【０１６５】
以下、この変形例について説明する。図１９は、本発明の実施の形態の別の変形例のフローチャートである。まず、ゲートウェイ１０３の解析部４０２による音声情報の解析結果が定型文であり、判断部４０６がその定型文に対応する制御指示を決定すると、判断部４０６は、決定した制御指示が正しいか否かを利用者に問い合わせるための問い合わせ通知を送受信部４０１を介して入力装置に送信する（ステップＳ１８０１）。ステップＳ１８１１〜Ｓ１８１４は、図１６のステップＳ１６２１〜Ｓ１６２４と同じである。
【０１６６】
ゲートウェイ１０３の送受信部４０１が確認結果を受信すると（ステップＳ１８０２）、判断部４０６は、確認結果に同意する旨の情報が含まれていれば（ステップＳ１８０３でＹＥＳ）、解析部４０２による音声情報の解析結果は正しいと判断し、ステップＳ１８０１で送信した問い合わせ通知に係る制御指示を送受信部４０１を介して対象となる家電機器１０４に送信する（ステップＳ１８２１）。ステップＳ１８２２は、図１６のステップＳ１６３２と同じである。
【０１６７】
ステップＳ１８０３において、同意しない旨の情報が確認結果に含まれていれば（ステップＳ１８０３でＮＯ）、ステップＳ１８０４がスルーされ、処理が終了される。
【０１６８】
この変形例では、ゲートウェイ１０３が認識した制御指示が正しいか否かを利用者に問い合わせ、同意する旨の確認結果が入力された場合に、家電機器１０４により制御指示が実行される。そのため、利用者の意図に反する動作を家電機器１０４が行うことを防止できる。
【０１６９】
（７）サーバ装置１０１のデータベース保持部２０３が保持する音声モデルや辞書データと、ゲートウェイ１０３のデータベース保持部４０３が保持する音声モデルや辞書データとは更新可能とされてもよい。この場合、ゲートウェイ１０３がデータベース保持部４０３に保持されている音声モデル１４０１や辞書データ１４０２を更新してもよいし、ゲートウェイ１０３がサーバ装置１０１から更新用データを取得して、データベース保持部４０３に保持されている音声モデル１４０１や辞書データ１４０２を更新してもよい。
【０１７０】
まず、サーバ装置１０１から更新用データを取得してゲートウェイ１０３がデータベースを更新する態様について説明す。例えば、初期のデータベース保持部４０３において、定型文としてエアコンの電源をＯＮする制御指示として「エアコンＯＮ」が保持されていたが、同じ制御指示を示す「エアコン入れる」が保持されていなかったする。この場合、「エアコン入れる」の音声情報はサーバ装置１０１に送信されるが、サーバ装置１０１がこの音声情報を、（５）の変形例の手法を用いて、エアコンの電源をＯＮすると認識できたとする。この場合、サーバ装置１０１は「エアコン入れる」がエアコンの電源ＯＮの定型文であるとの更新用データをゲートウェイ１０３に送信する。この更新用データを受信したゲートウェイ１０３は、この「エアコン入れる」を定型文としてデータベース保持部４０３に保持すると共に、エアコンの電源ＯＮの制御指示と対応付けて制御情報テーブル（図８）にも登録する。これにより、以後、「エアコン入れる」の音声情報が入力されても、この音声情報は、ゲートウェイ１０３により定型文と判断され、サーバ装置１０１に送信されずにゲートウェイ１０３側で処理される。
【０１７１】
これにより、例えば、方言による定型文のゆらぎが学習できる。例えば、「エアコンＯＮ（ｅａｋｏｎ  ｏｎ）」は日本のどの地方でもエアコンの電源ＯＮ意味する文として通用するが、これと同じの意味の「エアコン入れる（ｅａｋｏｎ  ｉｒｅｒｕ）」の文は日本のある地方では通用しないこともある。一方、ゲートウェイ１０３に「エアコンＯＮ」に対応する日本の全ての地方の方言の定型文を登録させておくのは、ゲートウェイ１０３のメモリリソースの制限上、好ましくない。そこで、ゲートウェイ１０３に必要に応じて定型文を登録させることで、このような方言を学習できる。また、この手法を用いれば、方言の学習だけでなく、家庭内でのみ通用する特殊な用語も定型文として学習できる。
【０１７２】
次に、ゲートウェイ１０３がデータベースを更新する態様について説明する。例えば、サーバ装置１０１が「暑い」との音声情報に対していつもエアコンの電源ＯＮの制御指示をゲートウェイ１０３に送信していたとする。この場合、ゲートウェイ１０３は、「暑い」の音声情報に対してエアコンの電源ＯＮの制御指示が規定値以上、サーバ装置１０１か
ら送信されると、「暑い」をデータベース保持部４０３に定型文として登録すると共に、制御情報テーブル（図８）において、「暑い」をエアコンの電源ＯＮの制御指示と対応付けて登録すればよい。これを実現するために、ゲートウェイ１０３は、例えば、サーバ装置１０１に送信した音声情報と、サーバ装置１０１から送信されたその音声情報に対する制御指示とをログ情報として記憶装置に蓄積させておく。そして、ゲートウェイ１０３は、このログ情報を例えば定期的に解析し、ある音声情報に対して規定値以上、同じ制御指示がサーバ装置１０１から送信されていれば、その音声情報が示す単語又は文を定型文としてデータベース保持部４０３に登録すると共に、その定型文を該当する制御指示と対応付けて制御情報テーブル（図８）に登録すればよい。
【０１７３】
（８）ゲートウェイ１０３は、予め登録された解析キーワード（単語や定型文）の抽出等の簡易分析を主に実施し、意図やニュアンス等の高度な認識処理はサーバ装置１０１が実施すればよい。この場合、学習機能（音声モデル１５０１や辞書データ１５０２等のデータベースの更新や、音声情報の解析及び認識方法のアップデート等）はサーバ装置１０１が備え、サーバ装置１０１は、学習結果をゲートウェイ１０３と共有してもよい。つまり、サーバ装置１０１は、音声モデル１５０１や辞書データ１５０２の更新に併せてゲートウェイ１０３が保持する音声モデル１４０１や辞書データ１４０２を更新すればよい。このような、サーバ装置１０１の学習機能によって、定型文のデータベースは更新されて増強され、ゲートウェイ１０３とも共有される。
【０１７４】
（９）家電機器１０４に対して利用者が明示的に制御指示をした場合と、サーバ装置１０１が会話内容から利用者の意図を理解して制御指示をする場合とで処理を異ならせてもよい。利用者が明示的に指示をした場合、ゲートウェイ１０３又はサーバ装置１０１から家電機器１０４への制御指示は、直接、家電機器１０４に送信され、家電機器１０４は即座に制御指示を実行すればよい。一方、意図を理解して制御指示が出された場合は、一度、ゲートウェイ１０３は、入力装置に制御指示の内容を提示し、利用者から同意する旨の確認結果が入力されると、制御指示を対象となる家電機器１０４へ送信すればよい。
【０１７５】
（１０）ゲートウェイ１０３からサーバ装置１０１へ送信される音声情報は暗号化して送信され、サーバ装置１０１で蓄積されてもよい。この場合、サーバ装置１０１は、音声情報を平文又は暗号文のいずれの形式で蓄積してもよい。さらに、蓄積時の音声情報は特別な鍵で暗号化されてもよい。特別な鍵としては、利用者が設定したパスワード等の利用者のみが知るデータに基づいて生成されるデータや、第三者のみが知るデータに基づいて生成されるデータが採用できる。また、特別な鍵としては、利用者や第三者の協力の下、復号できるデータが採用されてもよい。
【０１７６】
（１１）ゲートウェイ１０３が音声情報を解析した結果として、制御指示を家電機器１０４に対して送信した後に、当該音声情報をサーバ装置１０１へ送信し、サーバ装置１０１が音声認識を実行してもよい。ここで、ゲートウェイ１０３の制御指示とサーバ装置１０１の制御指示とが異なる場合、サーバ装置１０１の制御指示を優先してもよいし、ゲートウェイ１０３の制御指示を優先してもよい。或いは、利用者に両方の制御指示を提示して確認を求め、利用者による確認結果が示す制御指示で家電機器１０４を動作させてもよい。
【０１７７】
（１２）上記実施の形態において、サーバ装置１０１から制御指示に関する問い合わせ通知が送信された場合、ゲートウェイ１０３は、問い合わせ通知に対する確認結果である音声情報を解析することなくサーバ装置１０１に送信してもよい。
【０１７８】
以下、この変形例について説明する。図２０は、本発明の実施の形態の更に別の変形例のフローチャートである。ステップＳ１９２２、Ｓ１９２３、Ｓ１９２４、Ｓ１９１３、
Ｓ１９１４、Ｓ１９１５、Ｓ１９０２、Ｓ１９０３、Ｓ１９０４以外の処理は、図１６の処理と同じであるため、説明を省略する。
【０１７９】
ゲートウェイ１０３から問い合わせ通知を受信した入力装置は、制御指示の内容をディスプレイに表示する（ステップＳ１９２２）。ここで、入力装置は、例えば、図２１に示すような画面をディスプレイに表示する。図２１は、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。ここでは、確認結果の入力は音声によりなされるものと
する。また、サーバ装置１０１が音声情報からエアコンの電源ＯＮの制御指示を決定し
ている。そのため、図２１には、「エアコンの電源ＯＮでよろしいですか？」、「確認結果を音声で入力して下さい。」との文言が表示されている。
【０１８０】
利用者が入力装置に対して音声で同意又は非同意の確認結果を入力すると（ステップＳ１９２３）、入力装置は、その確認結果を示す音声情報をゲートウェイ１０３に送信する（ステップＳ１９２４）。この場合、利用者は同意する場合は「はい」、「ＯＫ」、又は「同意する」等の音声を発し、同意しない場合、「いいえ」、「ＮＯ」、又は「同意しない」等の音声を発すればよい。
【０１８１】
ゲートウェイ１０３は、確認結果を示す音声情報を受信すると（ステップＳ１９１３）、音声情報を解析せずにサーバ装置１０１に送信する。サーバ装置１０１の送受信部２０１が、確認結果を示す音声情報を受信すると（ステップＳ１９０２）、認識部２０２は、音声情報を認識する（ステップＳ１９０３）。ここでは、音声情報に「はい」等の同意する旨の単語が含まれていれば、認識部２０２は、音声情報の認識結果は正しいと判断する。そして、認識部２０２は、問い合わせ通知に係る制御指示をゲートウェイ１０３に送信する（ステップＳ１９０４）。なお、ステップＳ１９０３において、音声情報に「いいえ」等の同意しない旨の単語が含まれていれば、認識部２０２は、音声情報の認識結果は正しくなかっと判断し、処理を終了すればよい。或いは、利用者から音声情報に対応する制御指示を聞き出し、聞き出した結果を音声情報と対応付けて確認結果データベース（図１８）に登録すればよい。
【０１８２】
ゲートウェイ１０３は、制御指示を受信すると、対象となる家電機器１０４に制御指示を転送する（ステップＳ１９３１）。
【０１８３】
ここで、ゲートウェイ１０３が確認結果を示す音声情報を解析する態様を採用すると、例えば、音声情報に定型文が含まれていれば、ゲートウェイ１０３は、家電機器１０４にこの定型文に対応する制御指示を送信してしまう。これでは、サーバ装置１０１は、利用者による確認結果を取得できず、音声情報の認識結果が正しいか否かを判断できない。そこで、この変形例では、ゲートウェイ１０３は、確認結果を示す音声情報を入力装置から受信した場合、この音声情報を解析することなくサーバ装置１０１へ送信している。これにより、サーバ装置１０１が利用者による確認結果を取得し、音声情報の認識結果が正しいか否かを判断できる。
【０１８４】
（１３）本実施の形態において、ゲートウェイ１０３は、音声情報をサーバ装置１０１に送信すると判定した場合、利用者に音声情報を送信してもよいか否かを問い合わせてもよい。以下、この変形例について説明する。図２２は、本発明の実施の形態の別の変形例のフローチャートである。図２２に示すフローチャートは図１２に示すフローチャートにおいて、ステップＳ２２０１、Ｓ２２０２、Ｓ２２０３、Ｓ２２１１、Ｓ２２１２、Ｓ２２１３の処理が追加されている。
【０１８５】
ステップＳ２２０１において、ゲートウェイ１０３は、音声情報をサーバ装置１０１に送信してもよよいか否かを利用者に問い合わせるための問い合わせ通知を入力装置に送信
する。この入力装置は、図１６等で示した入力装置と同様、ディスプレイを持つ家電機器１０４で構成される。
【０１８６】
入力装置は問い合わせ通知を受信すると（ステップＳ２２１１）、問い合わせ画面をディスプレイに表示する（ステップＳ２２１２）。ここで、入力装置は、例えば、図２３に示すような画面をディスプレイに表示する。図２３は、サーバ装置１０１に音声情報を送信してもよいか否かを利用者に問い合わせる画面の一例を示す図である。図２３の例では、「今の会話の内容をサーバ装置に送信してもよいですか？」との文言が表示されている。この文言の下には、「ＯＫ」と記載された同意ボタン２３０１と「ＮＯ」と記載された非同意ボタン２３０２とが配置されている。利用者は、音声情報をサーバ装置１０１に送信してもよいと判断した場合、同意ボタン２３０１を選択する操作を入力装置に入力する。一方、利用者は、音声情報をサーバ装置１０１に送信してはいけないと判断した場合、非同意ボタン２３０２を選択する操作を入力装置に入力する。
【０１８７】
入力装置は、利用者から同意ボタン２３０１又は非同意ボタン２３０２を選択する操作が入力され、音声情報をサーバ装置１０１に送信してもよいか否かについての確認結果が入力されると（ステップＳ２２１３）、確認結果をゲートウェイ１０３に送信する（ステップＳ２２１４）。ここで、利用者により同意ボタン２３０１が選択されると、同意する旨の情報を含む確認結果がゲートウェイ１０３に送信され、利用者により非同意ボタン２３０２が選択されると、同意しない旨の情報を含む確認結果がゲートウェイ１０３に送信される。ゲートウェイ１０３は、確認結果を受信し（ステップＳ２２０２）、同意する旨の確認結果であれば（ステップＳ２２０３でＹＥＳ）、処理をステップＳ１２０３に進め、非同意の確認結果であれば（ステップＳ２２０３でＮＯ）、処理を終了する。
【０１８８】
この変形例では、ゲートウェイ１０３が音声情報をサーバ装置１０１に送信すると判断した場合であっても、利用者により音声情報をサーバ装置１０１に送信してもよいとの承諾が得られた場合にのみ音声情報がサーバ装置１０１に送信される。そのため、利用者のプライバシーを更に保護できると同時に、サーバ装置１０１に送信されるデータ量を抑制できる。
【０１８９】
（１４）上記実施の形態では、サーバ装置１０１、集音機器１０２、及びゲートウェイ１０３、家電機器１０４に図２〜図５で示す複数の機能（構成要素）を持たせたが、これに限定されない。図２〜図５で示す各機能（構成要素）は、図示した分担パターン以外の分担パターンでサーバ装置１０１、集音機器１０２、ゲートウェイ１０３、及び家電機器１０４に実装されてもよい。
【０１９０】
（１５）本実施の形態は、上記に示す方法であるとしてもよい。また、この方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１９１】
また、本実施の形態は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリー等に記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１９２】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１９３】
また、本発明は、マイクロプロセッサとメモリーを備えたコンピュータシステムであって、前記メモリーは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１９４】
また、前記コンピュータプログラム若しくは前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム若しくは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムに
より実施するとしてもよい。
【０１９５】
（１６）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【０１９６】
以上により、本家電機器制御システムは、ゲートウェイ１０３において、音声情報の簡易分析が行われ、ゲートウェイ１０３で制御指示が決定できなかった場合、サーバ装置１０１に音声情報が送信される。これにより、音声認識のためにサーバ装置１０１へ送信される音声情報のデータ転送量を削減できる。
【０１９７】
本家電機器制御システムにおいて、ゲートウェイ１０３は、集音機器１０２が集音した音声情報に対し、予め保持するキーワード（家電機器１０４の制御に関連する単語）を抽出し、抽出したキーワードを含む音声情報を、サーバ装置１０１へ送信する。つまり、ゲートウェイ１０３は、音声情報に予め保持するキーワードが含まれなていないければ、その音声情報をサーバ装置１０１に送信しない。また、ゲートウェイ１０３は、集音機器１０２が集音した音声情報が定型文であれば、定型文に対応する制御指示を、家電機器１０４に送信する。つまり、ゲートウェイ１０３は、自身で操作対象の家電機器１０４に対する制御指示を決定できる場合、音声情報をサーバ装置１０１へ送信しない。
【０１９８】
そのため、音声認識のためにサーバ装置１０１へ送信する音声情報のデータ転送量を更に削減することが可能となる。
【０１９９】
また、本家電機器制御システムは、集音機器１０２が集音した音声情報から、一部の音声情報のみをサーバ装置１０１へ送信することで、サーバ装置１０１へのデータ集中を抑制できる。これにより、ゲートウェイ１０３とサーバ装置１０１との間のネットワーク負荷と、サーバ装置１０１での処理負荷を抑制できる。
【０２００】
また、本家電機器制御システムでは、集音機器１０２が集音した音声情報のうち、サーバ装置１０１への送信が必要とゲートウェイ１０３が判断した音声情報のみがサーバ装置１０１に送信される。そのため、家庭内の会話等プライベートな情報がサーバ装置１０１に送信されることを抑制できる。また、サーバ装置１０１へ送信する前に、利用者に送信可否を問い合わせることで、よりプライバシーの保護を強化することが可能となる。
【産業上の利用可能性】
【０２０１】
本発明にかかる家電機器制御システムでは、集音機器が集音した音声情報のうち、ゲートウェイによって、サーバ装置で音声認識を行うと必要があると判断された音声情報のみがサーバ装置に送信されるため、音声情報を利用して家電機器を制御するネットワーク家電システムにおいて有用である。
【符号の説明】
【０２０２】
１０１      ：サーバ装置
１０２      ：集音機器
１０３      ：ゲートウェイ
１０４      ：家電機器
２０１      ：送受信部
２０２      ：認識部
２０３      ：データベース保持部
２０４      ：制御情報保持部
２０５      ：機器管理情報保持部
２０６      ：判断部
２０７      ：制御部
３０１      ：送受信部
３０２      ：集音部
３０３      ：制御部
４０１      ：送受信部
４０２      ：解析部
４０３      ：データベース保持部
４０４      ：制御情報保持部
４０５      ：機器管理情報保持部
４０６      ：判断部
４０７      ：ゲートウェイＩＤ保持部
４０８      ：制御部
５０１      ：送受信部
５０２      ：実行部
５０３      ：制御部
【図１】
2020144375.tif 000003
【図２】
2020144375.tif 000004
【図３】
2020144375.tif 000005
【図４】
2020144375.tif 000006
【図５】
2020144375.tif 000007
【図６】
2020144375.tif 000008
【図７】
2020144375.tif 000009
【図８】
2020144375.tif 000010
【図９】
2020144375.tif 000011
【図１０】
2020144375.tif 000012
【図１１】
2020144375.tif 000013
【図１２】
2020144375.tif 000014
【図１３】
2020144375.tif 000015
【図１４】
2020144375.tif 000016
【図１５】
2020144375.tif 000017
【図１６】
2020144375.tif 000018
【図１７】
2020144375.tif 000019
【図１８】
2020144375.tif 000020
【図１９】
2020144375.tif 000021
【図２０】
2020144375.tif 000022
【図２１】
2020144375.tif 000023
【図２２】
2020144375.tif 000024
【図２３】
2020144375.tif 000025