(57)【要約】【課題】複数の機器を制御する際でも音声認識の認識率が悪化することがなく、しかも、機器の誤動作を防止できる音声操作装置を提供することにある。【解決手段】音声操作装置１は、部屋に設置される音声操作用の機器８を、音声認識によって遠隔制御するために用いられるものであり、音声検出部２と、音声検出部２により検出した音声内容の認識を行う音声認識部３と、使用者の手の動作を検出する動作検出部４と、動作検出部４の検出結果に基づいて機器８の中から制御する機器を選定する機器選定部５と、音声認識部３からの音声内容にしたがって機器選定部５により選定された機器を遠隔制御する音声操作部６と、使用者に機器の操作が行われたことを知らせる報知部７とを備える。【選択図】図１
2007121576.tif 000002
【特許請求の範囲】
【請求項１】
音声検出部と、音声検出部により検出した音声内容の認識を行う音声認識部と、使用者の動作を検出する動作検出部と、動作検出部の検出結果に基づいて複数の機器の中から制御する機器を選定する機器選定部と、音声認識部からの音声内容にしたがって機器選定部により選定された機器を遠隔制御する音声操作部とを備えていることを特徴とする音声操作装置。
【請求項２】
動作検出部は、使用者の手の動作を検出することを特徴とする請求項１に記載の音声操作装置。
【請求項３】
動作検出部は、使用者の頭部の動作を検出することを特徴とする請求項１に記載の音声操作装置。
【請求項４】
動作検出部は、使用者の視線を検出することを特徴とする請求項１に記載の音声操作装置。
【請求項５】
動作検出部は、カメラで撮像した使用者の画像に基づいて使用者の視線を検出し、機器選定部は、動作検出部で検出した使用者の視線に基づいて制御する機器を選定することを特徴とする請求項４に記載の音声操作装置。
【請求項６】
動作検出部は、機器毎に設置されたカメラで撮像した使用者の画像に基づいて使用者の視線を検出し、機器選定部は、動作検出部で検出した使用者の視線に基づいて制御する機器を選定することを特徴とする請求項４に記載の音声操作装置。
【請求項７】
機器選定部は、使用者の視線に対する機器の確率分布を当該機器の位置情報として有し、動作検出部で検出した使用者の視線に対する確率が最も高い機器を制御する機器として選定することを特徴とする請求項４〜６のいずれか１項に記載の音声操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器を音声認識により遠隔制御する音声操作装置に関する。
【背景技術】
【０００２】
従来から、音声認識を用いて機器を遠隔制御する音声操作装置が提供されており、このような音声操作装置としては、特許文献１に示すように、マイクロホンと、マイクロホンからの音声信号を処理して音声認識を行う音声認識処理回路と、音声認識処理回路からの判定結果信号に基づいて入力された命令に対応する操作命令信号を出力するコントローラと、コントローラの操作命令信号をエアーコンディショナ（以下、「エアコン」と略す）等の機器に送信するための送信装置と、コントローラを手動操作するための操作スイッチとを備えたものがあった。
【特許文献１】特開平７−２５３２３７号公報（第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１のような音声操作装置は、１つの機器に対して１対１対応で用いられるものであり、複数の機器を音声認識により操作するためには、例えば、機器名とともに機器制御用のキーワードを発音する必要が生じ、これにより音声認識しなければならない文が長くなって、音声認識の認識率が著しく悪くなるという問題が生じていた。また、このような音声操作装置は、機器制御用のキーワードを認識した際には、使用者の意図に関係無く機器の制御を行うものであるから、日常会話に含まれる単語や文によって使用者の意に反して機器が動作するおそれがあり、このような機器の誤動作を防止できないという問題があった。
【０００４】
本発明は上述の点に鑑みて為されたもので、その目的は、複数の機器を制御する際でも音声認識の認識率が悪化することがなく、しかも、機器の誤動作を防止できる音声操作装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、請求項１の音声操作装置の発明では、音声検出部と、音声検出部により検出した音声内容の認識を行う音声認識部と、使用者の動作を検出する動作検出部と、動作検出部の検出結果に基づいて複数の機器の中から制御する機器を選定する機器選定部と、音声認識部からの音声内容にしたがって機器選定部により選定された機器を遠隔制御する音声操作部とを備えていることを特徴とする。
【０００６】
請求項２の音声操作装置の発明では、請求項１の構成に加えて、動作検出部は、使用者の手の動作を検出することを特徴とする。
【０００７】
請求項３の音声操作装置の発明では、請求項１の構成に加えて、動作検出部は、使用者の頭部の動作を検出することを特徴とする。
【０００８】
請求項４の音声操作装置の発明では、請求項１の構成に加えて、動作検出部は、使用者の視線を検出することを特徴とする。
【０００９】
請求項５の音声操作装置の発明では、請求項４の構成に加えて、動作検出部は、カメラで撮像した使用者の画像に基づいて使用者の視線を検出し、機器選定部は、動作検出部で検出した使用者の視線に基づいて制御する機器を選定することを特徴とする。
【００１０】
請求項６の音声操作装置の発明では、請求項４の構成に加えて、動作検出部は、機器毎に設置されたカメラで撮像した使用者の画像に基づいて使用者の視線を検出し、機器選定部は、動作検出部で検出した使用者の視線に基づいて制御する機器を選定することを特徴とする。
【００１１】
請求項７の音声操作装置の発明では、請求項４〜６のいずれか１項の構成に加えて、機器選定部は、使用者の視線に対する機器の確率分布を当該機器の位置情報として有し、動作検出部で検出した使用者の視線に対する確率が最も高い機器を制御する機器として選定することを特徴とする。
【発明の効果】
【００１２】
請求項１の音声操作装置の発明は、音声検出部と、音声検出部により検出した音声内容の認識を行う音声認識部と、使用者の動作を検出する動作検出部と、動作検出部の検出結果に基づいて複数の機器の中から制御する機器を選定する機器選定部と、音声認識部からの音声内容にしたがって機器選定部により選定された機器を遠隔制御する音声操作部とを備えているので、同一空間内に複数の音声操作用の機器が設置されている場合でも、使用者の動作によって音声操作装置で制御する機器を選定でき、これにより従来とは異なり機器名とともに機器制御用のキーワードを発音する必要等がなくなって音声認識しなければならない文等を短くできるとともに、音声認識に用いるネットワーク文法や単語の語彙数を予め絞り込むことができ、その結果、複数の機器を音声認識により制御する場合でも音声認識の認識率を向上できるという効果を奏し、加えて、使用者の動作によって選定した機器のみが音声操作装置の制御対象となるから、例えば日常会話に含まれる単語や文によって使用者の意に反して機器が動作したりすることがなくなり、機器の誤動作を防止できるという効果を奏する。
【００１３】
請求項２の音声操作装置の発明は、請求項１の効果に加えて、動作検出部は、使用者の手の動作を検出するので、使用者は手の動作によって制御したい機器を選ぶことができ、例えばコントロールキーやタッチパネル等の手動入力装置等を用いる場合に比べて、機器の選定を非常に容易に行え、これにより音声操作装置の使い勝手を向上できるという効果を奏する。
【００１４】
請求項３の音声操作装置の発明は、請求項１の効果に加えて、動作検出部は、使用者の頭部の動作を検出するので、使用者は頭部の動作によって制御したい機器を選ぶことができ、例えばコントロールキーやタッチパネル等の手動入力装置等を用いる場合に比べて、機器の選定を非常に容易に行え、これにより音声操作装置の使い勝手を向上できるという効果を奏する。
【００１５】
請求項４〜６の音声操作装置の発明は、請求項１の効果に加えて、動作検出部は、使用者の視線を検出するので、使用者は視線によって制御したい機器を選ぶことができ、例えばコントロールキーやタッチパネル等の手動入力装置等を用いる場合に比べて、機器の選定を非常に容易に行え、これにより音声操作装置の使い勝手を向上できるという効果を奏する。
【００１６】
請求項７の音声操作装置の発明は、請求項４〜６のいずれか１項の効果に加えて、機器選定部は、使用者の視線に対する機器の確率分布を当該機器の位置情報として有し、動作検出部で検出した使用者の視線に対する確率が最も高い機器を制御する機器として選定するので、使用者がどの機器を見ているのか（どの機器に注意を向けているのか）を確率的に求めることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１７】
以下に、本発明の実施形態について図１〜図１６を用いて説明する。
【００１８】
（実施形態１）
本実施形態の音声操作装置１は、図３（ａ），（ｂ）に示すように、部屋Ｒに設置される音声操作用の機器８（エアコン８ａ、テレビ８ｂ、ビデオ８ｃ、照明８ｄ）を、ベッドＢで寝ている使用者Ｐが、自身の発する音声によって遠隔制御するために用いられるものであり、ベッドＢで寝ている使用者Ｐの近傍に設置される装置本体１ａを有し、この装置本体１ａには、図１に示すように、音声検出部２と、音声検出部２により検出した音声内容の認識を行う音声認識部３と、使用者の手の動作を検出する動作検出部４と、動作検出部４の検出結果に基づいてエアコン８ａ、テレビ８ｂ、ビデオ８ｃ、及び照明８ｄの中から制御する機器を選定する機器選定部５と、音声認識部３からの音声内容にしたがって機器選定部５により選定された機器を遠隔制御する音声操作部６と、使用者Ｐに機器の操作が行われたことを知らせる報知部７とが収納されている。
【００１９】
音声検出部２は、入力された音を電気信号として出力するマイクロホンであり、使用者Ｐの発する音声を音声操作装置１に入力するために用いられる。ここにおいて、このようなマイクロホンとしては、ムービングコイルマイクや、リボンマイク、コンデンサマイク、圧電マイク、カーボンマイク等、使用形態に応じて好適なものを用いることができる。
【００２０】
音声認識部３は、音声検出部２により検出した音声内容の認識を行うものであり、音響モデル格納部３ａと、キーワード格納部３ｂと、キーワード選択部３ｃと、音声照合部３ｄとを備えている。
【００２１】
音響モデル格納部３ａには、音声認識に必要な音響モデルが格納されており、ここにおいて音響モデルとしては、例えば、人間の発声の小さな単位（音素）の音響的特徴を表わす隠れマルコフモデル等が用いられる。
【００２２】
キーワード格納部３ｂには、機器８毎に保持しているコマンド（制御命令）に対応するキーワードが格納されている。ここにおいて、音声操作用の機器８毎に保持しているコマンドとは、例えばエアコンであれば、設定温度を上げるコマンド、設定温度を下げるコマンド等であり、このようなコマンドに対応するキーワードとは、設定温度を上げるコマンドに対しては“○度上げて”、設定温度を下げるコマンドに対しては“○度下げて”等であり、この他、各機器のコマンドに対応して下記の表１のようなキーワードが用いられる。
【００２３】
【表１】
2007121576.tif 000003
【００２４】
ところで、このようなキーワードは、“オン”、“オフ”等の単語や、“冷房に設定”等の連続音声であり、本実施形態では連続音声を認識するために、ネットワーク文法を用いている。ここにおいて、ネットワーク文法とは、使用者が発話すると予測される文構造をネットワークとして記述したものであり、例えば図４に示すように、始端Ｆ１から終端Ｆ４までの文において、始端Ｆ１から第１ノードＦ２までは“何”又は“え？何”、第１ノードＦ２から第２ノードＦ３までは“Ｃｃ”又は“グラム”又は“分”、第２ノードＦ３から終端Ｆ４までは“だって？”又は“ですって？”又は“やって？”が選択されるように構成されており、このネットワーク文法では、“何グラムだって？”や、“何分ですって？”等、合計１８種類の文が認識対象となる。
【００２５】
尚、連続音声を認識するためには、上記のようなネットワーク文法に限らず、統計的言語モデル等を用いてもよいが、本実施形態の音声操作装置１のように定型文を認識すれば十分である場合には、統計的言語モデル等に比べて語彙数が少なく認識率が良いネットワーク文法を用いることが好ましい。
【００２６】
キーワード選択部３ｃは、キーワード格納部３ｂに格納されているキーワード群の中から、機器選定部５により選定された機器のコマンドに対応するキーワードを全て選択するものであり、音声照合部３ｄへ選択結果を出力する。
【００２７】
音声照合部３ｄは、音響モデル格納部３ａに格納された音響モデルと、キーワード選択部３ｃにより選択された複数のキーワードとを参照して、音声検出部２で検出した音声内容に最も良く合致する音響モデルの列と、キーワード選択部３ｃで選択されたキーワードとのマッチングを行い、音声内容に対する尤度が所定値以上となるキーワードの中から、前記尤度が最も高いキーワードを音声操作部６へ出力する。
【００２８】
一方、音声照合部３ｄにおけるマッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つからなかった場合、音声検出部２で検出した音声は、使用者Ｐが機器を操作することを目的として発した音声ではなかったとみなして、音声照合部３ｄは、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、音声操作部６と後述する機器選定部５の機器情報格納部５ａとを経由して機器選定部５の機器照合部５ｂに選定した機器の情報をリセットする初期化信号を送る。
【００２９】
また、音声照合部３ｄは、音声検出部２で検出した音声に基づく電気信号が所定の閾値（例えば、高精度なマッチングを行える程度の値）を越えるものである場合のみ、音声操作部６と機器選定部５の機器情報格納部５ａとを経由して機器選定部５の機器照合部５ｂに開始信号を送り、機器の選定を開始させる。つまり、音声検出部２で検出した電気信号が小さく、マッチングを十分に行うことができない場合は、音声が入力されなかったとみなし、機器選定部５が動作しないようにしている。
【００３０】
動作検出部４は、使用者Ｐの手の動作、例えば、指差し時等の手形状を検出するためのものであり、使用者Ｐの手を撮像するためのビデオカメラ４ａと、ビデオカメラ４ａで撮像した使用者Ｐの画像に基づいて手形状を検出する画像信号処理部４ｂとを備えている。
【００３１】
ビデオカメラ４ａは、使用者Ｐの手形状を検出するための画像情報入力装置であり、例えば、ＣＣＤカメラ等の小型のものを用いている。尚、このようなビデオカメラとしては、所定の照度下（例えば日中）において可視光領域の像を得るものであってもよいが、夜間や消灯時のように撮像領域の照度が不足するような場合には、該撮像領域に近赤外光を照射して赤外線像を得ることができる赤外線カメラを用いるようにしてもよい。
【００３２】
画像信号処理部４ｂは、ビデオカメラ４ａで得られた画像に基づいて使用者Ｐの手形状を検出するための解析を行い、この解析処理により検出した手形状の画像情報を機器選定部５の機器照合部５ｂへと送るものである。一方、解析処理によって手形状が検出されなかった場合は、ビデオカメラ４ａから新たな画像を取得して、再び解析処理を行う。
【００３３】
ここにおいて手形状を得るための解析は、例えば、ビデオカメラ４ａで得られた画像を２値化処理して背景画像成分を除去し、手の画像成分を抽出する２値化処理手段や、２値化処理によって抽出した画像における掌と指の位置に基づいて重心位置を求める重心検出手段、２値化処理手段によって抽出した手の画像において手指の形状を認識する形状認識手段等を用いることで実現できる。尚、このような解析方法は、従来周知のものであるから、ここでは詳細な説明は省略する。
【００３４】
機器選定部５は、動作検出部４で検出した使用者の手形状の画像に基づいて制御する機器を選定する、つまりは、使用者Ｐが操作を意図している機器の絞り込みを行うためのものであり、前述の機器情報格納部５ａと、機器照合部５ｂとを備えている。
【００３５】
機器情報格納部５ａには、音声操作用の機器８のそれぞれと関係付けられた使用者Ｐの手形状のモデルパターンが格納されている。このようなモデルパターンとは、例えば、エアコン８ａに対しては使用者Ｐがエアコン８ａを指差した際にビデオカメラ４ａに映る手形状の画像であり、テレビ８ｂに対しては使用者Ｐがテレビ８ｂを指差した際にビデオカメラ４ａに映る手形状の画像であり、ビデオ８ｃに対しては使用者Ｐがビデオ８ｃを指差した際にビデオカメラ４ａに映る手形状の画像であり、照明８ｄに対しては使用者Ｐが照明８ｄを指差した際にビデオカメラ４ａに映る手形状の画像である。尚、上記の例に限らず、ＯＫサインやピースサイン等の手形状の画像をモデルパターンとして用いてもよい。
【００３６】
機器照合部５ｂは、音声照合部３ｄより開始信号を受け取ると動作を開始し、機器情報格納部５ａに格納されたモデルパターンと、動作検出部４から得られた使用者Ｐの手形状の画像とのマッチングを行い、使用者Ｐの手形状の画像に対する尤度が所定値以上となるモデルパターンの中から、該尤度が最も高いモデルパターンを選び、このモデルパターンに関係付けられた機器の情報を上述した音声認識部３のキーワード選択部３ｃへ送る。一方、機器照合部５ｂにおけるマッチングの結果、使用者Ｐの手形状の画像に対する尤度が所定値以上となるモデルパターンが見つからなかった場合、使用者Ｐにより機器が選定されなかったとみなし、再び音声照合部３ｄより開始信号を受け取るまで動作を停止する。また、機器照合部５ｂは、音声照合部３ｄより初期化信号を受け取ると、選定した機器の情報をリセットして、いずれの機器も選定していない状態へ移行するようになっている。
【００３７】
音声操作部６は、音声照合部３ｄからキーワードを受け取ると、該キーワードに対応するコマンドに基づいて、コマンドで指定された機器に該コマンドの制御内容を、赤外線通信等の無線通信手段等を用いて送信する機能を有しており、これにより、音声認識部３からの音声内容にしたがって機器選定部５により選定された機器を遠隔制御することが可能となる。また、この音声操作部６は、受け取ったキーワードに対応するコマンドに基づいて、報知部７の出力制御部７ａにスピーカ７ｂを動作させるための出力信号を送るようにもなっている。尚、音声操作部６としては、無線通信手段を用いるものに限られるものではなく、有線通信手段により各機器と通信を行うようにしてもよい。
【００３８】
報知部７は、使用者Ｐへのフィードバックを行う（操作が行われたことを報せる）ためのものであり、音声出力用のスピーカ７ｂと、スピーカ７ｂを制御するための出力制御部７ａとを備えている。ここにおいて、出力制御部７ａは、スピーカ７ｂから所定の音声を出力させるための音声合成ＬＳＩ等を有しており、音声操作部６から受け取った出力信号に基づいて、音声照合部３ｄで認識したキーワードに対応するコマンドの内容を報せる音声をスピーカ７ｂから出力させる。例えば、コマンドの制御内容が、”エアコンの温度を２８度に設定する”というものである場合には、“エアコンを２８度に設定します”という内容の音声をスピーカ７ｂから出力させ、これにより使用者Ｐに機器の操作が行われたことを報知するのである。尚、本実施形態では、スピーカ７ｂを用いて詳細な制御内容を使用者Ｐに報知するようにしているが、例えば、スピーカ７ｂの代わりにブザーを用いたり、ＬＥＤ等の表示素子を用いて、使用者Ｐに報知するようにしてもよい。
【００３９】
以上により本実施形態の音声操作装置１は構成されており、次に図２に示すフローチャートを用いて本実施形態の音声操作装置１の動作について説明する。
【００４０】
音声操作装置１が動作を開始すると、まず、ステップＳ１において、上述したように動作検出部４によって使用者Ｐの手形状の検出を行い、これにより手形状が得られるとステップＳ２へ進み、手形状が得られなければ、手形状が得られるまでステップＳ１でループする。次のステップＳ２では、音声検出部２により使用者Ｐの音声の検出を行い、この検出した音声に基づく電気信号が所定の閾値を越える場合は、音声を検出したとして、音声照合部３ｄから機器照合部５ｂに開始信号が送られて次のステップＳ３へ進み、所定時間以内に前記所定の閾値を越える電気信号が得られなかった場合は、音声を検出しなかったとみなして、ステップＳ１に戻る。
【００４１】
ステップＳ３では、ステップＳ１で得た手形状の画像に基づいて機器選定部５ｂがモデルパターン毎に手形状の画像に対する尤度の算出を行い、該尤度が所定値以上となるモデルパターンがあれば、ステップＳ４へ移行し、前記尤度が所定値以上となるモデルパターンがなければ、ステップＳ１へと戻る。そしてステップＳ４では、上記のモデルパターンの中から手形状に対する尤度が最も高いモデルパターンを選び、該モデルパターンに対応する機器の情報をキーワード選択部３ｃへ送る。
【００４２】
ステップＳ５では、キーワード格納部３ｂに格納されているキーワードの中から機器選定部５により選定された機器のコマンドに対応するキーワードを、キーワード選択部３ｃが選択して、この選択結果を音声照合部３ｄへ出力する。
【００４３】
そして、次のステップＳ６では、音声照合部３ｄによって音声検出部２で検出した音声内容とキーワード選択部３ｃにより選ばれたキーワード群とのマッチングが行われ、音声内容に対する尤度が所定値以上となるキーワードがあれば、これらのキーワードの中から音声内容に対する尤度が最も高いキーワードを探索し、この結果を音声操作部６へ出力してステップＳ７へ進む。一方、音声照合部３ｄにおけるマッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つからなければ、音声照合部３ｄは、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、機器照合部５ｂに選定した機器の情報をリセットする初期化信号を送り、ステップＳ１へと戻る。
【００４４】
ステップＳ７では、音声操作部６が受け取ったキーワードに対応するコマンドに基づいて、報知部７の出力制御部７ａにスピーカ７ｂを動作させるための出力信号を送り、報知部７のスピーカ７ｂから、音声照合部３ｄで認識したキーワードに対応するコマンドの制御内容を報せる音声を出力させて、使用者Ｐに音声操作が行われたことを報知する。
【００４５】
次のステップＳ８では、音声操作部６が、ステップＳ５で得たキーワードに対応するコマンドで指定された機器に、該コマンドで指定された制御内容を赤外線等の無線通信手段等を用いて送信し、これにより音声認識部３からの音声内容にしたがって機器選定部５により選定された機器が遠隔制御されて、音声操作装置１の動作が終了する。
【００４６】
以上述べた本実施形態の音声操作装置１によれば、使用者Ｐの手形状を検出する動作検出部４と、動作検出部４で検出した手形状に基づいて音声操作用の機器８の中から制御する機器を選定する機器選定部５とを備えているので、同一空間内に複数の音声操作用の機器が設置されている場合でも、使用者Ｐの手形状によって音声操作装置１で制御する機器を選定でき、これにより従来とは異なり機器名とともに機器制御用のキーワードを発音する必要がなくなって音声認識しなければならない文等を短くできるとともに、音声認識に用いるネットワーク文法や単語の語彙数を予め絞り込むことができ、その結果、複数の機器を音声認識により制御する場合でも音声認識の認識率を向上できるという効果を奏する。
【００４７】
加えて、使用者Ｐの手形状によって選定した機器のみが音声操作装置１の制御対象となるから、例えば日常会話に含まれる単語や文によって使用者Ｐの意に反して機器が動作したりすることがなくなり、機器の誤動作を防止できるという効果を奏する。さらに、機器の選定を使用者Ｐの手形状によって行えるから、例えばコントロールキーやタッチパネル等の手動入力装置等を用いる場合に比べて、機器の選定を非常に容易に行え、これにより音声操作装置１の使い勝手を向上できるという効果を奏する。
【００４８】
尚、上記の例では、音声操作装置１の装置本体１ａ内にビデオカメラ４ａを内蔵するとしたが、ビデオカメラ４ａを装置本体１ａ内に内蔵する必要は無く、使用者Ｐの手形状を撮像できる場所であればよい。また、上記の例では、ビデオカメラ４ａを１つ用いた例であるが、複数台のビデオカメラ４ａを用いてもよく、多方面から使用者Ｐの手形状を撮像することで、手形状の認識率を向上することができる。
【００４９】
また尚、上記の音声照合部３ｄでは、各キーワードの音声内容に対する尤度を用いてキーワードの選定を行うようにしているが、この他に、音声内容に対する尤度を元に算出した信頼度を用いてキーワードの選定を行うようにしてもよい。この場合、音声照合部３ｄは、音響モデル格納部３ａに格納された音響モデルと、キーワード選択部３ｃにより選択された複数のキーワードとを参照して、音声検出部２で検出した音声内容に最も良く合致する音響モデルの列と、キーワード選択部３ｃで選択されたキーワードとのマッチングを行い、音声内容に対する尤度を元にして算出した信頼度が所定値以上となるキーワードの中から、前記信頼度が最も高いキーワードを音声操作部６へ出力し、音声照合部３ｄにおけるマッチングの結果、前記信頼度が所定値以上となるキーワードが見つからなかった場合、音声検出部２で検出した音声は、使用者Ｐが機器を操作することを目的として発した音声ではなかったとみなして、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、音声操作部６と後述する機器選定部５の機器情報格納部５ａとを経由して機器選定部５の機器照合部５ｂに選定した機器の情報をリセットする初期化信号を送るように構成される。この点は、後述する実施形態２〜５の音声照合部３ｄにおいても同様である。
【００５０】
（実施形態２）
上記実施形態１の音声操作装置１は、使用者Ｐの手形状に基づいて機器の選定を行うものであったが、本実施形態の音声操作装置１０は、使用者Ｐの顔の向きによって機器の選定を行うようにしたことに特徴がある。尚、以下の説明では、説明の簡略化のために上記実施形態１と同様の構成については同一の符号を付して説明を省略している。
【００５１】
本実施形態の音声操作装置１０は、上記実施形態１と同様に図３（ａ），（ｂ）に示すような部屋Ｒに設置される音声操作用の機器８（エアコン８ａ、テレビ８ｂ、ビデオ８ｃ、照明８ｄ）を、ベッドＢで寝ている使用者Ｐが、自身の発する音声によって遠隔制御するために用いられるものであり、図５に示すように、ベッドＢで寝ている使用者Ｐの近傍に設置される装置本体１０ａと、ベッドＢに設けられて使用者Ｐの頭部位置の検出に用いられるセンサ１０ｂとを有し、装置本体１０ａには、音声検出部２と、音声検出部２により検出した音声内容の認識を行う音声認識部３と、使用者の顔の向きを検出する動作検出部４０と、動作検出部４０の検出結果に基づいてエアコン８ａ、テレビ８ｂ、ビデオ８ｃ、及び照明８ｄの中から制御する機器を選定する機器選定部５０と、音声認識部３からの音声内容にしたがって機器選定部５０により選定された機器を遠隔制御する音声操作部６と、使用者Ｐに機器の操作が行われたことを知らせる報知部７とが収納されている。
【００５２】
ここにおいて、音声認識部３は、上記実施形態１と同様に音声検出部２により検出した音声内容の認識を行うものであり、音響モデル格納部３ａと、キーワード格納部３ｂと、キーワード選択部３ｃと、音声照合部３ｄとを備えているが、本実施形態における音声照合部３ｄは、マッチングの結果、尤度が所定値以上となるキーワードが見つからなかった場合、音声検出部２で検出した音声は、使用者Ｐが機器を制御することを目的として発した音声ではなかったとみなして、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、音声操作部６と後述する機器選定部５０の機器位置格納部５０ａとを経由して機器選定部５０の機器照合部５０ｂに選定した機器の情報をリセットする初期化信号を送るようになっている。また、音声照合部３ｄは、音声検出部２で検出した音声に基づく電気信号が所定の閾値（例えば、高精度なマッチングを行える程度の値）を越えるものである場合のみ、音声操作部６と機器選定部５０の機器位置格納部５０ａとを経由して機器選定部５０の機器照合部５０ｂに開始信号を送り、機器の選定を開始させるようになっている。
【００５３】
動作検出部４０は、使用者Ｐの頭部の動作として、使用者Ｐの顔の向きを検出するためのものであり、使用者Ｐの顔を撮像するためのビデオカメラ４０ａと、ビデオカメラ４０ａで撮像した使用者Ｐの画像に基づいて顔形状を検出する画像信号処理部４０ｂと、ベッドＢに設けられた圧電素子等のセンサ１０ｂの出力に基づいて使用者Ｐの頭部位置を検出する位置検出部４０ｃと、複数の顔モデルが格納された顔モデル格納部４０ｄと、画像信号処理部４０ｂ、位置検出部４０ｃ、及び顔モデル格納部４０ｄを参照して使用者Ｐの顔の向きが部屋Ｒ内のどの方向を向いているのかを検出する顔向き検出部４０ｅとを備えている。
【００５４】
ビデオカメラ４０ａは、使用者Ｐの顔の向きを検出するための画像情報入力装置であり、上記実施形態１のビデオカメラ４ａと同様に、ＣＣＤカメラ等の小型のものを用いている。
【００５５】
画像信号処理部４０ｂは、ビデオカメラ４０ａで得られた画像に基づいて使用者Ｐの顔を検出するための解析を行うものであり、このような解析は、例えば次のようにして行う。すなわち、ビデオカメラ４０ａで得られた画像から、色相や彩度等を参照して肌色の領域を検出し、検出した肌色の領域が顔であるか否かを顔モデル等を用いてマッチングし、これにより得られた使用者Ｐの顔形状の画像情報（以下、「顔画像」と称する）を顔向き検出部４０ｅへ出力する。尚、ビデオカメラ４０ａとして赤外線を利用するものを用いた場合には、色相や彩度等の色情報が利用できないため、この場合は輝度情報等を利用した検出を行う。一方、解析処理によって顔が検出されなかった場合は、ビデオカメラ４０ａから新たな画像を取得して、再び解析処理を行う。
【００５６】
位置検出部４０ｃは、センサ１０ｂの出力に基づいて使用者Ｐの頭部位置を検出し、この検出結果を顔向き検出部４０ｅへ出力する。
【００５７】
顔モデル格納部４０ｄは、辞書画像として顔向き検出部４０ｅで用いる顔モデルが複数格納されているものであり、ここにおいて顔モデルとは、顔の向きがそれぞれ異なる画像、例えば使用者Ｐの頭部がベッドＢにおける標準位置に位置している状態で、顔を部屋の各方向に向けた画像である。また、このような顔モデルは、例えば使用者Ｐの顔が直上を向いている状態を基準とした顔の縦方向の回転を示すパラメータθｘと顔の横方向の回転を示すパラメータθｙとによって、部屋Ｒの方向と関係付けられている。
【００５８】
顔向き検出部４０ｅは、例えば、パターンマッチングによって使用者Ｐの顔の向きが部屋Ｒ内のどの方向を向いているかを検出するものであり、以下、この顔向き検出部４０ｅによる顔向きの検出方法について説明する。まず、顔向き検出部４０ｅでは、画像信号処理部４０ｂから得られた使用者Ｐの顔画像と顔モデル格納部４０ｄに格納された複数の顔モデルとのマッチングを行い、使用者Ｐの顔画像に対する尤度が最も高い顔モデルを選択し、この顔モデルに関係付けられたパラメータθｘ，θｙを得る。ここにおいて、パラメータθｘ，θｙは、使用者Ｐの頭部が上記の標準位置に位置している際の値であるから、位置検出部４０ｃにより検出した使用者Ｐの頭部位置と、上記の標準位置における頭部位置との差分に基づいて、パラメータθｘ，θｙの値の補正を行う。以上により使用者Ｐの顔が部屋Ｒ内のどの方向を向いているかを示すパラメータθｘ，θｙが得られ、顔向き検出部４０ｅは、これらのパラメータθｘ，θｙを機器選定部５０の機器照合部５０ｂへ送る。
【００５９】
機器選定部５０は、動作検出部４０で検出した使用者の顔の向きに基づいて制御する機器を選定する、つまりは、使用者Ｐが操作を意図している機器の絞り込みを行うためのものであり、前述の機器位置格納部５０ａと、機器照合部５０ｂとを備えている。
【００６０】
機器位置格納部５０ａには、機器８のそれぞれの位置情報が格納されており、各機器８の位置情報は、例えば使用者Ｐの顔の向きに対する確率分布、つまりは各パラメータθｘ，θｙに対する確率分布（正規分布等）で示されている。このように確率分布で表現しておくことで、各パラメータを考慮した確率、すなわち同時確率を計算することができ、これにより使用者Ｐの動作情報（本実施形態では顔向き情報）が得られたとき、それをもとにした尤度値計算をすることで使用者Ｐがどの機器を見ているのか（どの機器に注意を向けているのか）を確率的に求めることができる。このような確率分布を用いない場合、各機器を特定するためのパラメータの範囲が互いに重複すると、機器の優劣を判定することができないが、確率分布を用いる場合、各機器を特定するためのパラメータの範囲が互いに重複した場合でも、確率によってパラメータの値に対する機器の優劣が定まるので、機器の位置情報の設定を容易に行えるようになる。
【００６１】
機器照合部５０ｂは、音声照合部３ｄより開始信号を受け取ると動作を開始し、機器位置格納部５０ａに格納された各機器の位置情報と、顔向き検出部４０ｅから得たパラメータθｘ，θｙとを用いて、パラメータθｘ，θｙに対する同時確率を機器毎に求め、同時確率が所定値以上となる機器の中から、同時確率が最も高い機器を選び、この選定結果を上述した音声認識部３のキーワード選択部３ｃへ送る。一方、同時確率が所定値以上となる機器が見つからなかった場合、使用者Ｐにより機器が選定されなかったとみなし、再び音声照合部３ｄより開始信号を受け取るまで動作を停止する。また、機器照合部５０ｂは、音声照合部３ｄより初期化信号を受け取ると、選定した機器の情報をリセットして、いずれの機器も選定していない状態へ移行する。
【００６２】
以上により本実施形態の音声操作装置１０は構成されており、次に図６に示すフローチャートを用いて本実施形態の音声操作装置１０の動作について説明する。
【００６３】
音声操作装置１０が動作を開始すると、まず、ステップＳ１０において、上述したように動作検出部４０によって使用者Ｐの顔の向きの検出が行われ、これにより顔の向きを示すパラメータθｘ，θｙが得られるとステップＳ１１へ進み、パラメータθｘ，θｙが得られなければ、パラメータθｘ，θｙが得られるまでステップＳ１０でループする。次のステップＳ１１では、音声検出部２により使用者Ｐの音声の検出を行い、この検出した音声に基づく電気信号が所定の閾値を越える場合は、音声を検出したとして、音声照合部３ｄから機器照合部５０ｂに開始信号が送られて次のステップＳ１２へ進み、所定時間以内に前記所定の閾値を越える電気信号が得られなかった場合は、音声を検出しなかったとみなして、ステップＳ１０に戻る。
【００６４】
ステップＳ１２では、ステップＳ１０で得たパラメータθｘ，θｙに基づいて機器毎に同時確率を計算し、該同時確率が所定値以上となる機器があれば、ステップＳ１３へ移行し、前記同時確率が所定値以上となる機器がなければ、ステップＳ１０へと戻る。そしてステップＳ１３では、上記の機器の中から同時確率が最も高い機器を選び、該機器の情報をキーワード選択部３ｃへ送る。ステップＳ１４では、キーワード選択部３ｃが、キーワード格納部３ｂに格納されているキーワード群の中から、機器選定部５０ｂにより選定された機器のコマンドに対応するキーワードを選択して、音声照合部３ｄへ選択結果を出力する。
【００６５】
そして、ステップＳ１５では、音声照合部３ｄにより、音声検出部２で検出した音声内容と、キーワード選択部３ｃにより選ばれたキーワード群とのマッチングが行われ、音声内容に対する尤度が所定値以上となるキーワードがあれば、これらのキーワードの中から前記尤度が最も高いキーワードを探索し、探索したキーワードを音声操作部６へ出力して、ステップＳ１６へ進む。一方、音声照合部３ｄにおけるマッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つからなければ、音声照合部３ｄは、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、機器照合部５０ｂに選定した機器の情報をリセットする初期化信号を送り、ステップＳ１０へと戻る。
【００６６】
ステップＳ１６では、音声操作部６が受け取ったキーワードに対応するコマンドに基づいて、報知部７の出力制御部７ａにスピーカ７ｂを動作させるための出力信号を送り、報知部７のスピーカ７ｂから、音声照合部３ｄで認識したキーワードに対応するコマンドの制御内容を報せる音声を出力させて、使用者Ｐに音声操作が行われたことを報知する。
【００６７】
次のステップＳ１７では、音声操作部６が、ステップＳ１５で得たキーワードに対応するコマンドで指定された機器に、該コマンドで指定された制御内容を赤外線等の無線通信手段等を用いて送信し、これにより音声認識部３からの音声内容にしたがって機器選定部５０により選定された機器が遠隔制御されて、音声操作装置１０の動作が終了する。
【００６８】
以上述べた本実施形態の音声操作装置１０によれば、使用者Ｐの顔の向きを検出する動作検出部４０と、動作検出部４０で検出した顔の向きに基づいて音声操作用の機器８の中から制御する機器を選定する機器選定部５０とを備えているので、同一空間内に複数の音声操作用の機器が設置されている場合でも、使用者Ｐの顔の向きによって音声操作装置１０で制御する機器を選定でき、これにより従来とは異なり機器名とともに機器制御用のキーワードを発音する必要がなくなって音声認識しなければならない文等を短くできるとともに、音声認識に用いるネットワーク文法や単語の語彙数を予め絞り込むことができ、その結果、複数の機器を音声認識により制御する場合でも音声認識の認識率を向上できるという効果を奏する。
【００６９】
加えて、使用者Ｐの顔の向きによって選定した機器のみが音声操作装置１０の制御対象となるから、例えば日常会話に含まれる単語や文によって使用者Ｐの意に反して機器が動作したりすることがなくなり、機器の誤動作を防止できるという効果を奏する。さらに、機器の選定を使用者Ｐの顔の向きによって行えるから、例えばコントロールキーやタッチパネル等の手動入力装置等を用いる場合に比べて、機器の選定を非常に容易に行え、これにより音声操作装置１０の使い勝手を向上できるという効果を奏する。
【００７０】
（実施形態３）
上記実施形態１の音声操作装置１は、使用者Ｐの手形状に基づいて機器の選定を行うものであり、上記実施形態２の音声操作装置１０は、使用者Ｐの顔の向きに基づいて機器の選定を行うものであったが、本実施形態の音声操作装置１１は、使用者Ｐの視線によって機器の選定を行うようにしたことに特徴がある。尚、以下の説明では、説明の簡略化のために上記実施形態１，２と同様の構成については同一の符号を付して説明を省略している。
【００７１】
本実施形態の音声操作装置１１は、上記実施形態１と同様に図３（ａ），（ｂ）に示すように、部屋Ｒに設置される音声操作用の機器８（エアコン８ａ、テレビ８ｂ、ビデオ８ｃ、照明８ｄ）を、ベッドＢで寝ている使用者Ｐが、自身の発する音声によって遠隔制御するために用いられるものであり、図７に示すように、ベッドＢで寝ている使用者Ｐの近傍に設置される装置本体１１ａと、ベッドＢに設けられて使用者Ｐの頭部位置の検出に用いられるセンサ１１ｂとを有し、装置本体１１ａには、音声検出部２と、音声検出部２により検出した音声内容の認識を行う音声認識部３と、使用者Ｐの視線を検出する動作検出部４１と、動作検出部４１の検出結果に基づいてエアコン８ａ、テレビ８ｂ、ビデオ８ｃ、及び照明８ｄの中から制御する機器を選定する機器選定部５１と、音声認識部３からの音声内容にしたがって機器選定部５１により選定された機器を遠隔制御する音声操作部６と、使用者Ｐに機器の操作が行われたことを知らせる報知部７とが収納されている。
【００７２】
ここにおいて、音声認識部３は、上記実施形態１と同様に音声検出部２により検出した音声内容の認識を行うものであり、音響モデル格納部３ａと、キーワード格納部３ｂと、キーワード選択部３ｃと、音声照合部３ｄとを備えているが、本実施形態における音声照合部３ｄは、マッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つからなかった場合、音声検出部２で検出した音声は、使用者Ｐが機器を制御することを目的として発した音声ではなかったとみなし、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、音声操作部６と後述する機器選定部５１の機器位置格納部５１ａとを経由して機器選定部５１の機器照合部５１ｂに選定した機器の情報をリセットする初期化信号を送るようになっている。また、音声照合部３ｄは、音声検出部２で検出した音声に基づく電気信号が所定の閾値（例えば、高精度なマッチングを行える程度の値）を越えるものである場合のみ、音声操作部６と機器選定部５１の機器位置格納部５１ａとを経由して機器選定部５１の機器照合部５１ｂに開始信号を送り、機器の選定を開始させるようになっている。
【００７３】
動作検出部４１は、ビデオカメラ４１ａで撮像した使用者Ｐの画像に基づいて使用者Ｐの視線を検出するためのものであり、上記のビデオカメラ４１ａと、画像信号処理部４１ｂと、センサ１１ｂの出力に基づいて使用者Ｐの頭部位置を検出する位置検出部４１ｃと、使用者Ｐの視線が部屋Ｒ内のどの方向を向いているかを検出する視線検出部４１ｄとを備えている。尚、センサ１１ｂは、上記実施形態２のセンサ１０ｂと同様に使用者Ｐの頭部位置を検出するためにベッドＢに設けられたものであり、例えば、圧電素子等を用いて実現することができる。
【００７４】
ビデオカメラ４１ａは、使用者Ｐの視線情報を検出するための画像情報入力装置であり、上記実施形態１のビデオカメラ４ａと同様に、ＣＣＤカメラ等の小型のものを用いている。
【００７５】
画像信号処理部４１ｂは、ビデオカメラ４１ａで得られた画像に基づいて使用者Ｐの視線を検出するための解析を行うものであり、このような解析は、例えば次のようにして行われる。すなわち、ビデオカメラ４１ａで得られた画像から、色相や彩度等を参照して肌色の領域を検出し、検出した肌色の領域が顔であるか否かを顔モデル等を用いてマッチングし、この結果を用いて顔部品の検索を行い、ビデオカメラ４１ａで得られた画像内において使用者Ｐの目の位置を検出するのである。そして、画像信号処理部４１ｂは、図９に示すような使用者Ｐの両目を含む顔の画像のみを視線検出部４１ｄへ出力する。
【００７６】
位置検出部４１ｃは、センサ１１ｂの出力に基づいて使用者Ｐの頭部位置を検出し、この検出結果を視線検出部４１ｄへ出力するように構成されている。
【００７７】
視線検出部４１ｄは、上述したように、使用者Ｐの視線が部屋Ｒ内のどの方向を向いているかを検出するものである。以下、この視線検出部４１ｄにおける視線の検出方法について説明する。この視線検出部４１ｄでは、画像信号処理部４１ｂで処理した画像から使用者Ｐの視線を検出するのであるが、視線検出部４１ｄでは、使用者Ｐの視線を、例えば図９に示すような画像信号処理部４１ｂの画像における使用者Ｐの左目１００と右目２００におけるそれぞれの白目１０１，２０１に対する黒目１０２，２０２の偏り、つまり、左右両目１００，２００をそれぞれ楕円とみなした場合の中心（白目１０１，２０１の中心）ＯＬ１，ＯＲ１から黒目１０２，２０２の中心（瞳孔１０２ａ，２０２ａの中心）ＯＬ２，ＯＲ２がどの程度ずれているのかを示すパラメータＨ（cm），θ（degree）で表わしている。ここにおいてθは、部屋Ｒにおける使用者Ｐの視線の先にあるものの水平面内での角度を示す値であり、使用者Ｐの左目１００の長軸ＣＬに対する直線ＯＬ１ＯＬ２の角度θＬと右目２００の長軸ＣＲに対する直線ＯＲ１ＯＲ２の角度θＲとの平均値である。また、Ｈは、部屋Ｒにおける使用者Ｐの視線の先にあるものの高さを示す値であり、Ｌａ１／Ｌｂ１＋Ｒａ１／Ｒｂ１で求められる値Ｘと、Ｌａ２／Ｌｂ２＋Ｒａ２／Ｒｂ２で求められる値Ｙとの関数として表わされる。尚、Ｌａ１は、左目１００の長軸方向における黒目１０２の中心ＯＬ２と白目１０１の中心ＯＬ１との間の長さであり、Ｌｂ１は、左目１００の長径であり、Ｒａ１は、右目２００の長軸方向における黒目２０２の中心ＯＲ２と白目２０１の中心ＯＲ１との間の長さであり、Ｒｂ１は、右目１００の長径であり、Ｌａ２は、左目１００の短軸方向における黒目１０２の中心ＯＬ２と白目１０１の中心ＯＬ１との間の長さであり、Ｌｂ２は、左目１００の短径であり、Ｒａ２は、右目２００の短軸方向における黒目２０２の中心ＯＲ２と白目２０１の中心ＯＲ１との間の長さであり、Ｒｂ２は、右目１００の短径である。
【００７８】
視線検出部４１ｄでは、使用者Ｐの視線を上記のパラメータＨ，θとして求めるが、これらパラメータＨ，θには、使用者Ｐの部屋Ｒに対する位置が含まれていないため、視線検出部４１ｄに予め設けておいた使用者Ｐの標準位置データを用いて、パラメータＨ，θを標準化する必要がある。この標準化は、使用者Ｐの両目１００，２００の長軸ＣＬ，ＣＲと、視線検出部４０ｄの標準位置データにおける使用者Ｐの両目の長軸との間の傾きによりθを補正するとともに、使用者Ｐが標準位置にいるときの頭部位置と、位置検出部４０ｃで検出した使用者Ｐの頭部位置との差分に基づいてパラメータＨ，θの値を補正することで行われる。
【００７９】
以上により、使用者Ｐの視線が部屋Ｒ内のどの方向を向いているかを示すパラメータＨ，θが得られ、視線検出部４１ｄは、これらのパラメータＨ，θを機器選定部５１へ送る。
【００８０】
機器選定部５１は、動作検出部４１で検出した使用者の視線に基づいて制御する機器を選定する、つまりは、使用者Ｐが操作を意図している機器の絞り込みを行うためのものであり、前述の機器位置格納部５１ａと、機器照合部５１ｂとを備えている。
【００８１】
機器位置格納部５１ａには、機器８のそれぞれの位置情報が格納されており、各機器８の位置情報は、下記の表２及び図１０（ａ），（ｂ）に示すように使用者Ｐの視線に対する確率分布、つまりは各パラメータＨ，θに対する確率分布（例えば正規分布）で示されている。このように確率分布で表現しておくことで、高さと角度の両者を考慮した確率、すなわち同時確率を計算することができ、これにより使用者Ｐの動作情報（本実施形態では視線情報）が得られたとき、それをもとにした尤度値計算をすることで使用者Ｐがどの機器を見ているのか（どの機器に注意を向けているのか）を確率的に求めることができる。
【００８２】
【表２】
2007121576.tif 000004
【００８３】
機器照合部５１ｂは、音声照合部３ｄより開始信号を受け取ると動作を開始し、機器位置格納部５１ａに格納された各機器の位置情報と、視線検出部４１ｄから得たパラメータＨ，θとを用いて、パラメータＨ，θに対する同時確率を機器毎に求め、同時確率が所定値以上となる機器の中から、同時確率が最も高い機器を選び、この選定結果を上述した音声認識部３のキーワード選択部３ｃへ送る。例えば、Ｈが２８０ｃｍ、θが４５度であるときには、エアコンの同時確率が最も高くなるため、機器照合部５１ｂは、エアコンを制御する機器として選定する。一方、同時確率が所定値以上となる機器が見つからなかった場合、使用者Ｐにより機器が選定されなかったとみなし、再び音声照合部３ｄより開始信号を受け取るまで動作を停止する。また、機器照合部５１ｂは、音声照合部３ｄより初期化信号を受け取ると、選定した機器の情報をリセットして、いずれの機器も選定していない状態へ移行する。
【００８４】
以上により本実施形態の音声操作装置１１は構成されており、次に図８に示すフローチャートを用いて本実施形態の音声操作装置１１の動作について説明する。
【００８５】
音声操作装置１１が動作を開始すると、まず、ステップＳ２０において、上述したように動作検出部４１によって使用者Ｐの視線の検出が行われ、これにより視線を示すパラメータＨ，θが得られるとステップＳ２１へ進み、パラメータＨ，θが得られなければ、パラメータＨ，θが得られるまでステップＳ２０でループする。次のステップＳ２１では、音声検出部２により使用者Ｐの音声の検出を行い、この検出した音声に基づく電気信号が所定の閾値を越える場合は、音声を検出したとして、音声照合部３ｄから機器照合部５１ｂに開始信号が送られて次のステップＳ２２へ進み、所定時間以内に前記所定の閾値を越える電気信号が得られなかった場合は、音声を検出しなかったとみなして、ステップＳ２０に戻る。
【００８６】
ステップＳ２２では、ステップＳ２０で得たパラメータＨ，θに基づいて機器毎に同時確率を計算し、該同時確率が所定値以上となる機器があれば、ステップＳ２３へ移行し、前記同時確率が所定値以上となる機器がなければ、ステップＳ２０へと戻る。そしてステップＳ２３では、上記の機器の中から同時確率が最も高い機器を選び、該機器の情報をキーワード選択部３ｃへ送る。ステップＳ２４では、キーワード選択部３ｃが、キーワード格納部３ｂに格納されているキーワード群の中から、機器選定部５１により選定された機器のコマンドに対応するキーワードを選択して、音声照合部３ｄへ選択結果を出力する。
【００８７】
そして、ステップＳ２５では、音声照合部３ｄにより、音声検出部２で検出した音声内容と、キーワード選択部３ｃにより選ばれたキーワード群とのマッチングが行われ、音声内容に対する尤度が所定値以上となるキーワードがあれば、これらのキーワードの中から前記尤度が最も高いキーワードを探索し、探索したキーワードを音声操作部６へ出力して、ステップＳ２６へ進む。一方、音声照合部３ｄにおけるマッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つからなければ、音声照合部３ｄは、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、機器照合部５１ｂに選定した機器の情報をリセットする初期化信号を送り、ステップＳ２０へと戻る。
【００８８】
ステップＳ２６では、音声操作部６が受け取ったキーワードに対応するコマンドに基づいて、報知部７の出力制御部７ａにスピーカ７ｂを動作させるための出力信号を送り、報知部７のスピーカ７ｂから、音声照合部３ｄで認識したキーワードに対応するコマンドの制御内容を報せる音声を出力させて、使用者Ｐに音声操作が行われたことを報せる。
【００８９】
次のステップＳ２７では、音声操作部６が、ステップＳ２４で得たキーワードに対応するコマンドで指定された機器に、該コマンドで指定された制御内容を赤外線等の無線通信手段等を用いて送信し、これにより音声認識部３からの音声内容にしたがって機器選定部５１により選定された機器が遠隔制御されて、音声操作装置１１の動作が終了する。
【００９０】
以上述べた本実施形態の音声操作装置１１によれば、使用者Ｐの視線を検出する動作検出部４１と、動作検出部４１で検出した顔の向きに基づいて音声操作用の機器８の中から制御する機器を選定する機器選定部５１とを備えているので、同一空間内に複数の音声操作用の機器が設置されている場合でも、使用者Ｐの視線によって音声操作装置１１で制御する機器を選定でき、これにより従来とは異なり機器名とともに機器制御用のキーワードを発音する必要がなくなって音声認識しなければならない文等を短くできるとともに、音声認識に用いるネットワーク文法や単語の語彙数を予め絞り込むことができ、その結果、複数の機器を音声認識により制御する場合でも音声認識の認識率を向上できるという効果を奏する。
【００９１】
加えて、使用者Ｐの視線によって選定した機器のみが音声操作装置１１の制御対象となるから、例えば日常会話に含まれる単語や文によって使用者Ｐの意に反して機器が動作したりすることがなくなり、機器の誤動作を防止できるという効果を奏する。さらに、機器の選定を使用者Ｐがその機器を見るだけで行えるから、例えばコントロールキーやタッチパネル等の手動入力装置等を用いる場合に比べて、機器の選定を非常に容易に行え、これにより音声操作装置１１の使い勝手を向上できるという効果を奏する。
【００９２】
尚、使用者Ｐの視線の検出方法としては、上記の例に限られるものではなく、２組の赤外発光ダイオードを眼球の角膜に照射し、その反射光を観測することによって行っていもよいし、上記実施形態２と同様に複数の視線のモデル画像を用意しておき、これらの画像とのマッチングによって行うようにしてもよい。
【００９３】
また尚、本実施形態では、動作検出部により使用者Ｐの視線を検出しているが、動作検出部により検出する使用者Ｐの動作としては、上記実施形態１で述べた使用者の手の動作や、上記実施形態２で述べた使用者の頭部の動作の他に、使用者の脳波を検出対象とてして採用するようにしてもよい。この点は、後述する実施形態４，５においても同様である。
【００９４】
（実施形態４）
本実施形態の音声操作装置１２は、上記実施形態３と同様に使用者Ｐの視線を検出することによって制御する機器の選定を行うものであるが、機器の制御が行われた際の使用者の視線情報を各機器毎に履歴情報として格納し、該履歴情報に基づいて対応する機器の位置情報を学習する学習部９を備えていることに特徴がある。尚、以下の説明では、説明の簡略化のために上記実施形態１〜３と同様の構成については同一の符号を付して説明を省略している。
【００９５】
すなわち、本実施形態の音声操作装置１２は、上記実施形態３と同様に図３（ａ），（ｂ）に示すように、部屋Ｒに設置される音声操作用の機器８（エアコン８ａ、テレビ８ｂ、ビデオ８ｃ，照明８ｄ）を、ベッドＢで寝ている使用者Ｐが、自身の発する音声によって遠隔制御するために用いられるものであり、図１１に示すように、ベッドＢで寝ている使用者Ｐの近傍に設置される装置本体１２ａと、ベッドＢに設けられて使用者Ｐの頭部位置の検出に用いられるセンサ１１ｂとを有し、装置本体１２ａには、音声検出部２と、音声検出部２により検出した音声内容の認識を行う音声認識部３と、使用者Ｐの視線を検出する動作検出部４１と、動作検出部４１の検出結果に基づいてエアコン８ａ、テレビ８ｂ、ビデオ８ｃ、及び照明８ｄの中から制御する機器を選定する機器選定部５１と、音声認識部３からの音声内容にしたがって機器選定部５１により選定された機器を遠隔制御する音声操作部６と、使用者Ｐに機器の操作が行われたことを知らせる報知部７と、機器の制御が行われた際の使用者の視線情報を各機器毎に履歴情報として格納し、該履歴情報に基づいて対応する機器の位置情報を更新する学習部９とが収納されている。
【００９６】
ここにおいて、音声認識部３は、上記実施形態３と同様に音声検出部２により検出した音声内容の認識を行うものであり、音響モデル格納部３ａと、キーワード格納部３ｂと、キーワード選択部３ｃと、音声照合部３ｄとを備えているが、本実施形態における音声照合部３ｄは、マッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つからなかった場合、音声検出部２で検出した音声は、使用者Ｐが機器を制御することを目的として発した音声ではなかったとみなし、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、後述する学習部９の学習処理部９ｂと機器選定部５１の機器位置格納部５１ａとを経由して機器選定部５１の機器照合部５１ｂに選定した機器の情報をリセットする初期化信号を送るようになっている。
【００９７】
また、音声照合部３ｄは、音声検出部２で検出した音声に基づく電気信号が所定の閾値（例えば、高精度なマッチングを行える程度の値）を越えるものである場合のみ、学習部９の学習処理部９ｂと機器選定部５１の機器位置格納部５１ａとを経由して機器選定部５１の機器照合部５１ｂに開始信号を送り、機器の選定を開始させるようになっている。
【００９８】
さらに、本実施形態における音声照合部３ｄは、マッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つかった際に、該キーワードに対応する機器の情報を学習部９の学習処理部９ｂに送るようになっている。
【００９９】
動作検出部４１は、上記実施形態３と同様にビデオカメラ４１ａで撮像した使用者Ｐの画像に基づいて使用者Ｐの視線を検出するためのものであり、上記のビデオカメラ４１ａと、画像信号処理部４１ｂと、センサ１１ｂの出力に基づいて使用者Ｐの頭部位置を検出する位置検出部４１ｃと、使用者Ｐの視線が部屋Ｒ内のどの方向を向いているかを検出する視線検出部４１ｄとを備えているが、本実施形態における視線検出部４１ｄは、使用者Ｐの視線が部屋Ｒ内のどの方向を向いているかを示すパラメータＨ，θを機器選定部５１と学習部９の学習処理部９ｂとの両方に送るようになっている。
【０１００】
学習部９は、機器の制御が行われた際の使用者Ｐの視線情報が各機器毎に履歴情報として格納される履歴情報格納部９ａと、履歴情報格納部９ａに格納された履歴情報に基づいて機器位置格納部５１ａに格納されている機器８ａ〜８ｄの位置情報を更新する学習処理部９ｂとを備えている。
【０１０１】
履歴情報格納部９ａは、各機器８ａ〜８ｃの履歴情報を格納するための記憶部であり、ここで履歴情報とは、実際に制御が行われた機器と、そのときのパラメータＨ，θの値とからなる。
【０１０２】
学習処理部９ｂは、履歴蓄積機能と、位置情報更新機能と、初期設定機能とを有している。履歴蓄積機能は、音声照合部３ｄから送られてくる機器の情報と、視線検出部４１ｄから送られてくるパラメータＨ，θの値とをそれぞれ関係付けて、履歴情報格納部９ａに格納する機能であり、これにより機器の操作が行われる度に履歴情報格納部９ａに履歴情報が蓄積される。
【０１０３】
位置情報更新機能は、履歴情報格納部９ａに格納された各機器の履歴情報に基づいて、パラメータＨ，θに対する各機器の確率分布を求め、このようにして得られた確率分布を機器位置格納部５１ａに格納する機能であり、これにより使用者Ｐに合わせた機器の位置情報を得ることができる。本実施形態において、位置情報の更新は、前回の位置情報の更新からどの程度履歴情報が蓄積されたかを調べ、蓄積回数が規定回数（例えば１００回等）を越えていれば、位置情報の更新を行うようにしている。尚、上記の規定回数は、使用者Ｐが任意に変更可能としてもよい。また尚、このような位置情報の変更は、機器の操作が行われる毎に行うようにしてもよいし、蓄積された履歴情報の総数が記定数を越える毎に（例えば、１００、２００、３００…等）行うようにしてもよいし、使用者Ｐが位置情報の更新を行いたいときに位置情報の更新を行うことができるようにしてもよい。
【０１０４】
初期設定機能は、履歴情報の蓄積が十分でなく、実用的な確率分布が得られない場合に、暫定的に機器位置格納部５１ａに位置情報を与える機能であり、例えば、機器の操作が１００回行われるまでは（或いは、使用者Ｐが初期設定機能の終了を選択するまでは）、上記実施形態３の表２に示すような位置情報を機器位置格納部５１ａに与えるといったものである。
【０１０５】
以上により本実施形態の音声操作装置１２は構成されており、次に図１２に示すフローチャートを用いて本実施形態の音声操作装置１２の動作について説明する。
【０１０６】
音声操作装置１２が動作を開始すると、まず、ステップＳ３０において、上述したように動作検出部４１によって使用者Ｐの視線の検出が行われ、これにより視線を示すパラメータＨ，θが得られるとステップＳ３１へ進み、パラメータＨ，θが得られなければ、パラメータＨ，θが得られるまでステップＳ３０でループする。次のステップＳ３１では、音声検出部２により使用者Ｐの音声の検出を行い、この検出した音声に基づく電気信号が所定の閾値を越える場合は、音声を検出したとして、音声照合部３ｄから機器照合部５１ｂに開始信号が送られて次のステップＳ３２へ進み、所定時間以内に前記所定の閾値を越える電気信号が得られなかった場合は、音声を検出しなかったとみなして、ステップＳ３０に戻る。
【０１０７】
ステップＳ３２では、ステップＳ３０で得たパラメータＨ，θに基づいて機器毎に同時確率を計算し、該同時確率が所定値以上となる機器があれば、ステップＳ３３へ移行し、前記同時確率が所定値以上となる機器がなければ、ステップＳ３０へと戻る。そしてステップＳ３３では、上記の機器の中から同時確率が最も高い機器を選び、該機器の情報をキーワード選択部３ｃへ送る。ステップＳ３４では、キーワード選択部３ｃが、キーワード格納部３ｂに格納されているキーワード群の中から、機器選定部５１により選定された機器のコマンドに対応するキーワードを選択して、音声照合部３ｄへ選択結果を出力する。
【０１０８】
そして、ステップＳ３５では、音声照合部３ｄにより、音声検出部２で検出した音声と、キーワード選択部３ｃにより選ばれたキーワード群とのマッチングが行われ、音声内容に対する尤度が所定値以上となるキーワードがあれば、これらのキーワードの中から前記尤度が最も高いキーワードを探索し、探索したキーワードを音声操作部６へ出力して、ステップＳ３６へ進む。一方、音声照合部３ｄにおけるマッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つからなければ、音声照合部３ｄは、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、機器照合部５１ｂに選定した機器の情報をリセットする初期化信号を送り、ステップＳ３０へと戻る。
【０１０９】
ステップＳ３６では、音声操作部６が受け取ったキーワードに対応するコマンドに基づいて、報知部７の出力制御部７ａにスピーカ７ｂを動作させるための出力信号を送り、報知部７のスピーカ７ｂから、音声照合部３ｄで認識したキーワードに対応するコマンドの制御内容を報せる音声を出力させて、使用者Ｐに音声操作が行われたことを報せる。
【０１１０】
次のステップＳ３７では、音声操作部６が、ステップＳ３５で得たキーワードに対応するコマンドで指定された機器に、該コマンドで指定された制御内容を赤外線等の無線通信手段等を用いて送信し、これにより音声認識部３からの音声内容にしたがって機器選定部５１により選定された機器の遠隔制御が行われる。
【０１１１】
ステップＳ３８では、学習部９の学習処理部９ｂにより、音声照合部３ｄから送られてくる機器の情報と、視線検出部４１ｄから送られてくるパラメータＨ，θの値とをそれぞれ関係付けて、履歴情報格納部９ａに格納することで、履歴情報の蓄積を行う。
【０１１２】
ステップＳ３９では、前回の位置情報の更新からどの程度履歴情報が蓄積されたかを調べ、蓄積回数が規定回数を越えていれば、ステップＳ４０へ進み、履歴情報の蓄積回数が規定回数以下であれば、音声操作装置１２の動作が終了する。
【０１１３】
ステップＳ４０では、学習部９の履歴情報格納部９ａに格納された各機器の履歴情報に基づいて、学習処理部９ｂがパラメータＨ，θに対する各機器の確率分布を求め、このようにして得られた確率分布を機器位置格納部５１ａに格納して位置情報の更新を行い、音声操作装置１２の動作が終了する。
【０１１４】
以上述べた本実施形態の音声操作装置１２によれば、上記実施形態３と同様の利点に加えて、操作された機器と、そのときのパラメータＨ，θの値とを履歴情報として蓄積し、蓄積された履歴情報からパラメータＨ，θに対する機器の確率分布を求め、このようにして得られた確率分布を機器の位置情報として機器位置格納部５１ａに格納する学習部９を備えているので、使用者Ｐのくせ等に合わせた機器の位置情報を得ることができ、これにより使用者Ｐの意図をより明確に機器の選定に反映させることが可能となって、音声操作装置１の使い勝手を向上できるという効果を奏する。
【０１１５】
尚、このような学習部９を上記の実施形態２の音声操作装置１０に設けるようにしてもよい。
【０１１６】
（実施形態５）
本実施形態の音声操作装置１３は、図１５に示すような部屋Ｒに設置される音声操作用の機器８０（エアコン８０ａ、テレビ８０ｂ、照明８０ｃ）を、ベッドＢで寝ている使用者Ｐが自身の発する音声によって遠隔制御するために用いられるものであり、ベッドＢで寝ている使用者Ｐの近傍に設置される親機１３ａと、エアコン８０ａ、テレビ８０ｂ、照明８０ｃに対してそれぞれ設置されるカメラ付き子機（以下、「子機」と略す）１３ｂ〜１３ｄとを備えている。尚、以下の説明では、説明の簡略化のために上記実施形態１〜４と同様の構成については同一の符号を付して説明を省略している。
【０１１７】
子機１３ｂ〜１３ｄは、例えば図１６（ａ）〜（ｃ）に示すような各々のビデオカメラ４３で撮像した使用者Ｐの画像に基づいて使用者Ｐの視線を検出するための動作検出部となるものであり、図１３に示すように、いずれも上記のビデオカメラ４３と、画像信号処理部４４と、視線検出部４５とを備えている。
【０１１８】
ビデオカメラ４３は、使用者Ｐの視線情報を検出するための画像情報入力装置であり、上記実施形態１のビデオカメラ４ａと同様に、ＣＣＤカメラ等の小型のものを用いている。
【０１１９】
画像信号処理部４４は、ビデオカメラ４３で得られた画像に基づいて使用者Ｐの視線を検出するための解析を行うものであり、このような解析は、上記実施形態３で述べた方法と同様の方法を用いることが可能である。そして、画像信号処理部４４は、使用者Ｐの両目を含む画像を視線検出部４１ｄへ出力する。
【０１２０】
視線検出部４５は、例えば、パターンマッチングによって使用者Ｐの視線を検出する動作検出部としての機能と、親機１３ａと赤外線等の無線通信を行うための通信機能とを有しているものであり、以下、この視線検出部４５における視線の検出方法について説明する。この視線検出部４５では、画像信号処理部４４で処理した画像から使用者Ｐの視線を検出するのであるが、視線検出部４５では、画像信号処理部４４から得られた使用者Ｐの画像における使用者Ｐの目の白目に対する黒目の位置と、予め登録されたモデル画像における白目に対する黒目の位置とのマッチングを行って、モデル画像に対する尤度を求め、このようにして得られた尤度を視線情報として親機１３ａの連系処理部４６に赤外線等の無線通信手段により送るのである。ここにおいて、予め登録されたモデル画像とは、例えば、エアコン８０ａに設置される子機１３ｂであれば、使用者Ｐがエアコン８０ａを見ているときの使用者Ｐの顔画像であり、テレビ８０ｂに設置される子機１３ｃであれば、使用者Ｐがテレビ８０ｂを見ているときの使用者Ｐの顔画像であり、照明８０ｃに設置される子機１３ｄであれば、使用者Ｐが照明８０ｃを見ているときの使用者Ｐの顔画像である。
【０１２１】
一方、親機１３ａは、図１３に示すように、音声検出部２と、音声検出部２により検出した音声内容の認識を行う音声認識部３と、子機１３ｂ〜１３ｄにより与えられる尤度に基づいてエアコン８０ａ、テレビ８０ｂ、及び照明８０ｃの中から制御する機器を選定する連系処理部４６と、音声認識部３からの音声内容にしたがって連系処理部４６により選定された機器を遠隔制御する音声操作部６と、使用者Ｐに機器の操作が行われたことを知らせる報知部７とを備えている。
【０１２２】
ここにおいて、音声認識部３は、上記実施形態１と同様に音声検出部２により検出した音声内容の認識を行うものであり、音響モデル格納部３ａと、キーワード格納部３ｂと、キーワード選択部３ｃと、音声照合部３ｄとを備えているが、本実施形態における音声照合部３ｄは、マッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つからなかった場合、音声検出部２で検出した音声は、使用者Ｐが機器を制御することを目的として発した音声ではなかったとみなして、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、音声操作部６を経由して連系処理部４６に選定した機器の情報をリセットする初期化信号を送るようになっている。また、音声照合部３ｄは、音声検出部２で検出した音声に基づく電気信号が所定の閾値（例えば、高精度なマッチングを行える程度の値）を越えるものである場合のみ、音声操作部６を経由して連系処理部４６に開始信号を送り、機器の選定を開始させるようになっている。
【０１２３】
連系処理部４６は、各ビデオカメラ１３ｂ〜１３ｄから送られてくる各モデル画像に対する尤度に基づいて制御する機器を選定する、つまりは、使用者Ｐが操作を意図している機器の絞り込みを行う機器選定部としての機能と、子機１３ｂ〜１３ｄと赤外線等による無線通信を行うための通信機能とを有しているものである。そして、この連系処理部４６は、音声照合部３ｄより開始信号を受け取ると動作を開始し、各ビデオカメラ１３ｂ〜１３ｄにおけるモデル画像に対する尤度を比較し、モデル画像に対する尤度が最も高いビデオカメラに対応する機器を選ぶ。例えば、図１５に示すように、使用者Ｐの視線Ｅが照明８０ｃを見ている場合、照明８０ｃに設置された子機１３ｄにおけるビデオカメラ４３の画像（図１６（ｃ）参照）が、モデル画像に対する尤度が最も高い画像となるから、連系処理部４６は、制御する機器として照明８０ｃを選択するのである。
【０１２４】
そして、連系処理部４６は、この選定結果を上述した音声認識部３のキーワード選択部３ｃへ送るのである。但し、ビデオカメラ１３ｂ〜１３ｄにおけるモデル画像に対する尤度がいずれも予め設定された所定値を越えない場合、使用者Ｐにより機器が選定されなかったとみなしてキーワード選択部３ｃに選択結果を送らず、再び音声照合部３ｄより開始信号を受け取るまで動作を停止する。また、連系処理部４６は、音声照合部３ｄより初期化信号を受け取ると、選定した機器の情報をリセットして、いずれの機器も選定していない状態へ移行する。
【０１２５】
以上により本実施形態の音声操作装置１３は構成されており、次に図１４に示すフローチャートを用いて本実施形態の音声操作装置１３の動作について説明する。
【０１２６】
音声操作装置１３が動作を開始すると、まず、ステップＳ５０において、上述したように各子機１３ｂ〜１３ｄにおいて、各々のビデオカメラ４３で得られた画像に基づいて、各々の尤度を求め、各子機１３ｂ〜１３ｄから親機１３ａの連系処理部４６へ送る。次のステップＳ５１では、音声検出部２により使用者Ｐの音声の検出を行い、この検出した音声に基づく電気信号が所定の閾値を越える場合は、音声を検出したとして、音声照合部３ｄから連系処理部４６に開始信号が送られて次のステップＳ５２へ進み、所定時間以内に前記所定の閾値を越える電気信号が得られなかった場合は、音声を検出しなかったとみなして、ステップＳ５０に戻る。
【０１２７】
ステップＳ５２では、各子機１３ｂ〜１３ｄから得たモデル画像に対する尤度が予め設定された所定値以上であるか否かが判定され、前記尤度が所定値以上となる子機があれば、ステップＳ５３へ移行し、前記尤度が所定値以上となる子機がなければ、ステップＳ５０へと戻る。そしてステップＳ５３では、上記の子機１３ｂ〜１３ｄの中から前記尤度が最も高い子機を選び、該子機に対応する機器の情報をキーワード選択部３ｃへ送る。
【０１２８】
ステップＳ５４では、キーワード選択部３ｃがキーワード格納部３ｂに格納されているキーワードの中から連系処理部４６により選定された機器のコマンドに対応するキーワードを選択し、この選択結果を音声照合部３ｄへ出力する。
【０１２９】
そして、次のステップＳ５５では、音声照合部３ｄによって音声検出部２で検出した音声とキーワード選択部３ｃにより選ばれたキーワード群とのマッチングが行われ、音声内容に対する尤度が所定値以上となるキーワードがあれば、これらのキーワードの中から音声内容に対する尤度が最も高いキーワードを探索し、この結果を音声操作部６へ出力してステップＳ５６へ進む。一方、音声照合部３ｄにおけるマッチングの結果、音声内容に対する尤度が所定値以上となるキーワードが見つからなければ、音声照合部３ｄは、キーワード選択部３ｃから得たキーワード情報をリセットするとともに、連系処理部４６に選定した機器の情報をリセットする初期化信号を送り、ステップＳ５０へと戻る。
【０１３０】
ステップＳ５６では、音声操作部６が受け取ったキーワードに対応するコマンドに基づいて、報知部７の出力制御部７ａにスピーカ７ｂを動作させるための出力信号を送り、報知部７のスピーカ７ｂから、ステップＳ５４で得たキーワードに対応するコマンドの制御内容を報せる音声を出力させて、使用者Ｐに音声操作が行われたことを報せる。
【０１３１】
次のステップＳ５７では、音声操作部６が、ステップＳ５４で得たキーワードに対応するコマンドで指定された機器に、該コマンドで指定された制御内容を赤外線等の無線通信手段等を用いて送信し、これにより音声認識部３からの音声内容にしたがって連系処理部４６により選定された機器が遠隔制御されて、音声操作装置１３の動作が終了する。
【０１３２】
以上述べた本実施形態の音声操作装置１３によれば、上記実施形態３と同様の利点に加えて、各機器毎に設置された子機１３ｂ〜１３ｄのビデオカメラ４４で撮像した使用者Ｐの画像に基づいて使用者Ｐの視線が機器にどの程度向けられているかを尤度を用いて定量的に算出し、尤度が最も高い機器を制御する機器として選定するようにしているから、上記実施形態３とは異なり、確率分布等の機器情報が不要になるという利点がある。
【図面の簡単な説明】
【０１３３】
【図１】実施形態１の音声操作装置の構成図である。
【図２】実施形態１の音声操作装置のフローチャートである。
【図３】（ａ）は、音声操作装置が設置される部屋を左方から見た概略説明図であり、（ｂ）は、同上の部屋を上方から見た概略説明図である。
【図４】ネットワーク文法の一例を示す説明図である。
【図５】実施形態２の音声操作装置の構成図である。
【図６】実施形態２の音声操作装置のフローチャートである。
【図７】実施形態３の音声操作装置の構成図である。
【図８】実施形態３の音声操作装置のフローチャートである。
【図９】ビデオカメラで得られる画像の概略説明図である。
【図１０】（ａ）は、パラメ−タＨに対する各機器の確率分布を示すグラフであり、（ｂ）は、パラメータθに対する各機器の確率分布を示すグラフである。
【図１１】実施形態４の音声操作装置の構成図である。
【図１２】実施形態４の音声操作装置のフローチャートである。
【図１３】実施形態５の音声操作装置の構成図である。
【図１４】実施形態５の音声操作装置のフローチャートである。
【図１５】実施形態５の音声操作装置が設置される部屋を左方から見た概略説明図である。
【図１６】（ａ）は、エアコンに設置された子機で得られる画像の概略説明図であり、（ｂ）は、テレビに設置された子機で得られる画像の概略説明図であり、（ｃ）は、照明に設置された子機で得られる画像の概略説明図である。
【符号の説明】
【０１３４】
１    音声操作装置
２    音声検出部
３    音声認識部
４    動作検出部
５    機器選定部
６    音声操作部
７    報知部
８    機器
【図１】
2007121576.tif 000005
【図２】
2007121576.tif 000006
【図３】
2007121576.tif 000007
【図４】
2007121576.tif 000008
【図５】
2007121576.tif 000009
【図６】
2007121576.tif 000010
【図７】
2007121576.tif 000011
【図８】
2007121576.tif 000012
【図９】
2007121576.tif 000013
【図１０】
2007121576.tif 000014
【図１１】
2007121576.tif 000015
【図１２】
2007121576.tif 000016
【図１３】
2007121576.tif 000017
【図１４】
2007121576.tif 000018
【図１５】
2007121576.tif 000019
【図１６】
2007121576.tif 000020