(57)【要約】【課題】使い勝手がよく、機器を詳細に操作するのに好適な機器操作システムを提供する。【解決手段】テレビ操作装置１００は、利用者の各状態ごとに機器操作情報を記憶する機器制御ＤＢ１１６と、利用者の状態を推定する状態推定装置１１４と、状態推定装置１１４の推定結果および機器制御ＤＢ１１６の機器操作情報に基づいてテレビ２００を操作する機器制御装置１１８とを備える。機器制御装置１１８は、状態推定装置１１４で推定した状態と同一の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかから読み出し、読み出した機器操作情報に基づいてテレビ２００を操作する。【選択図】　図１
2004064433.tif 000002
【特許請求の範囲】
【請求項１】
利用者の状態に基づいて機器を操作するシステムであって、
前記利用者の状態について異なる複数の状態を規定したときの各状態ごとに前記機器を操作するための機器操作情報を記憶する機器操作情報記憶手段と、前記利用者の状態を推定する状態推定手段と、前記状態推定手段の推定結果及び前記機器操作情報記憶手段の機器操作情報に基づいて前記機器を操作する機器操作手段とを備えることを特徴とする機器操作システム。
【請求項２】
請求項１において、
前記機器操作手段は、前記状態推定手段で推定した状態と同一又は関連の状態に対応する機器操作情報を前記機器操作情報記憶手段のなかから読み出し、読み出した機器操作情報に基づいて前記機器を操作するようになっていることを特徴とする機器操作システム。
【請求項３】
請求項１及び２のいずれかにおいて、
さらに、前記利用者の画像を入力する画像入力手段を備え、
前記状態推定手段は、前記画像入力手段で入力した画像に基づいて前記利用者の状態を推定するようになっていることを特徴とする機器操作システム。
【請求項４】
請求項３において、
さらに、前記画像入力手段で入力した画像から当該画像の特徴を抽出する画像特徴抽出手段を備え、
前記状態推定手段は、前記画像特徴抽出手段で抽出した特徴に基づいて前記利用者の状態を推定するようになっていることを特徴とする機器操作システム。
【請求項５】
請求項１乃至４のいずれかにおいて、
さらに、前記利用者の音声を入力する音声入力手段を備え、
前記状態推定手段は、前記音声入力手段で入力した音声に基づいて前記利用者の状態を推定するようになっていることを特徴とする機器操作システム。
【請求項６】
請求項５において、
さらに、前記音声入力手段で入力した音声から当該音声の特徴を抽出する音声特徴抽出手段を備え、
前記状態推定手段は、前記音声特徴抽出手段で抽出した特徴に基づいて前記利用者の状態を推定するようになっていることを特徴とする機器操作システム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記表示装置の表示内容について前記利用者の印象が肯定的なものから否定的なものに変化した特定状態に対して、前記表示装置が表示する動画情報を切り替えるべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする機器操作システム。
【請求項８】
請求項１乃至６のいずれかにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記利用者の行動が前記表示装置の視聴から会話に変化した特定状態に対して、前記表示装置の音量を小さくすべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする機器操作システム。
【請求項９】
請求項１乃至６のいずれかにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記利用者の行動が起きている状態から寝ている状態に変化した特定状態に対して、前記表示装置の音量を小さくすべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする機器操作システム。
【請求項１０】
請求項１乃至６のいずれかにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記利用者が特定者である特定状態に対して、前記表示装置が表示する動画情報を前記特定者の好みのものに切り替えるべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする機器操作システム。
【請求項１１】
請求項１乃至９のいずれかにおいて、
さらに、前記機器の操作結果に対する前記利用者の満足度を推定する満足度推定手段と、前記満足度推定手段の推定結果に基づいて前記機器操作情報記憶手段の記憶内容を更新する記憶内容更新手段とを備え、
前記機器操作情報記憶手段には、前記利用者の一の状態に対して複数の前記機器操作情報が優先順位を伴って対応付けられており、
前記記憶内容更新手段は、前記満足度推定手段の推定結果に基づいて前記機器操作情報の優先順位を変更するようになっていることを特徴とする機器操作システム。
【請求項１２】
利用者の状態に基づいて機器を操作するプログラムであって、
前記利用者の状態について異なる複数の状態を規定したときの各状態ごとに前記機器を操作するための機器操作情報を記憶する機器操作情報記憶手段を利用可能なコンピュータに対して、
前記利用者の状態を推定する状態推定手段、並びに前記状態推定手段の推定結果及び前記機器操作情報記憶手段の機器操作情報に基づいて前記機器を操作する機器操作手段として実現される処理を実行させるためのプログラムであることを特徴とする機器操作プログラム。
【請求項１３】
請求項１２において、
前記機器操作手段は、前記状態推定手段で推定した状態と同一又は関連の状態に対応する機器操作情報を前記機器操作情報記憶手段のなかから読み出し、読み出した機器操作情報に基づいて前記機器を操作するようになっていることを特徴とする機器操作プログラム。
【請求項１４】
利用者の状態に基づいて機器を操作する方法であって、
前記利用者の状態について異なる複数の状態を規定したときの各状態ごとに前記機器を操作するための機器操作情報を機器操作情報記憶手段に記憶する機器操作情報記憶ステップと、前記利用者の状態を推定する状態推定ステップと、前記状態推定ステップの推定結果及び前記機器操作情報記憶手段の機器操作情報に基づいて前記機器を操作する機器操作ステップとを含むことを特徴とする機器操作方法。
【請求項１５】
請求項１４において、
前記機器操作ステップは、前記状態推定ステップで推定した状態と同一又は関連の状態に対応する機器操作情報を前記機器操作情報記憶手段のなかから読み出し、読み出した機器操作情報に基づいて前記機器を操作することを特徴とする機器操作方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、利用者の状態に基づいて機器を操作するシステムおよびプログラム、並びに方法に係り、特に、使い勝手がよく、機器を詳細に操作するのに好適な機器操作システムおよび機器操作プログラム、並びに機器操作方法に関する。
【０００２】
【従来の技術】
従来、利用者の状態に基づいて機器の動作を制御する技術としては、例えば、特開平７−９３７００号公報に開示された運転者状態監視装置（以下、第１の従来例という。）および特開平１１−８６００５号公報に開示された動作検出装置（以下、第２の従来例という。）があった。
【０００３】
第１の従来例では、まず、撮像部が撮像した運転者の顔画像が撮像画像メモリに蓄積される。この顔画像は、エッジ検出回路によってエッジが検出され、この検出された顔画像（以下、エッジ画像という。）はエッジ画像メモリに蓄積され、テンプレートマッチング部はこのエッジ画像からまぶたおよび瞳の位置を検出する。次に、制御・演算部は、このまぶたおよび瞳の位置から検出したまばたき動作と眼球動作および信号入力部から受けた自動車の走行状態から運転者に対して運転者に向けて警告を発するべきと判断した場合には、スピーカより警告を発する。
【０００４】
これにより、自動車の運転者の顔画像をカメラで撮像し、まばたき動作等を自動認識することによって、運転者の状態を監視して運転者の居眠り等による交通事故を警報を発することで防止する。
第２の従来例では、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）カメラが運転者の顔面を撮像する。全体制御部は、照明発光制御部の制御によって運転者を正面から照明する第１照明と斜め方向から照明する第２照明が個別に照明を行なったときの顔面画像をＡ／Ｄ変換器でＡ／Ｄ変換させる。瞳孔抽出部は画像メモリから顔面画像を入力し両画像の差分演算を行ない、二値化処理によって濃度の高い領域を検出する。各領域について面積と円形検出によって瞳孔領域を検出する。うなずき検知部は、瞳孔の重心の変位を検出し、所定時間内の往復変位でうなずきを検知する。ナビゲーション表示制御部は全体制御部を介して情報開始操作スイッチが操作されたことを検知し、うなずきによって確認された情報ナビ情報データベースから読み出しナビ表示部に表示するとともに、表示を終了させる。
【０００５】
これにより、首振りを確実に検出することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、第１の従来例にあっては、運転者の居眠り状態を検出し、その検出結果に基づいて警告を発する構成となっているため、あくまで運転者を監視するものであり、運転者の動作が機器の操作に反映されるわけではない。
また、第２の従来例にあっては、運転者のうなずき動作を検出し、その検出結果に基づいて情報開始操作スイッチを操作する構成となっているため、運転者の特定状態がナビ表示部による表示といった特定操作に反映されるだけであり、運転者の動作によって機器を詳細に操作することはできない。例えば、運転者の動作によって機器の電源を遮断するとか、機器の表示精度を変更するとかいったことまではできない。また、仮に複数の動作を規定し、それら動作と複数の操作を対応付けて機器を詳細に操作することを実現しようとした場合、利用者は、機器を詳細に操作するために複数の動作を覚えなければならず、これでは、使いこなすのが容易ではない。したがって、使い勝手を向上する観点からは、操作のための動作を利用者が覚えることを極力少なくすることが望ましく、そのためには、利用者が所定の動作をして機器の操作を行うという能動的な仕組みよりは、利用者の動作を検証してその検証結果に基づいて機器の操作を行うという受動的な仕組みの方が好ましい。
【０００７】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、使い勝手がよく、機器を詳細に操作するのに好適な機器操作システムおよび機器操作プログラム、並びに機器操作方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
〔発明１〕
上記目的を達成するために、発明１の機器操作システムは、
利用者の状態に基づいて機器を操作するシステムであって、
前記利用者の状態について異なる複数の状態を規定したときの各状態ごとに前記機器を操作するための機器操作情報を記憶する機器操作情報記憶手段と、前記利用者の状態を推定する状態推定手段と、前記状態推定手段の推定結果および前記機器操作情報記憶手段の機器操作情報に基づいて前記機器を操作する機器操作手段とを備えることを特徴とする。
【０００９】
このような構成であれば、状態推定手段により、利用者の状態が推定され、機器操作手段により、状態推定手段の推定結果および機器操作情報記憶手段の機器操作情報に基づいて機器が操作される。また、機器操作情報記憶手段には、利用者の各状態ごとに機器操作情報が対応付けられているので、利用者の状態によっては多様な操作が行われる。
【００１０】
ここで、状態推定手段は、利用者の状態を推定するようになっていればどのような構成であってもよく、例えば、利用者の画像、音声、体温等の身体状況または周辺環境を検出する検出手段の検出内容に基づいて、利用者の状態を推定するようになっていてもよい。以下、発明１２の機器操作プログラムにおいて同じである。
【００１１】
また、機器操作情報記憶手段は、機器操作情報をあらゆる手段でかつあらゆる時期に記憶するものであり、機器操作情報をあらかじめ記憶してあるものであってもよいし、機器操作情報をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって機器操作情報を記憶するようになっていてもよい。以下、発明１２の機器操作プログラム、および発明１４の機器操作方法において同じである。
【００１２】
また、本システムは、単一の装置として実現するようにしてもよいし、複数の端末を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の端末のうちどの端末に属していてもよい。
〔発明２〕
さらに、発明２の機器操作システムは、発明１の機器操作システムにおいて、前記機器操作手段は、前記状態推定手段で推定した状態と同一または関連の状態に対応する機器操作情報を前記機器操作情報記憶手段のなかから読み出し、読み出した機器操作情報に基づいて前記機器を操作するようになっていることを特徴とする。
【００１３】
このような構成であれば、機器操作手段により、推定された状態と同一または関連の状態に対応する機器操作情報が機器操作情報記憶手段のなかから読み出され、読み出された機器操作情報に基づいて機器が操作される。
〔発明３〕
さらに、発明３の機器操作システムは、発明１および２のいずれかの機器操作システムにおいて、
さらに、前記利用者の画像を入力する画像入力手段を備え、
前記状態推定手段は、前記画像入力手段で入力した画像に基づいて前記利用者の状態を推定するようになっていることを特徴とする。
【００１４】
このような構成であれば、画像入力手段により、利用者の画像が入力され、状態推定手段により、入力された画像に基づいて利用者の状態が推定される。
〔発明４〕
さらに、発明４の機器操作システムは、発明３の機器操作システムにおいて、
さらに、前記画像入力手段で入力した画像から当該画像の特徴を抽出する画像特徴抽出手段を備え、
前記状態推定手段は、前記画像特徴抽出手段で抽出した特徴に基づいて前記利用者の状態を推定するようになっていることを特徴とする。
【００１５】
このような構成であれば、画像特徴抽出手段により、入力された画像からその画像の特徴が抽出され、状態推定手段により、抽出された特徴に基づいて利用者の状態が推定される。
〔発明５〕
さらに、発明５の機器操作システムは、発明１ないし４のいずれかの機器操作システムにおいて、
さらに、前記利用者の音声を入力する音声入力手段を備え、
前記状態推定手段は、前記音声入力手段で入力した音声に基づいて前記利用者の状態を推定するようになっていることを特徴とする。
【００１６】
このような構成であれば、音声入力手段により、利用者の音声が入力され、状態推定手段により、入力された音声に基づいて利用者の状態が推定される。
〔発明６〕
さらに、発明６の機器操作システムは、発明５の機器操作システムにおいて、
さらに、前記音声入力手段で入力した音声から当該音声の特徴を抽出する音声特徴抽出手段を備え、
前記状態推定手段は、前記音声特徴抽出手段で抽出した特徴に基づいて前記利用者の状態を推定するようになっていることを特徴とする。
【００１７】
このような構成であれば、音声特徴抽出手段により、入力された音声からその音声の特徴が抽出され、状態推定手段により、抽出された特徴に基づいて利用者の状態が推定される。
〔発明７〕
さらに、発明７の機器操作システムは、発明１ないし６のいずれかの機器操作システムにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記表示装置の表示内容について前記利用者の印象が肯定的なものから否定的なものに変化した特定状態に対して、前記表示装置が表示する動画情報を切り替えるべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする。
【００１８】
このような構成であれば、状態推定手段により、利用者の状態が、表示装置の表示内容について利用者の印象が肯定的なものから否定的なものに変化した特定状態であると推定されると、機器操作手段により、表示装置が表示する動画情報を切り替えるべきことを示す機器操作情報に基づいて表示装置が操作される。すなわち、表示装置の表示内容について利用者の印象が肯定的なものから否定的なものに変化すると、表示装置の表示内容が変更される。
〔発明８〕
さらに、発明８の機器操作システムは、発明１ないし６のいずれかの機器操作システムにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記利用者の行動が前記表示装置の視聴から会話に変化した特定状態に対して、前記表示装置の音量を小さくすべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする。
【００１９】
このような構成であれば、状態推定手段により、利用者の状態が、利用者の行動が表示装置の視聴から会話に変化した特定状態であると推定されると、機器操作手段により、表示装置の音量を小さくすべきことを示す機器操作情報に基づいて表示装置が操作される。すなわち、利用者の行動が表示装置の視聴から会話に変化すると、表示装置の音量が小さくなる。
〔発明９〕
さらに、発明９の機器操作システムは、発明１ないし６のいずれかの機器操作システムにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記利用者の行動が起きている状態から寝ている状態に変化した特定状態に対して、前記表示装置の音量を小さくすべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする。
【００２０】
このような構成であれば、状態推定手段により、利用者の状態が、利用者の行動が起きている状態から寝ている状態に変化した特定状態であると推定されると、機器操作手段により、表示装置の音量を小さくすべきことを示す機器操作情報に基づいて表示装置が操作される。すなわち、利用者の行動が起きている状態から寝ている状態に変化すると、表示装置の音量が小さくなる。
〔発明１０〕
さらに、発明１０の機器操作システムは、発明１ないし６のいずれかの機器操作システムにおいて、
前記機器は、動画情報を表示可能な表示装置であり、
前記機器操作情報記憶手段には、前記利用者が特定者である特定状態に対して、前記表示装置が表示する動画情報を前記特定者の好みのものに切り替えるべきことを示す機器操作情報が対応付けられており、
前記状態推定手段は、前記利用者の状態が前記特定状態であるかを推定するようになっていることを特徴とする。
【００２１】
このような構成であれば、状態推定手段により、利用者が特定者であると推定されると、機器操作手段により、表示装置の表示内容を特定者の好みのものに切り替えるべきことを示す機器操作情報に基づいて表示装置が操作される。すなわち、利用者が特定者であると、表示装置の表示内容が特定者の好みのものに切り替わる。
なお、これら発明７，８，９，１０における「動画情報を表示可能な表示装置」とは、動画情報を復号化して表示する装置のことであって、その表示方式としてブラウン管表示方式や液晶表示方式を用いた表示装置や、それら表示方式を用いた投射型の表示装置等を含む総称であり、例えば、テレビジョン受像器等が該当する。
【００２２】
また、これら発明７，８，９，１０における「動画情報」としては、例えば放送電波（衛星／地上波、アナログ／ディジタル波）やネットワークを介して配信されるビデオストリームや、ビデオテープ、光学ディスク、磁気ディスク等に蓄積されている情報等が該当する。
〔発明１１〕
さらに、発明１１の機器操作システムは、発明１ないし９のいずれかの機器操作システムにおいて、
さらに、前記機器の操作結果に対する前記利用者の満足度を推定する満足度推定手段と、前記満足度推定手段の推定結果に基づいて前記機器操作情報記憶手段の記憶内容を更新する記憶内容更新手段とを備え、
前記機器操作情報記憶手段には、前記利用者の一の状態に対して複数の前記機器操作情報が優先順位を伴って対応付けられており、
前記記憶内容更新手段は、前記満足度推定手段の推定結果に基づいて前記機器操作情報の優先順位を変更するようになっていることを特徴とする。
【００２３】
このような構成であれば、満足度推定手段により、機器の操作結果に対する利用者の満足度が推定され、記憶内容更新手段により、その推定結果に基づいて機器操作情報の優先順位が変更される。したがって、機器の操作を繰り返し行うことにより利用者の満足度に適合した操作内容となるように順次学習が行われていく。
〔発明１２〕
一方、上記目的を達成するために、発明１２の機器操作プログラムは、
利用者の状態に基づいて機器を操作するプログラムであって、
前記利用者の状態について異なる複数の状態を規定したときの各状態ごとに前記機器を操作するための機器操作情報を記憶する機器操作情報記憶手段を利用可能なコンピュータに対して、
前記利用者の状態を推定する状態推定手段、並びに前記状態推定手段の推定結果および前記機器操作情報記憶手段の機器操作情報に基づいて前記機器を操作する機器操作手段として実現される処理を実行させるためのプログラムであることを特徴とする。
【００２４】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の機器操作システムと同等の作用が得られる。
〔発明１３〕
さらに、発明１３の機器操作プログラムは、発明１２の機器操作プログラムにおいて、
前記機器操作手段は、前記状態推定手段で推定した状態と同一または関連の状態に対応する機器操作情報を前記機器操作情報記憶手段のなかから読み出し、読み出した機器操作情報に基づいて前記機器を操作するようになっていることを特徴とする。
【００２５】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明２の機器操作システムと同等の作用が得られる。
〔発明１４〕
一方、上記目的を達成するために、発明１４の機器操作方法は、
利用者の状態に基づいて機器を操作する方法であって、
前記利用者の状態について異なる複数の状態を規定したときの各状態ごとに前記機器を操作するための機器操作情報を機器操作情報記憶手段に記憶する機器操作情報記憶ステップと、前記利用者の状態を推定する状態推定ステップと、前記状態推定ステップの推定結果および前記機器操作情報記憶手段の機器操作情報に基づいて前記機器を操作する機器操作ステップとを含むことを特徴とする。
【００２６】
ここで、状態推定ステップは、利用者の状態を推定すればどのような方法であってもよく、例えば、利用者の画像、音声、体温等の身体状況または周辺環境を検出する検出手段の検出内容に基づいて利用者の状態を推定してもよい。
〔発明１５〕
さらに、発明１５の機器操作方法は、発明１４の機器操作方法において、
前記機器操作ステップは、前記状態推定ステップで推定した状態と同一または関連の状態に対応する機器操作情報を前記機器操作情報記憶手段のなかから読み出し、読み出した機器操作情報に基づいて前記機器を操作することを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図１および図２は、本発明に係る機器操作システムおよび機器操作プログラム、並びに機器操作方法の実施の形態を示す図である。
本実施の形態は、本発明に係る機器操作システムおよび機器操作プログラム、並びに機器操作方法を、図１に示すように、利用者の状態に基づいてテレビ２００を操作する場合について適用したものである。
【００２８】
まず、本発明を適用するテレビ操作装置１００の構成を図１を参照しながら説明する。図１は、テレビ操作装置１００の構成を示すブロック図である。
テレビ操作装置１００は、図１に示すように、利用者を挟んで相対して配置されたカメラ１０２と、カメラ１０２で撮影した利用者の画像を入力する画像入力装置１０４と、画像入力装置１０４で入力した画像から画像の特徴を抽出する画像特徴抽出装置１０６と、マイク１０８と、マイク１０８で取り込んだ利用者の音声を入力する音声入力装置１１０と、音声入力装置１１０で入力した音声から音声の特徴を抽出する音声特徴抽出装置１１２と、利用者の状態を推定する状態推定装置１１４と、テレビ２００を操作するための機器操作情報を記憶した機器制御データベース（以下、データベースのことを単にＤＢと略記する。）１１６と、テレビ２００を操作する機器制御装置１１８と、機器制御装置１１８の操作内容を示す操作信号を赤外線によりテレビ２００に向けて発信する赤外線発信装置１２０とで構成されている。テレビ操作装置１００は、例えば、テレビ２００のリモコンとして構成することができる。
【００２９】
画像入力装置１０４は、Ａ／Ｄ変換回路を有し、カメラ１０２で撮影した利用者の画像をＡ／Ｄ変換回路によりＡ／Ｄ変換し、Ａ／Ｄ変換して得られた画像データを画像特徴抽出装置１０６に出力するようになっている。
画像特徴抽出装置１０６は、画像入力装置１０４で入力した画像データに基づいて、画像中の人物を認識し、人物との距離、人物の特定部位（例えば、顔）または人物の動作等を特徴付ける部分を検出するようになっている。
【００３０】
音声入力装置１１０は、Ａ／Ｄ変換回路を有し、マイク１０８で取り込んだ利用者の音声をＡ／Ｄ変換回路によりＡ／Ｄ変換し、Ａ／Ｄ変換して得られた音声データを音声特徴抽出装置１１２に出力するようになっている。
音声特徴抽出装置１１２は、音声入力装置１１０で入力した音声データに基づいて、音声の大小、音声の歪み度合いまたは発声の抑揚等を特徴付ける部分を検出するようになっている。
【００３１】
状態推定装置１１４は、画像特徴抽出装置１０６で抽出した特徴および音声特徴抽出装置１１２で抽出した特徴に基づいて利用者の状態を推定するようになっている。例えば、利用者の状態が、テレビ２００の放映内容について利用者の印象が肯定的なものから否定的なものに変化した状態（以下、第１状態という。）であるかを推定する。また、利用者の状態が、利用者の行動がテレビ２００の視聴から会話に変化した状態（以下、第２状態という。）であるかを推定する。また、利用者の状態が、利用者の行動が起きている状態から寝ている状態に変化した状態（以下、第３状態という。）であるかを推定する。また、利用者が特定者である（以下、第４状態という。）かを推定する。なお、利用者の状態を推定する方法は、従来の技術を用いて行うことができる。例えば、利用者の感情を認識する方法としては、特開平５−１２０２３号公報に開示された感情認識装置が、利用者が第３状態であるかを推定する方法としては、第１の従来例をそれぞれ利用することができる。
【００３２】
機器制御ＤＢ１１６には、図２に示すように、利用者の状態について異なる複数の状態を規定したときの各状態ごとに機器操作情報が記憶されている。図２は、機器制御ＤＢ１１６のデータ構造を示す図である。
機器制御ＤＢ１１６には、図２に示すように、利用者の各状態ごとに１つのレコードが登録されている。各レコードは、利用者の状態を登録したフィールド３００と、機器の状態を登録したフィールド３０２と、機器の状態変更を登録したフィールド３０４とを含んで構成されている。ここで、フィールド３０４の登録情報が機器操作情報を構成している。
【００３３】
図２の例では、第１段目のレコードには、利用者の状態として「感情＝肯定的→感情＝否定的」が、機器の状態として「チャンネル＝ｃ」が、機器の状態変更として「チャンネル＝ｄ」がそれぞれ登録されている。これは、利用者の状態が第１状態であると推定し、かつテレビ２００のチャンネルがｃであるときは、テレビ２００のチャンネルをｄに変更することを意味している。
【００３４】
また、第２段目のレコードには、利用者の状態として「行動≠会話→行動＝会話」が、機器の状態として「音量＞ｖ１」が、機器の状態変更として「音量＝ｖ１」がそれぞれ登録されている。これは、利用者の状態が第２状態であると推定し、かつテレビ２００の音量がｖ１よりも大きいときは、テレビ２００の音量をｖ１に変更することを意味している。
【００３５】
また、第３段目のレコードには、利用者の状態として「行動＝起きている→行動＝眠っている」が、機器の状態として「音量＞ｖ２」が、機器の状態変更として「音量＝ｖ２」がそれぞれ登録されている。これは、利用者の状態が第３状態であると推定し、かつテレビ２００の音量がｖ２よりも大きいときは、テレビ２００の音量をｖ２に変更することを意味している。
【００３６】
機器制御装置１１８は、状態推定装置１１４で推定した状態と同一の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかから読み出し、読み出した機器操作情報に基づいてテレビ２００を操作するようになっている。具体的に、テレビ２００の操作は、読み出した機器操作情報により特定される操作内容を示す操作信号を赤外線発信装置１２０に出力することより行う。
【００３７】
次に、本実施の形態の動作を説明する。
利用者の状態が第１状態である場合には、カメラ１０２が利用者を挟んで相対して配置されているので、カメラ１０２により、利用者の画像が撮影され、画像入力装置１０４により、撮影された利用者の画像がＡ／Ｄ変換され、画像特徴抽出装置１０６により、Ａ／Ｄ変換して得られた画像データに基づいて画像の特徴が抽出される。また、マイク１０８により、利用者の音声が取り込まれ、音声入力装置１１０により、取り込まれた利用者の音声がＡ／Ｄ変換され、音声特徴抽出装置１１２により、Ａ／Ｄ変換して得られた音声データに基づいて音声の特徴が抽出される。
【００３８】
このように画像および音声の特徴が抽出されると、状態推定装置１１４により、抽出された画像および音声の特徴に基づいて利用者の状態が推定される。このとき、利用者の状態は第１状態であるので、利用者の状態が第１状態であると推定される可能性が高い。第１状態であると推定されると、機器制御装置１１８により、第１状態と同一の状態に対応する機器操作情報が機器制御ＤＢ１１６のなかから読み出され、読み出された機器操作情報により特定される操作内容を示す操作信号が赤外線発信装置１２０に出力される。図２の例では、機器制御ＤＢ１１６において第１状態には、チャンネルを変更すべきことを示す機器制御情報が対応付けられているので、チャンネルを変更すべきことを示す操作信号が出力される。そして、赤外線発信装置１２０により、入力された操作信号がテレビ２００に向けて赤外線により発信される。
【００３９】
テレビ２００では、チャンネルを変更すべきことを示す操作信号を受信すると、受信した操作信号に基づいてチャンネルが変更される。すなわち、利用者の状態が第１状態であると、テレビ２００のチャンネルが変更される可能性が高い。
次に、利用者の状態が第２状態である場合には、カメラ１０２、画像入力装置１０４、画像特徴抽出装置１０６、マイク１０８、音声入力装置１１０および音声特徴抽出装置１１２の動作については上記と同様の要領で行われる。次いで、状態推定装置１１４により、抽出された画像および音声の特徴に基づいて利用者の状態が推定される。このとき、利用者の状態は第２状態であるので、利用者の状態が第２状態であると推定される可能性が高い。第２状態であると推定されると、機器制御装置１１８により、第２状態と同一の状態に対応する機器操作情報が機器制御ＤＢ１１６のなかから読み出され、読み出された機器操作情報により特定される操作内容を示す操作信号が赤外線発信装置１２０に出力される。図２の例では、機器制御ＤＢ１１６において第２状態には、テレビ２００の音量をｖ１に変更すべきことを示す機器制御情報が対応付けられているので、テレビ２００の音量をｖ１に変更すべきことを示す操作信号が出力される。そして、赤外線発信装置１２０により、入力された操作信号がテレビ２００に向けて赤外線により発信される。
【００４０】
テレビ２００では、テレビ２００の音量をｖ１に変更すべきことを示す操作信号を受信すると、受信した操作信号に基づいてテレビ２００の音量がｖ１に変更される。すなわち、利用者の状態が第２状態であると、テレビ２００の音量がｖ１に変更される。ただし、テレビ２００の元々の音量がｖ１よりも大きい場合に限る。
【００４１】
次に、利用者の状態が第３状態である場合には、カメラ１０２、画像入力装置１０４、画像特徴抽出装置１０６、マイク１０８、音声入力装置１１０および音声特徴抽出装置１１２の動作については上記と同様の要領で行われる。次いで、状態推定装置１１４により、抽出された画像および音声の特徴に基づいて利用者の状態が推定される。このとき、利用者の状態は第３状態であるので、利用者の状態が第３状態であると推定される可能性が高い。第３状態であると推定されると、機器制御装置１１８により、第３状態と同一の状態に対応する機器操作情報が機器制御ＤＢ１１６のなかから読み出され、読み出された機器操作情報により特定される操作内容を示す操作信号が赤外線発信装置１２０に出力される。図２の例では、機器制御ＤＢ１１６において第３状態には、テレビ２００の音量をｖ２に変更すべきことを示す機器制御情報が対応付けられているので、テレビ２００の音量をｖ２に変更すべきことを示す操作信号が出力される。そして、赤外線発信装置１２０により、入力された操作信号がテレビ２００に向けて赤外線により発信される。
【００４２】
テレビ２００では、テレビ２００の音量をｖ２に変更すべきことを示す操作信号を受信すると、受信した操作信号に基づいてテレビ２００の音量がｖ２に変更される。すなわち、利用者の状態が第３状態であると、テレビ２００の音量がｖ２に変更される。ただし、テレビ２００の元々の音量がｖ２よりも大きい場合に限る。
【００４３】
次に、利用者の状態が第４状態である場合には、カメラ１０２、画像入力装置１０４、画像特徴抽出装置１０６、マイク１０８、音声入力装置１１０および音声特徴抽出装置１１２の動作については上記と同様の要領で行われる。次いで、状態推定装置１１４により、抽出された画像および音声の特徴に基づいて利用者の状態が推定される。このとき、利用者の状態は第４状態であるので、利用者の状態が第４状態であると推定される可能性が高い。第４状態であると推定されると、機器制御装置１１８により、第４状態と同一の状態に対応する機器操作情報が機器制御ＤＢ１１６のなかから読み出され、読み出された機器操作情報により特定される操作内容を示す操作信号が赤外線発信装置１２０に出力される。例えば、特定者の好みのチャンネルに変更すべきことを示す操作信号が出力される。そして、赤外線発信装置１２０により、入力された操作信号がテレビ２００に向けて赤外線により発信される。
【００４４】
テレビ２００では、チャンネルを変更すべきことを示す操作信号を受信すると、受信した操作信号に基づいてチャンネルが変更される。すなわち、利用者の状態が第４状態であると、テレビ２００のチャンネルが変更される可能性が高い。
このようにして、本実施の形態では、テレビ操作装置１００は、利用者の各状態ごとに機器操作情報を記憶する機器制御ＤＢ１１６と、利用者の状態を推定する状態推定装置１１４と、状態推定装置１１４の推定結果および機器制御ＤＢ１１６の機器操作情報に基づいてテレビ２００を操作する機器制御装置１１８とを備え、機器制御装置１１８は、状態推定装置１１４で推定した状態と同一の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかから読み出し、読み出した機器操作情報に基づいてテレビ２００を操作するようになっている。
【００４５】
これにより、利用者の状態を推定してその推定結果に基づいてテレビ２００が操作されるので、利用者にとってテレビ２００の操作が受動的となり、従来に比して、テレビ２００の操作が比較的容易となる。また、利用者の各状態ごとに機器操作情報が対応付けられているので、多様な操作を実現することができ、従来に比して、テレビ２００を比較的詳細に操作することができる。
【００４６】
さらに、本実施の形態では、機器制御ＤＢ１１６において第１状態には、テレビ２００のチャンネルを変更すべきことを示す機器操作情報が対応付けられており、状態推定装置１１４は、利用者の状態が第１状態であるかを推定するようになっている。
これにより、テレビ２００の放映内容について利用者の印象が肯定的なものから否定的なものに変化したと推定された場合は、テレビ２００のチャンネルが変更されるので、テレビ２００を視聴している利用者にとって比較的希望に添った操作内容となる。
【００４７】
さらに、本実施の形態では、機器制御ＤＢ１１６において第２状態には、テレビ２００の音量を小さくすべきことを示す機器操作情報が対応付けられており、状態推定装置１１４は、利用者の状態が第２状態であるかを推定するようになっている。
これにより、利用者の行動がテレビ２００の視聴から会話に変化したと推定された場合は、テレビ２００の音量が小さくなるので、テレビ２００を視聴している利用者にとってさらに希望に添った操作内容となる。
【００４８】
さらに、本実施の形態では、機器制御ＤＢ１１６おいて第３状態には、テレビ２００の音量を小さくすべきことを示す機器操作情報が対応付けられており、状態推定装置１１４は、利用者の状態が第３状態であるかを推定するようになっている。
これにより、利用者の行動が起きている状態から寝ている状態に変化したと推定された場合は、テレビ２００の音量が小さくなるので、テレビ２００を視聴している利用者にとってさらに希望に添った操作内容となる。
【００４９】
さらに、本実施の形態では、機器制御ＤＢ１１６おいて第４状態には、特定者の好みのチャンネルに変更すべきことを示す機器操作情報が対応付けられており、状態推定装置１１４は、利用者の状態が第４状態であるかを推定するようになっている。
これにより、利用者が特定者であると推定された場合は、テレビ２００のチャンネルが特定者の好みのチャンネルに変更されるので、テレビ２００を視聴している利用者にとってさらに希望に添った操作内容となる。
【００５０】
上記実施の形態において、画像入力装置１０４は、発明３または４の画像入力手段に対応し、画像特徴抽出装置１０６は、発明４の画像特徴抽出手段に対応し、音声入力装置１１０は、発明５または６の音声入力手段に対応し、音声特徴抽出装置１１２は、発明６の音声特徴抽出手段に対応している。また、状態推定装置１１４は、発明１ないし１０、１２または１３の状態推定手段に対応し、状態推定装置１１４による推定は、発明１４または１５の状態推定ステップに対応し、機器制御ＤＢ１１６は、発明１、２、７ないし１０、１２ないし１５の機器操作情報記憶手段に対応している。
【００５１】
また、上記実施の形態において、機器制御装置１１８は、発明１、２、１２または１３の機器操作手段に対応し、機器制御装置１１８による操作は、発明１４または１５の機器操作ステップに対応し、テレビ２００は、発明１、２、７ないし１０、１２ないし１５の機器に対応している。
なお、上記実施の形態においては、利用者の状態を推定してその推定結果に基づいてテレビ２００を操作するように構成したが、これに限らず、テレビ２００の操作結果に対する利用者の満足度をテレビ２００の操作内容に反映させるように構成してもよい。この場合、次のように構成することができる。
【００５２】
テレビ操作装置１００は、図示しないが、さらに、テレビ２００の操作結果に対する利用者の満足度を推定する満足度推定装置と、満足度推定装置の推定結果に基づいて機器制御ＤＢ１１６の記憶内容を更新する記憶内容更新装置とを有している。
機器制御ＤＢ１１６には、図３に示すように、利用者の一の状態に対して複数の機器操作情報が優先順位を伴って対応付けられている。図３は、機器制御ＤＢ１１６のデータ構造を示す図である。
【００５３】
機器制御ＤＢ１１６には、利用者の各状態ごとに複数のレコードが登録されている。図３は、利用者の一の状態に対して複数の機器操作情報が登録されている状態を例示している。各レコードは、適用するルールの番号を登録したフィールド３１０と、利用者の状態を登録したフィールド３１２と、機器の状態を登録したフィールド３１４と、機器の状態変更を登録したフィールド３１６と、ルールの適用度を登録したフィールド３１８とを含んで構成されている。
【００５４】
図３の例では、第１段目のレコードには、ルール番号として「１」が、利用者の状態として「行動≠会話→行動＝会話」が、機器の状態として「電源＝ｏｎ」が、機器の状態変更として「電源＝ｏｆｆ」が、適用度として「５０」がそれぞれ登録されている。これは、利用者の状態が第２状態であると推定し、かつテレビ２００の電源がｏｎであるときは、テレビ２００の電源をｏｆｆにすることを意味している。
【００５５】
また、第２段目のレコードには、ルール番号として「２」が、利用者の状態として「行動≠会話→行動＝会話」が、機器の状態として「音量＞ｖ１」が、機器の状態変更として「音量＝ｖ１」が、適用度として「５０」がそれぞれ登録されている。これは、利用者の状態が第２状態であると推定し、かつテレビ２００の音量がｖ１よりも大きいときは、テレビ２００の音量をｖ１に変更することを意味している。
【００５６】
ここで、利用者の状態および機器の状態が一致した場合に対応の操作が行われる点については上記実施の形態と同じであるが、この場合は、利用者が状態が同一の場合について複数のルールが存在する場合は、適用度が最も高いルールが適用される点が異なる。
満足度推定装置は、例えば、画像特徴抽出装置１０６で抽出した特徴および音声特徴抽出装置１１２で抽出した特徴に基づいて、テレビ２００の操作結果に対する利用者の満足度を推定するようになっている。例えば、利用者の状態が第１状態、第２状態または第３状態であると判定したときは、満足度が低いものと推定する。
【００５７】
記憶内容更新装置は、満足度推定装置の推定結果に基づいて機器操作情報の優先順位を変更するようになっている。具体的には、あるルールに基づいてテレビ２００を操作した結果、利用者の満足度が高いと推定された場合には、そのルールの適用度を増加させ、また、あるルールに基づいてテレビ２００を操作した結果、利用者の満足度が低いと推定された場合には、そのルールの適用度を減少させる。
【００５８】
したがって、テレビ２００の操作を繰り返し行うことにより利用者の満足度に適合した操作内容となるように順次学習が行われていくので、利用者の希望に添った操作内容になることが期待できる。
この場合において、満足度推定装置は、発明１１の満足度推定手段に対応し、記憶内容更新装置は、発明１１の記憶内容更新手段に対応し、機器制御ＤＢ１１６は、発明１１の機器操作情報記憶手段に対応している。
【００５９】
また、上記実施の形態においては、機器制御装置１１８は、状態推定装置１１４で推定した状態と同一の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかから読み出し、読み出した機器操作情報に基づいてテレビ２００を操作するように構成したが、これに限らず、例えば、状態推定装置１１４で推定した状態と同一の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかに存在しない場合には、状態推定装置１１４で推定した状態と関連の状態に対応する機器操作情報を機器制御ＤＢ１１６のなかから読み出し、読み出した機器操作情報に基づいてテレビ２００を操作するように構成することもよい。
【００６０】
また、上記実施の形態においては、本発明に係る機器操作システムおよび機器操作プログラム、並びに機器操作方法を、図１に示すように、利用者の状態に基づいてテレビ２００を操作する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。
例えば、パソコンに応用することができる。パソコンに応用する場合、利用者がパソコンの画面に近づいたら文字が小さすぎて読みにくいと判定して画面を拡大するようにパソコンを操作する。また、文字に注視して顔をしかめたり首を傾げたら辞書を検索するようにパソコンを操作する。
【００６１】
その他、テレビ２００以外の表示装置、例えば、液晶プロジェクターを利用して画像を投影する所謂ホームシアターのような表示システムにも、本発明は適用可能である。
【００６２】
【発明の効果】
以上説明したように、本発明に係る請求項１ないし１１記載の機器操作システムによれば、利用者の状態を推定してその推定結果に基づいて機器が操作されるので、利用者にとって機器の操作が受動的となり、従来に比して、機器の操作が比較的容易となるという効果が得られる。また、利用者の各状態ごとに機器操作情報が対応付けられているので、多様な操作を実現することができ、従来に比して、機器を比較的詳細に操作することができるという効果も得られる。
【００６３】
さらに、本発明に係る請求項３または４記載の機器操作システムによれば、利用者の画像に基づいて利用者の状態が推定されるので、利用者の状態を比較的正確に推定することができるという効果も得られる。
さらに、本発明に係る請求項４記載の機器操作システムによれば、利用者の画像の特徴部分に着目して利用者の状態が推定されるので、利用者の状態を効果的に推定することができるという効果も得られる。
【００６４】
さらに、本発明に係る請求項５または６記載の機器操作システムによれば、利用者の音声に基づいて利用者の状態が推定されるので、利用者の状態を比較的正確に推定することができるという効果も得られる。
さらに、本発明に係る請求項６記載の機器操作システムによれば、利用者の音声の特徴部分に着目して利用者の状態が推定されるので、利用者の状態を効果的に推定することができるという効果も得られる。
【００６５】
さらに、本発明に係る請求項７記載の機器操作システムによれば、動画情報を表示可能な表示装置の表示内容について利用者の印象が肯定的なものから否定的なものに変化したと推定された場合は、表示装置の表示内容が変更されるので、表示装置を視聴している利用者にとって比較的希望に添った操作内容となるという効果も得られる。
【００６６】
さらに、本発明に係る請求項８記載の機器操作システムによれば、利用者の行動が表示装置の視聴から会話に変化したと推定された場合は、表示装置の音量が小さくなるので、表示装置を視聴している利用者にとって比較的希望に添った操作内容となるという効果も得られる。
さらに、本発明に係る請求項９記載の機器操作システムによれば、利用者の行動が起きている状態から寝ている状態に変化したと推定された場合は、表示装置の音量が小さくなるので、表示装置を視聴している利用者にとって比較的希望に添った操作内容となるという効果も得られる。
【００６７】
さらに、本発明に係る請求項１０記載の機器操作システムによれば、利用者が特定者であると推定された場合は、表示装置の表示内容が特定者の好みのものに変更されるので、表示装置を視聴している利用者にとって比較的希望に添った操作内容となるという効果も得られる。
さらに、本発明に係る請求項１１記載の機器操作システムによれば、機器の操作を繰り返し行うことにより利用者の満足度に適合した操作内容となるように順次学習が行われていくので、利用者の希望に添った操作内容になることが期待できるという効果も得られる。
【００６８】
一方、本発明に係る請求項１２または１３記載の機器操作プログラムによれば、請求項１記載の機器操作システムと同等の効果が得られる。
さらに、本発明に係る請求項１３記載の機器操作プログラムによれば、請求項２記載の機器操作システムと同等の効果も得られる。
一方、本発明に係る請求項１４または１５記載の機器操作方法によれば、請求項１記載の機器操作システムと同等の効果が得られる。
【００６９】
さらに、本発明に係る請求項１５記載の機器操作方法によれば、請求項２記載の機器操作システムと同等の効果も得られる。
【図面の簡単な説明】
【図１】テレビ操作装置１００の構成を示すブロック図である。
【図２】機器制御ＤＢ１１６のデータ構造を示す図である。
【図３】機器制御ＤＢ１１６のデータ構造を示す図である。
【符号の説明】
１００…テレビ操作装置、１０２…カメラ、１０４…画像入力装置、１０６…画像特徴抽出装置、１０８…マイク、１１０…音声入力装置、１１２…音声特徴抽出装置、１１４…状態推定装置、１１６…機器制御ＤＢ、１１８…機器制御装置、１２０…赤外線発信装置、２００…テレビ（動画情報を表示可能な表示装置）
【図１】
2004064433.tif 000003
【図２】
2004064433.tif 000004
【図３】
2004064433.tif 000005