(57)【特許請求の範囲】
【請求項１】
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識装置。
【請求項２】
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に前記制御機器画像が存在するか否かを判別する前記指差し位置判別手段と、
ユーザが指差した位置に前記制御機器画像が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記制御機器を操作対象として選択する前記制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする請求項１に記載の前記制御機器操作ジェスチャ認識装置。
【請求項３】
前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
を備えたことを特徴とする請求項１または２に記載の前記制御機器操作ジェスチャ認識装置。
【請求項４】
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識システム。
【請求項５】
コンピュータを、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
として機能させるための制御機器操作ジェスチャ認識プログラム
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザのジェスチャを認識することにより、制御機器を操作する制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラムに関する。
【背景技術】
【０００２】
従来より、身振り・手振り等の動作、いわゆる、ジェスチャをロボットや家電製品等の制御機器を操作するための入力インタフェースとして用いる技術が知られている。
前記ジェスチャを認識することにより、ロボットや家電製品等の制御機器を操作する技術として、例えば、以下の従来技術（Ｊ01），（Ｊ02）が公知である。
【０００３】
（Ｊ01）非特許文献１記載の技術
非特許文献１には、複数台のカメラによりユーザを撮影し（ステレオ視し）、ユーザの頭の高さからユーザの体型データ（身長、肩幅、肩の高さ、腕の長さ）を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置（３次元座標位置）を認識してロボット等の移動経路指示等の操作をする技術が記載されている。また、非特許文献１には、指差し動作について、動作の滑らかさや速度（角速度）等の、いわゆる、ファジールールに基づいて、ユーザが指差し動作を行ったか否かを判別する技術が記載されている。
【０００４】
（Ｊ02）非特許文献２記載の技術
非特許文献２には、ユーザのジェスチャを認識し、テレビ、照明機器、扇風機等の家電製品を操作する、いわゆる、インテリジェントルームについての技術が記載されている。また、非特許文献２には、室内に配置された複数台のＣＣＤカメラで、室内にいる複数の人物の中から、手振りをして操作したい意思を示している人物（操作者）をステレオ視することにより、操作者の位置（３次元位置情報）を認識し、操作者の肌色情報から操作者の手の領域（手領域）を抽出することにより、指差し方向や、指の本数、手を上下左右に振る等の動作（ジェスチャ）を認識する技術が記載されている。
【０００５】
【非特許文献１】佐藤英理、山口亨、他１名、“Natural Interface Using Pointing Behavior for Human-Robot Gestural Interaction”、「IEEE TRANSACTION ON INDUSTRIAL ELECTRONICS」、2007年4月、第54巻、第2号、p.1105-1112
【非特許文献２】若村直弘、他３名、“インテリジェンスルームの構築  -直感的なジェスチャを用いた家電製品の操作-”、「online」、2005年7月、「2007年7月3日検索」、インターネット＜URL：http://www.mech.chuo-u.ac.jp/umedalab/publications/pdf/2005/suzuki_2005_miru.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
（従来技術の問題点）
前記従来技術（Ｊ02）では、ユーザの手領域が抽出され、前記手領域の手の形状だけで画像解析されるため、ユーザのジェスチャが本当に意図して行われているか否かを判別できないという問題があった。また、前記従来技術（Ｊ01）のように、ユーザの指差しの動作の滑らかさや速度（角速度）等に基づいて、ユーザが指差し動作を行ったか否かを判別しても、ユーザが本当に意図してその指差し動作を行ったかが判別できなければ、結局、意図しないジェスチャ認識は全て誤認識であり、ロボットや家電製品等を誤操作してしまうという問題があった。
したがって、前記従来技術（Ｊ01），（Ｊ02）のように、制御対象物を操作するためのジェスチャが手振りや指差し等の単純な動作である場合、普段の生活で何気なく行われる可能性があるため、ユーザの意図が判別できなければ、意図しないジェスチャ認識が行われ、ロボットや家電製品等を誤操作してしまうという問題があった。
また、多様な制御対象物の操作に対して、専用の操作ボタン、操作コマンド、操作ジェスチャが設定されている場合には、ユーザがこれらの設定を覚える必要があり、ユーザに負担を与えてしまうという問題があった。
【０００７】
本発明は、前述の事情に鑑み、次の記載内容（Ｏ01）を技術的課題とする。
（Ｏ01）制御機器を操作する意図で行われたジェスチャを精度良く認識すること。
【課題を解決するための手段】
【０００８】
前記技術的課題を解決するために、請求項１に記載の発明の制御機器操作ジェスチャ認識装置は、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。
【００１２】
請求項２に記載の発明は、請求項１に記載の前記制御機器操作ジェスチャ認識装置において、
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に前記制御機器画像が存在するか否かを判別する前記指差し位置判別手段と、
ユーザが指差した位置に前記制御機器画像が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記制御機器を操作対象として選択する前記制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。
【００１３】
請求項３に記載の発明は、請求項１または２に記載の前記制御機器操作ジェスチャ認識装置において、
前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
を備えたことを特徴とする。
【００１５】
前記技術的課題を解決するために、請求項４に記載の発明の制御機器操作ジェスチャ認識システムは、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。
【００１８】
前記技術的課題を解決するために、請求項５に記載の発明の制御機器操作ジェスチャ認識プログラムは、
コンピュータを、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
として機能させる。
【発明の効果】
【００２１】
請求項１、４、５に記載の発明によれば、検出されたジェスチャが指差し動作としての選択ジェスチャであり、ユーザが指差した位置に制御機器が存在すると判別され、ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択することができる。この結果、ユーザのジェスチャが前記制御機器を選択する意図で行われたジェスチャであれば、ユーザの顔の方向が前記制御機器に向いた状態で行われる可能性が高くなるため、本発明の構成を有しない場合に比べ、制御機器を選択する意図で行われた前記選択ジェスチャを精度良く認識することができる。
また、請求項１、４、５に記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、ユーザの顔が選択された制御機器に向いていると判別された場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。したがって、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。
さらに、請求項１、４、５に記載の発明によれば、ユーザの顔の方向を画像解析することにより、ユーザの顔の方向に制御機器があるか否かを判別することができる。
また、請求項１、４、５に記載の発明によれば、ユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の制御機器に向いているか否かを判別することができる。
【００２３】
請求項２に記載の発明によれば、検出されたジェスチャが選択ジェスチャであり、ユーザが指差した位置に前記制御機器画像が存在すると判別され、ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記制御機器画像に対応する制御機器を操作対象として選択することができる。この結果、実際の制御機器に対して前記選択ジェスチャをしなくても、前記制御機器を選択することができ、例えば、遠隔地から制御機器の選択および操作を行うことができる。
また、請求項２に記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いていると判別された場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。この結果、実際の制御機器に対して前記操作ジェスチャをしなくても、前記制御機器を操作することができる。
【００２４】
請求項３に記載の発明によれば、前記選択確認画像を表示した後、前記確認ジェスチャ（肯定ジェスチャ、否定ジェスチャ）を判別することにより、前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認できる。また、請求項３に記載の発明によれば、前記選択確認画像の表示後に検出されたジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択できると共に、前記否定ジェスチャであれば前記制御機器を操作対象として選択しないようにすることができる。
【発明を実施するための最良の形態】
【００２９】
次に図面を参照しながら、本発明の実施の形態の具体例（実施例）を説明するが、本発明は以下の実施例に限定されるものではない。
【実施例１】
【００３０】
図１は本発明の実施例１の制御機器操作ジェスチャ認識システムの全体説明図である。
図１において、実施例１の制御機器操作ジェスチャ認識システムＳは、制御機器操作ジェスチャ認識システムＳ本体としてのクライアントパソコン（パーソナルコンピュータ、制御機器操作ジェスチャ認識装置）ＰＣを有する。
前記クライアントパソコンＰＣは、コンピュータ装置により構成されており、コンピュータ本体Ｈ１と、ディスプレイＨ２と、キーボードＨ３やマウスＨ４等の入力装置、図示しないＨＤドライブ（ハードディスクドライブ）、ＣＤドライブ（コンパクトディスクドライブ）等により構成されている。
【００３１】
また、前記制御機器操作ジェスチャ認識システムＳは、室内のユーザを撮影するための２台のカメラＣＡ１，ＣＡ２と、操作対象の制御機器Ｋとを有する。前記カメラＣＡ１，ＣＡ２および前記制御機器Ｋは、接続ケーブルＣを介して前記クライアントパソコンＰＣに接続されている。
実施例１の前記カメラＣＡ１，ＣＡ２は、室内全体をステレオ視可能な位置に予め配置されている。すなわち、実施例１の前記クライアントパソコンＰＣは、前記カメラＣＡ１，ＣＡ２で撮像された室内の動画情報（画像）により、ユーザの３次元位置を識別できる。なお、複数台のカメラで室内をステレオ視することにより、ユーザの３次元位置を識別する技術については、非特許文献１，２等に記載されており、公知である。
【００３２】
また、実施例１の前記制御機器Ｋは、前記接続ケーブルＣを介して送信される前記クライアントパソコンＰＣの各制御信号により、明るさ調節が可能な照明Ｋ１と、開閉可能な窓Ｋ２と、音量調節が可能なＣＤプレイヤーＫ３と、チャンネル変更および音量調節が可能なテレビＫ４と、再生・停止および巻戻し・早送りが可能なビデオＫ６とを有する。また、前記窓Ｋ２は、前記制御信号により開閉可能なカーテンＫ２ａを有する。
【００３３】
（実施例１のクライアントパソコンＰＣの制御部の説明）
図２は本発明の実施例１のクライアントパソコンの制御部が備えている各機能をブロック図（機能ブロック図）で示した図である。
図２において、クライアントパソコンＰＣのコンピュータ本体Ｈ１は、外部との信号の入出力および入出力信号レベルの調節等を行うＩ／Ｏ（入出力インターフェース）、必要な処理を行うためのプログラムおよびデータ等が記憶されたＲＯＭ（リードオンリーメモリ）、必要なデータを一時的に記憶するためのＲＡＭ（ランダムアクセスメモリ）、ハードディスクやＲＯＭ等に記憶されたプログラムに応じた処理を行うＣＰＵ（中央演算処理装置）、ならびにクロック発振器等を有している。
前記構成のクライアントパソコンＰＣは、前記ハードディスクやＲＯＭ等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
【００３４】
前記クライアントパソコンＰＣの前記ハードディスクドライブには、クライアントパソコンの基本動作を制御する基本ソフト（オペレーティングシステム）ＯＳや、アプリケーションプログラムとしての制御機器操作ジェスチャ認識プログラムＡＰ１、その他の図示しないソフトウェア（文書作成ソフトウェアや製図ソフトウェア等）が記憶されている。
【００３５】
（制御機器操作ジェスチャ認識プログラムＡＰ１）
制御機器操作ジェスチャ認識プログラムＡＰ１は、下記の機能手段（プログラムモジュール）を有する。
Ｃ１：室内動画撮像制御手段（ユーザ撮像手段）
室内動画撮像制御手段Ｃ１は、前記カメラＣＡ１，ＣＡ２による室内の動画（ユーザの画像）の撮像を制御する。実施例１の前記室内動画撮像制御手段Ｃ１は、前記接続ケーブルＣを介して制御信号を送信することにより、前記カメラＣＡ１，ＣＡ２による室内の動画の撮像を制御する。
【００３６】
Ｃ２：ジェスチャ検出手段
ジェスチャ検出手段Ｃ２は、手領域検出手段Ｃ２Ａと、顔領域検出手段Ｃ２Ｂとを有し、前記室内動画撮像制御手段Ｃ１によって撮像された室内の動画に基づいて、ユーザのジェスチャを検出する。実施例１の前記ジェスチャ検出手段Ｃ２は、前記カメラＣＡ１，ＣＡ２で室内がステレオ視されることにより算出されるユーザの３次元位置を認識し、前記各手段Ｃ２Ａ，Ｃ２Ｂにより検出されたユーザの手領域および顔領域の変化（動き）を画像解析して、ユーザのジェスチャを検出する（非特許文献１、２参照）。
【００３７】
Ｃ２Ａ：手領域検出手段
手領域検出手段Ｃ２Ａは、前記室内動画撮像制御手段Ｃ１によって撮像された室内の動画に基づいて、ユーザの肌色部分のうちの手の領域（手領域）を検出する。
Ｃ２Ｂ：顔領域検出手段
顔領域検出手段Ｃ２Ｂは、前記室内動画撮像制御手段Ｃ１によって撮像された室内の動画に基づいて、ユーザの肌色部分のうちの顔の領域（顔領域）を検出する。
【００３８】
Ｃ３：ジェスチャ判別手段
ジェスチャ判別手段Ｃ３は、前記ジェスチャ検出手段Ｃ２で検出されたジェスチャが、制御機器Ｋを選択する選択ジェスチャであるか、選択された制御機器Ｋ（Ｋ１〜Ｋ６）を操作する操作ジェスチャであるかを判別する。実施例１の前記ジェスチャ判別手段Ｃ３は、検出されたジェスチャが指差し動作であるか否かを判別することにより、前記ジェスチャが選択ジェスチャであるか、操作ジェスチャであるかを判別する。
【００３９】
Ｃ４：制御機器選択手段
制御機器選択手段Ｃ４は、制御機器配置位置記憶手段Ｃ４Ａと、指差し位置判別手段Ｃ４Ｂと、顔方向判別手段Ｃ４Ｃとを有し、前記ジェスチャ判別手段Ｃ３によりユーザのジェスチャが選択ジェスチャであると判別された場合に、前記選択ジェスチャに基づいて、前記制御機器Ｋ（Ｋ１〜Ｋ６）のいずれか１つを操作対象として選択する制御機器選択処理を実行する。実施例１の前記制御機器選択手段Ｃ４は、ユーザが指差した位置に制御機器Ｋ（Ｋ１〜Ｋ６）のいずれかが存在し、且つ、ユーザの顔の方向が指差した位置、すなわち、前記制御機器Ｋ（Ｋ１〜Ｋ６）に向いていると判別された場合に、指差した位置の前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作対象として選択する。また、前記制御機器選択手段Ｃ４は、前記制御機器Ｋ（Ｋ１〜Ｋ６）のいずれか１つを操作対象として選択した場合、対応する選択フラグ（Ｆ１〜Ｆ５）を「１」にセットすると共に、その他の選択フラグ（Ｆ１〜Ｆ５）を「０」にリセットする。
【００４０】
Ｃ４Ａ：制御機器配置位置記憶手段
制御機器配置位置記憶手段Ｃ４Ａは、前記照明Ｋ１、前記窓Ｋ２、前記ＣＤプレイヤーＫ３、前記テレビＫ４、前記ビデオＫ６がそれぞれ配置された位置を記憶する。
Ｃ４Ｂ：指差し位置判別手段
指差し位置判別手段Ｃ４Ｂは、前記手領域検出手段Ｃ２Ａおよび前記顔領域検出手段Ｃ２Ｂにより検出されたユーザの手領域および顔領域に基づいて、ユーザの指差した位置を判別する。実施例１の前記指差し位置判別手段Ｃ４Ｂは、非特許文献１記載の技術と同様に、ユーザの頭の高さからユーザの体型データ（身長、肩幅、肩の高さ、腕の長さ）を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置を判別する。例えば、頭の位置と指差した指先とを結んだ直線が到達した位置を判別する。
Ｃ４Ｃ：顔方向判別手段（視線方向判別手段）
顔方向判別手段Ｃ４Ｃは、前記顔領域検出手段Ｃ２Ｂにより検出されたユーザの顔領域に基づいて、ユーザの顔の向きを判別することにより、ユーザの視線の方向に制御機器Ｋ（Ｋ１〜Ｋ６）があるか否かを判別する。実施例１の前記顔方向判別手段Ｃ４Ｃは、前記顔領域内の唇を検出し、顔全体の重心に対する唇の位置から、ユーザの顔の向きを判別する。
【００４１】
Ｃ５：制御機器操作手段
制御機器操作手段Ｃ５は、操作ジェスチャ記憶手段Ｃ５Ａと、操作ジェスチャ判別手段Ｃ５Ｂと、顔方向判別手段Ｃ５Ｃとを有し、前記ジェスチャ判別手段Ｃ３によりユーザのジェスチャが操作ジェスチャであると判別された場合に、前記操作ジェスチャに基づいて、選択された前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作する制御機器操作処理を実行する。実施例１の前記制御機器操作手段Ｃ５は、ユーザの動作が手を上下左右のいずれかに振る動作であり、且つ、ユーザの顔の方向が指差した位置、すなわち、前記制御機器Ｋ（Ｋ１〜Ｋ６）に向いていると判別された場合に、選択された前記制御機器Ｋ（Ｋ１〜Ｋ６）に対して、前記操作ジェスチャに対応する操作を実行する。
【００４２】
図３は選択ジェスチャで選択された制御機器と操作ジェスチャによる操作との対応表である。
Ｃ５Ａ：操作ジェスチャ設定記憶手段
操作ジェスチャ記憶手段Ｃ５Ａは、前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作する前記操作ジェスチャの設定を記憶する。
実施例１の前記操作ジェスチャ記憶手段Ｃ５Ａでは、図３に示すように、前記操作ジェスチャとして、手を上下左右に振る動作が予め設定されている。また、前記選択ジェスチャで照明Ｋ１が選択された場合、手を左右に振る動作では何も操作せず、手を上に振る動作では照明Ｋ１を明るくし、手を下に振る動作では照明Ｋ１を暗くするよう予め設定されている。また、前記選択ジェスチャで窓Ｋ２が選択された場合、手を左に振る動作では窓Ｋ２を開け、手を右に振る動作では窓Ｋ２を閉め、手を上に振る動作ではカーテンＫ２ａを開け、手を下に振る動作ではカーテンＫ２ａを閉めるよう予め設定されている。
【００４３】
また、前記選択ジェスチャでＣＤプレイヤーＫ３が選択された場合、手を左右に振る動作では何も操作せず、手を上に振る動作ではＣＤプレイヤーＫ３の音量を大きくし、手を下に振る動作ではＣＤプレイヤーＫ３の音量を小さくするよう予め設定されている。また、前記選択ジェスチャでテレビＫ４が選択された場合、手を左に振る動作ではテレビＫ４のチャンネルの値が小さくなるよう変更し、手を右に振る動作ではテレビＫ４のチャンネルの値が大きくなるよう変更し、手を上に振る動作ではテレビＫ４の音量を大きくし、手を下に振る動作ではテレビＫ３の音量を小さくするよう予め設定されている。さらに、前記選択ジェスチャでビデオＫ６が選択された場合、手を左に振る動作ではビデオＫ６の巻戻しを実行し、手を右に振る動作ではビデオＫ６の早送りを実行し、手を上に振る動作ではビデオＫ６の再生を実行し、手を下に振る動作ではビデオＫ６の停止を実行するよう予め設定されている。
【００４４】
Ｃ５Ｂ：操作ジェスチャ判別手段
操作ジェスチャ判別手段Ｃ５Ｂは、前記手領域検出手段Ｃ２Ａにより検出されたユーザの手領域に基づいて、手を上下左右のどの方向に振る動作であるかを判別する。実施例１の前記操作ジェスチャ判別手段Ｃ５Ｂは、非特許文献２記載の技術と同様に、手の重心位置が往復運動した場合に、前記重心位置の移動方向を算出することにより、手を上下左右のどの方向に振る動作であるかを判別する。
Ｃ５Ｃ：顔方向判別手段（視線方向判別手段）
顔方向判別手段Ｃ５Ｃは、前記顔領域検出手段Ｃ２Ｂにより検出されたユーザの顔領域に基づいて、ユーザの顔の向きを判別することにより、ユーザの視線の方向に制御機器Ｋ（Ｋ１〜Ｋ６）があるか否かを判別する。実施例１の前記顔方向判別手段Ｃ５Ｃは、前記制御機器選択手段Ｃ４の顔方向判別手段Ｃ４Ｃと同様に、前記顔領域内の唇を検出し、顔全体の重心に対する唇の位置から、ユーザの顔の向きを判別する。
【００４５】
ＦＬ１：照明選択フラグ
照明選択フラグＦＬ１は、初期値が「０」であり、選択ジェスチャで前記照明Ｋ１が選択されると「１」となり、選択ジェスチャでその他の制御機器Ｋ（Ｋ２〜Ｋ６）が選択されると「０」となる。
ＦＬ２：窓選択フラグ
窓選択フラグＦＬ２は、初期値が「０」であり、選択ジェスチャで前記窓Ｋ２が選択されると「１」となり、選択ジェスチャでその他の制御機器Ｋ（Ｋ１，Ｋ３〜Ｋ６）が選択されると「０」となる。
ＦＬ３：ＣＤプレイヤー選択フラグ
ＣＤプレイヤー選択フラグＦＬ３は、初期値が「０」であり、選択ジェスチャで前記ＣＤプレイヤーＫ３が選択されると「１」となり、選択ジェスチャでその他の制御機器Ｋ（Ｋ１，Ｋ２，Ｋ４，Ｋ６）が選択されると「０」となる。
【００４６】
ＦＬ４：テレビ選択フラグ
テレビ選択フラグＦＬ４は、初期値が「０」であり、選択ジェスチャで前記テレビＫ４が選択されると「１」となり、選択ジェスチャでその他の制御機器Ｋ（Ｋ１〜Ｋ３，Ｋ６）が選択されると「０」となる。
ＦＬ５：ビデオ選択フラグ
ビデオ選択フラグＦＬ５は、初期値が「０」であり、選択ジェスチャで前記ビデオＫ６が選択されると「１」となり、選択ジェスチャでその他の制御機器Ｋ（Ｋ１〜Ｋ４）が選択されると「０」となる。
【００４７】
（実施例１のフローチャートの説明）
次に、実施例１のクライアントパソコンＰＣの制御機器操作ジェスチャ認識プログラムＡＰ１の処理の流れをフローチャートを使用して説明する。
（実施例１のメイン処理のフローチャートの説明）
図４は本発明の実施例１の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートである。
図４のフローチャートの各ＳＴ（ステップ）の処理は、前記クライアントパソコンＰＣのＲＯＭ等に記憶されたプログラムに従って行われる。また、この処理は前記クライアントパソコンＰＣの他の各種処理と並行してマルチタスクで実行される。
【００４８】
図４に示すフローチャートは前記クライアントパソコンＰＣ、前記カメラＣＡ１，ＣＡ２および全ての制御機器Ｋ（Ｋ１〜Ｋ６）が電源オンされ、前記制御機器操作ジェスチャ認識プログラムＡＰ１が起動された状態、すなわち、前記制御機器操作ジェスチャ認識システムＳがスタンバイ状態となった場合に開始される。
図４のＳＴ１において、次の（１），（２）の処理を実行し、ＳＴ２に移る。
（１）照明選択フラグＦＬ１、窓選択フラグＦＬ２、ＣＤプレイヤー選択フラグＦＬ３、テレビ選択フラグＦＬ４、ビデオ選択フラグＦＬ５をそれぞれ「０」にセットする。
（２）カメラＣＡ１，ＣＡ２による室内の動画の撮像を開始する。
【００４９】
ＳＴ２において、カメラＣＡ１，ＣＡ２により検出されるユーザの手領域および顔領域の変化（動き）を画像解析することにより、ユーザのジェスチャを検出したか否かを判別する。イエス（Ｙ）の場合はＳＴ３に移り、ノー（Ｎ）の場合はＳＴ２を繰り返す。
ＳＴ３において、検出されたジェスチャは選択ジェスチャ、すなわち、指差し動作であるか否かを判別する。イエス（Ｙ）の場合はＳＴ４に移り、ノー（Ｎ）の場合はＳＴ５に移る。
ＳＴ４において、選択ジェスチャに基づいて、制御機器Ｋ（Ｋ１〜Ｋ６）のいずれか１つを操作対象として選択する制御機器選択処理を実行する。そして、ＳＴ２に戻る。
ＳＴ５において、操作ジェスチャに基づいて、選択された制御機器Ｋ（Ｋ１〜Ｋ６）を操作する制御機器操作処理を実行する。そして、ＳＴ２に戻る。
【００５０】
（実施例１の制御機器選択処理のフローチャートの説明）
図５は本発明の実施例１の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図４のＳＴ４のサブルーチンの説明図である。
図５のＳＴ１１において、ユーザが指差した位置に制御機器Ｋ（Ｋ１〜Ｋ６）のいずれかが存在するか否かを判別する。イエス（Ｙ）の場合はＳＴ１２に移り、ノー（Ｎ）の場合は制御機器選択処理を終了し、図４のメイン処理に戻る。
ＳＴ１２において、ユーザの顔の方向が指差した位置、すなわち、制御機器Ｋ（Ｋ１〜Ｋ６）に向いているか否かを判別する。イエス（Ｙ）の場合はＳＴ１３に移り、ノー（Ｎ）の場合は制御機器選択処理を終了し、図４のメイン処理に戻る。
【００５１】
ＳＴ１３において、次の（１），（２）の処理を実行し、制御機器選択処理を終了し、図４のメイン処理に戻る。
（１）指差された制御機器Ｋ（Ｋ１〜Ｋ６）に対応する選択フラグＦＬ１〜ＦＬ５を「１」にセットする。
（２）その他の各選択フラグＦＬ１〜ＦＬ５を「０」にセットする。
【００５２】
（実施例１の制御機器選択処理のフローチャートの説明）
図６は本発明の実施例１の制御機器操作ジェスチャ認識プログラムの制御機器操作処理のフローチャートであり、図４のＳＴ５のサブルーチンの説明図である。
図６のＳＴ２１において、検出されたユーザのジェスチャが手を上下左右のいずれかに振る動作であるか否かを判別することにより、ユーザのジェスチャが操作ジェスチャであるか否かを判別する。イエス（Ｙ）の場合はＳＴ２２に移り、ノー（Ｎ）の場合は制御機器操作処理を終了し、図４のメイン処理に戻る。
【００５３】
ＳＴ２２において、選択フラグＦＬ１〜ＦＬ５のいずれか１つが「１」であるか否かを判別することにより、ユーザの選択ジェスチャにより選択された制御機器Ｋ（Ｋ１〜Ｋ６）が存在するか否かを判別する。イエス（Ｙ）の場合はＳＴ２３に移り、ノー（Ｎ）の場合は制御機器操作処理を終了し、図４のメイン処理に戻る。
ＳＴ２３において、ユーザの顔の方向が指差した位置、すなわち、制御機器Ｋ（Ｋ１〜Ｋ６）に向いているか否かを判別する。イエス（Ｙ）の場合はＳＴ２３に移り、ノー（Ｎ）の場合は制御機器操作処理を終了し、図４のメイン処理に戻る。
ＳＴ２４において、選択フラグＦＬ１〜ＦＬ５が「１」の制御機器Ｋ（Ｋ１〜Ｋ６）に対して、検出された操作ジェスチャに対応する操作（図３参照）を実行する。そして、制御機器操作処理を終了し、図４のメイン処理に戻る。
【００５４】
（実施例１の作用）
前記構成を備えた実施例１の制御機器操作ジェスチャ認識システムＳでは、ユーザが行った動作が、前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作する意図で行われたジェスチャであれば、操作対象である前記制御機器Ｋ（Ｋ１〜Ｋ６）の方向を向いた状態で行われる可能性が高くなる。このため、実施例１の制御機器操作ジェスチャ認識システムＳは、前記ジェスチャ（選択ジェスチャ、操作ジェスチャ）を検出し、且つ、ユーザの顔の方向が前記制御機器Ｋ（Ｋ１〜Ｋ６）に向いている場合に、前記制御機器Ｋ（Ｋ１〜Ｋ６）のいずれか１つを操作対象として選択したり（図４のＳＴ４、図５のＳＴ１１〜ＳＴ１３参照）、選択された前記制御機器Ｋ（Ｋ１〜Ｋ６）に対して、前記操作ジェスチャに対応する操作（図３参照）を実行したりすることができる（図４のＳＴ５、図６のＳＴ２１〜ＳＴ２４参照）。
【００５５】
したがって、前記制御機器選択処理（図４のＳＴ４、図５のＳＴ１１〜ＳＴ１３参照）では、ユーザが指差した位置に制御機器Ｋ（Ｋ１〜Ｋ６）のいずれかが存在する場合でも、ユーザの顔の方向が前記制御機器Ｋ（Ｋ１〜Ｋ６）に向いていると判別されなければ、前記制御機器Ｋ（Ｋ１〜Ｋ６）が操作対象として選択されない（図５のＳＴ１２参照）。また、前記制御機器操作処理（図４のＳＴ５、図６のＳＴ２１〜ＳＴ２４参照）では、ユーザのジェスチャが手を上下左右のいずれかに振る動作である場合でも、ユーザの顔の方向が前記制御機器Ｋ（Ｋ１〜Ｋ６）に向いていると判別されなければ、選択された前記制御機器Ｋ（Ｋ１〜Ｋ６）に対して、前記操作ジェスチャに対応する操作が実行されない（図６のＳＴ２２参照）。
この結果、実施例１の制御機器操作ジェスチャ認識システムＳは、従来技術（Ｊ01），（Ｊ02）を適用した場合に比べて、制御機器Ｋ（Ｋ１〜Ｋ６）を操作する意図で行われたジェスチャを精度良く認識することができる。
【００５６】
また、実施例１では、他者に伝える意図で行われる動作と同様なジェスチャを実現するため、前記選択ジェスチャ（指差し動作と顔の方向）で選択された制御機器Ｋ（Ｋ１〜Ｋ６）に応じて、前記操作ジェスチャによる操作（制御内容）を実行するように予め設定されている（図３参照）。したがって、実施例１の制御機器操作ジェスチャ認識システムＳでは、前記制御機器Ｋ（Ｋ１〜Ｋ６）に対応する専用の操作ボタン、操作コマンド、操作ジェスチャ等を覚えるユーザの負担を軽減できると共に、他者へ伝える動作と同様の自然なジェスチャにより、制御機器Ｋ（Ｋ１〜Ｋ６）の操作を精度良く認識することができる。
【実施例２】
【００５７】
図７は本発明の実施例２の制御機器操作ジェスチャ認識システムの全体説明図である。
次に本発明の実施例２の制御機器操作ジェスチャ認識システムＳの説明を行うが、この実施例２の説明において、前記実施例１の構成要素に対応する構成要素には同一の符号を付して、その詳細な説明を省略する。この実施例２は、下記の点で前記実施例１と相違しているが、他の点では前記実施例１と同様に構成されている。
図７において、本発明の実施例２の制御機器操作ジェスチャ認識システムＳは、実施例１の前記クライアントパソコンＰＣおよび前記カメラＣＡ１，ＣＡ２が、前記制御機器Ｋが配置された部屋とは異なる部屋に配置されている。
【００５８】
また、実施例２では、前記カメラＣＡ１，ＣＡ２は、前記クライアントパソコンＰＣのディスプレイＨ２の前方をステレオ視できるように、前記ディスプレイＨ２の上端部の左右両端にそれぞれ固定支持されている。また、前記ディスプレイＨ２には、前記制御機器Ｋ（Ｋ１〜Ｋ６）が配置された位置に基づいて作成された制御機器配置画像Ｇが表示されている。
実施例２では、前記制御機器配置画像（制御機器画像）Ｇとして室内全体を再現して作成された画像が前記ディスプレイＨ２に表示されている。なお、前記制御機器配置画像Ｇは、実施例２の表示内容に限定されず、例えば、前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作する度に、前記操作に応じて変化した室内の画像に更新したり、前記制御機器Ｋ（Ｋ１〜Ｋ６）が配置された実際の部屋に新たなカメラを設け、前記カメラで撮像した動画を前記ディスプレイＨ２に表示したりすることにより、操作時の室内の状態を表示することも可能である。
【００５９】
（実施例２のクライアントパソコンＰＣの制御部の説明）
図８は本発明の実施例２のクライアントパソコンの制御部が備えている各機能をブロック図（機能ブロック図）で示した図であり、実施例１の図２に対応する説明図である。
【００６０】
（制御機器操作ジェスチャ認識プログラムＡＰ１）
実施例２では、前記ディスプレイＨ２の前方のユーザが、前記制御機器Ｋ（Ｋ１〜Ｋ６）に対応する前記制御機器配置画像Ｇの中の画像Ｇ１〜Ｇ６に対して行う前記ジェスチャ（選択ジェスチャ、操作ジェスチャ）に基づいて、前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作対象として選択したり、操作したりする。このため、実施例２の制御機器選択手段Ｃ４および制御機器操作手段Ｃ５では、実施例１とは異なり、前記ジェスチャの対象が、前記制御機器Ｋ（Ｋ１〜Ｋ６）ではなく、前記制御機器Ｋ（Ｋ１〜Ｋ６）に対応する前記制御機器配置画像Ｇの中の画像Ｇ１〜Ｇ６となる。
また、実施例２の制御機器操作ジェスチャ認識プログラムＡＰ１は、前記ディスプレイＨ２の前方のユーザをステレオ視するために、実施例１の室内動画撮像制御手段Ｃ１に替えて、前記ディスプレイＨ２前方の動画の撮像を制御する室内動画撮像制御手段（ユーザ撮像手段）Ｃ１′を有する。さらに、前記制御機器操作ジェスチャ認識プログラムＡＰ１には、前記制御機器配置位置記憶手段Ｃ４Ａに記憶された制御機器Ｋ（Ｋ１〜Ｋ６）の配置位置に基づいて作成された前記制御機器配置画像Ｇ（Ｇ１〜Ｇ６）をディスプレイＨ２に表示する制御機器配置画像表示手段Ｃ６が新たに追加されている。
【００６１】
（実施例２のフローチャートの説明）
次に、実施例２のクライアントパソコンＰＣの制御機器操作ジェスチャ認識プログラムＡＰ１の処理の流れをフローチャートを使用して説明する。
【００６２】
（実施例２のメイン処理のフローチャートの説明）
図９は本発明の実施例２の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートであり、実施例１の図４に対応する説明図である。
実施例２では、前記ジェスチャの対象が、前記制御機器Ｋ（Ｋ１〜Ｋ６）ではなく、前記制御機器Ｋ（Ｋ１〜Ｋ６）に対応する前記制御機器配置画像Ｇの中の画像Ｇ１〜Ｇ６となる。このため、実施例２のメイン処理は、実施例１のメイン処理（図４参照）のＳＴ１に替えてＳＴ１′を実行する。
図９のＳＴ１′において、次の（１），（２）′，（３）′を実行し、ＳＴ２に移る。
（１）照明選択フラグＦＬ１、窓選択フラグＦＬ２、ＣＤプレイヤー選択フラグＦＬ３、テレビ選択フラグＦＬ４、ビデオ選択フラグＦＬ５をそれぞれ「０」にセットする。
（２）′カメラＣＡ１，ＣＡ２による前記ディスプレイＨ２前方の動画の撮像を開始する。
（３）′制御機器Ｋ（Ｋ１〜Ｋ６）が配置された位置に基づいて作成された制御機器配置画像Ｇ（Ｇ１〜Ｇ６）をディスプレイＨ２に表示する。
【００６３】
（実施例２の作用）
前記構成を備えた実施例２の制御機器操作ジェスチャ認識システムＳでは、前記制御機器Ｋが配置された部屋とは異なる部屋に前記ディスプレイＨ２が配置されている。また、前記ディスプレイＨ２の前方のユーザが、制御機器Ｋ（Ｋ１〜Ｋ６）に対応する前記制御機器配置画像Ｇの中の画像Ｇ１〜Ｇ６に対して行う前記ジェスチャ（選択ジェスチャ、操作ジェスチャ）に基づいて、前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作対象として選択したり、選択された前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作したりすることができる。
したがって、実施例２の制御機器操作ジェスチャ認識システムＳでは、ユーザが、前記制御機器Ｋを配置された部屋に居なくても、前記ジェスチャ（選択ジェスチャ、操作ジェスチャ）に基づいて、前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作することができる。この結果、実施例２の制御機器操作ジェスチャ認識システムＳは、例えば、遠隔地からの介護等に利用できる。
その他、実施例２の制御機器操作ジェスチャ認識システムＳでは、実施例１の制御機器操作ジェスチャ認識システムＳと同様の作用効果を奏する。
【実施例３】
【００６４】
図１０は本発明の実施例３のクライアントパソコンの制御部が備えている各機能をブロック図（機能ブロック図）で示した図であり、実施例１の図２に対応する説明図である。
次に本発明の実施例３の制御機器操作ジェスチャ認識システムＳの説明を行うが、この実施例３の説明において、前記実施例１の構成要素に対応する構成要素には同一の符号を付して、その詳細な説明を省略する。この実施例３は、下記の点で前記実施例１と相違しているが、他の点では前記実施例１と同様に構成されている。
【００６５】
（制御機器操作ジェスチャ認識プログラムＡＰ１）
図１０において、実施例３の制御機器操作ジェスチャ認識プログラムＡＰ１は、制御機器選択手段Ｃ４に替えて、制御機器選択手段Ｃ４′を有する。実施例３の制御機器選択手段Ｃ４′には、実施例１の前記制御機器選択手段Ｃ４に比べ、選択確認画像表示手段Ｃ４Ｄと、確認ジェスチャ判別手段Ｃ４Ｅとが新たに追加されている。
【００６６】
図１１は実施例３の選択確認画像の説明図である。
Ｃ４Ｄ：選択確認画像表示手段
選択確認画像表示手段Ｃ４Ｄは、前記制御機器配置位置記憶手段Ｃ４Ａおよび前記指差し位置判別手段Ｃ４Ｂに基づいて、前記選択ジェスチャ（指差し動作）を検出して特定した制御機器Ｋ（Ｋ１〜Ｋ６）が、ユーザが意図して選択した制御機器Ｋ（Ｋ１〜Ｋ６）であるかを確認するための選択確認画像Ｇａ（図１１参照）を表示する。
Ｃ４Ｅ：確認ジェスチャ判別手段
確認ジェスチャ判別手段Ｃ４Ｅは、前記顔領域検出手段Ｃ２Ｂにより検出されたユーザの顔領域に基づいて、ユーザの確認ジェスチャを判別する。なお、実施例３の前記確認ジェスチャ判別手段Ｃ４Ｅでは、ユーザのうなずき動作（ＹＥＳ、肯定ジェスチャ）と、首振り動作（ＮＯ、否定ジェスチャ）とが前記確認ジェスチャとして予め設定されている。具体的には、前記確認ジェスチャ判別手段Ｃ４Ｅは、顔の重心位置が往復運動した場合に、前記重心位置の移動方向を算出することにより、ユーザのうなずき動作（首を上下に振る動作）、または、首振り動作（首を左右に振る動作）のいずれかであることを判別する。
【００６７】
（実施例３のフローチャートの説明）
次に、実施例３のクライアントパソコンＰＣの制御機器操作ジェスチャ認識プログラムＡＰ１の処理の流れをフローチャートを使用して説明する。
（実施例３の制御機器選択処理のフローチャートの説明）
図１２は本発明の実施例３の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図４のＳＴ４のサブルーチンの説明図であり、実施例１の図５に対応する説明図である。
実施例３では、前記選択確認画像Ｇａ（図１１参照）を表示し、前記確認ジェスチャ（うなずき動作、首振り動作）により、前記選択ジェスチャ（指差し動作）を検出して特定した制御機器Ｋ（Ｋ１〜Ｋ６）が、ユーザが意図して選択した制御機器Ｋ（Ｋ１〜Ｋ６）であるか否かを判別する。このため、実施例３の制御機器選択処理は、実施例１の制御機器選択処理のＳＴ１２と１３との間に、ＳＴ１６〜ＳＴ２０を実行する。
【００６８】
図１２のＳＴ１６において、前記選択ジェスチャ（指差し動作）を検出して特定した前記制御機器Ｋ（Ｋ１〜Ｋ６）が、ユーザが意図して選択した制御機器Ｋ（Ｋ１〜Ｋ６）であるか否かを確認するための選択確認画像Ｇａ（図１１参照）をディスプレイＨ２に表示する。そして、ＳＴ１７に移る。
ＳＴ１７において、ユーザの動作が首を上下、または、左右に振る動作であるか否かを判別することにより、ユーザのジェスチャが確認ジェスチャ（うなずき動作、首振り動作）であるか否かを判別する。イエス（Ｙ）の場合はＳＴ１８に移り、ノー（Ｎ）の場合はＳＴ１７を繰り返す。
ＳＴ１８において、ユーザの顔の方向がディスプレイＨ２に向いているか否かを判別する。イエス（Ｙ）の場合はＳＴ１９に移り、ノー（Ｎ）の場合はＳＴ１７に戻る。
ＳＴ１９において、前記選択確認画像Ｇａを非表示にする。そして、ＳＴ２０に移る。
ＳＴ２０において、前記確認ジェスチャがうなずき動作であるか否かを判別する。イエス（Ｙ）の場合はＳＴ１３に移り、ノー（Ｎ）の場合は制御機器操作処理を終了し、図４のメイン処理に戻る。
【００６９】
（実施例３の作用）
前記構成を備えた実施例３の制御機器操作ジェスチャ認識システムＳでは、前記選択ジェスチャを検出し、且つ、ユーザの顔の方向が前記制御機器Ｋ（Ｋ１〜Ｋ６）に向いている場合に、前記選択確認画像Ｇａ（図１１参照）を前記ディスプレイＨ２に表示する（図１２のＳＴ１６参照）。
また、実施例３の制御機器操作ジェスチャ認識システムＳでは、前記選択確認画像Ｇａが表示された後で、ユーザのうなずき動作を検出し、且つ、ユーザの顔の方向が前記ディスプレイＨ２に向いている場合には、前記選択ジェスチャの検出が正しかったと認識し、前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作対象として選択できる（図１２のＳＴ１３、ＳＴ１７〜ＳＴ２０参照）。また、前記選択確認画像Ｇａが表示された後で、ユーザの首振り動作を検出し、且つ、ユーザの顔の方向が前記ディスプレイＨ２に向いている場合には、選択ジェスチャ（指差し動作）の検出が誤りであったと認識し、前記制御機器Ｋ（Ｋ１〜Ｋ６）を選択しないようにすることができる（図１２のＳＴ１７〜ＳＴ２０参照）。
【００７０】
この結果、実施例３の制御機器操作ジェスチャ認識システムＳは、制御機器Ｋ（Ｋ１〜Ｋ６）を操作する意図で行われた前記選択ジェスチャを精度良く認識することができると共に、特定した制御機器Ｋ（Ｋ１〜Ｋ６）が、ユーザが意図して選択した制御機器Ｋ（Ｋ１〜Ｋ６）であるかを確認することができる。
その他、実施例３の制御機器操作ジェスチャ認識システムＳでは、実施例１の制御機器操作ジェスチャ認識システムＳと同様の作用効果を奏する。
【００７１】
（変更例）
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例（Ｈ01）〜（Ｈ013）を下記に例示する。
（Ｈ01）本発明の実施例では、選択ジェスチャ（指差し動作）が行われた場合に、ユーザの顔の方向が選択ジェスチャで選択された制御機器Ｋ（Ｋ１〜Ｋ６）に向いていれば前記制御機器Ｋ（Ｋ１〜Ｋ６）を選択すると共に、操作ジェスチャ（手を上下左右のいずれかに動作）が行われた場合に、ユーザの顔の方向が選択された制御機器Ｋ（Ｋ１〜Ｋ６）に向いていれば前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作したが、これに限定されず、例えば、指差し動作で制御機器Ｋ（Ｋ１〜Ｋ６）を選択した場合、または、ユーザの顔が所定時間だけ制御機器Ｋ（Ｋ１〜Ｋ６）に向いている場合に、前記制御機器Ｋ（Ｋ１〜Ｋ６）を選択し、操作ジェスチャが行われた場合には、ユーザの顔の方向が選択された制御機器Ｋ（Ｋ１〜Ｋ６）に向いていなければ前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作しないように構成することも可能である。また、選択ジェスチャが行われた場合に、ユーザの顔の方向が選択ジェスチャで選択された制御機器Ｋ（Ｋ１〜Ｋ６）に向いていなければ前記制御機器Ｋ（Ｋ１〜Ｋ６）を選択しないが、操作ジェスチャが行われた場合には、ユーザの顔の方向が選択された制御機器Ｋ（Ｋ１〜Ｋ６）に向いていなくても前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作するように構成することも可能である。また、実施例３の前記確認ジェスチャ（うなずき動作、首振り動作）も同様に、ユーザの顔がディスプレイＨ２に向いていなくても、確認ジェスチャとして認識するように構成することも可能である。
【００７２】
（Ｈ02）本発明の実施例では、２台のカメラＣＡ１，ＣＡ２により室内の動画を撮影したり、ユーザをステレオ視したりしているが、カメラの台数は２台に限定されず、３台以上のカメラを配置することも可能である。また、１台のカメラだけで、ユーザの３次元位置等を画像解析したり、ジェスチャ（選択ジェスチャ、操作ジェスチャ、確認ジェスチャ）を画像解析したりすることが可能であれば、１台のカメラだけで構成することも可能である。さらに、前記カメラＣＡ１，ＣＡ２で撮像するのは動画（動画像）に限定されず、連続的に撮像された画像（連続的な静止画像）等に置き換えることも可能である。
（Ｈ03）本発明の実施例では、前記制御機器Ｋは、前記照明Ｋ１と、前記窓Ｋ２と、前記ＣＤプレイヤーＫ３と、前記テレビＫ４と、前記ビデオＫ６とにより構成されているが、これに限定されず、例えば、その他の制御機器を追加したり、前記構成要素Ｋ１〜Ｋ６を操作対象から削除したりすることも可能である。
【００７３】
（Ｈ04）本発明の実施例では、前記クライアントパソコンＰＣと、前記カメラＣＡ１，ＣＡ２および前記制御機器Ｋを前記接続ケーブルＣにより接続し、前記接続ケーブルＣを介して制御信号を送信することにより、前記カメラＣＡ１，ＣＡ２および前記制御機器Ｋを制御しているが、これに限定されず、例えば、前記接続ケーブルＣを省略して、専用リモコンのように無線で前記制御信号を送信して前記カメラＣＡ１，ＣＡ２や前記制御機器Ｋ（Ｋ１〜Ｋ６）を制御する（操作する）ことも可能である。
（Ｈ05）本発明の実施例では、前記選択ジェスチャに指差し動作を設定したが、これに限定されず、その他の動作を前記選択ジェスチャに設定することも可能である。例えば、操作ジェスチャのみ手を上下左右に振る動きと、顔の向き（視線の方向）とによって判別する場合には、選択ジェスチャに顔の向きのみ（視線の方向のみ）を設定し、ユーザの顔が所定時間だけ前記制御機器Ｋ（Ｋ１〜Ｋ６）に向いている場合に、前記制御機器Ｋ（Ｋ１〜Ｋ６）が選択されたものと判別することも可能である。また、前記操作ジェスチャに手を上下左右のいずれか一方に振る動作を設定したが、これに限定されず、その他の動作を前記操作ジェスチャに設定することも可能である。また、前記操作ジェスチャによる操作も図３で示す対応表に限定されず、その他の操作を追加したりすることも可能である。さらに、実施例３では、前記確認ジェスチャにうなずき動作（首を上下に振る動作）と首振り動作（首を左右に振る動作）とを設定したが、これに限定されず、例えば、肯定ジェスチャにＯＫサイン（親指と人差し指で円を作る動作）、否定ジェスチャに手を左右に振る動作等を設定することも可能である。
【００７４】
（Ｈ06）本発明の実施例のように、前記選択ジェスチャで操作対象の前記制御機器Ｋ（Ｋ１〜Ｋ６）を選択し、前記操作ジェスチャで選択された前記制御機器Ｋ（Ｋ１〜Ｋ６）の操作を実行した後、さらに前記操作ジェスチャを行うことで前記制御機器Ｋ（Ｋ１〜Ｋ６）の操作を続けて実行できるように制御されるのが好ましいが、これに限定されず、前記選択ジェスチャの後で、前記操作ジェスチャを１度しか実行できないように制御することも可能である。
（Ｈ07）本発明の実施例では、前記操作ジェスチャによる操作は、例えば、明るさや音量等の調節ならば１段階だけ上下するように予め設定されているが、これに限定されず、例えば、前記操作ジェスチャを行った時間に応じて明るさや音量等の度合いを調節できるようにすることも可能である。
【００７５】
（Ｈ08）本発明の実施例では、ユーザの視線の方向を、ユーザの顔の向きに基づいて判別したが、これに限定されず、例えば、実施例２の構成であれば、実際にユーザの視線に基づいて判別することも可能である。
（Ｈ09）本発明の実施例２では、前記制御機器Ｋが配置された部屋とは異なる部屋に前記ディスプレイＨ２が配置されているが、これに限定されず、例えば、前記制御機器Ｋが配置された部屋と同じ部屋に前記ディスプレイＨ２を配置することも可能である。この場合、前記制御機器配置画像Ｇ（Ｇ１〜Ｇ６）に対して行われた前記ジェスチャ（選択ジェスチャ、操作ジェスチャ）を検出した場合も、実際の制御機器Ｋ（Ｋ１〜Ｋ６）に対して行われた前記ジェスチャを検出した場合も、同様に前記制御機器選択処理（図４のＳＴ４、図５のＳＴ１１〜ＳＴ１３、図１２のＳＴ１１〜ＳＴ１３，ＳＴ１６〜ＳＴ２０参照）および前記制御機器操作処理（図４のＳＴ５、図６のＳＴ２１〜ＳＴ２４参照）を実行することも可能である。
【００７６】
（Ｈ010）本発明の実施例２では、前記制御機器配置画像ＧをディスプレイＨ２に表示するが、例えば、ユーザが顔をディスプレイＨ２に接近・離隔することにより、前記制御機器配置画像Ｇを拡大・縮小して表示することも可能である。また、ユーザの視線の方向を、ユーザの実際の視線に基づいて判別する場合には、ユーザの視線や目の開度等を検出して視線の位置を拡大・縮小して表示することも可能である。
（Ｈ011）本発明の実施例３では、前記確認ジェスチャ（うなずき動作、首振り動作）を検出した場合、前記選択確認画像Ｇａ（図１１参照）を非表示にしているが（図１２のＳＴ１９参照）、これに限定されず、例えば、うなずき動作を検出した場合には、操作対象として選択された前記制御機器Ｋ（Ｋ１〜Ｋ６）についての操作ジェスチャとその操作とを説明する画像を表示したり、首振り動作を検出した場合には、選択ジェスチャが誤検出であったことを説明する画像を表示したりすることも可能である。
【００７７】
（Ｈ012）本発明の実施例３では、前記選択確認画像Ｇａ（図１１参照）を表示した後、前記確認ジェスチャ（うなずき動作、首振り動作）により、前記選択ジェスチャ（指差し動作）を検出して特定した前記制御機器Ｋ（Ｋ１〜Ｋ６）が、ユーザが意図して選択した制御機器Ｋ（Ｋ１〜Ｋ６）であるか否かを確認したが（図１２のＳＴ１６〜ＳＴ２０参照）、例えば、前記操作ジェスチャについても同様に、操作確認画像を表示して、前記確認ジェスチャ（うなずき動作、首振り動作）により、ユーザが意図する操作であるか否かを確認することも可能である。
（Ｈ013）本発明の実施例３において、前記選択確認画像Ｇａ（図１１参照）を表示し、前記確認ジェスチャにより、前記選択ジェスチャ（指差し動作）を検出して特定した前記制御機器Ｋ（Ｋ１〜Ｋ６）が、ユーザが意図して選択した制御機器Ｋ（Ｋ１〜Ｋ６）であるか否かを確認する処理（図１２のＳＴ１６〜ＳＴ２０参照）を、ユーザが前記制御機器Ｋ（Ｋ１〜Ｋ６）が配置された部屋に居て操作する場合に適用したが、これに限定されず、実施例２のように、ユーザが前記ディスプレイＨ２に表示された制御機器配置画像Ｇ（Ｇ１〜Ｇ６）を介して、遠隔地から前記制御機器Ｋ（Ｋ１〜Ｋ６）を操作する場合にも適用可能である。
【図面の簡単な説明】
【００７８】
【図１】図１は本発明の実施例１の制御機器操作ジェスチャ認識システムの全体説明図である。
【図２】図２は本発明の実施例１のクライアントパソコンの制御部が備えている各機能をブロック図（機能ブロック図）で示した図である。
【図３】図３は選択ジェスチャで選択された制御機器と操作ジェスチャによる操作との対応表である。
【図４】図４は本発明の実施例１の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートである。
【図５】図５は本発明の実施例１の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図４のＳＴ４のサブルーチンの説明図である。
【図６】図６は本発明の実施例１の制御機器操作ジェスチャ認識プログラムの制御機器操作処理のフローチャートであり、図４のＳＴ５のサブルーチンの説明図である。
【図７】図７は本発明の実施例２の制御機器操作ジェスチャ認識システムの全体説明図である。
【図８】図８は本発明の実施例２のクライアントパソコンの制御部が備えている各機能をブロック図（機能ブロック図）で示した図であり、実施例１の図２に対応する説明図である。
【図９】図９は本発明の実施例２の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートであり、実施例１の図４に対応する説明図である。
【図１０】図１０は本発明の実施例３のクライアントパソコンの制御部が備えている各機能をブロック図（機能ブロック図）で示した図であり、実施例１の図２に対応する説明図である。
【図１１】図１１は実施例３の選択確認画像の説明図である。
【図１２】図１２は本発明の実施例３の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図４のＳＴ４のサブルーチンの説明図であり、実施例１の図５に対応する説明図である。
【符号の説明】
【００７９】
ＡＰ１…制御機器操作ジェスチャ認識プログラム、
Ｃ１…ユーザ撮像手段、
Ｃ２…ジェスチャ検出手段、
Ｃ３…ジェスチャ判別手段、
Ｃ４…制御機器選択手段、
Ｃ４Ｃ，Ｃ５Ｃ…視線方向判別手段、
Ｃ４Ｄ…選択確認画像表示手段、
Ｃ４Ｅ…確認ジェスチャ判別手段、
Ｃ５…制御機器操作手段、
Ｃ６…制御機器画像表示手段、
ＣＡ１，ＣＡ２…カメラ、
Ｇ…制御機器画像、
Ｇａ…選択確認画像、
Ｋ…制御機器、
ＰＣ…制御機器操作ジェスチャ認識装置、
Ｓ…制御機器操作ジェスチャ認識システム。
【図１】
0005207513.tif 000002
【図２】
0005207513.tif 000003
【図３】
0005207513.tif 000004
【図４】
0005207513.tif 000005
【図５】
0005207513.tif 000006
【図６】
0005207513.tif 000007
【図７】
0005207513.tif 000008
【図８】
0005207513.tif 000009
【図９】
0005207513.tif 000010
【図１０】
0005207513.tif 000011
【図１１】
0005207513.tif 000012
【図１２】
0005207513.tif 000013