(57)【要約】【課題】  機器に対する人の行動意思の有無を反映した機器の動作制御が可能な機器制御装置を提供する。【解決手段】  画像情報の入力手段１０１と、入力された画像情報から得られる画像の中に人の顔が含まれているかどうかを判定する顔存在判定手段１０２と、顔存在判定手段１０２により画像中に人の顔があると判定されたとき、画像から当該顔の外見的な特徴情報を抽出する顔特徴抽出手段１０４を備え、少なくとも顔特徴抽出手段１０４の抽出した特徴情報に基づいて、使用者の機器１０６の使用に対する行動意思を判定して、機器１０６に対する制御を行う。【選択図】  図１
2006119780.tif 000002
【特許請求の範囲】
【請求項１】
画像情報の入力手段と、
入力された前記画像情報から得られる画像の中に人の顔が含まれているかどうかを判定する顔存在判定手段と、
前記顔存在判定手段により前記画像の中に人の顔があると判定されたとき、前記画像から当該顔の外見的な特徴情報を抽出する顔特徴抽出手段と、
を備えてなり、
少なくとも前記顔特徴抽出手段の抽出した前記特徴情報に基づいて、前記使用者の前記機器の使用に対する行動意思を判定して、前記機器に対する制御を行うことを特徴とする機器制御装置。
【請求項２】
前記顔特徴抽出手段は、前記特徴情報として、前記画像中の顔領域の大きさを算出し、
前記顔特徴抽出手段が算出した前記顔領域の大きさに応じて前記行動意思を判定することを特徴とする請求項１に記載の機器制御装置。
【請求項３】
前記顔特徴抽出手段は、前記特徴情報として、前記画像中の顔の向きに関する特徴量を算出し、
前記顔特徴抽出手段が算出した前記特徴量に応じて前記行動意思を判定することを特徴とする請求項１に記載の機器制御装置。
【請求項４】
前記顔特徴抽出手段は、前記特徴情報として、前記画像中の顔領域の存在位置を算出し、
前記顔特徴抽出手段が算出した前記存在位置に応じて前記行動意思を判定することを特徴とする請求項１に記載の機器制御装置。
【請求項５】
前記顔特徴抽出手段は、前記特徴情報として、前記画像中に存在する顔領域の個数を算出し、
前記顔特徴抽出手段が算出した前記顔領域の個数に応じて前記行動意思を判定することを特徴とする請求項１に記載の機器制御装置。
【請求項６】
前記顔存在判定手段が前記画像の中に人の顔があると継続的に判定している期間を計測する計時手段を備え、
前記計時手段の計測した前記期間の長さに応じて前記行動意思を判定することを特徴とする請求項１〜５の何れか１項に記載の機器制御装置。
【請求項７】
前記顔特徴抽出手段が前記画像の中から一定の前記特徴情報を継続的に抽出している期間を計測する計時手段を備え、
前記計時手段の計測した前記期間の長さに応じて前記行動意思を判定することを特徴とする請求項１〜５の何れか１項に記載の機器制御装置。
【請求項８】
画像情報を入力する入力工程と、
入力された前記画像情報から得られる画像の中に人の顔が含まれているかどうかを判定する顔存在判定工程と、
前記顔存在判定工程により前記画像の中に人の顔があると判定されたとき、前記画像から当該顔の外見的な特徴情報を抽出する顔特徴抽出工程と、
少なくとも前記顔特徴抽出工程において抽出した前記特徴情報に基づいて、前記使用者の前記機器の使用に対する行動意思を判定する行動意思判定工程と、を有し、
前記行動意思判定工程において判定した前記行動意思に基づいて、前記機器に対する制御を行うことを特徴とする機器制御方法。
【請求項９】
前記顔特徴抽出工程において、前記特徴情報として、前記画像中の顔領域の大きさを算出し、
前記行動意思判定工程において、前記顔特徴抽出工程で算出した前記顔領域の大きさに応じて前記行動意思を判定することを特徴とする請求項８に記載の機器制御方法。
【請求項１０】
前記顔特徴抽出工程において、前記特徴情報として、前記画像中の顔の向きに関する特徴量を算出し、
前記行動意思判定工程において、前記顔特徴抽出工程で算出した前記特徴量に応じて前記行動意思を判定することを特徴とする請求項８に記載の機器制御方法。
【請求項１１】
前記顔特徴抽出工程において、前記特徴情報として、前記画像中の顔領域の存在位置を算出し、
前記行動意思判定工程において、前記顔特徴抽出工程で算出した前記存在位置に応じて前記行動意思を判定することを特徴とする請求項８に記載の機器制御方法。
【請求項１２】
前記顔特徴抽出工程において、前記特徴情報として、前記画像中に存在する顔領域の個数を算出し、
前記行動意思判定工程において、前記顔特徴抽出工程で算出した前記顔領域の個数に応じて前記行動意思を判定することを特徴とする請求項８に記載の機器制御方法。
【請求項１３】
前記顔存在判定工程は、前記画像の中に人の顔があると継続的に判定している期間を計測する計時工程を有し、
前記行動意思判定工程において、前記計時工程で計測した前記期間の長さに応じて前記行動意思を判定することを特徴とする請求項８〜１２の何れか１項に記載の機器制御方法。
【請求項１４】
前記顔特徴抽出工程は、前記画像の中から一定の前記特徴情報を継続的に抽出している期間を計測する計時工程を有し、
前記行動意思判定工程において、前記計時工程で計測した前記期間の長さに応じて前記行動意思を判定することを特徴とする請求項８〜１２の何れか１項に記載の機器制御方法。
【請求項１５】
請求項８〜１２の何れか１項に記載の機器制御方法の顔存在判定工程、顔特徴抽出工程、及び、行動意思判定工程をコンピュータ上で実行するためのプログラムステップを備えてなるコンピュータプログラム。
【請求項１６】
請求項１５に記載のコンピュータプログラムを記録してなるコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非接触により機器の動作を制御する機器制御装置及び方法に関する。
【背景技術】
【０００２】
従来、この種の機器制御装置及び方法としては、人を検知する人検知センサの検知結果に基づいて、機器の動作を制御する機器制御装置及び方法がある。また、一般的な人検知センサとして、赤外線や超音波、または、画像処理を用いたものがある。
【０００３】
従来の赤外線や超音波などを用いた人検知センサは、例えば銀行などに設置されている現金自動取扱機や自動扉、人の位置を感知する空気調和機などに利用されている。赤外線や超音波を利用した人検知センサでは対象物を厳密に区別できないので、その機器を利用する意思のある人なのか、その装置を利用する意思はなく、偶然近くにいる人なのかを区別するのは困難である。
【０００４】
また、この従来の赤外線や超音波を用いた機器制御装置及び方法では、人以外のもの、例えば動物や、自動掃除機などの動き回る機械装置でも反応してしまうので、ペットショップ、動物園など、人以外の動くものが存在する場合、人かどうか区別するのは困難である。
【０００５】
従来の画像処理を用いた人検知センサの場合、例えば同一の固定カメラより時間差をつけて複数枚の写真を撮り、それらの写真の差分を求めることにより動いているものを捕らえることで人を検知するという方法がある。
【０００６】
この画像処理を用いた機器制御装置及び方法では、検出物の動き、色、大きさ、位置は判断することはできるが、検出物が人であるかの判断はできない。人であったとしても、その機器を利用する意思のある人なのか、偶然近くにいる利用する意思のない人なのかを区別することはできない。
【０００７】
尚、検出物が人であるか否かの判断を、人の顔の特徴抽出により行う方法が、下記の特許文献１〜３に開示されている。但し、これらの特許文献に開示されている方法においても、人の顔領域や顔の向きを抽出する方法を提示するに止まり、検出された人の機器に対する行動意思を確認することまでは示唆も開示もしていない。
【特許文献１】特開平０５−２２５３４４号公報
【特許文献２】特開２０００−１０５８１９号公報
【特許文献３】特開２００１−２５０１２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述の如く、従来の人検知センサを用いた機器制御装置では、人以外の動物や機械を検知する場合や、仮に、人を正しく検知したとしても当該人が制御対象の機器に対する行動意思の有無までは判断できていなかったため、単に人等を検出した場合に、当該機器を使用する意思のない人を検知した場合であっても、当該機器に対して何らかの動作制御を行う場合があった。
【０００９】
本発明は、上記問題点に鑑みてなされたもので、その目的は、機器に対する人の行動意思の有無を反映した機器の動作制御が可能な機器制御装置または方法を提供する点にある。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本発明に係る機器制御装置は、画像情報の入力手段と、入力された前記画像情報から得られる画像の中に人の顔が含まれているかどうかを判定する顔存在判定手段と、前記顔存在判定手段により前記画像の中に人の顔があると判定されたとき、前記画像から当該顔の外見的な特徴情報を抽出する顔特徴抽出手段と、を備えてなり、少なくとも前記顔特徴抽出手段の抽出した前記特徴情報に基づいて、前記使用者の前記機器の使用に対する行動意思を判定して、前記機器に対する制御を行うことを特徴とする。
【００１１】
上記目的を達成するための本発明に係る機器制御方法は、画像情報を入力する入力工程と、入力された前記画像情報から得られる画像の中に人の顔が含まれているかどうかを判定する顔存在判定工程と、前記顔存在判定工程により前記画像の中に人の顔があると判定されたとき、前記画像から当該顔の外見的な特徴情報を抽出する顔特徴抽出工程と、少なくとも前記顔特徴抽出工程において抽出した前記特徴情報に基づいて、前記使用者の前記機器の使用に対する行動意思を判定する行動意思判定工程と、を有し、前記行動意思判定工程において判定した前記行動意思に基づいて、前記機器に対する制御を行うことを特徴とする。
【００１２】
本発明に係る機器制御装置または方法によれば、人の存在とその人の顔の特徴情報から、検知した人の制御対象の機器を使用する意思の有無を判断して、当該使用意思の有無に基づいて機器の動作を制御することができる。具体的には、動物や動き回る機械装置等、人以外の動く物が存在する場合には反応しないので、ペットショップや動物園等、人以外で反応しては困る場所でも確実に人のみを区別ができ、更には、その対象とする機器を利用する意思のない人の顔が偶然にその画像情報の入力手段により検出されてしまっても、機器を利用する意思のある人と利用する意思のない人とを区別することができるので、制御対象機器に対して適切な動作制御を行うことができる。これにより、機器の動作に関係のない人を検知した場合まで、当該機器の動作を制御する無駄を防止できる。
【００１３】
本発明に係る機器制御装置または方法において、前記特徴情報として、前記画像中の顔領域の大きさを算出し、算出した前記顔領域の大きさに応じて前記行動意思を判定するのも好ましい。
【００１４】
顔領域の大きさを特徴情報として算出することにより、顔領域の大きさが大きければ、該顔の人は制御対象機器の近くにいて、顔領域の大きさが小さければ、該顔の人は制御対象機器の遠くにいることが分かるので、使用者の機器を制御する領域を限定することができ、機器を利用する意思のある人と利用する意思のない人とを区別することができる。
【００１５】
更に、本発明に係る機器制御装置または方法において、前記特徴情報として、前記画像中の顔の向きに関する特徴量を算出し、算出した前記特徴量に応じて前記行動意思を判定するのも好ましい。
【００１６】
画像中の顔の向きを特徴情報として算出することにより、一般的に制御対象機器の使用者は当該機器を基準とした特定の方向を向いているので、制御対象機器を利用する意思のある人と利用する意思のない人とを区別することができる。
【００１７】
更に、本発明に係る機器制御装置または方法において、前記特徴情報として、前記画像中の顔領域の存在位置を算出し、算出した前記存在位置に応じて前記行動意思を判定するのも好ましい。
【００１８】
画像中の顔領域の存在位置を特徴情報として算出することにより、顔領域の存在位置に応じて制御対象機器の動作を制御できることにより、使用者の機器を制御する領域を限定することができるので、制御対象機器を利用する意思のある人と利用する意思のない人とを区別することができる。
【００１９】
更に、本発明に係る機器制御装置または方法において、前記特徴情報として、前記画像中に存在する顔領域の個数を算出し、算出した前記顔領域の個数に応じて前記行動意思を判定するのも好ましい。
【００２０】
画像中に存在する顔領域の個数を特徴情報として算出することにより、顔領域の個数に応じて制御対象機器の動作を制御できることにより、機器を利用する意思のある人が複数人いる場合において、制御対象機器を利用する意思のある人と利用する意思のない人とを区別することができる。
【００２１】
更に、本発明に係る機器制御装置または方法において、前記画像の中に人の顔があると継続的に判定している期間を計測し、計測した前記期間の長さに応じて前記行動意思を判定するのも好ましい。
【００２２】
画像の中に人の顔があると継続的に判定している期間を計測することにより、制御対象機器を利用する意思のない人は、その顔の存在を継続的に判定している期間が短く、逆に、利用する意思のある人は、その顔の存在を継続的に判定している期間がある一定時間以上に長くなるので、適当な有効な検出時間を設定することにより、存在の判定された顔の特徴情報と併用することで、当該機器を利用する意思のある人と利用する意思のない人とを、より精度良く区別することができる。
【００２３】
更に、本発明に係る機器制御装置または方法において、前記画像の中から一定の前記特徴情報を継続的に抽出している期間を計測し、計測した前記期間の長さに応じて前記行動意思を判定するのも好ましい。
【００２４】
画像の中から一定の前記特徴情報を継続的に抽出している期間を計測することにより、制御対象機器を利用する意思のない人は、その顔の特徴情報を継続的に維持している期間が短く、逆に、利用する意思のある人は、その顔の特徴情報を継続的に維持している期間がある一定時間以上に長くなるので、適当な有効な検出時間を設定することにより、存在の判定された顔の特徴情報と併用することで、当該機器を利用する意思のある人と利用する意思のない人とを、より精度良く区別することができる。
【００２５】
本発明に係るコンピュータプログラムは、上記特徴の本発明に係る機器制御方法の顔存在判定工程、顔特徴抽出工程、及び、行動意思判定工程をコンピュータ上で実行するためのプログラムステップを備えてなることを特徴とする。
【００２６】
また、本発明に係るコンピュータが読み取り可能な記録媒体は、上記本発明に係るコンピュータプログラムを記録してなることを特徴とする。
【００２７】
これにより、上記記録媒体、または、ネットワークを介して、一般的なコンピュータに、上記本発明に係るコンピュータプログラムをインストールすることによって、上記特徴の本発明に係る機器制御方法の顔存在判定工程、顔特徴抽出工程、及び、行動意思判定工程を該コンピュータ上で実行することができる。言い換えれば、該コンピュータを本発明に係る機器制御装置の顔存在判定手段、顔特徴抽出手段、及び、行動意思判定手段として機能させることができる。この結果、上述の本発明に係る機器制御装置または方法の作用効果がコンピュータ処理により具体的に発揮される。
【発明を実施するための最良の形態】
【００２８】
次に、本発明に係る機器制御装置及び方法（以下、適宜「本発明装置」及び「本発明方法」と称す。）の一実施形態につき図面に基づいて説明する。
【００２９】
〈第１実施形態〉
図１に、本発明装置１００の概略の機能的なブロック構成を示す。図１に示すように、本発明装置１００は、画像情報の入力手段１０１と、顔存在判定手段１０２と、顔領域検出手段１０３と、顔特徴抽出手段１０４と、制御対象機器１０６の動作を制御する制御手段１０５を備えて構成されている。
【００３０】
入力手段１０１は、例えば小型カメラやイメージセンサ等の撮像手段であり、制御対象機器１０６を使用、或いは、操作する使用者の行動意思を判断するための画像情報を取得するのに用いられる。入力手段１０１が取得した画像情報は、画素毎の輝度情報や色情報等としてリアルタイムに電気的な画像信号、例えば、ＲＧＢ形式の画像信号に変換され、顔存在判定手段１０２に出力される。
【００３１】
顔存在判定手段１０２は、入力手段１０１から入力された画像信号で生成される入力画像中に人の顔が含まれるかどうかを判定する。本実施形態においては、人の顔を特徴付ける目・口・鼻をパターンマッチングにより検出し、検出された目・口・鼻が適切な相対位置関係にあれば、入力画像中に人の顔が存在すると判定する。尚、目・口・鼻のパターンマッチングにより人の顔を判定する手法としては、例えば、上述の特許文献１に開示された方法がある。
【００３２】
顔領域検出手段１０３は、入力画像中から顔領域を検出する。本実施形態においては、顔領域を含む入力画像から肌色領域を検出することで顔領域を検出する。肌色領域の検出により顔領域を検出する手法としては、例えば、上述の特許文献２に開示された方法がある。顔存在判定手段１０２が、顔領域検出手段１０３の検出した顔領域に基づいて入力画像中に人の顔が含まれるかどうかを判定する場合は、顔領域検出手段１０３は、顔存在判定手段１０２の前処理手段として機能する。また、顔領域検出手段１０３は、後述する顔特徴抽出手段１０４の前処理手段としても機能する。
【００３３】
顔特徴抽出手段１０４は、顔存在判定手段１０２によって画像中に人の顔が含まれると判定された場合に、顔領域検出手段１０３が検出した顔領域の画像情報より、顔領域の大きさ、画像中の顔の向き、画像中の顔領域の存在位置、画像中に存在する顔領域の個数等を、画像中に存在する顔の外見的な特徴情報として抽出する。本第１実施形態では、顔領域検出手段１０３で検出された顔領域の大きさを、特徴情報として用いる。具体的には、顔特徴抽出手段１０４は、顔領域検出手段１０３が検出した肌色領域の画素数を数えることで、顔領域の大きさを示す指標として顔領域の面積を算出する。尚、顔領域の大きさは、その固有値を数値化できるものであれば、顔領域の面積に限らず、例えば、顔の高さ、顔の幅、或いは、左右の目の間隔等を用いても構わない。
【００３４】
制御手段１０５は、顔存在判定手段１０２の判定結果と前記顔特徴抽出手段の抽出した特徴情報に基づいて、当該特徴情報を備えた顔の使用者の機器１０６の使用に対する行動意思を判定し、所定の制御信号を出力する行動意思判定手段１０７と、行動意思判定手段１０７の出力する制御信号を、機器１０６を駆動可能な所定の駆動制御信号に変換して機器１０６に出力する駆動制御手段１０８を備え、機器１０６の動作に対する制御を行う。
【００３５】
本発明装置１００は、実際には、上記各手段の内の顔存在判定手段１０２、顔領域検出手段１０３、顔特徴抽出手段１０４、及び、行動意思判定手段１０７が、当該各手段の処理をコンピュータ上で実行するための各プログラムステップからなるコンピュータプログラムを格納した記憶部（コンピュータが読み取り可能な記録媒体に相当）と、該コンピュータプログラムを実行して上記各手段の処理を行うＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）等から構成されている。
【００３６】
具体的には、図２に示すように、本発明装置１００は、ＣＰＵ２０１、主記憶装置２０２、外部記憶装置２０３、通信インタフェース２０４、内部バス２０５、入力手段としての小型カメラ１０１、駆動制御手段１０８を備えて構成されている。ここで、図１と図２の各ブロック構成図において、共通する構成要素には同じ符号を付して説明する。
【００３７】
ＣＰＵ２０１は、図１に示す顔存在判定手段１０２、顔領域検出手段１０３、顔特徴抽出手段１０４、及び、行動意思判定手段１０７として機能し、当該各手段による各処理手順が記述されたプログラムは、例えば、外部記憶装置２０３に格納されており、主記憶装置２０２にロードされたものが、ＣＰＵ２０１によるプログラム処理に供せられる。また、ＣＰＵ２０１は、内部バス２０５を介してＣＰＵ２０１と相互に接続された小型カメラ１０１、主記憶装置２０２、外部記憶装置２０３、及び、駆動制御手段１０８とデータの授受を行ないながら、図３のフローチャートで示す各処理を実行する。
【００３８】
主記憶装置２０２は、通常はＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）等の半導体メモリデバイスで構成される。
【００３９】
外部記憶装置２０３は、例えば、ハードディスクドライブ（ＨＤＤ）やフレキシブルディスク等の不揮発性の磁気記録媒体で構成されており、顔存在判定手段１０２、顔領域検出手段１０３、顔特徴抽出手段１０４、及び、行動意思判定手段１０７の各処理を実行するためのコンピュータプログラムを記憶している。
【００４０】
また、ＣＰＵ２０１は、内部バス２０５と通信インタフェース２０４を介して有線または無線で接続されたネットワーク２０６を通して、他のネットワーク機器２０７の記憶装置を外部記憶装置として用いることもできる。
【００４１】
駆動制御手段１０８は、制御対象機器１０６と内部バス２０５に接続し、内部バス２０５を介してＣＰＵ２０１から伝送された行動意思判定手段１０７の制御信号を、制御対象機器１０６を駆動できる駆動制御信号に変換して出力する。
【００４２】
次に、図３のフローチャートを参照して、本発明装置１００によって実行される本発明方法の処理手順について説明する。
【００４３】
ステップＳ３０１において、小型カメラ１０１が撮像した画像情報の画像信号を入力し（入力工程）、ステップＳ３０２に進む。ステップＳ３０２において、顔領域検出手段１０３が、入力された画像信号で生成される入力画像中から顔領域を検出する。引き続き、ステップＳ３０３において、顔存在判定手段１０２が、その画像信号から得られる入力画像中に人の顔が含まれているかどうかを判定する（顔存在判定工程）。人の顔の存在が検出できなかった場合は、ステップＳ３０４に進み、行動意思判定手段１０７が、行動意思判定を行わずに、必要に応じてそのときの制御対象機器１０６の状態に応じた制御信号を駆動制御手段１０８に出力し、駆動制御手段１０８が制御対象機器１０６を駆動制御してスタートに戻る。
【００４４】
ステップＳ３０３において、顔存在判定手段１０２が１人以上の人の顔が存在すると判定した場合は、ステップＳ３０５に進む。ステップＳ３０５において、顔特徴抽出手段１０４が、顔領域検出手段１０３が検出した顔領域より特徴情報を抽出する（顔特徴抽出工程）。本第１実施形態では、特徴情報として、顔領域の大きさを抽出する。ステップＳ３０６において、行動意思判定手段１０７が、検出した特徴情報の検出値が所定の判定領域内であれば、使用者の制御対象機器１０６に対する行動意思が存在すると判定し、それに応じた制御信号を駆動制御手段１０８に出力して、ステップＳ３０７に移行し、また、上記検出値が所定の判定領域内にない場合は、使用者の制御対象機器１０６に対する行動意思が存在しないと判定し、スタートに戻る（行動意思判定工程）。ステップＳ３０７において、駆動制御手段１０８は、受け取った制御信号に基づいて、制御対象機器１０６に対する駆動制御を実行し、スタートに戻る。尚、本第１実施形態では、上記行動意思判定工程において、顔領域の大きさが所定の判定閾値以上であれば、使用者が制御対象機器１０６の近くにいて機器１０６に対する行動意思があると判定する。
【００４５】
〈第２実施形態〉
次に、本発明装置の第２実施形態について説明する。図４に、第２実施形態に係る本発明装置４００の概略の機能的なブロック構成を示す。図４に示すように、本発明装置４００は、画像情報の入力手段１０１と、顔存在判定手段１０２と、顔領域検出手段１０３と、顔特徴抽出手段１０４と、制御対象機器１０６の動作を制御する制御手段１０５に加え、顔存在判定手段１０２が入力画像の中に人の顔があると継続的に判定している期間を計測する計時手段４０１を備えて構成されている。第１実施形態との相違点は、第２実施形態に係る本発明装置４００が、計時手段４０１を備え、制御手段１０５の行動意思判定手段１０７が、計時手段４０１で計測された期間を考慮して、制御対象機器１０６に対する使用者の行動意思を判定する点である。尚、図１と図４の各ブロック構成図において、共通する構成要素には同じ符号を付して説明する。
【００４６】
次に、図５のフローチャートを参照して、本発明装置４００によって実行される本発明方法の処理手順について説明する。
【００４７】
ステップＳ５０１において、小型カメラ１０１が撮像した画像情報の画像信号を入力し（入力工程）、ステップＳ５０２に進む。ステップＳ５０２において、顔領域検出手段１０３が、入力された画像信号で生成される入力画像中から顔領域を検出する。引き続き、ステップＳ５０３において、顔存在判定手段１０２が、その画像信号から得られる入力画像中に人の顔が含まれているかどうかを判定する（顔存在判定工程）。人の顔の存在が検出できなかった場合は、ステップＳ５０４に進み、行動意思判定手段１０７が、行動意思判定を行わずに、必要に応じてそのときの制御対象機器１０６の状態に応じた制御信号を駆動制御手段１０８に出力し、駆動制御手段１０８が制御対象機器１０６を駆動制御してスタートに戻る。
【００４８】
ステップＳ５０３において、顔存在判定手段１０２が１人以上の人の顔が存在すると判定した場合は、ステップＳ５０５に進む。ステップＳ５０５において、人の顔の存在を継続的に判定している期間として有効な一定判定時間を待機し、ステップＳ５０６に進む。ステップＳ５０６において、小型カメラ１０１が撮像した新たな画像情報の画像信号を入力し（入力工程）、ステップＳ５０７で、再度、顔領域検出手段１０３が、入力された画像信号で生成される入力画像中から顔領域を検出する。ステップＳ５０８において、再度、顔存在判定手段１０２が、その画像信号から得られる入力画像中に人の顔が含まれているかどうかを判定する（顔存在判定工程）。ステップＳ５０８において、人の顔の存在が検出できなかった場合は、ステップＳ５０４に進み、顔存在判定手段１０２が１人以上の人の顔が存在すると判定した場合は、ステップＳ５０９に進む。ステップＳ５０９において、顔特徴抽出手段１０４が、顔領域検出手段１０３が検出した顔領域より特徴情報を抽出する（顔特徴抽出工程）。本第２実施形態では、第１実施形態と同様に、特徴情報として、顔領域の大きさを抽出する。ステップＳ５１０において、行動意思判定手段１０７が、検出した特徴情報の検出値が所定の判定領域内であれば、使用者の制御対象機器１０６に対する行動意思が存在すると判定し、それに応じた制御信号を駆動制御手段１０８に出力して、ステップＳ５１１に移行し、また、上記検出値が所定の判定領域内にない場合は、使用者の制御対象機器１０６に対する行動意思が存在しないと判定し、スタートに戻る（行動意思判定工程）。ステップＳ５１１において、駆動制御手段１０８は、受け取った制御信号に基づいて、制御対象機器１０６に対する駆動制御を実行し、スタートに戻る。尚、本第２実施形態では、第１実施形態と同様に、上記行動意思判定工程において、顔領域の大きさが所定の判定閾値以上であれば、使用者が制御対象機器１０６の近くにいて機器１０６に対する行動意思があると判定する。
【００４９】
以上のように、本第２実施形態では、人の顔の存在を継続的に判定している期間として有効な一定判定時間を設定することができるので、有効な判定時間を適切に設定することにより、制御対象機器１０６を利用する意思のない人の顔が偶然、その小型カメラ１０１により撮像され、顔存在判定手段１０２によりその存在が判定されても、その顔の存在が一時的で設定された有効な判定時間以下であれば、結果として、一時的に検出された顔の人物を制御対象機器１０６を利用する意思のない人として扱え、制御対象機器１０６の状態変化をさせないことができる。
【００５０】
〈第３実施形態〉
次に、本発明装置の第３実施形態について説明する。図６に、第３実施形態に係る本発明装置６００の概略の機能的なブロック構成を示す。図４に示すように、本発明装置６００は、画像情報の入力手段１０１と、顔存在判定手段１０２と、顔領域検出手段１０３と、顔特徴抽出手段１０４と、制御対象機器１０６の動作を制御する制御手段１０５に加え、顔特徴抽出手段１０４が入力画像の中に存在する人の顔の特徴情報を一定の状態で継続的に抽出している期間を計測する計時手段６０１を備えて構成されている。第１実施形態との相違点は、第３実施形態に係る本発明装置６００が、計時手段６０１を備え、制御手段１０５の行動意思判定手段１０７が、計時手段６０１で計測された期間を考慮して、制御対象機器１０６に対する使用者の行動意思を判定する点である。また、第２実施形態との相違点は、第２実施形態に係る計時手段４０１は、顔存在判定手段１０２が入力画像の中に人の顔があると継続的に判定している期間を計測するのに対して、第３実施形態に係る計時手段６０１は、顔特徴抽出手段１０４が入力画像の中に存在する人の顔の特徴情報を一定の状態で継続的に抽出している期間を計測する点である。例えば、第３実施形態では、顔特徴抽出手段１０４が特徴情報として顔の大きさを抽出する場合に、その顔の面積が、一定の状態として一定の大きさ以上である期間が、一定の状態で継続的に抽出している期間として計測される。尚、図１と図６の各ブロック構成図において、共通する構成要素には同じ符号を付して説明する。
【００５１】
次に、図７のフローチャートを参照して、本発明装置６００によって実行される本発明方法の処理手順について説明する。
【００５２】
ステップＳ７０１において、小型カメラ１０１が撮像した画像情報の画像信号を入力し（入力工程）、ステップＳ７０２に進む。ステップＳ７０２において、顔領域検出手段１０３が、入力された画像信号で生成される入力画像中から顔領域を検出する。引き続き、ステップＳ７０３において、顔存在判定手段１０２が、その画像信号から得られる入力画像中に人の顔が含まれているかどうかを判定する（顔存在判定工程）。人の顔の存在が検出できなかった場合は、ステップＳ７０４に進み、行動意思判定手段１０７が、行動意思判定を行わずに、必要に応じてそのときの制御対象機器１０６の状態に応じた制御信号を駆動制御手段１０８に出力し、駆動制御手段１０８が制御対象機器１０６を駆動制御して、ステップＳ７０５において、後述するカウンタ値Ｎをリセットした後に、スタートに戻る。
【００５３】
ステップＳ７０３において、顔存在判定手段１０２が１人以上の人の顔が存在すると判定した場合は、ステップＳ７０６に進む。ステップＳ７０６において、顔特徴抽出手段１０４が、顔領域検出手段１０３が検出した顔領域より特徴情報を抽出する（顔特徴抽出工程）。本第３実施形態では、第１実施形態と同様に、特徴情報として、顔領域の大きさを抽出する。ステップＳ７０７において、行動意思判定手段１０７が、検出した特徴情報の検出値が所定の判定領域内であれば、ステップＳ７０８に移行し、また、上記検出値が所定の判定領域内にない場合は、使用者の制御対象機器１０６に対する行動意思が存在しないと判定し、ステップＳ７０５を経由して、スタートに戻る（行動意思判定工程）。ステップＳ７０８では、計時手段６０１が、一定の単位遅延時間の経過を待って、カウンタ値Ｎを１だけカウントアップし、ステップＳ７０９において、カウンタ値Ｎが最大カウント値Ｎｍａｘに至ったか否かを判定し、カウンタ値Ｎが最大カウント値Ｎｍａｘ未満の場合は、スタートに戻り、同じ処理を繰り返す。尚、ステップＳ７０７における特徴情報の検出値が所定の判定領域内あるか否かの判定は、第１実施形態と同様に、顔領域の大きさが所定の判定閾値以上か否かによって判定する。
【００５４】
ステップＳ７０９において、カウンタ値Ｎが最大カウント値Ｎｍａｘに一致した場合は、顔特徴抽出手段１０４が入力画像の中に存在する人の顔の特徴情報を一定の状態で継続的に抽出している期間が、所定の有効な判定期間を経過したと判断して、ステップＳ７１０に進む。ステップＳ７１０において、行動意思判定手段１０７が、検出した特徴情報の検出値が所定の判定領域内である状態が、所定の有効な判定期間継続したとして、使用者の制御対象機器１０６に対する行動意思が存在すると判定し、それに応じた制御信号を駆動制御手段１０８に出力する。また、駆動制御手段１０８は、受け取った制御信号に基づいて、制御対象機器１０６に対する駆動制御を実行し、スタートに戻る。
【００５５】
以上のように、本第３実施形態では、入力画像中に存在する人の顔の特徴情報を一定の状態で継続的に抽出している期間として有効な一定判定時間を設定することができるので、有効な判定時間を、単位遅延時間と最大カウント値Ｎｍａｘを調整して適切に設定することにより、制御対象機器１０６を利用する意思のない人の顔が偶然、その小型カメラ１０１により撮像され、顔存在判定手段１０２によりその存在が判定され、且つ、一時的に制御対象機器１０６を利用する意思がある人と判定されても、その顔の特徴情報の抽出が一時的で設定された有効な判定時間以下であれば、結果として、一時的に検出された顔の人物を制御対象機器１０６を利用する意思のない人として扱え、制御対象機器１０６の状態変化をさせないことができる。
【００５６】
〈第４実施形態〉
次に、本発明装置の第４実施形態について説明する。第４実施形態に係る本発明装置は、上記第１乃至第３実施形態の何れかにおける本発明装置１００，４００または６００の顔特徴抽出手段１０４を、人の顔の外見的な特徴情報として、入力画像中の顔の向きを抽出する手段に置換し、その他の手段、つまり、入力手段１０１、顔存在判定手段１０２、顔領域検出手段１０３、顔特徴抽出手段１０４、制御手段１０５、行動意思判定手段１０７、駆動制御手段１０８、計時手段４０１または６０１は、上記第１乃至第３実施形態と同じものを備えて構成されている。
【００５７】
第４実施形態の顔特徴抽出手段は、入力画像中の顔の向きを抽出する方法として、顔領域検出手段１０３が検出した顔領域上から目・口・鼻の各位置を求め、それらの相対的な位置から、顔の向きを抽出する。同様の顔の向きを抽出手法としては、例えば、上述の特許文献３に開示された方法がある。
【００５８】
顔特徴抽出手段によって抽出される特徴情報が、顔の向きである点以外は、上記第１乃至第３実施形態と同じであるので、第４実施形態に係る本発明装置の構成並びに処理手順については重複する説明を割愛する。
【００５９】
〈第５実施形態〉
次に、本発明装置の第５実施形態について説明する。第５実施形態に係る本発明装置は、上記第１乃至第３実施形態の何れかにおける本発明装置１００，４００または６００の顔特徴抽出手段１０４を、人の顔の外見的な特徴情報として、入力画像中の顔領域の存在位置を抽出する手段に置換し、その他の手段、つまり、入力手段１０１、顔存在判定手段１０２、顔領域検出手段１０３、顔特徴抽出手段１０４、制御手段１０５、行動意思判定手段１０７、駆動制御手段１０８、計時手段４０１または６０１は、上記第１乃至第３実施形態と同じものを備えて構成されている。
【００６０】
第５実施形態の顔特徴抽出手段は、入力画像中の顔領域の存在位置を抽出する方法として、例えば、顔領域検出手段１０３が検出した顔領域の中心位置を求め、その中心位置の入力画像中における相対位置を抽出する。
【００６１】
顔特徴抽出手段によって抽出される特徴情報が、顔領域の存在位置である点以外は、上記第１乃至第３実施形態と同じであるので、第５実施形態に係る本発明装置の構成並びに処理手順については重複する説明を割愛する。
【００６２】
〈第６実施形態〉
次に、本発明装置の第６実施形態について説明する。第６実施形態に係る本発明装置は、上記第１乃至第３実施形態の何れかにおける本発明装置１００，４００または６００の顔特徴抽出手段１０４を、人の顔の外見的な特徴情報として、入力画像中に存在する顔領域の個数を抽出する手段に置換し、その他の手段、つまり、入力手段１０１、顔存在判定手段１０２、顔領域検出手段１０３、顔特徴抽出手段１０４、制御手段１０５、行動意思判定手段１０７、駆動制御手段１０８、計時手段４０１または６０１は、上記第１乃至第３実施形態と同じものを備えて構成されている。
【００６３】
第６実施形態の顔特徴抽出手段は、入力画像中に存在する顔領域検出手段１０３により検出され、且つ、顔存在判定手段１０２によって人の顔と判定された顔領域の個数を抽出する。
【００６４】
顔特徴抽出手段によって抽出される特徴情報が、顔領域の個数である点以外は、上記第１乃至第３実施形態と同じであるので、第６実施形態に係る本発明装置の構成並びに処理手順については重複する説明を割愛する。
【００６５】
以下、本発明装置及び本発明方法の別実施形態について説明する。
【００６６】
〈１〉上記各実施形態においては、顔特徴抽出手段は、顔領域検出手段１０３が検出した顔領域の画像情報より、顔領域の大きさ、画像中の顔の向き、画像中の顔領域の存在位置、及び、画像中に存在する顔領域の個数の何れか１つを、画像中に存在する顔の外見的な特徴情報として抽出する場合を説明したが、顔特徴抽出手段が抽出する特徴情報としては、上記顔領域の大きさ、画像中の顔の向き、画像中の顔領域の存在位置、及び、画像中に存在する顔領域の個数の何れか１つに限定されるものではなく、上記以外の特徴情報であってもよく、また、上記特徴情報の２以上を組み合わせて使用しても構わない。
【００６７】
〈２〉上記各実施形態においては、顔存在判定手段１０２、顔領域検出手段１０３、顔特徴抽出手段１０４、及び、行動意思判定手段１０７の各処理をコンピュータ上で実行するための各プログラムステップからなるコンピュータプログラムを、本発明装置を構成するコンピュータの外部記憶装置２０３に予め格納して使用する場合を説明したが、上記コンピュータプログラムの供給方法は、上記各実施形態の方法に限定されるものではない。
【００６８】
例えば、上記コンピュータプログラムをＣＤ−ＲＯＭやＤＶＤ等の可搬型の記録媒体に格納しておき、当該記録媒体を本発明装置に供給し、本発明装置を構成するコンピュータ（またはＣＰＵやＭＰＵ）が、当該記録媒体に格納されたプログラムコードを読み出し、主記憶装置２０２にロードして実行するようにしても構わない。また、当該記録媒体として高速アクセス可能な半導体メモリ等を利用して、当該記録媒体に格納されたプログラムコードを直接読み出して実行するようにしても構わない。プログラムコードを供給するための記録媒体としては、例えば、フロッピィディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００６９】
この場合、記録媒体から読み出されたプログラムコード自体が、上記各実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明装置を構成することになる。
【００７０】
また、上記プログラムコードは、図２のネットワーク２０６のような伝送媒体を介して、他のコンピュータシステムから本発明装置の主記憶装置２０２または外部記憶装置２０３へダウンロードされる形態であってもよい。
【００７１】
また、コンピュータが読み出したプログラムコードを実行することにより、上記各実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって上記各実施形態の機能が実現される形態であっても構わない。
【００７２】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記各実施形態の機能が実現される形態であっても構わない。
【図面の簡単な説明】
【００７３】
【図１】本発明に係る機器制御装置の第１実施形態における概略の機能的な構成を示すブロック図
【図２】本発明に係る機器制御装置の第１実施形態における概略のハードウェア構成を示すブロック図
【図３】本発明に係る機器制御方法の第１実施形態における概略の処理手順を示すフローチャート
【図４】本発明に係る機器制御装置の第２実施形態における概略の機能的な構成を示すブロック図
【図５】本発明に係る機器制御方法の第２実施形態における概略の処理手順を示すフローチャート
【図６】本発明に係る機器制御装置の第３実施形態における概略の機能的な構成を示すブロック図
【図７】本発明に係る機器制御方法の第３実施形態における概略の処理手順を示すフローチャート
【符号の説明】
【００７４】
１００，４００，６００：  本発明に係る機器制御装置
１０１：  画像情報の入力手段（小型カメラ）
１０２：  顔存在判定手段
１０３：  顔領域検出手段
１０４：  顔特徴検出手段
１０５：  制御手段
１０６：  制御対象機器
１０７：  行動意思判定手段
１０８：  駆動制御手段
２０１：  ＣＰＵ
２０２：  主記憶装置
２０３：  外部記憶装置
２０４：  通信インタフェース
２０５：  内部バス
２０６：  ネットワーク
２０７：  ネットワーク機器
４０１，６０１：  計時手段
【図１】
2006119780.tif 000003
【図２】
2006119780.tif 000004
【図３】
2006119780.tif 000005
【図４】
2006119780.tif 000006
【図５】
2006119780.tif 000007
【図６】
2006119780.tif 000008
【図７】
2006119780.tif 000009