(57)【要約】家のような局所環境内のシステム及び装置を自動的に制御するシステム及び方法である。本システムは、局所環境の1以上の領域と関連する画像を受信する]制御ユニットを備える。前記1以上の領域は各々１以上のサービス提供要素によりサービスされる。前記制御ユニットは、前記画像を処理し、前記局所環境と関連する一群の既知の人達の中から、前記領域内にいる１以上の既知の人を識別する。前記制御ユニットは、１以上の既知の人が識別された前記領域に対して、該領域と関連する少なくとも１つのサービス提供要素に対する制御信号を自動的に発生する。該制御信号はそれぞれの領域内にいる既知の人の少なくとも１人の好みを反映する。
2005529548.tif 000002
【特許請求の範囲】
【請求項１】
局所環境の１以上の領域と関連する画像を受信する制御ユニットを備え、前記1以上の各領域は１以上のサービス提供要素によりサービスされ、前記制御ユニットは、前記画像を処理して、前記局所環境と関連する一群の既知の人の中から、前記領域内にいる１以上の既知の人を識別し、１以上の既知の人が識別された前記領域に対して、該領域と関連する少なくとも１つのサービス提供要素に対する制御信号を自動的に発生し、該制御信号はそれぞれの領域内にいる既知の人の少なくとも１人の好みを反映することを特徴とする局所環境制御システム。
【請求項２】
前記局所環境の１以上の領域の各々と関連する少なくとも１つのカメラを更に備え、該カメラが前記１以上の領域と関連する画像を前記制御ユニットに供給し、各領域と関連する前記少なくとも１つのカメラにより収集された画像を処理して各領域にいる既知の人を識別することを特徴とする請求項１記載のシステム。
【請求項３】
前記制御ユニットは画像認識ソフトウエアを前記受信画像に適用して前記領域にいる既知の人を識別することを特徴とする請求項１記載のシステム。
【請求項４】
前記画像認識ソフトウエアは前記局所環境と関連する一群の既知の人の格納参照画像データを用いて前記領域にいる１以上の既知の人を識別することを特徴とする請求項３記載のシステム。
【請求項５】
前記制御ユニットは前記領域にいるものと識別された１以上の既知の人に対して格納された各人の好みを検索することを特徴とする請求項１記載のシステム。
【請求項６】
１以上の既知の人が識別された前記領域に対して、該領域と関連する少なくとも１つのサービス提供要素に対して発生された前記制御信号は前記領域にいる少なくとも１人の既知の人に対して検索された少なくとも１つの好みに基づいていることを特徴とする請求項５記載のシステム。
【請求項７】
前記制御ユニットとインターフェースするメモリを備え、該メモリは前記１以上の領域をサービスする１以上のサービス提供要素に関する前記一群の既知の人の各人の好みを格納し、該メモリから識別された人の好みを前記制御ユニットにより検索することを特徴とする請求項１記載のシステム。
【請求項８】
前記制御ユニットとインターフェースするメモリを備え、該メモリは前記１以上の領域をサービスする１以上のサービス提供要素に関する前記一群の既知の人の各人の好みは前記制御ユニットとインターフェースする外部入力手段により手動的に入力することを特徴とする請求項７記載のシステム。
【請求項９】
前記制御ユニットとインターフェースするメモリを備え、該メモリは前記１以上の領域をサービスする１以上のサービス提供要素に関する前記一群の既知の人の各人の好みは制御ユニットにより学習モードで発生されることを特徴とする請求項７記載のシステム。
【請求項１０】
前記サービス提供要素は、ライト、暖房装置及びオーディオシステムからなる群から選ばれることを特徴とする請求項１記載のシステム。
【請求項１１】
前記領域と関連する前記サービス提供要素の１つは暖房装置であり、前記暖房装置に対して発生される前記制御信号は１つの領域にいる既知の人の少なくとも１人の室温の好みを反映することを特徴とする請求項１記載のシステム。
【請求項１２】
前記領域と関連する前記サービス提供要素の１つはライトであり、前記ライトに対して発生される前記制御信号は１つの領域にいる既知の人の少なくとも１人の照明の好みを反映することを特徴とする請求項１記載のシステム。
【請求項１３】
前記領域と関連する前記サービス提供要素の１つはオーディオシステムであり、前記オーディオシステムであり、前記オーディオシステムに対して発生される前記制御信号は１つの領域にいる既知の人の少なくとも１人の音楽タイプの好みを反映することを特徴とする請求項１記載のシステム。
【請求項１４】
前記局所環境の前記領域の少なくとも１つは、前記局所環境の１つの部屋であることを特徴とする請求項１記載のシステム。
【請求項１５】
前記局所環境の前記領域の少なくとも１つは、前記１以上のサービス提供要素の１つによりカバーされる領域であることを特徴とする請求項１記載のシステム。
【請求項１６】
局所環境の領域内に位置するサービス提供要素を制御する方法であって、該方法は、
(a)前記領域と関連する画像を収集するステップと、
(b)前記領域と関連する収集画像から前記領域内の既知の人を、前記局所環境と関連する一群の既知の人の中から識別するステップと、
(c)前記サービス提供要素に関する識別された人の好みを検索するステップと、
(d)前記サービス提供要素を前記識別された人の検索された好みに従って制御するステップと、
を備えることを特徴とする局所環境制御方法。
【請求項１７】
前記収集画像から前記領域内の既知の人を識別するステップは、収集画像を画像認識ソフトウエアで処理するステップを含むことを特徴とする請求項１６記載の方法。
【請求項１８】
前記識別された人の好みを検査するステップは、識別ステップで決定されたアイデンティティを用いてメモリから前記制御ユニットは画像認識ソフトウエアを前記受信画像に適用して前記領域にいる既知の人を識別することを特徴とする請求項１６記載の方法。
【請求項１９】
前記サービス提供要素を識別された人の検索された好みに従って制御するステップは、前記好みを反映する前記サービス提供要素に対する制御信号を発生し、該制御信号を前記サービス提供要素に送信することを特徴とする請求項１６記載の方法。
【請求項２０】
前記ステップ(c)及び(d)を前記領域内の１以上の追加のサービス提供要素に対して実行することを特徴とする請求項１６記載の方法。
【請求項２１】
前記ステップ(a)−(d)を前記局所環境内の１以上の追加の領域に対して実行することを特徴とする請求項１６記載の方法。
【請求項２２】
局所環境の１以上の領域と関連する画像入力を受信するソフトウエアパッケージであって、前記1以上の各領域は１以上のサービス提供要素によりサービスされ、前記ソフトウエアは、前記画像入力を、前期局所環境と関連する一群の既知の人を含むデータとともに処理して前期領域内にいる１以上の既知の人を識別し、１以上の既知の人が識別された前記領域に対して、メモリにアクセスして前記領域と関連する前記サービス提供要素の少なくとも１つに対する前記領域にいる既知の人の少なくとも１人の好みを検索し、検索した好みに基づいて前記領域と関連する前記サービス提供要素の少なくとも１つに対する制御信号を発生することを特徴とするソフトウエアパッケージ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、家又は類似の内部環境内における照明、温度、雑音レベル等のような環境性（アンビエンス）を調整する技術に関するものである。
【背景技術】
【０００２】
ホームオートメーションシステム及び技術が既知である。多くの既知のホームオートメーションシステム及び技術は、一般に、リアルタイム物理入力に感応するものとして分類されている。公知の例として、人が例えば室内に入るとターンオンするＩＲセンサ(又はモーションセンサなど)付きのライト（照明器具）がある。このようなライトは、しばしば、周囲に昼光があるときは当該ライトのターンオンを阻止する付属の昼光センサを具備することができる。
【０００３】
他の既知のホームオートメーションシステム及び技術は、一般に、所定の基準を満たすとき所定の機能を実行するようにプレプログラムされているものとして分類されている。多くのリアクティブシステムがタイマにより制御されている。例えば、暖房装置を、例えば朝のような一日の所定の時刻に自動的に始動させることができる。同様に、コーヒーメーカーを所定の時刻に自動的にターンオンして、家人が朝キッチンに入るときには既に熱いコーヒーが用意されているようにすることができる。
【０００４】
もっと複雑なホームオートメーションシステムの例がリヒトンの欧州特許出願ＥＰ１１０２５００Ａ２に記載されている。人が携帯する無線モバイルユニット（例えばワイヤレスフォン）を用いて家までの距離を決定する。人と自宅との間の距離に基づいて所定の操作を実行させるメッセージ又は命令を発生させ、自宅内のコントローラに送る。例えば、ユーザが自宅から所定の距離以内になったら、暖房装置をターンオンするよう命令することができる。このように、リヒトンの発明はリアクティブシステム(即ち、接近に反応する特徴)とプレプログラムシステム（即ち所定の予め記憶された基準を満たす特徴）の両方に類似する特徴を有している。
【０００５】
もっと精巧なプレプログラム型のホームオートメーションシステムの他の例が、シャロッド他のＰＣＴＷＯ０１／５２４７８Ａ２に記載されている。シャロッドのシステムでは、既存の家庭機器及びシステムを制御サーバに接続する。ユーザはユーザインターフェースを介して選択した機器又はシステムを制御することができる。ユーザインターフェースはサーバと相互作用し、選択した機器又はシステムに対する実際の制御入力のためのグラフィック表示を提示し得る。従って、ユーザは、例えばインターネット接続を介してサーバにアクセスし、機器やシステムを遠隔制御することができる。更に、制御サーバは、所定の機器又はシステムが所定の環境の下で始動し、運転されるようにプログラムすることができる。例えば、「バケーションモード」のときは、ライトをセキュリティ目的のために所定の時刻にターンオンさせ、暖房装置を低い温度で運転させる。
【０００６】
既知のホームオートメーション技術及びシステムと関連する多くの欠点がある。例えば、既知のリアクティブ型システムは単に入力が受信されたとき固定の応答を提供するだけである。例えば、モーションセンサは人が望まないときでも照明をスイッチオンする。所定のリアクションをプログラムし得るリヒトンのようなリアクティブシステムでもこのような欠点を受ける。例えば、妻の希望を反映する所定の距離で自宅内の所定の機能を開始させる携帯電話は、妻の電話を携帯する夫には合わない状態を生起し得る。
【０００７】
同様に、既知のプレプログラム型ホームオートメーションシステムも多くの欠点を有する。例えば、機器やシステムを自動的にターンオンするタイマは、タイマがターンオフされない限りそのように動作するため、望ましくない或いは危険な状態を生起し得る。例えば、ユーザが早朝のビジネス会議のある日にコーヒーメーカーのタイマをターンオフすることを忘れた場合、コーヒーメーカーが朝の遅い時刻にターンオンすると警告音が発生しうるが一日中オンのままになる。同様に、例えばリヒトンのシステムにおいて「バケーションモード」が選択されている場合に、このシステムに不慣れな息子や娘が他の家族が留守の週末にカレッジから不意に帰宅すると、彼らは照明や暖房を彼らの好みに合わせて動作させることができないかもしれない。
【０００８】
既知のホームオートメーションシステム及び技術の他の欠点は、特定の個人を識別し、識別した個人の好みに合わせて自宅内の設定や応答を調整することができない点にある。更に、既知のシステム及び技術は自宅内の特定の人の位置に基づく好みの設定や応答に応答し得ない。更に、既知のシステム及び技術は自宅にいる複数の人の好みの設定や応答に応答し得ない。
【０００９】
本発明の目的は、住宅のような局所環境内の状態又は環境性を自動的に設定することにある。本発明の目的は、更に、局所環境内の特定の人の位置を自動的に決定するとともに、特定の人が検出された局所環境の領域内の状態又は環境性を特定の人の好みに基づいて自動調整することにある。本発明の目的は、更に、画像認識を用いて局所環境内の特定のユーザの位置を自動的に決定することにある。
【００１０】
従って、本発明は、局所環境の１以上の領域と関連する画像を受信する制御ユニットを具えるシステムを提供する。局所環境は、例えば家とすることができ、２以上の領域は家の部屋、家の棟や床等とすることができる。１以上の領域は各々１以上の制御可能な装置又はシステムによりサービスされる。例えば、制御可能な装置又はシステムは室内のライト、住宅の各区域に対する暖房などである。制御ユニットは画像を処理して、局所環境と関連する一群の既知の人の中から、１以上の領域内にいる既知の人を識別する。それぞれの領域内で識別された既知の人に対して、制御ユニットは、前記既知の人がいるそれぞれの領域をサービスする１以上の制御可能な装置又はシステムの少なくとも１つに対する前記識別された人の好みの情報(Indicia)をデータベースから検索する。制御ユニットは、識別された人がいるそれぞれの領域をサービスする１以上の制御可能な装置又はシステムを既知の人の好みを反映するように調整する制御信号を発生する。
【００１１】
本発明は、また局所環境を含む種々の領域の状態又は環境性を調整する方法を提供する。本発明の方法は局所環境の複数の領域の各々と関連する画像を収集する。収集画像から、局所環境と関連する一群の既知の人の中から、１以上の領域内に位置する既知の人を識別する。識別された人に対する１以上の好みを用いて、識別された人がいる領域と関連する１以上の装置又はシステムを制御する。
【００１２】
図１は、本発明の一実施例をサポートする家１０を備える局所環境を示す。以下の説明は家に焦点をあてるが、本発明を適用しうる局所環境は任意であり、例えばオフィス、商店、病院、ホテル、キャンパーなどの環境とすることができる。当業者であれば本発明をこのような他の環境に容易に適応させることができる。
【００１３】
家１０は図に示されているように部屋Ｒ１，Ｒ２を備える。Ｒ１，Ｒ２は部屋として示し、部屋と呼んでいるが、一般的には、伝統的な部屋ではない、家内の定義可能な領域も表す。例えば、これらの領域は、キッチン、廊下、階段室、ガレージ、地下室、物置などとすることができる。更に、図１の部屋Ｒ１，Ｒ２はそれぞれの部屋をサービスする少なくとも１つの制御可能な装置又はシステムを有する家内の他の部屋を代表する。本発明に従って制御されないシステム又は装置を含まない家内の領域は図１には示されていないが、このような領域もあるものと理解されたい。例えば、本発明に従って制御されるシステム及び／又は装置は頻繁に使用される家内の寝室、キッチン、書斎及び居間のような所定の領域内に見つけることができるが、廊下、階段室、地下室及びガレージのような頻繁に使用されない領域にはないものとすることができる。
【００１４】
図１の各部屋Ｒ１，Ｒ２は、図に示すように、室内の画像、特に室内の人の画像を収集するカメラＣ１，Ｃ２又は類似の画像収集装置を有する。１領域をカバーするために１以上のカメラを用いてことができるが、説明を容易にするために、図１には各領域をカバーするものとして１つのカメラのみが示されている。従って、例えばカメラＣ２は部屋Ｒ２内にいる人Ｘの画像を収集する。各部屋Ｒ１，Ｒ２は部屋を照明するそれぞれのライト(照明器具)Ｌ１，Ｌ２を有するとともに、部屋を暖房するそれぞれの暖房装置Ｈ１，Ｈ２を有する。部屋Ｒ２はスピーカＳ２から音楽を提供するオーディオシステムによりサービスされる。ライトＬ１及び暖房装置Ｈ１は本発明に従って制御される部屋Ｒ１のシステム及び構成要素である。同様に、ライトＬ２及び暖房装置Ｈ２は本発明に従って制御される部屋Ｒ２のシステム及び構成要素である。以下に詳述するように、本発明では、カメラＣ１，Ｃ２からの画像を用いてそれぞれの部屋Ｒ１，Ｒ２内の既知の人を識別する。識別されたら、識別された人がいる部屋をサービスする装置及び／又はシステムが識別された人の個人的好みに従って自動的に調整又は制御される。例えば、人ＸがカメラＣ２により認識されると、部屋Ｒ２内のライトＬ２、ヒータＨ２及びスピーカＳ２からの音楽の音量がＸの好みに自動的に調整される。
【００１５】
先に進む前に、各部屋Ｒ１，Ｒ２をサービスするとともに本発明に従って制御される図示の特定の装置及び／又はシステムは本発明の実施例の説明のためのものである点に注意されたい。各部屋は該部屋をサービスするとともに本発明に従って制御される幾分及び／又は全く異なる装置又はシステムを含むこともできる。当業者であれば、以下に記載する代表的な装置及びシステムに適用される説明を個々の部屋内に発見される異なる及び／又は追加のもしくは少数の装置又はシステムに容易に適応させることができる。
【００１６】
更に、図１には各装置又はシステムが個々の部屋をサービスするものとして示されている点に注意されたい。しかし、任意の１つの装置又はシステムが２つ以上の部屋をサービスすることができる。このようにサービスする装置又はシステムの場合には、この装置又はシステムのサービス区域により部屋又は局所領域が決まり、従ってどのカメラが該装置又はシステムの制御に使用されるかが決まる。例えば、図１において、暖房装置Ｈ２がなく、暖房装置Ｈ１が２つの部屋Ｒ１及びＲ２をサービスするものとし得る。この場合には、暖房装置Ｈ１のために、局所領域を部屋Ｒ１及びＲ２とし、カメラＣ１又はＣ２のいずれかで識別された人の好みに従って調整する。同様に、スピーカＳ２は２つの部屋Ｒ１及びＲ２に音楽を提供して、その音量を部屋Ｒ１又はＲ２内のいずれかにいる識別された人（即ちカメラＣ１又はＣ２のいずれかで収集された画像で識別された人）の好みに調整することができる。
【００１７】
図２は、図１に示す実施例のもっと詳細な(幾分一般化された)構成を示す。部屋Ｒ１，Ｒ２はそれぞれのカメラ、それぞれのライトＬ１，Ｌ２及びそれぞれの暖房装置Ｈ１，Ｈ２と一緒に線図的に示されている。部屋Ｒ２に対してはスピーカＳ２も示されている。明瞭のために、本発明の従って制御される部屋をサービスする装置及び／又はシステム（例えばＬ１，Ｌ２，Ｈ１，Ｈ２及びＳ２）は「サービス提供要素」ともいう。
【００１８】
図２は本発明の実施例の追加の構成要素を示している。制御ユニット２０は部屋Ｒ１，Ｒ２のサービス提供要素に対する制御信号を発生する中央処置を提供する。制御ユニット２０はディジタルコントローラ、プロセッサ、マイクロプロセッサ、コンピュータ、サーバなどを備えるとともに所要の補助要素（例えばメモリ、データベースなど）を備え、本発明の制御処理及び信号発生を実行し得る。制御ユニット２０は、図２ａに示すように、例えばプロセッサ２２及びメモリ２４を備え、サービス提供要素に対する適切な制御信号を決定し出力するソフトウエアを実行するものとすることができ、後に詳細に説明する。カメラＣ１，Ｃ２はそれぞれデータラインｌ(C1)，ｌ(C2)を経て制御ユニット２０に接続される。データラインｌ(C1)，ｌ(C2)及び後述する類似のラインは標準通信線、光ファイバ及び類似のハードウエアデータ線とすることができる。これらのデータラインは無線通信も表すものとし得る。各カメラＣ１，Ｃ２は各カメラが位置するそれぞれの部屋Ｒ１，Ｒ２の画像を制御ユニット２０のプロセッサ２２に供給する。従って、カメラＣ１は部屋Ｒ１の画像を制御ユニット２０に供給し、カメラＣ２は部屋Ｒ２の画像を制御ユニット２０に供給する。
【００１９】
更に、制御ユニット２０のプロセッサ２２は適切な制御信号をラインｌ(L1)，ｌ(L2)を経てライトＬ１，Ｌ２にそれぞれ供給してそれぞれのライトＬ１，Ｌ２の強度を制御する。便宜上、ラインｌ(L1)，ｌ(L2)は図２にライトＬ１，Ｌ２に直接接続されているように示されているが、ラインｌ(L1)，ｌ(L2)は実際には制御信号をそれぞれのライトＬ１，Ｌ２に取り付けられた調光回路に供給するものと理解されたい。或いは又、ラインｌ(L1)，ｌ(L2)は別個の照明コントローラに入力され、該コントローラが制御ユニット２０から受信した入力に基づいて適切な調光制御信号をライトＬ１及び／又はＬ２に供給するものとし得る。
【００２０】
制御ユニット２０のプロセッサ２２は更にラインｌ(H1)，ｌ(H2)を経て制御信号を供給し、暖房装置Ｈ１，Ｈ２により部屋Ｒ１，Ｒ２に供給される温度を制御する。制御ユニット２０からラインｌ(H1)，ｌ(H2)を経供給される制御信号は暖房装置Ｈ１，Ｈ２に対する適切な温度制御信号をそれぞれ含むものとし得る。図２の特定の暖房システムの特定の例では、暖房装置Ｈ１，Ｈ２はそれぞれサーモスタットを有する電気ヒータであり、それぞれのサーモスタットがラインｌ(H1)，ｌ(H2)を経て制御ユニット２０から（温度設定値の形態の）制御信号を受信するものとする。
【００２１】
従来既知の他の通常のタイプの暖房システムに対しては、図２に示す制御ユニット２０により暖房素子Ｈ１，Ｈ２に供給される制御信号は実際の基礎システムのもっと抽象的表現にする。例えば、中央熱源(例えばガス燃焼温水炉)により給熱される場合、制御ユニット２０は温度ラインｌ(H1)を経て部屋Ｒ１内のサーモスタット(図示せず)に対する温度設定値を供給することができる。その結果、サーモスタットは暖房装置Ｈ１を構成するベースボードヒーティング素子に温水を供給する炉に取り付けられた特定のサーキュレータをターンオンする。更に、ラインｌ(H1)，ｌ(H2)は別個の暖房コントローラに入力され、該コントローラが制御ユニット２０から受信した入力に基づいて適切な暖房制御信号をＨ１及び／又はＨ２に供給するものとすることもできる。しかし、基礎暖房システムが何であれ、図２につき説明した実施例の制御は当業者であれば容易に適応させることができる。
【００２２】
制御ユニット２０は更にラインｌ(S)を経てオーディオシステム４０に制御信号を供給する。オーディオシステム４０は制御ユニット２０から受信した制御信号に従ってラインｌ(S2)を経てスピーカＳ２に音楽を供給する。制御ユニット２０はオーディオシステムに、スピーカＳ２の音量レベル、再生用に選択された音楽のタイプ（例えば特定のＣＤ、ラジオ局又はウェブ放送等）等を設定する信号を供給することができる。オーディオシステム４０はステレオのように部屋Ｒ２内に位置するものとし得るが、住宅内の他の部屋にも音楽を提供する集中オーディオシステムとすることもできる。オーディオシステム４０は内部プロセッサを含み、該プロセッサが制御ユニット２０からの制御信号を受信し、これらの信号を処理してラインｌ(S2)等を経て再生すべき音楽、スピーカＳ２のボリュームなどを選択するものとすることもできる。
【００２３】
制御ユニット２０は、更に、メモリ２４に格納されプロセッサ２２により実行される画像認識ソフトウエアを備える。画像認識ソフトウエアはカメラＣ１，Ｃ２からそれぞれ受信される各部屋Ｒ１，Ｒ２の画像を処理する。便宜上、以下の説明は単一のカメラ（図２に示す部屋Ｒ１のＣ１とする）から受信される画像に焦点をあてて進める。以下の説明は部屋Ｒ２内に位置するカメラＣ２から制御ユニット２０に受信される画像にも適用し得る。
【００２４】
上述したように、カメラＣ１は部屋Ｒ１の画像を収集し、画像データを制御ユニット２０に送信する。画像は典型的には画素データ、例えば典型的なディジタルカメラのＣＣＤアレーからの画素データからなる。画像の画素データは、制御ユニット２０で画像認識ソフトウエアを用いて更に処理し得る既知のディジタルフォーマットに前処理されているものとする。画像のこのような前処理はカメラＣ１のプロセッサで行うことができる。（画像認識ソフトウエアによる後続の処理のために前処理された画像データを制御ユニット２０に供給する）ディジタルカメラによるこのような画像処理は公知であり、説明の都合上その説明は本発明に必要な程度までとする。カメラＣ１の画像のこのような前処理はカメラＣ１で行われるが、制御ユニット２０のプロセッサ２２自体で行うこともできる。
【００２５】
プロセッサ２２はそれにロードされた既知の画像認識ソフトウエアを含み、このソフトウエアがカメラＣ１からデータラインｌ(C1)を経て受信される画像を分析する。部屋Ｒ１内に人がいる場合、その人が画像データ内に描写される。画像認識ソフトウエアを用いて、例えば画像内の人体の輪郭を認識し、従って画像内の人を認識することができる。人の体の位置が決定されたら、画像認識ソフトウエアを用いて受信画像内の人の顔の位置を決定し、該個人を識別する。
【００２６】
例えば、制御ユニット２０がカメラＣ１から一連の画像を受信する場合、制御ユニット２０はカメラＣ１でカバーされる部屋Ｒ１内に入る人を検出し、追跡することができ、特に人の頭のおよその位置を検出し、追跡することができる。このような検出追跡技術は、McKenna and Gong, “Tracking Faces”, Proceedings of the Second International Conference on Automatic Face and Gesture Recognition, Kinllington, Vt., October 14-16, pp.271-276、に詳細に記載されており、その内容が参考のためにここに組み込まれているものとする（上記の論文のセクション２はマルチモーションのトラッキングを記載している）。
【００２７】
人が領域Ｒ１内で静止しているとき、例えばいすに座っているとき、人体(頭)の移動は比較的静止状態になる。制御ユニット２０のソフトウエアが画像内の人の移動を予め追跡していたなら、カメラＣ１から受信される次の画像の、人の頭が位置する部分に注目する別の又は補助の顔検出技術を開始させることができる。制御ユニット２０のソフトウエアが画像内の動きを追跡しない場合には、全体画像を用い、例えば顔検出処理を全体画像の各セグメントに順次に適用することにより人の顔を検出することができる。
【００２８】
顔検出に対して、制御ユニット２０は簡単な形状情報（例えば楕円フィッティング、自シルエット(eigen-silhouettes)）を画像内の輪郭に合わせる既知の技術を用いて画像内の静止した顔を識別することができる。識別には顔の他の構造（例えば鼻、目等）、顔の対象性及び典型的な肌の色合いを用いることができる。もっと複雑なモデル化技術は、顔を大きな多次元ハイパースペース内の点としてモデル化するフォトメトリック表現を用い、顔の特徴の空間配置を顔の内部構造の全体表現内に符号化する。顔検出は、例えば画像内のパッチを画像ハイパースペースの特定のサブスペースに対して顔のモデルと比較することにより確立密度推定値を決定することによって、画像内のパッチを「顔」又は「非顔」ベクトルとして分類することで達成される。この及び他の検出技術は前述の論文「Tracking faces」に詳細に記載されている。
【００２９】
顔検出は、制御ユニット２０内にサポートされているニューラルネットワークを正面撮影像又はほぼ正面の撮影像を検出するよう学習させることにより達成することもできる。学習用画像は、例えば顔画像の中心に位置する標準楕円部分に注目するようにスケーリング又はマスクされる。学習用画像の光強度を等化するいくつかの既知の技術を適用することができる。学習は、学習用顔画像の倍率及び回転を調整することにより拡張させる（ニューラルネットワークを画像のポーズに適応するように学習させる）ことができる。学習は、偽陽性非顔パターンの逆伝播も含む。制御ユニット２０は画像の部分を制御ユニット２０内のこのように学習したニューラルネットワークルーチンに供給する。ニューラルネットワークは画像部分を処理し、それがその画像学習に基づいて顔画像か決定する。
【００３０】
顔検出のニューラルネットワーク技術は前述の論文「Tracking Faces」に詳細に記載されている。ニューラルネットワークを用いる顔検出 (並びに性別、民族及びポーズのような他の顔副分類の検出)の追加の詳細は、Gutta, et al, “Mixture of Experts for Classification of Gender, Ethnic Origin and pose of Human Faces”, IEEE Transactions on Neural Networks, vol. 11, no. 4, pp. 948-960 (July 2000) に記載されており（以下「Mixture of Experts」論文という）、その内容が参考のためにここに組み込まれているものとする。
【００３１】
画像内に顔が検出されたら、制御ユニット２０はその顔に対し画像認識処理を行い、該個人を識別する。従って、画像認識処理は特定の顔を認識するようプログラムされ、各顔が個人のアイデンティティに相関される。例えば、図１及び２の実施例に示す家の場合には、画像認識処理は家族及び／又は他の同居人の顔を認識するようプログラムされ、各顔が家族及び／又は同居人のアイデンティティに相関される。上述した顔検出のニューラルネットワーク技術は、該ネットワークを識別すべき人の顔を用いて学習させることにより識別に適応させることができる。他の人の顔を学習に用いてネガティブマッチ(例えば、偽陽性指示)とすることができる。このようにすると、画像の一部分が顔画像を含むことを検出するニューラルネットワークによる顔検出は既知の(識別されている)人の学習画像に基づくものとなるので、同時に個人の識別も行う。このようにプログラムすると、ニューラルネットワークは顔検出と個人識別の両方を提供する。或いは又、ニューラルネットワーク以外の技術(例えば上述した技術)を用いて画像内に顔を検出する場合には、ニューラルネットワークプロシージャを用いて顔の検出の確認とともに、顔の識別も提供することができる。
【００３２】
制御ユニット２０にプログラムし得る顔認識処理の他の技術が、ＵＳ特許明細書第５，８３５，６１６号、「Face Detection Using templates」、Lobo他、１９９８年１１月１０日発行、に記載されており、その内容が参考のためにここに組み込まれており、これはディジタル画像内の人間の顔を自動的に検出及び／又は識別するとともに顔の特徴を検査することにより顔の存在を確認する２ステップ処理である。従って、Loboの技術は、上述したように移動する人体の初期追跡の後にニューラルネットワーク技術により提供される顔検出及び識別の代わりに、又は補完として用いることができる。Loboのシステムは、カメラの視野が画像内の顔の典型的な位置に対応しなくても、カメラの視野内の１以上の顔を検出するのに好適である。従って、制御ユニット２０は、ＵＳ特許第５，８３５，６１６号に記載されているように、顔の一般的特徴を有する区域に対応する画像の部分を、肌色の位置、アイブローに対応する非肌色の位置、あご、鼻等に対応する境界線に基づいて分析することができる。
【００３３】
顔が検出されたら、ＵＳ特許第５，８３５，６１６号のように、家にいる家族の参照顔又は基準顔（データベース２４に格納されている）と比較するために検出された顔の特徴抽出を行う。画像内の顔のこの特徴抽出は参照顔の特徴抽出に用いたのと同一の特徴抽出処理とし、「光学的」マッチングよりも、特徴に基づく顔の比較を容易にするのが好ましく、これによりマッチングのために２つの同一の画像(現在の顔と参照顔)を用いる必要がなくなる。好適実施例では、参照顔の数は比較的少数とし、典型的には家庭、オフィス、又は他の小さい環境内の人の数に限定し、顔認識処理を高速に実行可能にする。制御ユニット２０のメモリ２４に格納される参照顔は関連する人のアイデンティティを有するので、画像内に検出された顔と参照顔との合致が画像内の人の識別情報を与える。
【００３４】
このように、制御ユニット２０のメモリ２４及び／又はソフトウエアは参照画像と関連する人のアイデンティティのプールを有効に含んでいる。カメラＣ１から受信された画像を用いて、制御ユニット２０は、画像内の顔を検出し参照画像プール内の画像とマッチングさせることにより部屋Ｒ１にいる既知の人を有効に検出し識別する。この「マッチング」は、参照画像を用いて学習させたニューラルネットワークにより供給される画像内の顔の検出とすることができ、またＵＳ特許第５，８３５，６１６号のように、カメラ画像と参照画像内の顔の特徴のマッチングとすることができる。カメラＣ２から受信される画像を用いて、制御ユニット２０は同様に部屋Ｒ２にいる既知の人を検出し識別する。
【００３５】
部屋のカメラから受信される画像に画像認識ソフトウエアを適用することによって部屋にいる既知の人（例えば家族）の画像が御ユニット２０で識別されると、プロセッサ２２は制御ソフトウエアを実行して、識別した人がいる部屋のサービス提供要素を制御ユニット２０により識別した人の個人的好みに従って自動的に調整させる。制御ユニット２０のメモリ２４は室内照明（即ち、ライトＬ１及びＬ２の設定）、室温(即ち、暖房装置Ｈ１及びＨ２の設定)及び音量（即ち、スピーカＳ２のボリュームの設定）に対する家族の各人の好みを含む。メモリ２４に格納された家族各人の好みは各人のアイデンティティに相関される。プロセッサ２２は家族の識別情報を用いてメモリ２４から識別された家族の好みをアクセスする。家族がいる部屋のサービス提供要素に適用し得る該家族の好みはプロセッサ２２の制御ソフトウエアにより使用され、該部屋内のサービス提供要素に対する制御コマンドをフォーマットし出力する。
【００３６】
例えば、図１及び２では家族Ｘが部屋Ｒ２にいる。Ｘの画像がカメラＣ２により収集され、ラインｌ(C2)を経て制御ユニット２０に送信される。プロセッサ２２は画像認識ソフトウエアを（メモリ２４に格納されている家族の参照画像データと一緒に）用いて画像内の家族を家族Ｘと識別する。プロセッサ２２は次いで家族Ｘの識別情報を用いてメモリに格納されている家庭内のサービス提供要素に対する家族Ｘの好みを検索する。Ｘの画像はカメラＣ２から（即ちラインｌ(C2)から）到来するので、プロセッサ２２は部屋Ｒ２内にあるサービス提供要素に対する家族Ｘの好みを認識する。このようにして、プロセッサ２２はライトＬ２の強度、暖房装置Ｈ２の温度及びスピーカＳ２のボリュームに対するＸの好みを検索する。プロセッサ２２は最初にメモリ２４からＸの全ての好みを検索し、次いでどれが部屋Ｒ２内のサービス提供要素と関連するか決定してもよい。或いは又、プロセッサ２２はメモリ２４からＲ２のサービス提供要素に関連するＸの好みのみを検索するようにアドレスいてもよい。
【００３７】
メモリからＸに対して検索されたＲ２内のサービス提供要素に対応する各好みに対して、プロセッサ２２は好みに従って部屋Ｒ２内の対応するサービス提供要素に対するコマンドをフォーマットし、該コマンドを適当なラインを経て該要素に出力する。例えば、部屋Ｒ２内の家族Ｘに対して、プロセッサ２２は照明の強度に対するＸの好みを用いて、ライトＬ２をＸの好みに従って制御するようにフォーマットされた強度制御コマンドを発生する。この強度制御コマンドはラインｌ(L2)を経てライトＬ２に出力され、その結果ライトＬ２はＸの好みの強度に自動的に調整される。同様に、プロセッサ２２は室温に対するＸの好みを用いて、暖房装置Ｈ２をＸの好みに従って制御するようにフォーマットされた制御コマンドを発生する。この制御コマンドがラインｌ(H2)を経て暖房装置Ｈ２に出力され、その結果暖房装置Ｈ２はＸの好みの温度に自動的に調整される。
【００３８】
同様に、ステレオスピーカＳ２の出力はＸの好みの音量に自動的に調整される。プロセッサ２２はメモリから検索された音量に対するＸの好みを用いて、オーディオシステム４０をＸの好みに従って制御するようにフォーマットされた音量制御コマンドを発生する。この音量制御コマンドがラインｌ(S)を経てオーディオシステム４０に出力され、その結果オーディオシステム４０により部屋Ｒ２内のスピーカＳ２に出力される音量レベルがＸの好みに従って自動的に調整される。オーディオシステム４０はプロセッサ２２により外部的に制御しうる追加の機能、例えば電源のオン・オフ及び音楽の選択、を有するものとすることもできる。この場合には、家族Ｘが部屋Ｒ２内で識別されたとき、メモリ２４から検索されたオーディオに関する好みの情報は、Ｘがオーディオシステムを常時ターンオンしたいか、Ｘが好きな音楽のタイプ、例えばＣＤジュークボックス内の特定のＣＤ又は特定のＣＤラジオ局、及び音量を含むものとし得る。プロセッサ２２によりフォーマットされオーディオシステム４０に送出される制御信号は追加の情報に対するＸの好みを反映する。例えば、Ｘの好みを反映する制御信号はオーディオシステムをターンオンし、オーディオシステムを特定のポップラジオ局にチューンし、且つスピーカＳ２の音量を中位のレベルに調整する。
【００３９】
カメラＣ１及びＣ２からの画像は制御ユニット２０に連続的に又は周期的に収集し送信することができる。制御ユニット２０は受信した画像を周期的に処理し、それぞれの部屋内の既知の人を識別し、サービス提供要素を上述したように制御する。室内のサービス提供要素が室内の既知の人の好みに従って調整されるとき、これを示す一時的記録を生成することができる。既知の人が部屋にいる間、制御ユニット２０は室内の既知の人の次の画像を処理し、室内の既知の人を再び識別する。しかし、一時記録が、サービス提供要素が既に該既知の人の好みに従って調整されていることを制御ユニット２０に知らせるので、制御信号は再び発生されず、受信画像に対応する部屋のサービス提供要素に送信しない。既知の人が部屋からの次の画像にもはや見つからないとき（部屋から出ていったことを示す）、この部屋に対する一時記録は消去され、後続の画像に対して制御ユニットの全処理が続けられる。これは、後続の画像内の部屋で新たに識別される既知の人の好みに対応する制御信号の発生及び送信を可能にする。Ｘが別の部屋、例えばＲ１に移動すると、ライトＬ１により供給される照明及び暖房装置Ｈ１により供給される熱が同様に自動的に調整される。即ち、カメラＣ１により収集された画像がラインｌ(C1)を経て制御ユニット２０に送信される。画像認識ソフトウエアがプロセッサ２２により受信画像に適用され、部屋Ｒ１内に家族Ｘを識別する。次いで、メモリ２４から家族Ｘの好みがプロセッサ２２により検索される。この好みを反映する制御信号がラインｌ(L1)及びｌ(H1)を経てライトＬ１及び暖房装置Ｈ１に送信される。この結果として、ライトＬ１の強度及び暖房装置Ｈ１により供給される室温がＸの好みに自動的に調整される。
【００４０】
また、ＸがＲ２にいないとき、カメラＣ２により供給される画像は制御ユニット２０の画像認識ソフトウエアにより分析され、現在部屋Ｒ２内に既知の人は識別されない。制御ユニット２０が、特定の部屋に誰もいないことを決定すると、サービス提供要素の設定をデフォルト設定に設定することができる。例えば、Ｘが部屋Ｒ２にいないとき、プロセッサ２２により、ライトＬ２をターンオフする制御信号、暖房装置のサーモスタット設定を65度に下げる制御信号、及びオーディオシステム４０又はスピーカＳ２の出力をスイッチオフする制御信号を送信することができる。更に、制御ユニット２０が、部屋に人がいるが誰か識別できない場合には、他のデフォルト制御信号を1以上のサービス提供要素に送ることができる。例えば、安全のために、ライトＬ２をターンオンし中間の強度レベルに設定して、未確認の人(例えばお客)が部屋に入った場合に見えるようにすることができる。
【００４１】
二人以上の家族が部屋にいる場合には、画像認識ソフトウエアは受信画像内に二人以上の家族を識別する。メモリ２４に格納された種々のサービス提供要素に対する好みはそれぞれ異なるかもしれない。例えば、家族ＸとＹが部屋Ｒ２内にいる場合、各人はスピーカＳ２により出力される音楽の音量に対して異なる好みを有しうる。このような場合には、制御ソフトウエアはスピーカや他のサービス提供要素の制御について優先規則を含むことができる。例えば、家族Ｘが親で、家族Ｙが子供の場合には、Ｘの好みをＹの好みに優先して選択することができる。他方、ＸとＹが兄弟で、部屋Ｒ２がＸの寝室である場合には、Ｘの好みをＹの好みに優先させることができる。別の部屋にいる高い優先度の人に対する好みで部屋のサービス提供要素を制御することもできる。例えば、親Ｘが部屋Ｒ２の隣の部屋で識別された場合、部屋Ｒ２内のスピーカＳ２の音量レベルに対する親の好みを部屋Ｒ２にいる子供Ｙの好みに優先させることができる。同じ部屋にいる人達の間で優先順位を定めない場合には、所定のデフォルト規則を適用することができる。例えば、スピーカ音量に対しては、好みの最低音量とすることができる。他方、室温に対しては、好のみの最高温度とすることができる。照明に対しては、好みの平均を反映する強度とすることができる。
【００４２】
好みは、例えば時刻、曜日、月、年などの他の要因の関数とすることもできる。例えば、部屋Ｒ２が良好な自然照明である場合には、ライトＬ２に対するＸの好みは、Ｌ２を日中ターンオフし、冬季は午後６時以後に中間強度に設定し、春季、夏季及び秋季は午後８時以後に中間強度に設定することが反映されるようにすることができる。
【００４３】
画像認識処理は家族の識別に加えてジェスチャを検出することもできる。制御ユニット２０は、予め決められたジェスチャを検出し、識別された家族がいる部屋の１以上のサービス提供要素に対して対応する調整を行うことができる。検出されたジェスチャはサービス提供要素に対する格納された家族の好みに優先させることができる。例えば、上述の例では、Ｘが部屋Ｒ２にいると識別されると、スピーカＳ２により出力される音量はメモリ２４に格納されたＸの好みに自動的に調整される。しかし、Ｘが音楽を聴きたくない場合には、Ｘは３本の指をカメラＣ２に向け立てることができる。このジェスチャは画像に捕らえられ、制御ユニット２０の画像認識ソフトウエアにより検出される。制御ユニット２０は更に対応する制御信号をオーディオシステム４０に送り、スピーカＳ２をスイッチオフさせるかミュートさせるようにプログラムされる。画像からのジェスチャの認識の他の詳細は、Gutta, Imam and Wechsler, “Hand Gesture Recognition Using Ensembles Of Radial Basis Function (RBF) Network And Decision Tree”, International Journal of pattern Recognition and Artificial Intelligence, vol. 11, no. 6, pp. 845-872 (1997)、に記載されており、その内容が参考のためにここに組み込まれているものとする。
【００４４】
既知の人の好みは、グラフィックユーザインターフェース(図示せず)を介して制御ユニット２０に手動的に入力し、メモリ２４に格納することができる。このインターフェースは、プロセッサ２２が好み入力モードに入ると、家庭内又は他の局所環境内の種々のサービス提供要素に対する適切なメニューを提供する。例えば、既知の人Ｘが自分の好みを入力する場合、インターフェースは最初に複数の既知の人のサムネイル画像を提示する。これらの画像は画像認識ソフトウエアのためにメモリ２４に格納された複数の既知の個人に対する参照画像から選択することができる。Ｘは一群の画像から自分の画像を選択することにより自分のアイデンティティを入力する。Ｘに提示される次のメニューは、家中の種々のサービス提供要素に対する照明、暖房、スピーカ音量などの好みを選択可能にする。家族Ｘと関連する入力された好みはメモリ２４に格納される。
【００４５】
家族に対し入力されメモリ２４に格納される好みはその家族の実際の個人的好みとする必要はないこともちろんである。例えば親は家庭内の子供に代わっていくつかの好み又は全部の好みを入力してもよい。例えば、親は、子供と関連するステレオの音量レベル、室温レベルなどが適度となるように子供の好みを入力することができる。
【００４６】
或いは又、制御ユニット２０によって、家族により家庭内のサービス提供要素自体に実際に入力された設定値をモニタすることにより好みを学習させることができる。例えば、制御ユニット２０は何日間又は何週間の間「学習モード」に入ることができる。この期間中に、人が部屋に入ると、上述したように、画像認識ソフトウエアによりその人が識別される。部屋内のサービス提供要素と制御ユニット２０との間のラインがデータを両方向に転送し、従って制御ユニット２０はサービス提供要素に対して識別された人により選択された設定値を検出し記録することができる。
【００４７】
識別された各人に対して学習モード中に種々のサービス提供要素に対し選択された手動設定値に基づいて好みが生成される。例えば、学習モード中に、制御ユニット２０は、Ｘが部屋Ｒ２内のライトＬ２の強度を２０回設定したこと及びライトＬ２の平均設定値は１０段階メモリの７であったことを記録することができる。家庭内の個々のライトに対する好みでなく、１つの全般照明の好みをＸに対して格納する場合、制御ユニットは学習モード中にＸが家中の全てのライトに対して選択した強度レベルを記録し平均化することができる。その後、特定のライト(例えばＬ２)がＸに対して自動的に調整されるとき、プロセッサ２２はＸに対する全般照明の好みを検索し、検索された好みに基づいて、Ｌ２が好みの強度を出力するようにフォーマットされた制御信号を発生する。他の既知の個人及び他のサービス提供要素に対する好みも学習モード中に同様に生成される。
【００４８】
先に述べたように、図１及び図２に示す部屋は上記の実施例を代表するものである。家１０は、図１及び図２に示す暖房装置、ライト及びオーディオシステム／スピーカに類似のサービス提供要素及び／又は他のサービス提供要素によりサービスされる追加の部屋を有することができる。他の制御可能なサービス提供要素は、自動ブラインド、テレビジョン及び関連ＤＶＤ及びＶＣＲ、自動ガレージドアオープナー等である。部屋Ｒ２内のスピーカＳ２を制御するオーディオシステム４０は他の部屋の他のスピーカを駆動するようにでき、他のスピーカは他の部屋の人の好みに基づいて異なる音楽を異なる音量で出力するようにできる。追加のサービス提供要素及び部屋は（付属のカメラと一緒に）制御ユニット２０と適切に配線するとともに制御ユニット２０を適切にプログラムすることにより付加することができる。
【００４９】
更に、所定のサービス提供要素は、画像内の人の識別の失敗に従って制御することもできる。例えば、本発明により制御されるセキュリティシステムは、制御ユニット２０が家のどこかから受信された人の画像を検出したがその人を識別できないとき、駆動されるようにできる。
【００５０】
また、先に述べたように、図１及び図２に示す実施例のサービス提供要素は１つの部屋Ｒ１又はＲ２をサービスするものとして示されている。従って、Ｌ１は光を部屋Ｒ１に供給し、Ｒ２に供給しない。しかし、一つのサービス提供要素で２以上の部屋、例えばＲ１及びＲ２の両方にサービスを提供することができる。例えば、暖房装置Ｈ１は熱を部屋Ｒ１及びＲ２の両方に供給することができる。同様に、ライトＬ１及びＬ２の強度を両方とも単一の調光スイッチにより制御することもできる。これらの例では、サービス提供要素によりカバーされる区域が家内の２つの伝統的な部屋（Ｒ１及びＲ２）を包含する。このような場合には、サービス提供要素のカバー区域が制御ユニットにおける局所領域又は「部屋」を規定し、カメラからの該局所領域又は部屋の画像が制御ユニット２０によりサービス提供要素の制御のために使用される。例えば、Ｌ１及びＬ２が両方とも図２の単一調光スイッチにより制御される場合には、制御ユニット２０から調光スイッチに単一の制御ラインを接続し、調光スイッチからライトＬ１及びＬ２の各々に個別のラインを接続する。従って、制御ユニット２０は、Ｒ１及びＲ２内で識別された、即ち両カメラＣ１及びＣ２から受信される画像を用いて識別された既知の人の好みを用いてライトＬ１及びＬ２の強度を制御する。二人以上が部屋Ｒ１及びＲ２内に識別されると、制御ユニット２０は上述した優先規則を用いてどちらの人の好みで制御するか決定する。本例ではサービス提供要素Ｌ１及びＬ２により決定されるＲ１及びＲ２の合成領域は他の領域、この場合には領域Ｒ１（サービス提供要素Ｈ１によりサービスされる）及び領域Ｒ２（サービス提供要素Ｈ２及びＳ２によりサービスされる）とオーバラップする。
【００５１】
図３は上述した種々の実施例から導出される本発明に含まれる一般化した方法のフローチャートを示す。ステップ１００において、領域の画像を収集する。ステップ１１０において、画像内に既知の人がいれば識別する。既知の人が識別されたら、ステップ１２０において、該識別された人が当該領域内で最近識別されたかどうか及びサービス提供要素が該識別された人の好みに従って制御されたかどうか決定される。そうでなければ、ステップ１３０において該識別された人に対して１以上の好みを検索する。ステップ１４０において、当該領域内の１以上のサービス提供要素が識別された人の１以上の好みに従って制御される。この方法は、ステップ１４０をステップ１００に戻すラインで表されているように、考慮中の領域に対して反復される。この方法が反復される前に遅延時間を置くことができる。局所環境内の他の領域を同時に（例えば、多重式に）又は順次に同様に処理することができる。この方法のステップを変更して、及び／又は、追加のステップを図３に示す方法に付加して上述した実施例の他の特徴を含むようにすることは容易である。従って、例えば、二人以上の既知の人が１つの領域内で識別されたときは、ステップ１３０を、該領域内で識別された全ての既知の人の好みを検索するよう変更することができるとともに、ステップ１４０を、これらの既知の人の好みを上述した優先法に従って用いて１以上のサービス提供要素を制御するように変更することができる。
【図面の簡単な説明】
【００５２】
【図１】図１は本発明の一実施例の代表図である。
【図２】図２は図１に示す本発明の実施例のもっと詳細な代表図であり、図２ａは図２の一構成要素の詳細図である。
【図３】本発明方法の一実施例のフローチャートである。
【図１】
2005529548.tif 000003
【図２】
2005529548.tif 000004
【図３】
2005529548.tif 000005
【国際調査報告】
2005529548.tif 000006
2005529548.tif 000007