(57)【要約】異常挙動の自動検出及び警告のためのホームコントロールシステムは、観察下にある所定の領域における挙動を観察するユニットと、観察ユニットからの観察された挙動の出力を処理するユニットと、観察された挙動が所定の正常挙動に関連付けられるか否かを認識するためのパターン認識モジュールを有する。進行中の所定の正常挙動の検出は、予想行動を与える。観察された挙動が異常であるとの認識により、アラーム信号がトリガされ、ユーザは注意が喚起される。
2005519404.tif 000002
【特許請求の範囲】
【請求項１】
人の異常な挙動を自動的に検出する方法であって、
観察下にある所定の領域における前記人の挙動を決定するために前記人によって行われる一連の行動を追跡する段階と、
挙動の一致を確立するよう前記決定された挙動と複数の所定の正常挙動のうち少なくとも１つとを比較する段階と、
一致が確立される場合は、前記一致した所定の正常挙動から少なくとも１つの行動が前記人により省略されたか否かを決定する段階と、
前記一致した所定の正常挙動から少なくとも１つの行動が省略される場合は、アラーム信号を伝送する段階と、
を有する方法。
【請求項２】
前記アラーム信号は、会話コンテンツ、情報伝達コンテンツ、及びリマインダコンテンツのうち１つを有する請求項１記載の方法。
【請求項３】
前記アラーム信号を伝送する段階は、
前記一致した所定の正常挙動から少なくとも１つの行動が省略される場合は、所定の人に通知する段階を更に有する請求項１記載の方法。
【請求項４】
前記複数の所定の正常挙動を、メモリ媒体に格納する段階を更に有する請求項１記載の方法。
【請求項５】
前記人によって行われる前記一連の行動を追跡する段階は、
前記人の顔の少なくとも部分的な画像を得る段階を更に有する請求項１記載の方法。
【請求項６】
一致が確立される場合は、前記人によって行われるべき前記一致した所定の正常挙動から少なくとも１つの行動を予想する段階と、
前記予想する行動を自動的に行う段階と、
を更に有する請求項１記載の方法。
【請求項７】
前記予想する行動は、前記観察下にある領域に設けられる少なくとも１つの電子装置を作動させることを有する請求項６記載の方法。
【請求項８】
前記人の挙動は、カメラで追跡される請求項１記載の方法。
【請求項９】
前記人の挙動は、音センサで追跡される請求項１記載の方法。
【請求項１０】
前記所定の正常挙動のうち少なくとも１つは、前記観察下にある領域に複数の個人が入ってきたときを認識することを有する請求項１記載の方法。
【請求項１１】
異常な挙動の自動検出のための方法であって、
観察下にある所定の領域における人の挙動を決定するために、前記人によって行われる一連の行動を観察する段階と、
前記決定された挙動を正常挙動モジュールに格納される複数の所定の挙動パターンと比較することによって、前記決定された挙動が複数の所定の正常挙動のうち少なくとも１つに関連付けられるか否かを識別する段階と、
前記正常挙動モジュール内の前記所定の挙動パターンのうち少なくとも１つが行われない場合は、アラーム信号を前記人に伝送する段階と、
を有する方法。
【請求項１２】
前記アラーム信号は、会話コンテンツ、情報伝達コンテンツ、及びリマインダコンテンツのうち１つを有する請求項１１記載の方法。
【請求項１３】
前記アラーム信号を伝送する段階は、
一致した所定の正常挙動から少なくとも１つの行動が省略される場合は、所定の人に通知する段階を更に有する請求項１１記載の方法。
【請求項１４】
前記人の挙動を観察する段階は、
前記人の顔の少なくとも部分的な画像を得る段階を更に有する請求項１１記載の方法。
【請求項１５】
前記決定された挙動が前記複数の所定の正常挙動のうち少なくとも１つに関連付けられる場合は、前記人によって行われるべき前記所定の正常挙動から少なくとも１つの行動を予想し且つ行う段階を更に有する請求項１１記載の方法。
【請求項１６】
前記予想する行動は、前記観察下にある領域に設けられる少なくとも１つの電子装置を作動させることを有する請求項１５記載の方法。
【請求項１７】
前記人の挙動は、カメラで追跡される請求項１１記載の方法。
【請求項１８】
前記人の挙動は、音センサで追跡される請求項１１記載の方法。
【請求項１９】
異常な挙動の自動検出のためのシステムであって、
観察下にある所定の領域における人の挙動を決定するために、前記人によって行われる一連の行動を観察する手段と、
前記観察された挙動が、複数の行動からなる複数の所定の正常挙動のうち少なくとも１つと関連付けられるか否かを決定するために前記観察手段からの出力データを解析する手段と、
前記所定の正常挙動を格納する手段と、
前記複数の所定の正常挙動のうち少なくとも１つが省略される場合は、前記人にアラーム信号を伝送する手段と、
を有するシステム。
【請求項２０】
前記観察された挙動が、前記複数の所定の正常挙動のうち少なくとも１つに関連付けられる場合は、前記人によって行われるべき前記所定の正常挙動から少なくとも１つの行動を予想する手段を更に有する請求項１９記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホームコントロールシステムに係る。より具体的には、本発明は、予想行動行う、又は、異常な挙動が発生した場合にアラーム信号をトリガするために、家の居住者の特定の挙動によって行われる一連の行動を追跡可能なホームコントロールシステムに係る。
【背景技術】
【０００２】
一般的に、家庭自動化システムは、純粋に受身的（即ち、動作が検出されると明かりが点く）か、又は、予めプログラムされ（即ち、定期的に朝の７時に暖房がつく）、制限されたイベントの検出に基づいている。これらのシステムは、特定の時間に帰宅する、階段の灯りを点ける、着替えるために２階に上がる、又は飲み物を探して冷蔵庫を開けるといったユーザが規則正しく「正常に」行う一連の行動を学習しない。その結果、従来のホームコントロールシステムは、ユーザが日常の活動を行うことを支援する如何なる予想行動を取れないばかりか、ユーザの日課の行動の一部が行われなかったときにユーザに又は任意の他の人に通知することもできない。従って、次の行動を予想する、及び、アラーム信号をトリガするために異常な挙動又はイベントの自動検出を与えることが可能なホームコントロールシステムのための技術が必要である。
【０００３】
本発明は、家に居る人の日常の活動を行うことを支援するよう予想行動が行われることが可能であるよう家に居る人の挙動を決定するよう人によって行われる一連の行動を追跡する方法及びシステムに関する。このシステムは更に、その人が正常な挙動から逸脱する場合には人にアラーム信号を与える。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、次の行動を予想する、及び、アラーム信号をトリガするために異常な挙動又はイベントの自動検出を与えることが可能なホームコントロールシステムのための技術が必要である。
【課題を解決するための手段】
【０００５】
本発明は、家に居る人が日常の活動を行うことを支援するよう予想行動が行われることが可能であるよう家に居る人の挙動を決定するよう人によって行われる一連の行動を追跡する方法及びシステムに関する。このシステムは更に、その人が正常な挙動から逸脱する場合には人にアラーム信号を与える。
【０００６】
本発明の１つの面によると、本発明の人の異常な挙動を自動検出する方法は、観察下にある所定の領域における人の挙動を決定するために人によって行われる一連の行動を追跡する段階と、挙動の一致を確立するよう決定された挙動と複数の所定の正常挙動のうち少なくとも１つとを比較する段階と、一致が確立される場合、一致した所定の正常挙動から少なくとも１つの行動が人により省略されたか否かを決定する段階と、一致した所定の正常挙動から少なくとも１つの行動が省略される場合は、アラーム信号を伝送する段階を有する。アラーム信号は、会話コンテンツ、情報伝達コンテンツ、及びリマインダコンテンツのうち１つを有する。本発明の方法は更に、一致した所定の正常挙動から少なくとも１つの行動が省略される場合、所定の人に通知する段階と、一致が確立される場合、人によって行われるべき一致した所定の正常挙動から少なくとも１つの行動を予想し且つ行う段階を有し、予想する行動は、観察下にある領域に設けられる少なくとも１つの電子装置を作動させることを有する。実施例では、人の挙動は、カメラと音センサを用いて追跡される。
【０００７】
本発明のもう１つの面によると、異常な挙動の自動検出のための方法は、観察下にある所定の領域における人の挙動を決定するために、人によって行われる一連の行動を観察する段階と、決定された挙動を正常挙動モジュールに格納される複数の所定の挙動パターンと比較することによって、決定された挙動が複数の所定の正常挙動のうち少なくとも１つに関連付けられるか否かを識別する段階と、正常挙動モジュール内の所定の挙動パターンのうち少なくとも１つが行われない場合は、アラーム信号を人に伝送する段階を有する。アラーム信号を伝送する段階は、一致した所定の正常挙動から少なくとも１つの行動が省略される場合は、所定の人に通知する段階を有する。本発明の方法は更に、観察された挙動が複数の所定の正常挙動のうち少なくとも１つに関連付けられる場合は、人によって行われるべき所定の正常挙動から少なくとも１つの行動を予想し且つ行う段階を有する。
【０００８】
本発明の更なる面によると、異常な挙動の自動検出のためのシステムは、観察下にある所定の領域における人の挙動を決定するために、人によって行われる一連の行動を観察する手段と、観察された挙動が、複数の行動からなる複数の所定の正常挙動のうち少なくとも１つと関連付けられるか否かを決定するために観察手段からの出力データを解析する手段と、所定の正常挙動を格納する手段と、複数の所定の正常挙動のうち少なくとも１つが省略される場合は、人にアラーム信号を伝送する手段を有する。本発明のシステムは更に、観察された挙動が、複数の所定の正常挙動のうち少なくとも１つに関連付けられる場合は、人によって行われるべき所定の正常挙動から少なくとも１つの行動を予想する手段と、観察下にある領域に設けられる少なくとも１つの電子装置を作動させる手段と、複数の所定の正常挙動のうち少なくとも１つが省略されると所定の人に通知する手段を有する。
【発明を実施するための最良の形態】
【０００９】
本発明の方法及び装置のより完全な理解は、添付図面と共に以下の詳細な説明を参照することにより得られる。
【００１０】
以下の説明において、制限ではなく説明の目的のために、特定の構造、インタフェース、技術等といった特定の細部を、本発明の十分な理解を与えるために記載する。しかし、当業者には、本発明は、これらの特定の細部から離れる他の実施例においても実施し得ることは明らかであろう。単純さ及び明快さのために、周知の装置、回路、及び方法の詳細な説明は、不必要な詳細によって本発明の説明を曖昧にしないために省略する。
【００１１】
図１は、本発明によるホームコントロールシステム１０の実施例を示す概観である。本発明のシステム１０は、中央処理演算ユニット（ＣＰＵ）といったプロセッサ、ＲＡＭ及びＲＯＭといったメモリを有するパーソナルコンピュータ又はワークステーションといった任意のコンピュータ装置として具現化し得る。図１に示すように、本発明のシステム１０の主な構成要素には、観察ユニット１２、クロック１４、電気製品インタフェース１６、スピーカユニット１８、処理ユニット２０、正常挙動モジュール２２、ディスプレイ２４、メモリ２６、及びユーザインタフェース２８がある。図１に示す構成要素間の伝送は、光ファイバ、ＲＦ、銅線、ＬＡＮ、ＷＡＮ、撚線対等、又は必要に応じた任意のタイプの通信システムのいずれかで行われることが可能である。
【００１２】
観察ユニット２２は、所定の領域を長期に亘って観察するよう家の中のあちこちに配置される複数のビデオカメラを有し得る。観察ユニット２２の機能は、家の居住者の正常な挙動パターンを識別することである。本発明では、正常な挙動は、行動のリストがある。クロック１４は、家の様々な場所における居住者の挙動を観察する間に時間の記録を取るよう設けられる。従って、システム１０は、特定の時間及び場所で発生する全てのタイプの行動シーケンスと、これらの行動を行う人のアイデンティティを記録する。観察ユニット２２は、観察ユニットが有し得る多くの可能な実施例のうちのほんの数例として、ビデオカメラ、光センサ、人体の熱を感知する赤外線センサであり得る。観察ユニット２２は、音を感知する機能も有し得る。電気製品インタフェース１６は、テレビジョン、冷蔵庫、ランプ、ステレオシステム等といった家中に配置された多数の電子装置に結合される。従って、システム１０は、観察ユニット１２によって観察されていることによって、特定の人がこれらの装置のうちの１つを作動させたときの時間と場所を検出することが可能である。
【００１３】
動作時には、本発明のシステム１０は、正常挙動モジュール２２において、長期に亘って特定の人の「正常な挙動」を学習且つレジスタする。正常挙動モジュール２２に格納される挙動パターンには、行動のパターンと一致する音を含むことも可能である。例えば、子供が、習慣的に３：３０ｐｍと４：００ｐｍの間に、玄関の扉を開けて、「お母さん、ただいま」と叫ぶと、この音は、処理ユニット２０に伝送され、「正常な挙動」として格納される。「正常な挙動」とは、時間に基づいた繰り返される挙動パターンであり、一般的にユーザが定期的に行う一連の行動を有し得る。例えば、特定の人は、週日は７ｐｍまでに帰宅し、以下の一連の行動を行う。即ち、明かりを点ける、ＴＶをつける、冷蔵庫を開ける等。「正常な挙動」には更に、電子的にタグ付けされた装置のアイデンティティ（即ち、ごみ箱にタグが与えられているとすると、システム１０は、ごみ箱が、家の玄関の扉を通り過ぎることを認識する）。更に、「正常な挙動」は、特定の人の日課の一部として家中に配置される多数の電子装置が作動されたときの電子装置のアイデンティティも有し得る。
【００１４】
正常挙動モジュール２２内に家の様々な居住者の「正常挙動」を格納した後に、本発明１０は、観察ユニット１２によって検出される特定の人の現在の挙動と、正常挙動モジュール２２内に格納された「所定の正常挙動」とを比較し、挙動一致を見つけようとする。このためには、観察ユニット１２は、処理ユニット２０と通信し、処理ユニット２０は、観察ユニット１２からのデータを解析して、観察ユニット１２によって観察された任意の挙動パターンは、正常挙動モジュール２２内に格納される「所定の正常挙動」に関連付けられるか否かを判断する。例えば、観察ユニット１２が、特定の人がその人の正常の挙動パターンのうちの１つ（即ち、その人が約６ｐｍ頃に帰宅する）を開始したと認識すると、システム１０は、この正常挙動のパターンを「所定の正常挙動」と比較する。次に、システム１０は、「所定の正常挙動」からこの特定の「正常な挙動」に続く一連の行動を認識し、従って、ユーザを支援するために、予想行動を取る（即ち、階段の明かりを点ける、及びその後に新聞を読むために適当な照明のスイッチを点ける）ことができる。或いは、システム１０は、異常な挙動が検出されたときに、又は、認識されている行動パターンのうちの１つが行われなかった（即ち、木曜日の朝に出かけるときの正常の挙動にはごみを出すことが含まれる場合に、システム１０は、アラーム信号を出すことができ、この信号は、会話コンテンツ（即ち、「ごみを出さないのですか？」）、又はリマインダコンテンツ（即ち「ごみを出すのを忘れないで下さい」であり得る）ときに、人に通知をするよう構成される。更に、システム１０は、異常な挙動が発生した場合に、任意の他の指定した人に、情報伝達信号を送るよう構成される（即ち、特定の人が、特定の時間に帰宅しなかった場合に、遠隔地にいる親戚に知らせる）。
【００１５】
従って、観察された挙動と、「所定の正常挙動」との一致は、予想行動をもたらし、即ち、システム１０は、「所定の正常挙動」（即ち、ある人が、特定の時間に帰宅し、階段を登り、冷蔵庫を開け、読書灯を点ける）に従ってその人によって典型的に作動される次の家庭用装置を作動させる。従って、システム１０は、明かりを点けることを予想し、その人が明かりを点ける前に自動的に明かりを点ける。部分的にのみ一致がある場合には、システム１０は、スピーカ１８を介して、不一致があることをその人に伝えるためにアラーム信号を伝送する。
【００１６】
検出された正常挙動に関連付けられる重大度レベルがあり得、これらは、検出された挙動に割当てられ、且つ、観察下の特定の領域と関連し得る。例えば、転倒して３０分間起き上がらないことは、高く設定され、ごみを出さないことは、低く設定される。前者の場合、システム１０は、更に、ユーザによって選択された指定の人、又は、非常事態用オペレータに連絡を取るよう設定され得る。従って、挙動認識は、発見的であり得、必要に応じて新しいモデルに更新されることが可能である。重大度ランク付けは、システム設置者によって、「常識的な」価値観に手動で設定され得るが、ユーザは、それらを変更し得る。或いは、重大度ランク付けは、ユーザのフィードバックに基づいて、システム１０自身によって変更され得る。ユーザが、毎日、冷蔵庫から特定の薬を取らなければならない場合、システム１０は、帰宅したが、台所へ入ることを省略したユーザに、「冷蔵庫から何か取り出すのを忘れていないかい？」と常にユーザに思い出させるよう設定され得る。様々な重大度ランク付けを設定するために、ユーザと本発明のシステム１０との間には好適なインタフェースが存在し、それにより、ユーザが思い出させてもらいたいイベント又は行動のタイプに対するユーザのランク付けを収集することができる。このために、ディスプレイ２４及びユーザインタフェース（即ち、キーボード及びマウス）を用いて、システム１０とインタラクトする。
【００１７】
室内の人を追跡する技術は、一般的なビデオカメラによって生成される一連のフレームデータに基づいている。特定の領域にいる人の動作を追跡することは、当該技術において周知であり、様々な方法で行われることが可能である。例えば、「Courtney」により出願された米国特許第５，９６９，７５５号を参照されたい。この内容は、本願に参考として組み込む。「Courtney」は、動く対象物が動作セグメンテーション方法を用いて検出される、対象物動作からコンテンツに基づく自動ビデオインデキシングを供給可能なシステムを開示する。対象物は、ビデオの象徴的な表現が、対象物及びその動作を記述する注釈付きグラフィックの形で生成可能であるよう対象物追跡器においてセグメント化されたデータを介して追跡される。グラフは次に、出現／消失、入場／出場、対象物の動作等といった関心のイベントを識別するよう規則に基づく分類スキームを用いてインデキシングされる。
【００１８】
図２は、人によって行われる一連の行動を検出してその人の挙動を判断し、それにより、その人に対し一連の予想行動を行う又はアラーム信号をトリガすることができるよう本発明により行われる動作段階を示すフローチャートである。段階２００において、人の動作又は画像が走査且つ比較され、それにより、少なくとも一人の人が家内にいるか否かが識別される。次に、その人の挙動が観察される。段階２２０において、観察された挙動と正常挙動モジュール２２内に格納された複数の挙動パターンとを比較することによって、段階２００において観察された挙動パターンは、複数の「所定の正常挙動」のうちの少なくとも１つと関連付けられるか否かが識別される。正常挙動モジュール２２における複数の挙動は、画像並びに音であることが可能である。所定の精度範囲内で一致が見つかると、段階２４０において、処理ユニット２０は、観察ユニット２２から信号を受信し続け、異常な挙動が観察されたか否か、又は、所定の正常挙動に関連付けられる一連の行動のうちの１つが省略されたか否かが決定される。観察された場合及び省略された場合、段階２６０において、処理ユニット２０は、スピーカ１８を介してユーザにアラーム信号を伝送するための制御信号を生成する。例えば、所定の正常な挙動では、ジョンは、毎週金曜日の朝に仕事に行く前にごみを出すのに、ごみ箱を持たないで仕事に出かけた場合に、システム１０は、多数の異なる形式（即ち、「ごみをなぜ出さないの？」、「ごみを出すのを忘れないで」、又は「ニコール（妻）、ジョンはごみを出すのを忘れているよ」）でジョンに知らせる。同時に、段階２４０において、異常な挙動が観察されない場合、進行中の正常な挙動は、予想される行動につながる（即ち、家内の少なくとも１つの電子装置を付ける）。次に、処理ユニット２０は、段階２８０において、その人が行う前にランプの予想される作動を作動させるための制御信号を生成し、それにより、その人が日課のタスクを楽に行えるようにする。例えば、ある人は、定期的に夜遅く帰宅するとすぐにテレビジョンを常に付ける場合、システム１０は、その人が家に入ることを検出するとすぐに、その人のために自動的にＴＶを付ける。なぜなら、それは、認識されている正常な挙動の１つであるからである。
【００１９】
尚、図２は、本発明によって行われる処理を示すフローチャートであるが、矩形個所は、コンピュータソフトウェア命令を示し、一方、菱形個所は、矩形ブロックに示すコンピュータソフトウェア命令の実行に影響を及ぼすコンピュータソフトウェア命令を表す。フローチャートは、当業者が、回路を製造するために、又は、特定の装置に必要とされる処理を実行するコンピュータソフトウェアを形成するために必要な機能的情報を説明する。
【００２０】
本発明の好適な実施例を図示し説明したが、当業者は、様々な変更及び変形がなされ得、本発明の真の範囲から逸脱することなく等価物を本発明の構成要素に入れ替え得る。更に、多くの変形が、中心的範囲から逸脱することなく特定の状況及び本発明の教示内容に適応され得る。従って、本発明は、本発明を実施するのに最良な様態と考えられたとして開示される特定の実施例に制限されるものではなく、本発明は、特許請求の範囲内の全ての実施例を包含するものである。
【図面の簡単な説明】
【００２１】
【図１】本発明のシステムの実施例を示す概観である。
【図２】本発明の方法の概観を与えるフローチャートである。
【図１】
2005519404.tif 000003
【図２】
2005519404.tif 000004
【国際調査報告】
2005519404.tif 000005
2005519404.tif 000006
2005519404.tif 000007