(57)【要約】  物理的な環境内に配置される個々の動きセンサによって、バイナリ動きイベントが検出される。その動きイベントはクラスタリーダに送信され、ここで各動き検出器は空間的に直に隣接する動きセンサのクラスタリーダである。動きイベントに従って、対象の動作がクラスタリーダによって検出される。その動作はスーパークラスタリーダに送信され、ここで各動き検出器は、センサから構成される、空間的に直に隣接する動きクラスタのスーパークラスタリーダである。対象の活動がスーパークラスタリーダによって検出され、その活動に従って、対象の行動が検出される。
2009524851.tif 000002
【特許請求の範囲】
【請求項１】
物理的な環境内の活動を検出するためのシステムであって、
動きセンサの階層的なネットワークを備え、該階層的なネットワークは、
対象の存在に起因する前記環境内の動きイベントを検出するための、第１のレベルの個々の動きセンサと、
前記動きイベントに基づいて前記対象の動作を検出するための、前記個々の動きセンサから構成される第２のレベルのクラスタと、
前記動作に基づいて前記対象の活動を検出するための、前記クラスタから構成される第３のレベルのスーパークラスタと、
前記活動に基づいて前記対象の行動を検出するための、前記スーパークラスタから構成される第４のレベルのハブと
をさらに備える、物理的な環境内の活動を検出するためのシステム。
【請求項２】
各クラスタは、中心となるクラスタリーダセンサと、空間的に直に隣接する動きセンサとを含み、各スーパークラスタは、スーパークラスタリーダセンサと、空間的に直に隣接するクラスタとを含む、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項３】
前記動きセンサは無線パッシブ赤外線動き検出器である、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項４】
各動きイベントは、前記動きセンサの識別情報及び該動きイベントが生じた時刻に関連付けられる、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項５】
前記動きイベントは、無線信号として報知されるバイナリ値である、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項６】
前記動きセンサは前記環境を概ねタイリングする、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項７】
前記対象の前記動作は、真直ぐに通り過ぎること、じっと立っていること、向きを変えること、入ること、出ること、一緒になること、及び分かれることを含む、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項８】
前記対象の前記動作を表すクラスタモデルは、相互検証の枠組みを用いてトレーニングされるベイズ分類器のバンクである、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項９】
各動きセンサの前記動きイベントはイベントの流れを形成し、該イベントの流れは既知の時間間隔を有するセグメントにセグメント化され、１つのクラスタ内の全ての動きセンサの流れは、前記クラスタリーダによって受信される、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１０】
前記対象の前記活動を表す前記スーパークラスタのモデルは、反復バウム−ウェルチアルゴリズムを用いてトレーニングされる隠れマルコフモデルの形の動的信念ネットワークの形をとる、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１１】
前記活動は、訪問、会話及び会合を含む、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１２】
前記動作は前記セグメントから特徴を抽出することによって検出され、該特徴は、前記センサの識別子、前記動きイベントの時間的な順序、及び前記セグメント内の前記動きイベントの数を含む、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１３】
各動きセンサは、前記空間的に直に隣接する動きセンサのクラスタリーダである、請求項２に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１４】
前記個々の動きセンサによって網羅される被検出エリアは、前記環境をタイリングするように概ね交わることがなく、且つ隣接する、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１５】
特定の動きセンサは、半径が約２メートルの局所的な概ね円形のエリアで検出を行う、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１６】
前記個々の動きセンサの数に対する前記クラスタの数の比は１未満である、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１７】
前記個々の動きセンサは、較正及びトレーニングをし直すことなく、異なる環境に動かされ、動作に入る、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１８】
前記対象は人々である、請求項１に記載の物理的な環境内の活動を検出するためのシステム。
【請求項１９】
環境内の活動を検出するための方法であって、
個々の動きセンサで動きイベントを検出するステップと、
前記動きイベントをクラスタリーダに送信するステップであって、各動き検出器は、空間的に直に隣接する動きセンサのクラスタリーダであるものと、
前記動きイベントに従って、前記クラスタリーダによって対象の動作を検出するステップと、
前記動作をスーパークラスタリーダに送信するステップであって、各動き検出器は、センサから構成される、空間的に直に隣接する動きクラスタのスーパークラスタリーダであるものと、
前記スーパークラスタリーダによって前記対象の活動を検出するステップと、
前記活動に従って、前記対象の行動を検出するステップと
を含む、環境内の活動を検出するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は包括的にはセンサネットワークに関し、詳細には、或る環境内の人々の動作(movement：移動)をセンサネットワークでモデル化して、その環境内の活動(activities)を認識することに関する。
【背景技術】
【０００２】
センサネットワークが、建物の中にいる人々の動作及び活動を解釈することができるならば、その建物の安全性及び有能性を高めることができる。たとえば、現人数の調査データを提供し、適応的な避難計画を改善することができるセンサネットワークによって、安全性を高めることができる。建物の中の日常の活動パターンを解釈し、普通でない活動を指示することができるシステムによって、セキュリティが高められるであろう。居住者の活動を予測することによって、暖房、照明及びエレベータ運行管理におけるエネルギー効率を高めることができるようになる。
【０００３】
１つのセンサネットワークが、Wilson他著「Simultaneous tracking & activity (star) using many anonymous, binary sensors」(The Third International Conference on Pervasive Computing, 2005)に記述される。そのネットワークは、常に少数の人々だけが存在する家庭を対象としている。Wilsonは、「追跡後に解釈する(track-then-interpret)」という古典的な方法論を適用した。しかしながら、オフィスビル、学校又は工場のような、さらに多くの人々がいる環境では、必要とされる、人々を追跡し、より高度な活動を解釈するために確定されなければならない仮説が、指数関数的に増加する。それゆえ、その方法は、住宅のような、人数調査が少ない建物にしか適用することができなかった。さらに、家庭環境においてセンサを厳密に配置することが不可欠であった。その程度までの特殊な条件を揃えるには、大きな建物、すなわち使用パターンが動的に変化する場所では不経済である。
【０００４】
また従来技術は、ビデオ内の画像から人間の活動を解釈するための方法も記述する(Bobick著「Movement, activity and action: the role of knowledge in the perception of motion」(Philosophical Transactions: Biological Sciences, 352(1358): 1257-1265, 1997))。Bobickは、ビデオ内の時間及び背景(context：状況)を用いて、人間の挙動を解釈するための枠組みを記述した。彼は、挙動を、動作、活動及び行動(action)から成る３階層に分類する。最も基本的な活動は動作と呼ばれた。動作は、空間的な背景との関連を有するが、時間的な構造との関連はない。短時間に起こる一連の動作を、或る時間的な構造と組み合わせて、活動が形成される。関係者及び環境から成るさらに大きな背景内で活動を解釈して、行動が認識される。しかしながら、Bobickの方法では、コストがかかるビデオカメラによって収集されるビデオフレームを、手間をかけて画像解析する必要がある。
【０００５】
ビデオ内の人間の挙動を記述する他の従来技術は、Stauffer他著「Learning patterns of activity using realtime tracking」(IEEE Transactions on Pattern Recognition and Machine Intelligence, 22(8): 747-757, 2000)、Johnson他著「Learning the distribution of object trajectories for event recognition」(Image and Vision Computing, 14(8), 1996)、Minnen他著「Expectation grammars: Leveraging high-level expectations for activity recognition」(Workshop on Event Mining, Event Detection, and Recognition in Video, Computer Vision and Pattern Recognition, volume 2, page 626, IEEE, 2003)、Cutler他著「Real-time periodic motion detection, analysis and applications」(Conference on Computer and Pattern Recognition, pages 326-331, Fort Collins, USA, 1999)、及びMoeslund他著「A survey of computer vision based human motion capture」(Computer Vision and Image Understanding, 81: 231-268, 2001)を含む。
【０００６】
ほとんどの従来技術の研究における共通の筋道は、処理の第１の段階として、対象を追跡することである。そのことによって、その研究は、いかなる高度な推定も行われない場合であっても極めて正確な追跡情報を提供することができるセンサ形式、すなわちビデオカメラに限定される。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
動き検出器ネットワークを用いる際に固有の曖昧さによって、これらの手法の大部分を使用できなくするほどの雑音が追跡結果に取り込まれる可能性がある。それゆえ、従来技術の問題点を克服する、センサネットワークを用いて活動を認識するための方法が必要とされている。
【課題を解決するための手段】
【０００８】
本発明の実施の形態は、センサネットワーク及び活動認識方法を提供し、その方法によれば、センサネットワークが、建物居住者の背景を経済的に、拡張可能に、効率的に、且つプライバシーに細心の注意を払って検出及び認識できるようにする。そのセンサネットワークは、バイナリセンサであるノードを含む。一実施の形態では、それらのノードはパッシブ赤外線動き検出器である。これらのノードは、熱源、たとえば人々の存在及び動作を検出するだけであるので、それらのセンサは居住者のプライバシーを概ね保護する。
【０００９】
そのシステムは、ネットワークのトポロジを推定し、その情報を用いて、各ノードの周囲に局所的な背景近傍(neighborhoods＝近隣地区)を形成する。これらの近傍は、可搬性活動認識及びシステム拡張性のための基礎である。可搬性があるので、センサを他の環境に容易に動かすことができ、さらにトレーニングし直すことなく、動作し始めることができる。それらの近傍は、或る建物内の人間の活動の成分を正確に検出するだけの十分な大きさを有する。
【００１０】
活動が認識される前に特定の個人を追跡する必要はなく、それにより、センサネットワークを安価なセンサで構成できるようになり、従来技術の高忠実度の追跡、たとえばビデオによる追跡に関連する計算上のオーバーヘッドの多くが削減される。
【００１１】
低レベルの動作の挙動を局所的に正確に検出することによって、近傍の外部に通信しなければならないデータ量が大幅に削減されるはずである。これらの特徴は拡張性を支援する。
【００１２】
また、それらの近傍は、建物の背景が大きくなっても変わらないほど十分に小さい。これは、環境が物理的に再構成されるのに応じて、検出器の場所を動かすことができることを意味する。この事実は、現場での較正、トレーニング及び工学技術のコストの多くを削減することによって、全コストを削減する。これらの近傍を組み合わせて超近傍(super-neighborhoods)を形成することによって、同様な拡張性及び再利用性の利点を得ることができる。
【００１３】
本発明は階層的な近傍構成を用いる。その構成は、通信効率の観点及び挙動の背景の観点の両方から道理にかなっている。
【発明を実施するための最良の形態】
【００１４】
システム構造
図１は、建物環境における、本発明による階層的なセンサネットワークを示す。図２は、ネットワークの階層を図式的に示す。階層レベルは、Ｌ０  ２００(個々のセンサ１００)、Ｌ１  ２０１(センサのクラスタ１０１)、Ｌ２  ２０２(スーパークラスタ１０２)、及びＬ３  ２０３(ハブ１０３)を含む。
【００１５】
階層レベルはそれぞれ、その環境内の対象、たとえば人々の動き(motions)、動作(movements)、活動(activities)及び行動(actions)を検出する。
【００１６】
動きは単に、動きセンサによって伝達される生のバイナリイベントである。動作は、有意な時間的な構造を持たないので、より大きな背景によらない単純なモデルで認識することができる。すなわち、動作は局所的に検出することができる。活動は、動作の集まりであるので、活動はさらに大きなエリアを含むことができるが、それでも、広範囲の背景の恩恵を受けることなく、局所的に検出することができる。活動は、或る有意な時間的構造を組み込むことができる。行動では、広範囲の背景が検出される必要があるので、行動は、それらの構造に対して複雑な基本原理を有することができる。それゆえ、行動は、広範囲に見た場合に最も良く認識される。すなわち、行動は、フロア又は建物レベル、これ以降では「ハブ」レベル、において最も良く認識される。
【００１７】
センサ
本発明による階層の最も低いレベルＬ０には、個々の動きセンサがある。単一のセンサが、レベルＬ０近傍内、すなわちただ１つのメンバだけを有する退化した(degenerate)近傍内の動きを検出する。本発明の一実施の形態では、センサ１００は無線動き検出器である。そのセンサは、小さなエリア内の動きを確実に検出する。この事例では、各センサの適用範囲１１０は、半径が約２メートルの円形近傍を含む。センサは、任意の従来の電源によって動作することができる。
【００１８】
具体的には、センサとして、パッシブ赤外線(ＰＩＲ)動き検出器を用いることができる。これは、動きに応答して起動されるライト及び機器のほとんどにおいて用いられるのと同じセンシング技術である。そのセンサは信頼性があり、非常に安価であり、且つほとんど電力を必要としない。本発明では、香港所在のComedia Ltd.から市販されるＫＣ７７８３Ｒセンサパッケージを使用する。それらのセンサは、本発明によって仕様変更されると、毎秒数個のイベントを生成することができる。
【００１９】
実際には、センサは、プラスチック加工した、空間的に多重化されたレンズを備える、２ピクセルサーマル「カメラ」である。レンズはマルチファセットであり、熱現象の種々の小さな領域を２つのピクセル上にマッピングする。個人がセンサの視野内にいるとき、その動いている熱源は、デバイスによって測定される熱的な痕跡を変更し、立ち上がり電圧エッジが生成される。
【００２０】
レベルＬ０にあるセンサの出力は、図５に示されるような、バイナリイベントの流れ５１０である。動きが検出されるとき、センサ固有のＩＤが無線で報知される。そのイベントはタイムスタンプにも関連付けられる。
【００２１】
個々のセンサの能力は限られている。たとえば、センサは、１人と数人のグループとを区別することができないか、又は人と動物とを区別することができない。しかしながら、それらのセンサは安価であり、小さく、簡単で、且つ明確に分かっている能力の範囲内であれば信頼性がある。
【００２２】
それらのセンサは、環境内の変化に応答して、バイナリイベントを表す無線信号を生成する。そのバイナリイベントは、階層処理のより上位のレベルへの入力と見なす観測の基本単位である。そのようなバイナリイベントの流れを生成することができる任意のセンシング技術、すなわち任意のバイナリセンシング技術を用いて、このレベルを実施することができる。それらのイベントは、環境内の挙動範囲のうちの最も基本的で、且つ最も局所的な限界にある。
【００２３】
これ以降、これらのイベントと、より関心のある「動作」３００とを区別するために、検出されたイベントを単に「動き」２１０と呼ぶ。動きは単に、センサの近くに動いている対象が存在するが、動作の方向はわからないことを意味する。
【００２４】
クラスタ
その階層のレベルＬ１は、センサのクラスタを含む。クラスタ内の１つのセンサが、クラスタリーダ１２０であると宣言される。したがって、クラスタは、クラスタリーダセンサと、直ぐ近くにある複数のセンサとを含む。直ぐ近くにあるセンサは、ネットワークトポロジの観点から任意の方向においてリーダから１ステップだけ離れて存在するセンサと定義される。
【００２５】
１００個のセンサが存在する場合には、１００個のクラスタも存在することができる。クラスタリーダがその周囲にある多数のクラスタに参加することができる場合であっても、各ノードは、その直ぐ隣にある複数のノードから成る１つのクラスタを管理する。全ての動作が、１つのクラスタ内のリーダセンサにおいて起こるものと定義される。それゆえ、複数のクラスタを全てのセンサに関連付けて、センサの近くで起こる動作イベントを検出することが好都合である。しかしながら、環境によっては、クラスタとセンサとの間のこの一対一の関係を緩和することもでき、クラスタの数をセンサの数よりも少なくすることができる。
【００２６】
環境内に多数のセンサが配置されるが、センサ起動フィールド１１０がほとんど、又は全く重なり合わないだけでなく、隣接するセンサの起動フィールドにはほとんど、又は全く隙間がないものと仮定する。すなわち、図１に示されるように、センサによって検出されるエリアは概ね交わることはなく、且つ空間的に隣接している。このようにして空間を覆うことは、一般的に、「タイリング」として知られている。円形のタイルでは完全なタイリングは不可能であるので、本発明では、副詞「概ね」を用いる。各センサが約２メートルの半径を有し、その環境がセンサで「タイリング」される場合には、全体の半径が約６メートルの一般的なクラスタは約１０個のセンサを有する。センサのクラスタは、対象の「動作」３００を認識することができる。
【００２７】
図３に示されるように、本発明では、或る環境の居住者が小さなエリアにおいて見せることがある１組の起こり得る動作、すなわち真直ぐに通り過ぎる動作、じっと立っている動作、向きを変える動作、入る動作、出る動作、一緒になる動作、及び分かれる動作を定義する。
【００２８】
図４の(Ａ)〜(Ｅ)では、５つのセンサから成るレベルＬ１クラスタにおいて検出されるいくつかの動作例が図式的に示される。図４の(Ａ)〜(Ｅ)では、時間が濃い色から淡い色まで経過し、矢印は動作の全体的な方向を指示する。図４の(Ａ)は、じっと立っている挙動を示す。図４の(Ｂ)は直線的な動作、たとえば、下から上への動作、左から右への動作等を示す。図４の(Ｃ)は、向きを変える動作、たとえば上から右への動作、右から下への動作等を示す。図４の(Ｄ)は、入る動作及び出る動作を示す。図４の(Ｅ)は、一緒になる動作を示す。
【００２９】
これらの動作が確かに基本的で、且つ局所的であるので、これらの基本的な動作に対してセンサのクラスタをトレーニングすることができるものと考えられる。
【００３０】
図２に示されるように、クラスタリーダ１２０は、レベルＬ０センサから、すなわち直に隣接しているセンサから動きイベント２１０を収集する。
【００３１】
図５に示されるように、イベントの流れ５１０は、動作を指示する連続的な時間の区間５１１〜５１３にセグメント化される。それらの区間内で、リーダは、全起動回数、一連の隣接するセンサの起動、及びどの隣接するセンサが最初に、又は最後に起動したか等の特徴を判定する。これらの特徴は、後にさらに詳細に記述されるが、判定するのが簡単であり、向き及び速度が変わっても同じ検出器を用いることができることを意図している。
【００３２】
動作は複雑な時間的構造を持たないので、センサは、ナイーブベイズ分類器の形をとる。したがって、それらのセンサは計算する際に効率的である。動きイベントはおそらく、毎秒数回生成される可能性があるので、これは重要である。
【００３３】
スーパークラスタ
階層の次のレベルＬ２はスーパークラスタである。スーパークラスタは、複数のクラスタから成るクラスタである。スーパークラスタは、直ぐ近くにある全てのクラスタを含む。たとえば、センサが、差渡しで(幅が)約２メートルのエリアを検出し、クラスタが差渡しで約６メートルのエリアを検出する場合には、直ぐ近くにあるクラスタがいかに定義されるかに応じて、スーパークラスタは差渡しで約１０メートル〜１５メートルのエリアを検出する。各スーパークラスタはスーパークラスタリーダを有する。
【００３４】
スーパークラスタリーダは、スーパークラスタを構成するクラスタからの動作検出を受信し、この情報を用いて、活動６００を認識する。１０メートルあると、スーパークラスタ１０２は、玄関、小部屋、エレベータロビー又は廊下の交差点の範囲を網羅することができる。
【００３５】
スーパークラスタは、環境的な背景の要素を包含し始めるほど大きいが、スーパークラスタが依然として、挙動の再利用可能な成分を表現するだけの十分な局所性を有するものと断言する。
【００３６】
レベルＬ２活動モデルは、スーパークラスタが検出するフィールド内の活動を認識するために、空間的背景及び時間的背景の両方を包含する。そのモデルは、動的信念ネットワークの形をとる。
【００３７】
図６は、３つの活動６００、すなわち訪問、会話及び会合を示す。訪問は、人が或る場所に近づき、短時間その場所にとどまり、その後、その場所を離れる活動である。その例は、プリンタ又はコーヒーポット等の固定資源の所に行くことだけでなく、オフィスに短時間立ち寄ることも含まれる。会話は、おそらく短い会話を交わすために、２人が玄関で一緒になることを伴う活動である。会合は、おそらく予定された会合に参加するために、数人の人々が何分にもわたって、或る場所に集まる活動である。
【００３８】
これらのモデルが複数の建物にわたって再利用可能であるものと主張するが、それらのモデルは動作モデルとして汎用性はない。これらのモデルはオフィス環境の場合に相応しく、他の共同作業環境に移し変えることができる。
【００３９】
スーパークラスタレベルでは、おそらく、多数の活動を観測することができる。これらの活動のうちのいくつかは、その背景によって、多かれ少なかれ意味を持つであろう。各種の適用領域、たとえば工場、小売店、オフィス、家庭、教育現場は、その背景に相応しい活動の関連するライブラリを有することができる。
【００４０】
マルチアクタ問題(multi-actor problem)
多数の人々の活動を観測する際の大きな問題は、データ関連性の問題である。すなわち、本明細書において記述されるようなバイナリセンサを用いる比較的簡単な構成では、検出された動きを特定の個人に、特に長時間にわたって関連付けることは比較的難しい。
【００４１】
ほとんどの従来技術のシステムは、いかなる解釈が試みられる前でも、その環境において個人が正確に追跡されなければならないものと仮定する。その場合、全てのデータが最初に追跡に関連付けられ、その追跡が認識過程によって用いられる表現になる。また、それは、センサが追跡を可能にするだけの十分な忠実度及び有効範囲を有するものと仮定する。それは、言い換えると、一般的には、至る所にカメラの有効範囲があることか、個々のユーザに取り付けられる追跡タグ及び識別タグが存在することのいずれかを意味する。それらの仮定が有効である状況では、従来技術は多数の解決策を提供する。
【００４２】
しかしながら、それらの仮定は、ほとんどの任意の環境の場合に有効でないものと断言する。さらに、経済的な問題、道徳的な問題及びプライバシーの問題によって、そのようなシステムは、全ての環境とは限らないが、ほとんどの環境において採用されない可能性がある。
【００４３】
処理の最初の段階で個人を区別しようとするのではなく、代わりに、最初に、独立した人と共同する人との間の区別をつけることを選択する。個人を追跡する代わりに、互いから一定の距離内にいる人々は独立して行動していないものと仮定する。むしろ、その人々は、或る認識可能な共同動作にかかわっている。具体的には、その距離は、レベルＬ１近傍の半径である。２人が特定の近傍内で出会う場合には、それは、１つの動作として、すなわち一緒になる動作として認識される。
【００４４】
レベルＬ２では、マルチアクタ問題を解決し始める。レベルＬ２近傍の半径は約１０メートルであるので、５〜１０メートル離れている人々の動作に大きな相関があると断言するのは不合理である。そのような弱く関連付けられる行為者の存在は、挙動の変動性を高めるので、考える必要がある動作モデルの数を増やし、複雑にする。
【００４５】
レベルＬ２における解は、観測された活動の全ての成し得る解釈を認識する。これにより、他の行為者に起因する妨げになる動きが存在する中で生じることがある活動を認識できるようになる。これらの非排他的な検出によって生成される曖昧さは、次のレベルまで持ち越され、外部の背景を用いて解決されることになる。
【００４６】
環境構成
レベル２より上では、自然に、建築上の用語：研究所、棟、フロア、建物、キャンパスで近傍を参照し始めることに気が付いている。また、その環境の間取図の制約が、近傍の形成を大きく妨げ始めることにも気が付いている。たとえば、間取図が次第に大きくなることが認められるとしたら、近傍は、自らのところに戻り始める。極端な場合には、建物のフロアが１００個のセンサによって観測され、同じようにして近傍を構築し続けるとしても、さらに高いレベルＬ４及びＬ５を構築して、そのフロアにおける活動の１００個の重複する解釈を行うことは意味を成さない。
【００４７】
それゆえ、レベルＬ３は、本発明の手法を適合させるのに自然な場所であると思われる。これは、幾何学的な理由、背景の理由及び拡張性の理由にも当てはまる。フロアレベル又は棟レベルにおける挙動は、たとえば、Ａという人が自分のオフィスから出て、コーヒー自動販売機に行って、戻るというように、個人及び場所の概念を自然に含むものと考える。挙動の背景は、個人及び特定の建物の背景を含む。それゆえ、次のレベルの処理は、或る形の確率的構文解析又は連鎖を含み得る。
【００４８】
この過程は、信号特性の類似性に基づくのではなく、連鎖に沿った解釈の一貫性に基づくことを除いて、追跡と多くの共通点を有する。導入時に、或る量の局所的な適応及び背景にラベルを付けることが必要な場合があることも明らかであり、たとえば、間取図、及びエレベータ、複写機等のような重要な資源の場所等の建物特有の情報を与える。この形の処理は、これまでに記述したものと全く異なり、従来技術において概ね網羅される。
【００４９】
クラスタ処理
動作検出は３つのステップ、すなわちセグメント化、特徴抽出及び検出において実行される。図５に示されるように、バイナリ動き検出の連続した流れ５１０が、タイムアウトを用いてセグメント化され、結果として、連続した動作の複数の区間が唯一の観測結果として分類される。
【００５０】
特徴セットは、或る特定のセンサが信号を送出したか否か、別のセンサの前に或るセンサが信号を送出したか否か、どのセンサが最初に又は最後に信号を送出したか、及び検出されたイベントの数等の顕著な要素を含むことができる。上記のように、中心となるクラスタリーダが特別に処理される。隣接するノードが、任意の原点から開始して、順番に、時計回りに番号を付される。
【００５１】
１つのセグメントのための特徴が抽出された後に、ベイズ分類器のバンク(群)で検出が果たされる。分類器は、特徴のベクトルを求め、特定の動作モデル仮説が真である可能性を判定する。
【００５２】
ガウス分布を仮定して、ラベルを付されたデータからパラメータμｋ及びΣｋを推定することによって、そのモデルがトレーニングされる。
【００５３】
【数１】
2009524851.tif 000003
【００５４】
ただし、ｏは特徴ベクトルであり、ｍは特徴ベクトルの長さであり、Ｔは変換演算子である。
【００５５】
ナイーブベイズ分類器の場合、その特徴は独立しているものと仮定される。具体的には、Σｋは対角であると仮定される。この独立しているという仮定は、ｐ(ｏ|μｋ，Σｋ)を評価することに関連する計算負荷を著しく低減する。本発明は、このような単純化する仮定にもかかわらず、その動作分類器から非常に良好な結果を達成する。
【００５６】
特徴ベクトルｏは時間的な系列でないことに留意されたい。それは、観測系列全体を要約する単一のベクトルである。全観測数等の、特徴のうちのいくつかは、データの時間的な様相を暗黙のうちに符号化する。しかしながら、一般的には、それらの特徴は、動作の全体速度に対して変わらないように意図されている。
【００５７】
トポロジ
クラスタ
クラスタ及びスーパークラスタを構成するために、階層的ネットワークのトポロジを用いる。これは、どのノードがクラスタリーダの近くにあるかということ、及び各リーダの周囲の隣接するノードの順序の両方を知る必要があるためである。これは、システムの手作業による較正を必要としないことに留意されたい。制約を受けない動きからセンサネットワークの幾何学的構成を復元できることがわかっている。たとえば、いずれも参照により本明細書に援用される、Wren他著「Self-configuring, lightweight sensor networks for ubiquitous computing」(The Fifth International Conference on Ubiquitous Computing: Adjunct Proceedings, October 2003)及び２００３年１０月１０日にChristopher Wrenによって出願された米国特許出願第１０／６８４，１１６号「Traffic and Geometry Modeling with Sensor Networks」を参照されたい。本発明では、本明細書に記述されるような近傍を自動的に「発見する」ために同様の技法を用いる。
【００５８】
スーパークラスタ
レベルＬ２では、本発明では活動を認識している。この処理は、より広い空間的な背景と、より詳細な時間的なモデルとを用いる。スーパークラスタリーダは、その隣接するレベルＬ１クラスタから動作分類を受信する。これらの分類は、相対的に遅い速度で生成され、おそらく数秒当たり１つのイベントが生成される。入力イベントが離散したラベルであるため、且つイベントは非常にまれにしか生成されないために、隠れマルコフモデル(ＨＭＭ)を用いて、これらのイベントを認識することができる。
【００５９】
ＨＭＭは、１組の状態と、その過程がそれらの状態を通じていかに遷移するかに関するモデルとを含むパラメトリックモデルである。各状態は、全ての起こり得る観測結果の空間にわたる個別の条件付き確率分布に関連付けられる。本発明の事例では、それらの観測結果は、ブール値又はカウントのような離散値であるので、観測結果の尤度関数は、離散した１組の確率として表される：ｂｉ(ｆｉ)＝Ｐｒ［ｆｉ］。式中、ｆｉは添え字ｉにおける特徴のベクトルである。
【００６０】
それらの遷移は、遷移確率行列Ａによって整形される、一次マルコフであると仮定される。
【００６１】
【数２】
2009524851.tif 000004
【００６２】
式中、λはＨＭＭの学習されたパラメータであり、ＮはＨＭＭ内の状態の数であり、ａｐｑは、状態ｐから状態ｑまで遷移する確率を指定する行列Ａの要素であり、Ｑは現在の状態であり、Ｆは、先行する特徴観測結果の集合体であり、ｂｑ(ｆｉ)は、状態ｑにいる間に、観測結果ｆを生成する確率である。
【００６３】
このモデルは、遷移行列に、或る過程の時間的な構造についての情報を組み込む。そのモデルは、時間的な信号をワーピングすることに対する不変性を提供する。その観測過程は、信号内の雑音にも耐える。これらの種類のモデルを評価するために、ビタビアルゴリズムと呼ばれる、効率的な既知の方法がある。参照により本明細書に援用される、Rabiner著「A Tutorial on hidden Markov models and selected applications in speech recognition」(Proceedings of IEEE, 77(2):257-285, 1989)を参照されたい。
【００６４】
これらのモデルは、多くの場合に、同じく既知の反復バウム−ウェルチアルゴリズムを用いて、ラベルを付されたデータでトレーニングされることができる。これが一般的には、好ましい方法である。しかしながら、本発明の事例のように、特徴空間が十分に抽象的であるとき、時折、単にこれらのモデルを用いて、極めて限られた形の確率的言語における確率文としての役割を果たすことができる。参照により本明細書に援用される、Ivanov他著「EM for perceptual coding and reinforcement learning tasks」(8th International Symposium on Intelligent Robotic Systems, Reading, UK, 2000)を参照されたい。
【００６５】
ハブ
レベル２におけるスーパークラスタより上において、本発明では、行動２１３の検出を実行する。上記で引用されたBobickは、行動を、場面の背景において理解される活動の集合体と定義する。行動認識プログラムを構成するための有用な要素のライブラリを定義することも可能であり得る。しかしながら、背景の顕著な要素がおそらく、間取図、又はエレベータ及び会議室のような資源の場所等の場所特有の情報を含むことになるので、特定の場所によってかなりのカスタム化が必要とされるものと予想される。
【００６６】
また、行動認識は、動き検出器ネットワークと、エレベータ呼出システム、又はビルディングプリントキュー(building print queue)のような、背景を与えることができる他のインフラストラクチャシステムとを結び付けることを含むこともある。確率的構文解析は、大規模なイベントの形跡を統合するための仕組みを提供する。上記のIvanov他を参照されたい。このようにして、個々の行動は、イベントの連鎖を引き起こしている過程として、最も高いレベルにおいて導入される。このレベルでは、曖昧さをなくす全ての可能な証拠を入手することができる。これは、信号レベルにおける追跡とは対照的である。
【００６７】
本発明の精神及び範囲内で、種々の他の改変及び変更を行うことができることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るような全ての変形及び変更を包含することである。
【産業上の利用可能性】
【００６８】
本発明のシステム及び方法は、多数の種類の分野に適用することができる。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施の形態による、センサの階層的なネットワークの概略図である。
【図２】図１のネットワークのブロック図である。
【図３】本発明の一実施の形態による動きイベントのブロック図である。
【図４】本発明の一実施の形態による動作のブロック図である。
【図５】本発明の一実施の形態によるイベントの流れのブロック図である。
【図６】本発明の一実施の形態による活動のブロック図である。
【図１】
2009524851.tif 000005
【図２】
2009524851.tif 000006
【図３】
2009524851.tif 000007
【図４】
2009524851.tif 000008
【図５】
2009524851.tif 000009
【図６】
2009524851.tif 000010
【国際調査報告】
2009524851.tif 000011
2009524851.tif 000012
2009524851.tif 000013