(57)【要約】  たとえば、在宅ケア環境において、時間に応じて環境のゾーン内での対象の存在を決定するために対象を電子的に監視する方法は、画像およびウェアラブルセンサからのデータを融合するステップを含む。ゾーン内の存在を表示するグリッドディスプレイがさらに設けられている。
2010508569.tif 000002
【特許請求の範囲】
【請求項１】
空間的に規定されたゾーン内の特定の対象を電子的に監視する方法であって、
ａ）画像センサを使用して前記ゾーン内部の候補対象の所与の時点での存在を検出するステップと、
ｂ）前記候補対象が前記特定の対象であるかどうかを決定するため、前記画像センサからのデータを使用して取得され、前記候補対象に関係している第１の信号、および、前記特定の対象と関連しているウェアラブルセンサからのデータを使用して取得される第２の信号を融合するステップと、
ｃ）前記決定に基づいて前記所与の時点での前記ゾーン内部の前記特定の対象の存否を示すデジタル記録を保存するステップと、
を含む方法。
【請求項２】
前記第１の信号および前記第２の信号が前記候補対象および前記特定の対象のそれぞれの活動を示す経時的な信号である、請求項１に記載の方法。
【請求項３】
前記信号を融合するステップが前記信号を比較するステップを含む、請求項２に記載の方法。
【請求項４】
前記比較するステップが、前記第１の信号の変化を表す第１の変化信号および第２の信号の変化を示す第２の変化信号を計算するステップと、前記第１の変化信号と前記第２の変化信号との間の類似性の尺度を決定するステップとを含む、請求項３に記載の方法。
【請求項５】
前記変化信号を計算するステップが、前記第１の信号および前記第２の信号を時間窓に窓化するステップと、前記時間窓にインデックスを付ける変化ベクトルを定義するステップと、対応する隣接した時間窓からの平均の変化がスレッショルドを超えるならば、前記ベクトルの要素を特定の値に設定するステップとを含む、請求項４に記載の方法。
【請求項６】
複数個のゾーンを含む環境内で所与の複数回にわたってステップａ）からｃ）を繰り返すステップと、各時点で前記特定の対象が存在するゾーンを示すデジタル記録の組を保存するステップとを含む、請求項１から６のうちのいずれか一項に記載の方法。
【請求項７】
前記組をベースライン組と比較することにより前記組を分析するステップと、前記組と前記ベースライン組との間の差を検出するステップとを含む、請求項６に記載の方法。
【請求項８】
組毎にゾーンの間の遷移マトリックスを計算するステップと、前記遷移マトリックスを比較するステップとを含む、請求項７に記載の方法。
【請求項９】
アース・ムーバー・ディスタンスアルゴリズムを各記録に適用するステップを含む、請求項７に記載の方法。
【請求項１０】
前記所与の時点または前記所与の時点の一部を表す第１の軸、および、前記ゾーンまたは前記ゾーンの一部を表す第２の軸に沿って配置された複数のセルを含むグラフィカルユーザインターフェイスに前記組を表示するステップを備え、第１のマーカーを対応するセルに表示することにより各セルが所与の時点での所与のゾーン内の前記特定の対象の存在を示している、請求項５から７のうちのいずれか一項に記載の方法。
【請求項１１】
第２の異なるマーカーを所与のゾーンおよび所与の時点に対応するセルに表示することにより、前記所与の時点での前記所与のゾーンにおける前記特定の対象以外の候補対象の存在を表示するステップを含む、請求項１０に記載の方法。
【請求項１２】
前記第１の信号が対象位置を示し、前記第２の信号が対象加速度を示している、請求項１から１１のうちのいずれか一項に記載の方法。
【請求項１３】
前記ゾーンが在宅ケア環境の一部であり、前記対象が人である、請求項１から１２のうちのいずれか一項に記載の方法。
【請求項１４】
前記対象の画像がシルエットである、請求項１から１３のうちのいずれか一項に記載の方法。
【請求項１５】
空間的に規定されたゾーン内の特定の対象を電子的に監視する監視システムであって、
画像センサと、
中央処理部と、
前記特定の対象によって装着されたウェアラブルセンサおよび前記画像センサからのデータを受信し、前記データを前記中央処理部へ送信するゲートウェイと、
を含み、
前記中央処理部が請求項１から１４のうちのいずれか一項に記載された方法を実施するため適している監視システム。
【請求項１６】
前記画像センサが前記対象のシルエットだけを前記ゲートウェイへ送信するために配置されている、請求項１５に記載のシステム。
【請求項１７】
前記画像センサおよび前記ゲートウェイが在宅ケア環境に設置されている、請求項１５に記載のシステム。
【請求項１８】
複数個のゾーンを備える環境の特定のゾーン内で監視される対象の場所を表示するディスプレイインターフェイスであって、
セルに対応する時間間隔を表す第１の軸、および、前記ゾーンを表す第２の軸に沿って配置された複数個のセルを含み、
所与の時点における所与のゾーン内部の前記対象の存在が前記所与のゾーンおよび所与の時点に対応する前記セル内に第１のマーカーを表示することにより表現されるディスプレイインターフェイス。
【請求項１９】
前記セルが前記セルに関係するさらなる情報を表示するために対話的に選択可能である、請求項１７に記載のディスプレイインターフェイス。
【請求項２０】
前記さらなる情報がより精細な空間もしくは時間解像度、または、空間および時間の両方の解像度でさらなる表示として提示される、請求項１９に記載のディスプレイ。
【請求項２１】
前記第１のマーカーを表示する前記セルが選択されるときに、前記さらなる情報が前記特定の対象によって装着されたウェアラブルセンサから得られた情報を含む、請求項１９に記載のディスプレイ。
【請求項２２】
前記さらなる情報が前記特定の対象の生理学的測定量を含む、請求項２１に記載のディスプレイ。
【請求項２３】
前記さらなる情報が前記ウェアラブルセンサの測定された加速度の変動として定義された活動指標を含む、請求項２１に記載のディスプレイ。
【請求項２４】
前記特定の対象以外の対象の存在が異なる第２のマーカーを使用して対応するセルに表示される、請求項１８から２３のうちのいずれか一項に記載のディスプレイ。
【請求項２５】
複数個のゾーンを含む環境で監視されている対象の健康を監視する方法であって、
前記対象がデジタル記録の系列を定義する複数個のサンプル時点に存在するゾーンを指示するデジタル記録の系列を保存するステップと、
前記保存された系列を健康な行動を表すベースライン系列に比較するステップと、
前記ベースライン系列からの前記保存された系列の偏差が検出されるならば、警報を出すステップと、
を含む方法。
【請求項２６】
前記比較するステップがアース・ムーバー・ディスタンスを計算するステップを含む、請求項２５に記載の方法。
【請求項２７】
前記比較するステップが前記ゾーン間の移動を表す遷移マトリックスを計算するステップを含む、請求項２４に記載の方法。
【請求項２８】
請求項１から１４または請求項１８から２７のうちのいずれか一項に記載された方法またはディスプレイを実施するコンピュータコード命令を符号化するコンピュータ読み取り可能な媒体または物理的な搬送波。
【請求項２９】
請求項１から１４または請求項１８から２７のうちのいずれか一項に記載された方法またはディスプレイを実施するために配置されているコンピュータシステム。
【請求項３０】
対象のシルエットを感知するため配置されている１台以上の画像センサ、および、前記対象によって装着され、前記対象から運動データまたは生理学的データを感知するため配置されているウェアラブルセンサを含み、在宅ケア環境において前記対象を監視するシステムであって、
前記画像センサおよび前記ウェアラブルセンサから受信されたデータを合成し保存する中央処理部をさらに含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、在宅ケア環境におけるパーベイシブセンシングのシステムおよび方法、より一般的には、病院、老人ホーム、建物、列車もしくは地下鉄プラットフォーム、運動場、または、危険な環境のような環境において人物または物体を追跡するシステムおよび方法に関係する。
【背景技術】
【０００２】
半導体産業によってもたらされた小型化およびコスト削減は、ユビキタスとして十分に小型であり、かつ、安価である集積化されたセンシングおよびワイヤレス通信装置を開発することを可能にさせた。オンボード処理およびワイヤレスデータ転送機能を備えた、サイズが数ミリメートルに満たない集積化マイクロセンサは、既に存在しているネットワークの基本コンポーネントである。これまでは、様々なアプリケーションがワイヤレスセンサネットワークの活用のため提案され、ワイヤレスセンサネットワークは我々の日常生活の多くの局面を変える可能性がある。このようなアプリケーションの一例は、在宅ケア環境にセンサネットワークを使用する状態にある。高齢者のため、在宅健康管理は、高齢者の自宅において単独で機能するため、体力、社会活動、および、認知的関与の維持を助長する。在宅健康管理は、ケア専門家がどの程度巧みに、限られたケア者を管理し、ケアを必要とする人により適切に向けることを可能にするかについてのより正確な指標をケア専門家に提供できることもある。個人にとっての潜在的利益は、個人が、より長い期間にわたって在宅を続けることがその個人の望む選択であるならば、在宅を続けることによって高められた生活の質を享受できることである。
【０００３】
家庭環境内でのセンサネットワークの配備は、しかしながら、ユーザの承諾およびプライバシーの問題の注意深い考慮を必要とする。センサノードは適切な場所に目立たないように設置されるため十分に小型であることが必要であり、かつ、センサノードは容易に取り付けられ、かつ、外部からの介入がほとんどあるいは全くなしに、長期間にわたって動作することが必要である。このために、現在のアプローチは、占有者の活動を検出するためにドア、家具、ベッド、および、椅子上で接触センサ、近接センサ、および、圧力センサを使用することに焦点が当てられている。電気製品使用、流水量、および、電気使用を検出するため設計されたその他のセンサもまた提案されている。たとえば、参照によって本書に組み込まれている[Barnes, N.M.; Edwards, N.H.; Rose D.A.D.; Gerner, P., “Lifestyle monitoring-technology for supported independence”, Computing & Control Engineering Journal, vol.9, no.4, pp.169-174, Aug 1998］を参照のこと。この装置は、占有者の健康の全体的なプロフィールを構築するために使用され得る基本情報を間接的に提供する。これらの周囲センサを用いて、非常に制限された情報が推論され、圧倒的な量の感知された情報は、多くの場合に、その情報の解釈を複雑化する。
【０００４】
簡単なセンサを用いる周囲センシングの主要な制限は、活動の詳細な変化、および、疾病の進行に関連したこれらの生理学的変化を推論することが難しいということである。実際に、外出および帰宅のような簡単な活動の検出に対しても、関係する分析ステップは、ある種の制約の明示的な使用によっても複雑になることがある。高齢者または慢性疾患をもつ患者の行動の微妙な変化でさえも疾病の発現または進行の証拠となる兆候を与えることがあることは周知である。たとえば、研究者は、歩行の変化が数種類の非アルツハイマー性認知症に関連した神経学的異常の早期兆候と関連付けられる可能性があることを明らかにしている［Verghese J, Lipton R.B., Hall C.B., Kuslansky G, Katz M.J., Buschke H., Abnormality of gait as a predictor of non-Alzheimer’s dementia, N Engl J Med, vol.347, pp1761-8, 2002］。不安定な歩行は、転倒を引き起こす主たる原因になる可能性があり、一部の転倒は致命的である可能性がある。患者にとって、結末は、骨折と、不安および鬱と、自信の喪失とを含むことがあり、これらの全部はより重大な障害をもたらす可能性がある。
【０００５】
パーソナルマトリックスを抽出し、行動プロファイリングを実行するために抽象化された画像を使用する考え方に基づいて在宅ケア環境のためのセンサネットワークを形成するため使用できるビデオセンサ、特に、以下でブロッブセンサと呼ばれる種類のセンサは、以下でＰａｎｓｉｏｔらとして引用され、参照によって本書に組み込まれている［Pansiot J., Stoyanov D., Lo B.P. and Yang G.Z., “Towards Image-Based Modeling for Ambient Sensing”, In the IEEE Proceedings of the International Workshop on Wearable and Implantable Body Sensor Networks 2006, pp.195-198, April 2006］に記載されている。簡単に言えば、ブロッブセンサは、撮影された画像を、装置レベルで対象の形状外形および動きベクトルを包むブロッブに直ちに変化させる。ブロッブは簡単に画像外形にうまく合わされた楕円形でもよく（以下でＷａｎｇらとして引用され、参照によって本書に組み込まれている［Jeffrey Wang, Benny Lo and Guang Zhong Yang, “Ubiquitous Sensing for Posture/Behavior Analysis”, IEE Proceedings of the 2nd International Workshop on Body Sensor Networks (BSN2005), pp.112-115, April 2005］を参照のこと）、または、より複雑な形状が使用されることがある。視覚像は処理のいずれの段階においても蓄積または伝送されない。さらに、この抽象化された情報を、プライバシーを守る画像に再構成することは不可能である。
【０００６】
特に在宅ケア環境で使用されるウェアラブルセンサが開発され、装着者の活動または姿勢に関する推論のため使用可能であり、参照によって全部が本書に組み込まれている［Farringdon J., Moore A.J., Tilbury N., Church J., Biemond P.D., “Wearable Sensor Badge and Sensor Jacket for Context Awareness”, In the IEEE Proceedings of the Third International Symposium on Wearable Computers, pp.107-113, 1999]、[Surapa Thiemjarus, Benny Lo and Guang-Zhong Yang, “A Spatio-Temporal Architecture for Context-Aware Sensing”, In the IEEE Proceedings of the International Workshop on Wearable and Implantable Body Sensor Networks 2006, pp.191-194, April 2006］（以下でＴｈｉｅｍｊａｒｕｓらとして引用される）、および、同時係属中の特許出願ＧＢ０６０２１２７．３に記載されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Barnes, N.M., Edwards, N.H., Rose D.A.D., Gerner, P., “Lifestyle monitoring-technology for supported independence”, Computing & Control Engineering Journal, vol.9, no.4, pp.169-174, Aug 1998
【非特許文献２】Verghese J, Lipton R.B., Hall C.B., Kuslansky G, Katz M.J., Buschke H., “Abnormality of gait as a predictor of non-Alzheimer’s dementia”, N Engl J Med, vol.347, pp1761-8, 2002
【非特許文献３】Farringdon J., Moore A.J., Tilbury N., Church J., Biemond P.D., “Wearable Sensor Badge and Sensor Jacket for Context Awareness”, In the IEEE Proceedings of the Third International Symposium on Wearable Computers, pp.107-113, 1999
【非特許文献４】Surapa Thiemjarus, Benny Lo and Guang-Zhong Yang, “A Spatio-Temporal Architecture for Context-Aware Sensing”, In the IEEE Proceedings of the International Workshop on Wearable and Implantable Body Sensor Networks 2006, pp.191-194, April 2006
【発明の概要】
【０００８】
発明は独立請求項に提示されている。さらに、発明の実施形態の選択可能な態様は従属請求項に記載されている。
【０００９】
有利なことに、画像およびウェアラブルセンサの信号を合成することにより、ウェアラブルセンサを装着している対象は画像センサによって検出された候補対象にリンクされ得る。よって、対象は環境の中を進む間に追跡可能であり、環境の所与のゾーン内の存在がゾーン・時間グリッド内に便利に表示されることがある。対応する状態ベクトル表現は時系列分析ツールを使用して分析されることがある。
【図面の簡単な説明】
【００１０】
【図１】パーベイシブセンシング環境の概略図である。
【図２】センシング環境内での活動を示している活動マトリックスのグラフィックディスプレイ表現を示す図である。
【図３】ブロッブセンサによって感知された３つの代表的な画像を示す図である。
【図４ａ】ブロッブセンサから得られた活動信号を示す図である。
【図４ｂ】ブロッブセンサから得られた活動信号を示す図である。
【図５】図４ａの活動信号と関連したウェアラブルセンサから得られた加速度信号を示す図である。
【図６】センサ融合の概略表現を示す図である。
【図７】活動指標を示す図である。
【図８ａ】代表的な活動マトリックスを示す図である。
【図８ｂ】代表的な活動マトリックスを示す図である。
【図８ｃ】代表的な活動マトリックスを示す図である。
【発明を実施するための形態】
【００１１】
発明の実施形態が今度は単なる一例として、添付図面を参照して説明される。
【００１２】
以下の詳細な説明では、多数の特定の細部が特許請求の範囲に記載された主題の完全な理解をもたらすために述べられている。しかし、特許請求の範囲に記載された主題がこれらの特定の細部なしに実施することができることが当業者にわかるであろう。別の場合、良く知られている方法、手順、コンポーネント、および／または、回路は詳細に記載されていない。
【００１３】
後に続く詳細な説明の部分の中には、コンピュータ内、および／または、コンピューティングシステムメモリ内のような、コンピューティングシステム内に蓄積されたデータビットおよび／またはバイナリデジタル信号に対する演算のアルゴリズムおよび／または符号表現という観点で提示されている。これらのアルゴリズム的記述および／または表現は、データ処理技術における当業者が自分の内容を他の当業者に伝えるために当業者によって使用されるテクニックである。アルゴリズムは、ここでは、一般に、所望の結果へ導く演算および／または類似した処理の首尾一貫した系列であると考えられている。演算および／または処理は物理量の物理操作を含むことがある。典型的に、必須ではないが、これらの物理量は、蓄積、転送、結合、比較、および／または、それ以外の操作の対象となり得る電気信号および／または磁気信号という形をとることがある。主として慣用上の理由から、これらの信号をビット、データ、値、要素、シンボル、文字、項、番号、数字などとして呼ぶことが時には便利であることがわかった。しかし、これらの用語および類似した用語の全部は適切な物理量と関連付けられ、単に便宜的なラベルであることが理解されるべきである。特に断らない限り、以下の検討から分かるように、本明細書の全体を通じて、「処理する」、「演算する」、「計算する」、「決定する」などのような用語の利用は、コンピューティングプラットフォームのプロセッサ、メモリ、レジスタ、および／または、その他の情報蓄積装置、情報伝送装置、および／または、情報表示装置の内部で物理的な電子量および／または磁気量、および／または、その他の物理量として表現されているデータを操作および／または変換する、コンピュータまたは類似した電子コンピューティング装置のようなコンピューティングプラットフォームのアクションおよび／またはプロセスを指している。
【００１４】
概略的に、以下に記載されている実施形態は、たとえば、監視に固有の情報を与えるために分析される可能性がある画像系列中の人のブロッブを追跡する、集積化されたウェアラブルかつビデオベースのパーベイシブセンシング環境を提供する。この情報はパーソナルマトリックスと見なされる。
【００１５】
たとえば、在宅ケアセンシング環境において、パーソナルマトリックスは、行動プロファイリングが多数のセンサノードの固有のリソースを使用して分散的に行われるように、センサ間で伝送されることがあり、または、マトリックスは中央処理部へ伝送されることがある（あるいは、両方が組み合わされることがある）。伝送された情報は、個人の日常活動の間に個人からパーソナルメトリック変数を測定し、救急の場合に時宜に適った処置または自動的な警報を容易化するようにできるだけ早期に、たとえば、生理学的パラメータである歩行、活動および姿勢を観察するため使用されることがある。より詳しく後述されるように、ウェアラブルオンボディセンサおよび周囲ビデオブロッブセンサからの情報を融合することにより、個人活動メトリックが得られることがあり、対象の日常活動および健康に関して簡潔な情報を提供することがある。活動または健康の変化はメトリックを使用して特定されることがある。
【００１６】
複合型ブロッブウェアラブルセンサパーベイシブセンシング環境を概略的に示す図１を参照すると、オンボディまたはウェアラブルセンサ２は、（たとえば、自宅の）部屋またはゾーン６の内側で対象４によって、たとえば、耳の裏側に、装着されている。センサ２はホームゲートウェイ１０とワイヤレス通信することがある。ワイヤレス通信は、適当なプロトコル、たとえば、ＺｉｇＢｅｅ、ＷｉＦｉ、ＷｉＭＡＸ、ＵＷＢ、３Ｇまたは４Ｇを使用して確立され得る。部屋６の領域を撮像するために、１台以上のブロッブセンサ１２が部屋の内部に位置決めされている。ブロッブセンサ１２もまたゲートウェイ１０とワイヤレス通信し得る。接触センサまたは圧力センサのようなさらなる周囲センサの使用もまた考えられる。
【００１７】
獲得されたデータは、ゲートウェイ１０および通信ネットワーク１４を介して、中央サーバ１６を備える中央処理部またはケアセンタ２４に伝送される。センタ２４は、データベース１８を収容するデータ記憶装置と、ケア専門家２２にユーザインターフェイスを提供するワークステーション２０とをさらに備えている。ケアセンタ２４のコンポーネントは、たとえば、ＬＡＮ２６によって相互接続されている。さらなるユーザインターフェイス８が、たとえば、ワイヤレス装置を使用して、部屋６に設けられることがある。
【００１８】
処理および中央処理部に加えて、または、処理および中央処理部の代わりに、データは、データ処理を分散させるため、ウェアラブルセンサとブロッブセンサ１２との間のワイヤレス通信を使用して、センサ自体によって分散形式で処理されることがある。１台または複数台のブロッブセンサは、ウェアラブルセンサに連結するためにワイヤレス通信を使用することがあり、センサノードとゲートウェイステーションとの間でワイヤードリンクまたはワイヤレスリンクのいずれかを使用することがある。同様に、一部の処理はさらなるユーザインターフェイス８によって実行されることがある。
【００１９】
ホームゲートウェイ１０は、感知されたデータをケアセンタへ経路制御するホームブロードバンドルータとして実施されることがある。データの経路制御に加えて、データ暗号化およびセキュリティ実施は、ユーザのプライバシーを保護するためにホームゲートウェイ１０で行われることがある。必要なデータ処理を行うため、ホームゲートウェイ１０はさらなるユーザインターフェイス８と結合されることがある。ホームゲートウェイは、標準的な電話回線、または、ワイヤレス３Ｇ、ＧＰＲＳなどを含む既存の接続テクノロジーのうちのいずれかを使用することがある。
【００２０】
ホームゲートウェイからセンシング情報を受信し次第、中央サーバ１６はデータをデータベース１８に保存し、長期トレンド分析をさらに実行することがある。感知されたデータからパターンおよびトレンドを得ることにより、中央サーバは、生命にかかわる可能性がある異常の危険性を低減するため、対象の状態を予測することがある。トレンド分析を可能にするため、データベース１８は、対象のデータに関する問い合わせがワークステーション２０を使用してケア者２２によって実行され得るように、一人以上の対象からすべての感知されたデータを保存するため使用されることがある。ワークステーション２０は、ケア者が対象を分析することを可能にするため、（携帯電話機または電子メールクライアントのような）携帯型手持ち式装置、パーソナルコンピュータ、または、その他の形式のユーザインターフェイスを含むことがある。対象のリアルタイムセンサ情報、ならびに、履歴データは、診断および／または監視を支援するため取り出され、再生されることもある。
【００２１】
ワイヤレスウェアラブルオンボディセンサ２は、対象４の活動および生理学的パラメータを監視するため使用されることがある。たとえば、ウェアラブルセンサ２は、たとえば、３軸加速度計のような３方向の加速度を感知する手段を含み、対象４によって装着されるべきイヤーピースを含むことがある。
【００２２】
対象の身体状態に依存して、様々なセンサが対象の様々なパラメータを監視するため使用され得る。たとえば、ＭＥＭＳベースの加速度計および／またはジャイロスコープが対象の活動および姿勢を測定するため使用されることがある。ＥＣＧセンサは、心調律異常および生理学的ストレスを監視するため使用されることがある。対象は２台以上のウェアラブルセンサを装着することがある。すべてのオンボディセンサ２は、１台以上のブロッブセンサ（またはその他のウェアラブルセンサ）、さらなるユーザインターフェイス、および、ホームゲートウェイへのワイヤレス通信リンクを有している。
【００２３】
一つの特有の実施では、ウェアラブルセンサは、６０ＫＢ＋２５６Ｂのフラッシュメモリと、２ＫＢのＲＡＭと、１２ビットのＡＤＣと、（６台までのセンサを接続する）６個のアナログチャンネルとを備えた、Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ（ＴＩ）  ＭＳＰ４３０  １６ビット超低消費電力ＲＩＳＣプロセッサを収容するイヤーピースを含んでいる。加速度センサは３次元加速度計（Ａｎａｌｏｇ  Ｄｅｖｉｃｅｓ，  Ｉｎｃ．：  ＡＤＸＬ１０２ＪＥ  デュアルアクシス）である。ワイヤレスモジュールは、５０ｍを超えるレンジで２５０ｋｂｐｓのスループットを有している。さらに、５１２ＫＢのシリアルフラッシュメモリがデータ記憶またはバッファリングのため組み込まれている。イヤーピースは、Ｕ．Ｃ．  Ｂｅｒｋｅｌｅｙによる、小規模であり、オープンソースであり、かつ、エネルギー効率の良いセンサボードオペレーティングシステムであるＴｉｎｙＯＳを動かす。ＴｉｎｙＯＳは、１組のモジュール型ソフトウェア構築ブロックを提供し、設計者はそのブロックの中から自分が必要とするコンポーネントを選択可能である。これらのファイルのサイズは、典型的に、２００バイト程であるので、全体的なサイズは最小限に保たれている。オペレーティングシステムは、センサ測定量を取得し、経路制御決定を行い、消費電力を制御して、ハードウェアとワイヤレスネットワークの両方を管理する。
【００２４】
ウェアラブルセンサは、たとえば、参照によってここで本書に組み込まれ、センサのハードウェアを使用して内蔵型で行われることがあるウェアラブルセンサからの加速度データに基づく行動の分類について説明する同時係属中の出願ＰＣＴ／ＧＢ２００６／０００９４８に記載されているように、オンセンサデータ処理またはフィルタリングのため使用されることがある。
【００２５】
ブロッブセンサ１２の一実施形態は、上述され、かつ、Ｐａｎｓｉｏｔらに記載されているが、簡単に言うと、部屋の中に存在する（複数の）対象のシルエットまたは外形だけを捕捉するのは画像センサである。このようなセンサは、参照によってここで本書に組み込まれている［Ng, J.W.P.; Lo, B.P.L.; Wells, O.; Sloman, M.; Toumazou, C.; Peters, N.; Darzi、 A.; and Yang, G.Z., “Ubiquitous monitoring environment for wearable and implantable sensors”(UbiMon) In Sixth International Conference on Ubiquitous Computing (Ubicomp), 2004］に記載されているように、部屋占有、ならびに、大域的な動き、姿勢および歩行のような基本的な活動指標を検出するため使用されることがある。
【００２６】
センサによって検出されたブロッブ（または外形）の形状は、対象とセンサとの相対位置に依存する。視点非依存モデルは、より詳細な活動シグネチャーを生成するために使用され得る様々な既知の位置で１台ずつのセンサによって捕捉された１組のブロッブを融合することにより生成されることがある。センサのキャリブレーションおよびコンフィギュレーションを簡単にするため、多次元スケーリングアルゴリズムがこれらのセンサの相対位置をセルフキャリブレーションするため使用され得る。これらのテクニックは、Ｐａｎｓｉｏｔらに記載され、参照によってここで本書に組み込まれている［Doros Agathangelou, Benny P.L. Lo and Guang Zhong Yang, “Self-Configuring Video-Sensor Networks”, Adjunct Proceedings of the 3rd International Conference on Pervasive Computing (PERVASIVE 2005), pp.29-32, May 2005]にも記載されている。
【００２７】
画像外形またはブロッブがビデオ信号からどのようにして得られるかについてのさらなる詳細は、参照によってここで本書に組み込まれている［Jeffrey Wang, Benny Lo and Guang Zhong Yang, “Ubiquitous Sensing for Posture/Behavior Analysis”, IEE Proceedings of the 2nd International Workshop on Body Sensor Networks (BSN 2005), pp.112-115, April 2005］に見出される。２台以上の画像センサを用いる複数台のセンサからの信号の融合は、参照によってここで本書に組み込まれている［Q.Caiand J.K. Aggarwal, “Tracking Human Motion Using Multiple Cameras”, Proc. 13th Intl. Conf. on Pattern Recognition, 68-72, 1996］と、［Khan, S.; Javed, O.; Rasheed, Z.; Shah, M., “*Human tracking in multiple cameras”, Proceedings of the Eighth IEEE International Conference on Computer Vision 2001 (ICCV 2001), Vol.1, pp.331-336, July 2001]とに記載されている。
【００２８】
１ゾーンまたは１部屋当たり３台以上のブロッブセンサを使用することにより、ゾーンまたは部屋内の対象の３次元位置が推定され得る。この機能のため、センサネットワークは、内部センサ特性および装置間の相対的な空間配置が分かるようにキャリブレーションされる必要がある。参照によってここで本書に組み込まれた［Richard Hartley and Andrew Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2004］を参照のこと。
【００２９】
次に、各センサで計算されたブロッブ情報を用いて、対象によって占有されている可能性が最も高い３次元空間内の位置を見つけることが可能である。このプロセスは、単一の視野方向を使用するときに複数回の視野三角測量を必要とし、または、完全なブロッブ外形を利用するときに視覚的な殻の構成を必要とする。参照によってここで本書に組み込まれた［Danny B. Yang, Gonzalez-Banos Gonzalez-Banos, Leonidas J. Guibas, “Counting People in Crowds with a Real-Time Network of Simple Image Sensors”, IEEE International Conference on Computer Vision (ICCV’03), vol.1, pp.122-130, 2003］を参照のこと。複数台のカメラからの位置の計算のため、［Anurag Mittal and Larry Davis, “Unified Multi-Camera Detection and Tracking Using Region-Matching”, IEEE Workshop on Multi-Object Tracking, 2001］をさらに参照のこと。
【００３０】
情報の解釈を容易化するため、活動マトリックスは、オンボディセンサからの情報とブロッブセンサからの情報を合成することにより得られることがある。他の在宅ケアシステムのように詳細なセンシングを明らかにするのではなく（たとえば、［E.Munguia Tapia, S.S. Intille, and K. Larson, “Activity recognition in the home setting using simple and ubiquitous sensors”, in Proc. PERVASIVE 2004, A.Ferscha and F.Mattern, Ed. Berlin, Heidelberg, Germany, vol. LNCS 3001, 2004, pp.158-175］を参照のこと）、活動マトリックスは対象の自宅内での活動の空間的なイラストレーションを提供する。活動マトリックスから、日常的な活動ルーチンが推論されることがあり、活動マトリックスは対象の社会的相互作用を測定する手段を提供することもある。その上、必要に応じて、詳細なセンシング情報が、たとえば、さらなるユーザインターフェイス８またはワークステーション２０に活動マトリックスを表示するグラフィカルユーザインターフェイスを使用して取り出されることもある。
【００３１】
図２を参照すると、位置を推定するために無線遠隔測定を使用するブロッブセンサだけ、または、ウェアラブルセンサだけに基づく分析も考えられるが、たとえば、ウェアラブルセンサとビデオベースのブロッブセンサとを連結することにより得られる活動マトリックスは、感知されている対象の行動および相互作用のグラフィカル表現を示している。マトリックスの水平軸は、セル毎に所定の間隔をもつ時間を表現している。垂直軸は、ブロッブセンサによってカバーされているゾーン（たとえば、部屋）、すなわち、ビデオセンシングゾーンまたは画像センシングゾーンを示している。六角形マーカーは監視されている対象を表し、一方、その他の異なる形状または異なる色のマーカーは訪問者またはその他の占有者を表している。マトリックスのセルに表示できる対象より多数の対象が検出されるならば、異なったマーカー表現が使用され、たとえば、数値が表示されることにより、存在する対象の人数を示すことがある。二人以上の対象がウェアラブルセンサを使用して追跡されるならば、異なる幾何記号が対象毎に使用されることがある。ゾーンは自宅の部屋に対応することがあり、または、ゾーンは、より高いレベルの精度、たとえば、「肘掛け椅子」、「棚」、「扉」などのような部屋内部の領域を有することがある。このより高いレベルの詳細は、高いレベルのゾーン（たとえば、「寝室」）がインタラクティブに選択されるときに表示される第２の層として提供されることがあり、これによって、多重解像度表示を提供する。
【００３２】
グラフィカルインターフェイスは、経時的に患者の自宅内の１ゾーンまたは１部屋当たりのユーザの人数を明らかにする。画面は自動的に、たとえば、数秒毎に更新され、経時的にスクロールすることがある。このインターフェイスは、占有者と他の人との相互作用の概要を提供する。たとえば、図２に示されている実施例は、患者の自宅に到着し、その後、一方のケア者が寝室内の患者の世話を行い、同時に別のケア者が台所で作業する二人のケア者を表現することが可能である。
【００３３】
上述されたディスプレイインターフェイスは、所与の空間ゾーン内かつ所与の時間間隔内の対象の存在を表示することが必要でるときはいつでも、より一般的に使用されてもよいことがわかる。
【００３４】
占有者の場所の決定は、ブロッブセンサからの情報とウェアラブルセンサからの情報を融合することにより実現される。このアルゴリズムは、単一占有および多数占有のシナリオの下でのシステム使用を可能にする。ウェアラブルセンサを用いると、１台または複数台のウェアラブルセンサによって識別された多数の特定の対象がさらに同時に識別され、追跡され得る。ブロッブセンサによって検出された、オンボディセンサを装着していない対象は、部屋毎に検出され得るが、識別され得ない。
【００３５】
図２を参照して上述されているように追跡を機能させるため、ブロッブセンサのうち、もし存在するならば、ウェアラブルセンサ２を装着している対象４が属している１台のブロッブセンサを決定することが重要である。このため、両方のタイプのセンサからの信号の相関、または、ある種のその他の形式の比較が以下で詳述されるように使用される。二人以上の対象がウェアラブルセンサを装着し、これらの対象に属しているブロッブを決定する場合も同様である。ワイヤレス通信ネットワークがウェアラブルセンサとシステムの残りとの間で使用されるので、視野方向に存在しないが、画像センサのゾーンにおけるワイヤレス通信システムのワイヤレス伝送レンジ内に存在するウェアラブルセンサがそのゾーンに対して検出されるであろう。したがって、ウェアラブルセンサを装着している対象が一人だけである場合でさえ、（センサを装着していない）他の対象の存在下で当該対象を識別し追跡することは、同様に、ブロッブセンサからの信号とウェアラブルセンサからの信号との間の比較を必要とする。
【００３６】
図３を参照すると、ブロッブセンサ行信号の一例の系列は、対象のブロッブまたは外形の系列を含み、上述されているように、位置データが得られる。ブロッブセンサから得られた３次元位置信号は図４ａに示されている（サンプリングレート５０Ｈｚのサンプルに対して）。図４ａにおいて陰影が付けられた時間窓は図３に示された３個の外形に対応している。図５は、図４ａの系列に対応しているウェアラブルセンサからの加速度データを示している（サンプリングレート５０Ｈｚのサンプルに対して）。
【００３７】
図４ａ、４ｂおよび５からわかるように、図５における加速度データは、図４ａにおける位置データと同時に大きく変化し、一方、異なるブロッブから得られた図４ｂにおける位置データは異なる時点に変化する。よって、全く同一の対象からのデータは、ほぼ同時に大きく変化する傾向があり、このことが、所与のウェアラブルセンサに対応するブロッブを決定するためのロバストな類似性尺度の基礎を築く。
【００３８】
たとえば、サンプリングされたデータは、たとえば、１秒の窓と、信号の３個の空間成分毎に各窓内で計算された平均信号レベルとを用いて窓化されることがある。窓化された平均が、一方の窓から次の窓までの、スレッショルド値、たとえば、４０％を上回るとき、（エントリーが時間窓に対応し、零に初期化されている）変化ベクトルの対応するエントリーは、非零値、たとえば、１でマークされ得る。ブロッブセンサからの信号とウェアラブルセンサからの信号との間の類似性は、このとき、たとえば、類似性を決定するために２個のベクトルの間の相関または内積を使用して、所与の時間間隔（たとえば、１分間）にわたって記録された対応する変化ベクトルの類似性を決定することによって決定され得る。当然ながら、２個のベクトルの間の類似性を計算する別の尺度が適用されても構わない。対象毎に変化が生じた時点同士の直接的な論理比較もまた類似性を定めるために想定される。
【００３９】
比較に基づいて、（対象と関連付けられた）１台ずつのウェアラブルセンサは、対象があるゾーンから別のゾーンへ移動するときに、ブロッブに連続的に適合させられる。たとえば、ブロッブセンサから収集された位置とウェアラブルセンサからの加速度データとが、対象に適合するブロッブを見つけるために上述された類似性分析で使用されることがある。センサから導出可能であるその他の活動信号もまた使用されることがある。同様に、ブロッブおよびウェアラブルセンサからの信号を融合するその他の適当なテクニック、たとえば、ベイズネットワーク、または、時空間ＳＯＭ（Ｔｈｉｅｍｊａｒｕｓらを参照のこと）もまた使用されることがある。
【００４０】
活動信号はより抽象的な特性を持つことがあり、センサ信号に基づく、たとえば、「横臥する」、「起立する」、「歩行する」などのような別個の動作への分類の結果でもよい。（サンプル時点における動作のカテゴリーを示す）このようなより抽象的な信号の導出の実施例は、画像センサについてＷａｎｇらに記載され、複数のオンボディ加速度センサについて、Ｔｈｉｅｍｊａｒｕｓらに記載され、さらに、参照によってここで本書に組み込まれている［Surapa Thiemjarus and Guang Zhong Yang, “Context-Aware Sensing”, Chap.9 in Body Sensor Networks, London: Springer-Verlag, 2006］に記載されている。これらの活動信号は、その後に、画像センサからのデータおよびオンボディセンサからのデータをそれぞれに使用して得られた信号の間の類似性を決定するために、たとえば、相関を使用して比較されることがある。
【００４１】
図６を参照すると、ウェアラブルセンサ２から得られた活動関連信号（たとえば、加速度）１０２は、データ融合手段１０８によって、ブロッブ毎のブロッブセンサ１２からの活動関連信号（たとえば、位置）１０４、および、ブロッブの場所を表す信号１０６と融合される。この場所は、単に、センサが取り付けられている部屋でもよく、または、より具体的な場所が得られたブロッブ位置から決定されてもよい。特定の実施形態では、融合手段１０８は、上述されているように２個の活動信号を比較し、関連付けられている活動信号がウェアラブルセンサから得られた活動信号と最も類似していることが判明したブロッブにマークを付ける。マークが付けられたブロッブの場所から、所与のウェアラブルセンサを装着している対象が存在しているゾーンを示している状態ベクトルがサンプル時点毎に得られる。これらの状態ベクトルの系列は、その後に、図２に明らかにされ、かつ、上述されているように、グラフ的に表示され得る。マークが付けられていないブロッブもまた同様に表示され、対象の社会的相互作用を指し示している。
【００４２】
図２を参照して上述されたグラフィカルインターフェイスは、多重解像度フォーマットを提供することがあり、すなわち、ディスプレイのセルをクリックすることにより、ビデオセンシングゾーン内、および、各セルの時間間隔内の対象の活動のさらなる詳細が顕在化され得る。さらに、ディスプレイは、ビデオブロッブの動きから計算され、または、加速時計からの信号から計算されるような詳細な活動指標に切り替えられることも可能である。たとえば、詳細な活動指標は、ウェアラブルセンサからの３次元加速度信号の（次元にわたって）平均化された変動として計算される活動のレベルを表示する指標を含むことがある。指標は（睡眠に対する動きのない）０と、（走行のような）より高い活動レベルを示すより大きい値との間で変化する。正常な活動はこれらの間に入る。図４（ｂ）に対応する活動指標が図６に示されている。上述されているように、ディスプレイは、より高い空間および／または時間解像度に切り替えられることもある。
【００４３】
図２に示された活動マトリックス（または、たとえば、監視されるべき対象の存在を示す１というエントリーをもつ状態ベクトルの系列としての活動マトリックスの数値表現）は、様々な期間中に行動の分析および比較を簡単化する。一例として、図７ａからｃは、監視されるべき対象の様々な活動のパターンを実証する一例の系列を示している。図７ｃにおける最後の期間を比較することにより、対象は、かなり頻繁に、かつ、図７ａおよび７ｂにおける他の２つの期間における時間間隔より長い時間間隔にわたって、トイレを使用していることが容易にわかる。このことは、対象に消化器系の病気があることを健康ケア専門家２２に警報を出す。
【００４４】
状態ベクトルの系列として（たとえば、１のような所定の数値を、監視されるべき対象が存在していることが検出された各セルに割り当てることにより）グラフィカルインターフェイスの時間窓（列）を決定して、遷移マトリックスを計算することが可能である。これらの遷移マトリックスは、自宅内での人のおおよその動きを要約し、ある部屋から別の部屋への移行の可能性を表している。遷移マトリックスは、一部の部屋の間の直接的な移行としての自宅の接続性があり得ないかもしれないことをさらに反映する。遷移マトリックスは当業者に知られている方法で計算することが可能である。異なる期間にわたって（たとえば、異なる日に）計算されたこれらのマトリックスの遷移確率の差を検出することにより、異常な行動を検出し、分類することが可能である（上記の実施例では、トイレゾーンの自己遷移確率および入場遷移確率の増加は消化器系の病気を示している）。この差の一つの可能な尺度は、（正常な行動を表現している）ベースラインマトリックスに関して遷移マトリックスを正規化し、各遷移の結果として得られる値について１からの絶対差をできる限り計算することである。
【００４５】
別の適用可能な類似性尺度は、２つの系列のグループの間の類似性、または、ベースライン系列に対する１つの系列の類似性を測定するアース・ムーバー・ディスタンス（ＥＭＤ）である。本研究では、これらの系列は、観察されている人の一連の場所を表現している。当業者は、どちらも参照によってここで本書に組み込まれている［L.Dempere-Marco, X.-P. Hu, S. Ellis, D.M. Hansell, G.Z. Yang, “Analysis of Visual Search Patterns with EMD Metric in Normalized Anatomical Space”, IEEE Transactions on Medical Imaging, vol.25, no.8, pp.1011-1021, 2006］または［Y. Rubner, C. Tomasi, L.J. Guibas, A Metric for Distributions with Applications to Image Database, Proceedings of the Sixth International Conference on Computer Vision, p.59, January 04-07, 1998]に記載されているこの測定に精通しているであろう。上記の実施例では、ＥＭＤ（ｂ，ａ）＝１８かつＥＭＤ（ｃ，ａ）＝３２であり、図８（ｂ）に示された系列が、図８（ｃ）に示された系列より図８（ａ）に示された系列の方に類似していることを示している。系列は実際には全く異なるが、この尺度はある種の測定用類似性を見出す。活動マトリックスから行動についての結論を抽出する適当な分析テクニックもまた適用されることがわかる。
【００４６】
したがって、異常な行動は、ベースラインからの偏差または非類似性として検出されることがあり、対応した警報が出されることがある。
【００４７】
当然ながら、特定の実施形態がまさに説明されているが、請求の範囲に記載されている主題は特定の実施形態または実施に範囲が限定されないことが理解されるであろう。たとえば、一実施形態は、たとえば、装置または装置の組み合わせで動くように実施されるハードウェアの状態でもよく、たとえば、別の実施形態はソフトウェアの状態でもよい。同様に、実施形態はファームウェアの状態で実施されてもよく、または、たとえば、ハードウェア、ソフトウェア、および／または、ファームウェアのどのような組み合わせとして実施されてもよい。同様に、請求の範囲に記載された主題はこの点に関して範囲が限定されないが、一実施形態は、記憶媒体または複数の記憶媒体のような１つ以上の製品を備えることがある。たとえば、１台以上のＣＤ−ＲＯＭおよび／またはディスクのようなこの記憶媒体は、たとえば、コンピュータシステム、コンピューティングプラットフォームまたはその他のシステムのようなシステムによって実行されるときに、たとえば、前述された実施形態のうちの一つのような請求の範囲に記載された主題による方法の実施形態を実行させる、命令を記憶していることがある。一つの可能性のある実施例として、コンピューティングプラットフォームは、１台以上の処理ユニットまたはプロセッサと、ディスプレイ、キーボードおよび／またはマウスのような１台以上の入力／出力装置と、および／または、スタティックランダムアクセスメモリ、ダイナミックランダムアクセスメモリ、フラッシュメモリ、および／または、ハードドライブのような１台以上の記憶装置とを含むことがある。
【００４８】
上記の説明は、監視されている対象の観点、特に、健康ケア環境の観点で記載されている。しかし、発明は、この観点に限定されることなく、本書で使用されているような対象という用語は、人間および人間以外の動物の両方と、さらに無生物、たとえば、上述されているように分析され得る活動のパターンを示す無生物、たとえば、ロボットとを包含することが理解されるであろう。
【００４９】
上記の説明では、請求の範囲に記載された種々の態様が記載されている。説明の目的のため、特定の数、システム、および／または、コンフィギュレーションが、請求の範囲に記載された主題の完全な理解をもたらすために示された。しかし、本明細書の恩恵を受ける当業者にとって、請求の範囲に記載された主題が特定の細部なしに実施されてもよいことは明らかであろう。他の例では、良く知られている特徴は、請求の範囲に記載された主題を分かり難くすることがないように、省略、および／または、簡略化されている。ある種の特徴は本書中で図解および／または記載されているが、当業者が今度は多数の変形、置換、変更、および／または、均等物を想到するであろう。したがって、請求項は、請求の範囲に記載された主題の本当の精神の範囲に含まれるようなすべての変形および／または変更を網羅するように意図されていることが理解されるべきである。
【図１】
2010508569.tif 000003
【図２】
2010508569.tif 000004
【図３】
2010508569.tif 000005
【図４ａ】
2010508569.tif 000006
【図４ｂ】
2010508569.tif 000007
【図５】
2010508569.tif 000008
【図６】
2010508569.tif 000009
【図７】
2010508569.tif 000010
【図８ａ】
2010508569.tif 000011
【図８ｂ】
2010508569.tif 000012
【図８ｃ】
2010508569.tif 000013
【国際調査報告】
2010508569.tif 000014
2010508569.tif 000015
2010508569.tif 000016