(57)【要約】  家及び他の場所に対する監視及びセキュリティシステムは、単一の筐体及び場所のそれぞれの特性を検出する、筐体によって支持された複数のセンサを含む監視デバイスを含む。熱的に独立した室が、あるセンサに対して設けられもよい。デバイス上及び／又はネットワークを通じてデバイスに結合された処理システム上で処理が設けられてもよい。処理システムは、クラウドベースのシステムであってもよい。デバイス及び／又は処理システムは、学習能力を有してもよい。監視デバイスによって収集されたデータは、時系列としてユーザデバイスに表示されてもよい。システムは、ジオロケーションによって作動不能化及び作動可能化されてもよい。補助連絡者、グループ及び第１応答者は、一次ユーザが通知に応答しない場合、エスカレーションの順序で通知を受信してもよい。監視デバイスは、オーディオジャックを介して、ネットワーク及びユーザデバイスと通信するように構成していてもよい。【選択図】なし
2016524209.tif 000002
【特許請求の範囲】
【請求項１】
単一の筐体と、
場所の画像を収集する、前記筐体によって支持されるカメラと、
前記場所の温度を検出する、前記筐体によって支持される温度センサと、
前記場所における空気の質を感知する、前記筐体によって支持される空気質センサと、を備える監視デバイス。
【請求項２】
処理デバイスをさらに備え、
前記処理デバイスは、
前記温度センサから収集された温度データが温度閾値を上回るかを判定し、
前記温度データが前記閾値を上回る場合、前記閾値を上回ることのインジケーションを提供するように構成される、請求項１に記載の監視デバイス。
【請求項３】
処理デバイスをさらに備え、
前記処理デバイスは、前記カメラから収集されたデータが動き閾値を上回るかを判定し、
前記カメラデータが前記閾値を上回る場合、前記閾値を上回ることのインジケーションを提供するように構成される、請求項１に記載の監視デバイス。
【請求項４】
さらなる処理のために、収集されたデータをネットワークに送信する送信機をさらに備える、請求項２に記載の監視デバイス。
【請求項５】
前記処理デバイスは、前記カメラ、温度センサ及び前記質センサからのデータを実質的に同時に送信するように構成される、請求項２に記載の監視デバイス。
【請求項６】
処理デバイスをさらに備え、
前記処理デバイスは、前記空気質センサによって検出された空気質が空気質閾値を上回るかを判定し、
前記空気質データが前記空気質閾値を上回る場合、第２閾値を上回ることのインジケーションを提供するように構成される、請求項２に記載の監視デバイス。
【請求項７】
前記筐体内に支持された熱的に独立した室をさらに備え、前記温度センサは、前記熱的に独立した室内で支持される、請求項１に記載の監視デバイス。
【請求項８】
空気質センサをさらに備え、前記空気質センサは、前記熱的に独立した室内に格納される、請求項７に記載の監視デバイス。
【請求項９】
前記カメラは撮像センサを備える、請求項２に記載の監視デバイス。
【請求項１０】
前記処理デバイスは、前記撮像センサによって収集された映像を分析して、動きが前記映像内に示されるかを判定するように構成される、請求項９に記載の監視デバイス。
【請求項１１】
前記処理デバイスは、さらなる処理のために、動きが少なくとも部分的に識別される映像をネットワークに送信するように構成される、請求項１０に記載の監視デバイス。
【請求項１２】
オーディオケーブルを受ける、前記筐体によって支持されたオーディオポートをさらに備える、請求項１に記載の監視デバイス。
【請求項１３】
前記筐体によって支持された、
赤外線センサと、
少なくとも１つの作動器と、
前記少なくとも１つの作動器によって、前記赤外線センサの前で選択的に移動可能であるフィルタと、をさらに備える、請求項１に記載の監視デバイス。
【請求項１４】
前記筐体によって支持された第２フィルタをさらに備え、前記第２フィルタは、前記少なくとも１つの作動器によって、前記赤外線センサの前で選択的に移動可能である、請求項１３に記載の監視デバイス。
【請求項１５】
空気質センサ、周辺光センサ、湿度センサ、赤外線センサ、加速度計、一酸化炭素センサ及び二酸化炭素センサから構成された群から選択される少なくとも１つのセンサをさらに備え、前記少なくとも１つのセンサは同一の筐体によって支持される、請求項１に記載の監視デバイス。
【請求項１６】
前記筐体によって支持された可聴式、可視的及び／又は触覚式シグナリングデバイスをさらに備える、請求項１に記載の監視デバイス。
【請求項１７】
前記シグナリングデバイスはサイレンを備える、請求項１６に記載の監視デバイス。
【請求項１８】
前記温度センサは湿度センサを備える、請求項１に記載の監視デバイス。
【請求項１９】
単一の筐体と、
場所のそれぞれの特性を検出する、前記筐体によって支持された複数のセンサと、
前記筐体内の処理デバイスと、
前記複数のセンサによって収集されたデータを記憶する、前記筐体内のメモリと、を備える監視デバイス。
【請求項２０】
前記処理デバイスは、ある時点又は時間間隔で前記それぞれのセンサによって収集されたデータのスナップショットを記憶するように構成される、請求項１９に記載のデバイス。
【請求項２１】
前記筐体によって支持されていない追加のセンサなしに、前記場所を監視するように構成される、請求項１９に記載のデバイス。
【請求項２２】
前記筐体の外側にある前記場所における第２処理デバイスなしに、前記場所を監視するように構成される、請求項１９に記載のデバイス。
【請求項２３】
少なくともある期間にわたり、前記センサにより前記場所に関するデータを連続して収集するように構成される、請求項１９に記載のデバイス。
【請求項２４】
前記定期的に収集されたデータを、分析のためにネットワークに連続して提供するようにさらに構成される、請求項２３に記載のデバイス。
【請求項２５】
前記センサによって、前記場所に関するデータを定期的に収集するように構成される、請求項１９に記載のデバイス。
【請求項２６】
インストールなしに、前記場所で動作するように構成される、請求項１９に記載のデバイス。
【請求項２７】
前記場所への有線接続のインストールなしに、前記場所で動作するように構成される、請求項２６に記載の監視デバイス。
【請求項２８】
前記処理デバイスは、複数のデータストリームをネットワークに送信するように構成され、各データストリームは、それぞれのセンサによって収集されたデータを含む、請求項１９に記載の監視デバイス。
【請求項２９】
前記処理デバイスは、前記複数のセンサのいずれかから収集されたセンサデータがそれぞれのセンサに対するそれぞれの閾値を上回るかを判定し、
前記センサのいずれかから収集された前記データが前記閾値を上回る場合、それぞれの閾値を上回ることのインジケーションを提供するように構成される、請求項１９に記載の監視デバイス。
【請求項３０】
前記処理デバイスは、
ネットワークを介して、システムから前記少なくとも１つの閾値を受信し、
前記ネットワークを介して、閾値を上回るかを前記システムに通知するように構成される、請求項２９に記載の監視デバイス。
【請求項３１】
前記閾値は、前記監視デバイスによって前記システムに提供される前のデータ、複数の場所における複数のデバイスによって提供されるデータ、第三者情報源、及び／又は、前記システムへのユーザ入力に少なくとも部分的に基づいて、前記システムによって導出される、請求項１９に記載の監視デバイス。
【請求項３２】
環境の画像を収集する、同一の筐体によって支持されたカメラをさらに備える、請求項１９に記載のデバイス。
【請求項３３】
前記複数のセンサは、撮像センサ、温度センサ、空気質センサ、周辺光センサ、湿度センサ、赤外線センサ、加速度計、一酸化炭素センサ及び二酸化炭素センサから構成された群から選択される、請求項１９に記載のデバイス。
【請求項３４】
監視デバイスであって、
筐体と、
前記筐体によって規定された熱的に独立した室と、
前記デバイスが位置する場所の温度を検出する、前記熱的に独立した室内の、前記筐体によって支持された温度センサと、を備える監視デバイス。
【請求項３５】
前記場所内の空気の質を感知する、前記熱的に独立した室内の、前記筐体によって支持された空気質センサをさらに備える、請求項３４に記載のデバイス。
【請求項３６】
前記熱的に独立した室は、少なくとも部分的に前記筐体の中にあり、
前記温度センサは、前記筐体の中にあり、
前記筐体は、外気が前記熱的に独立した室の中に流れることを可能にする、前記筐体を通る排出口を規定する、請求項３５に記載のデバイス。
【請求項３７】
前記熱的に独立した室は、空気が前記排出口を通じて前記室の中に流れることを可能にする、前記排出口に近接した第１開口端と、
前記筐体の内部に開口する第２開口端と、を備える、請求項３６に記載のデバイス。
【請求項３８】
前記熱的に独立した室は熱反射材を備える、請求項３４に記載の監視デバイス。
【請求項３９】
前記熱反射材は銅及び／又はマイラーを含む、請求項３８に記載の監視デバイス。
【請求項４０】
前記第１排出口は、前記熱的に独立した室への空気の流れを可能にし、
前記筐体はさらに、前記筐体の外側への空気の流れを可能にする第２排出口を規定する、請求項３８に記載の監視デバイス。
【請求項４１】
前記筐体の内面は、研磨された陽極酸化アルミを含む、請求項３４に記載の監視デバイス。
【請求項４２】
第１開口部は第２開口部よりも大きい、請求項３４に記載の監視デバイス。
【請求項４３】
前記熱的に独立した室は、前記第１開口部から前記第２開口部に内側に向かって先細る、請求項４２に記載の監視デバイス。
【請求項４４】
場所を監視するシステムであって、
少なくとも１つの処理デバイスと
メモリと、を備え、前記処理デバイスは、
場所において、センサから収集されたデータを受信し、
前記メモリに前記データを記憶し、
前記記憶されたデータを分析し、
少なくとも１つの基準に少なくとも部分的に基づいて、当事者に通知を提供するかを判定し、
前記少なくとも１つの基準が満たされる場合に通知を送信するように構成される、システム。
【請求項４５】
少なくともある基準は、前記場所において前記センサからの前に受信されたデータに少なくとも部分的に基づいている、請求項４に記載のシステム。
【請求項４６】
前記センサの少なくとも一部は、前記場所のそれぞれの特性に関連するデータを収集し、前記プロセッサは、
前記データを分析して、ある期間にわたる前記場所の少なくとも１つの特性に関連する少なくとも１つのパターンを導出し、
前記場所の１つ以上の特性に関連する後続の受信されるデータが導出されたパターンから逸脱するかを判定し、
逸脱がある場合、通知を送信するように構成される、請求項４４に記載のシステム。
【請求項４７】
前記当事者は、前記システムの一次ユーザ、前記システムの補助ユーザ、コールセンタ、警察、救急車及び消防局のうちの１つ以上である、請求項４４に記載のシステム。
【請求項４８】
前記処理デバイスはさらに、
後の同一の逸脱をユーザに通知し、又は、前記後の同一の逸脱を前記ユーザに通知しない命令を前記ユーザから受信し、
前記命令を記憶し、
後に前記同一の逸脱の存在を判定し、
前記記憶された命令を検査し、
前記記憶された命令に基づいて、前記同一の逸脱の通知を前記ユーザに送信するように構成される、請求項４４に記載のシステム。
【請求項４９】
前記ユーザが前記通知に応答しない場合、後の同一の逸脱を補助ユーザに通知する命令を前記ユーザから受信し、
前記命令を記憶し、
後に前記同一の逸脱の存在を判定し、
前記記憶された命令を検査し、
所定の期間内に前記ユーザが前記通知に応答しない場合、前記記憶された命令に基づいて、前記同一の逸脱の通知を前記補助ユーザに送信するようにさらに構成される、請求項４５に記載のシステム。
【請求項５０】
前記パターンの少なくとも１つは、前記場所における単一のセンサによって検出される単一の特性に基づいている、請求項４４に記載のシステム。
【請求項５１】
前記パターンの少なくとも１つは、前記場所における複数のセンサによって検出される複数の特性に基づいている、請求項４４に記載のシステム。
【請求項５２】
前記複数のセンサは、単一のデバイスの筐体によって支持される、請求項５１に記載のシステム。
【請求項５３】
前記処理デバイスはさらに、
複数の場所から収集されたデータを受信し、
前記場所から収集された前記データ及び前記複数の場所から収集された前記データに基づいて、前記場所の少なくとも１つの特性に関連する少なくとも１つのパターンを導出するように構成される、請求項４４に記載のシステム。
【請求項５４】
前記少なくとも１つの特性は、前記場所における活動を含む、請求項４４に記載のシステム。
【請求項５５】
前記少なくとも１つの特性は、温度、熱、湿度、空気質、周辺光、動き、二酸化炭素及び一酸化炭素から構成された群から選択される、請求項４４に記載のシステム。
【請求項５６】
前記処理デバイスはさらに、
前記場所に関する質問をユーザに提供し、
前記質問への回答を前記メモリに記憶し、
前記場所から収集された前記データ及び前記質問への前記回答に基づいて、前記場所の少なくとも１つの特性に関連する少なくとも１つのパターンを導出するように構成される、請求項４４に記載のシステム。
【請求項５７】
前記処理デバイスはさらに、特性に対するパターンに基づいて、前記特性に対する少なくとも１つの閾値を導出するように構成される、請求項４４に記載のシステム。
【請求項５８】
前記処理デバイスはさらに、前記特性に対する前記少なくとも１つの閾値を前記場所における監視デバイスに提供するように構成され、
前記監視デバイスは、前記特性に対する前記少なくとも１つの閾値を記憶し、
前記監視デバイスによって収集されたデータを、前記少なくとも１つの閾値と比較し、
前記少なくとも１つの閾値を上回る場合、メッセージを前記システムに送信するように構成される、請求項５７に記載のシステム。
【請求項５９】
前記処理デバイスはさらに、
ネットワークを介して、第三者情報にアクセスし、
前記第三者情報に少なくとも部分的に基づいて、パターンを導出及び修正するように構成される、請求項４４に記載のシステム。
【請求項６０】
前記第三者情報は、前記場所の近くの天気情報及び／又は犯罪情報を含む、請求項５９に記載のシステム。
【請求項６１】
前記処理デバイスはさらに、後続の受信されるデータに少なくとも部分的に基づいて、既存のパターンを修正するように構成される、請求項４４に記載のシステム。
【請求項６２】
前記処理デバイスはさらに、ユーザからの入力に少なくとも部分的に基づいて、既存のパターンを修正するように構成される、請求項４４に記載のシステム。
【請求項６３】
前記処理デバイスはさらに、前記システムの動作モードに少なくとも部分的に基づいて、逸脱を前記ユーザに通知するかを判定するように構成される、請求項４４に記載のシステム。
【請求項６４】
前記動作モードは、ホームモード、アウェイモード、夜間モード、プライバシーモード及び／又は休暇モードを含む、請求項６３に記載のシステム。
【請求項６５】
前記処理デバイスはさらに、
前記パターンからの逸脱の程度を判定し、
前記逸脱の程度を前記ユーザに通知するように構成される、請求項４４に記載のシステム。
【請求項６６】
前記処理デバイスはさらに、
前記逸脱の程度にスコアを割り当て、
前記スコアを前記ユーザに通知するように構成される、請求項６５に記載のシステム。
【請求項６７】
前記データは、前記処理デバイスから離れた場所におけるセンサから収集される、請求項４４に記載のシステム。
【請求項６８】
場所を監視するシステムであって、
少なくとも１つの処理デバイスと、
メモリと、を備え、前記処理デバイスは、
複数の場所から収集されたデータを受信し、
前記データを前記メモリに記憶し、
前記複数の場所から収集された前記データを分析して、
前記複数の場所から収集された前記データに少なくとも部分的に基づいて、特性に対する閾値を定義し、
前記場所の前記特性に関連する後続の受信されるデータが前記閾値を上回るかを判定し、
前記後続の受信されるデータが前記閾値を上回る場合、通知を当事者に送信するように構成される、システム。
【請求項６９】
前記処理デバイスはさらに、
後の同一の逸脱をユーザに通知し、又は前記後の同一の逸脱を前記ユーザに通知しない命令を前記ユーザから受信し、
前記命令を記憶し、
後に前記同一の逸脱の存在を判定し、
前記記憶された命令を検査し、
前記記憶された命令に基づいて、前記同一の逸脱の通知を前記ユーザに送信するように構成される、請求項６８に記載のシステム。
【請求項７０】
前記ユーザが前記通知に応答しない場合、前記後の同一の逸脱を補助ユーザに通知する命令を前記ユーザから受信し、
前記命令を記憶し、
後に前記同一の逸脱の存在を判定し、
前記記憶された命令を検査し、
所定の期間内に、前記ユーザが前記通知に応答しない場合、前記記憶された命令に基づいて、前記同一の逸脱の通知を前記補助ユーザに送信するようにさらに構成される、請求項６９に記載のシステム。
【請求項７１】
前記データを分析して、ある期間にわたる前記場所の少なくとも１つの特性に関連するパターンを判定することをさらに含む、請求項６８に記載のシステム。
【請求項７２】
場所を監視するシステムであって、
少なくとも１つの処理デバイスと、
メモリと、を備え、前記処理デバイスは、
前記場所に関する１つ以上の質問をユーザに提供し、
前記質問への回答を前記メモリに記憶し、
前記記憶された回答を分析して、ある期間にわたる前記場所の少なくとも１つの特性に関連する少なくとも１つのパターンを導出し、
前記場所から収集されたデータを受信し、
前記期間にわたり、前記場所の１つ以上の特性に関連する前記受信されたデータが、導出されたパターンから逸脱するかを判定し、
逸脱がある場合、当事者に通知する通知を送信するように構成される、システム。
【請求項７３】
前記少なくとも１つの処理デバイスは、ネットワークを介して、前記質問をユーザデバイスに提供するように構成される、請求項７２に記載のシステム。
【請求項７４】
複数の場所は、前記ユーザに関連付けられ、及び、前記処理デバイスはさらに、前記ユーザに関連付けられた１つの場所に関連する質問への回答を、前記ユーザに関連付けられた別の場所に適用するように構成される、請求項７２に記載のシステム。
【請求項７５】
複数の監視デバイスは、場所を監視しており、及び、前記少なくとも１つの処理デバイスは、質問への回答を、前記複数の監視デバイスに適用するように構成される、請求項７２に記載のシステム。
【請求項７６】
前記質問は、家庭のメンバー、ペット、メンバーのスケジュール、他の家庭のスケジュール並びに／又は家庭の器具及びユーティリティの使用に関連する、請求項７２に記載のシステム。
【請求項７７】
前記処理デバイスは、前記システムの動作モードに少なくとも部分的に基づいて、逸脱をユーザに通知するかを判定するように構成される、請求項７２に記載のシステム。
【請求項７８】
前記動作モードは、ホームモード、夜間モード、アウェイモード、プライバシーモード及び休暇モードを含む、請求項７２に記載のシステム。
【請求項７９】
場所を監視するシステムであって、
少なくとも１つの処理デバイスと、
場所における少なくとも１人の人と関連付けられたデータを記憶するメモリと、を備え、前記処理デバイスは、
前記場所から収集されたデータを受信し、
前記収集されたデータを前記記憶されたデータと比較し、
前記比較に基づいて、前記場所にいる人を識別するように構成される、システム。
【請求項８０】
前記処理デバイスは、
前に受信された画像データを、前記場所における少なくとも１人の人と関連付け、
前記受信されたデータを、カメラからの、かつ前記場所におけるそれぞれの人と関連付けられた前に受信されたデータと比較し、
前記カメラからの前記データに少なくとも部分的に基づいて、前記場所における人を識別するように構成される、請求項７８に記載のシステム。
【請求項８１】
前記処理デバイスはさらに、
前記場所における少なくとも１つの追加センサから追加データを受信し、
前記追加データを、前記メモリに記憶された前記データと比較し、
前記カメラからの前記データ及び前記追加データに少なくとも部分的に基づいて、前記場所における人を識別するように構成される、請求項８０に記載のシステム。
【請求項８２】
前記処理デバイスは、
前記場所における少なくとも１つの追加センサから、人の識別に関する入力をユーザから受信し、
前記人と関連付けられた前記データに関連して、前記入力を前記メモリに記憶する
ように構成される、請求項８０に記載のシステム。
【請求項８３】
前記処理デバイスはさらに、前記場所における人のジオロケーションに少なくとも部分的に基づいて、前記ユーザを識別するように構成されている、請求項７９に記載のシステム。
【請求項８４】
場所を監視するシステムであって、
少なくとも１つの処理デバイスと、
メモリと、を備え、前記処理デバイスは、
場所の特性に関する少なくとも１つの閾値を定義し、
ネットワークを介して、前記場所の少なくとも１つの特性に関連する前記場所から収集されたデータを受信し、
前記データをメモリに記憶し、
前記少なくとも１つの特性に関連する前記記憶されたデータを、前記少なくとも１つの閾値と比較し、
前記比較されたデータが前記少なくとも１つの閾値を上回る場合、前記ネットワークを介して当事者に通知するように構成される、システム。
【請求項８５】
場所を監視する方法であって、
場所においてセンサによって収集されたデータを受信するステップと、
前記データを分析して、基準に少なくとも部分的に基づいて、通知を当事者に提供するかを判定するステップと、
任意の基準が満たされる場合、通知をユーザに送信するステップと、を含む、方法。
【請求項８６】
少なくともある基準は、前記場所において前記センサからの前に受信されたデータに少なくとも部分的に基づいている、請求項８５に記載の方法。
【請求項８７】
受信されたデータを分析して、ある期間にわたる前記場所の少なくとも１つの特性に関連する少なくとも１つのパターンを識別するステップであって、前記少なくとも１つのパターンは、少なくとも１つのセンサから前に受信されたデータに少なくとも部分的に基づいている、ステップと、
前記少なくとも１つのセンサからの現在のデータが前記パターンから逸脱するかを判定するステップと、
前記パターンから逸脱する前記現在のデータの通知を送信するステップと、を含む、請求項８６に記載の方法。
【請求項８８】
所定の基準、ユーザ定義基準、複数の場所から収集されたデータに基づく基準に基づいて、基準を判定するステップをさらに含む、請求項８５に記載の方法。
【請求項８９】
監視される環境に関する情報を提供する方法であって、
複数のセンサによって場所を監視するステップと、
処理デバイスによって、前記複数のセンサからデータを収集するステップと、
ネットワークを介してユーザデバイスに表示するために、前記処理デバイスによって、ネットワークを介して、前記複数のセンサの少なくとも一部によって収集されたデータに基づいて、前記場所の状態の情報をユーザに提供するステップと、を含む、方法。
【請求項９０】
前記複数のセンサの少なくとも１つから収集されたデータに関する基準が満たされる場合に、それぞれの情報が提供される、請求項８９に記載の方法。
【請求項９１】
少なくともある基準は、閾値を上回ること、及び／又は、ある期間にわたり、前記複数のセンサの１つ以上によって収集された前記データのパターンから逸脱することを含む、請求項９０に記載の方法。
【請求項９２】
前記センサの少なくとも１つに対する基準が満たされることを判定するステップと、
少なくとも１つのセンサが収集したデータがそれぞれの閾値を上回ること、及び少なくとも１つのセンサが収集したデータがそれぞれの基準を満たさないことに少なくとも部分的に基づいて、前記情報を提供するステップと、を含む、請求項９０に記載の方法。
【請求項９３】
前記センサの１つはカメラを含み、並びに前記センサの別の１つは温度センサ、湿度センサ、動きセンサ、空気質センサ及び／又は加速度計を含み、前記方法は、
前記温度センサ、湿度センサ、動きセンサ、空気質センサ及び／又は加速度計の少なくとも１つから収集されたデータがそれぞれの基準を満たすことを判定するステップと、
前記満たされた基準に関連する情報を提供するステップと、
前記基準を満たす前記データが収集されるときに前記カメラによって収集されたデータからの映像を提供するステップと、を含む、請求項９２に記載の方法。
【請求項９４】
前記情報は、それぞれの基準を上回るデータを含む、請求項９３に記載の方法。
【請求項９５】
前記データが前記基準を満たすこと、及び、前記データが前記基準を満たさないことに少なくとも部分的に基づいて、前記情報への応答を前記ユーザから受信するステップと、
前記応答に少なくとも部分的に基づいて、後続の情報を提供するステップと、をさらに含む、請求項９４に記載の方法。
【請求項９６】
提供された情報をユーザデバイスに表示するステップを含む、請求項９２に記載の方法。
【請求項９７】
前記情報が提供された順序で、ユーザが前記情報をスクロールすることを可能にするステップを含む、請求項９６に記載の方法。
【請求項９８】
前記場所における複数の監視デバイスによって収集されたデータに基づいて、情報を前記ユーザに提供するステップと、
前記情報が提供された順序で、前記複数のデバイスの少なくとも一部から収集されたデータに基づいて提供される情報を、前記ユーザがスクロールすることを可能にするステップと、
前記複数の各々のデバイスの少なくとも一部から収集されたデータに基づいて提供される情報の間で前記ユーザが切り替えることを可能にするステップと、を含む、請求項９６に記載の方法。
【請求項９９】
前記ユーザと関連付けられた複数の異なる場所における複数の監視デバイスによって収集されたデータに基づいて、情報を前記ユーザに提供するステップと、
前記情報が提供された順序で、特定のデバイスからの前記情報を前記ユーザがスクロールすることを可能にするステップと、を含む、請求項９６に記載の方法。
【請求項１００】
前記情報の少なくとも一部は、前記ユーザのジオロケーションを含む、請求項９６に記載の方法。
【請求項１０１】
少なくとも１日間にわたり前記情報が提供された順序で、ユーザが情報をスクロールすることを可能にするステップをさらに含む、請求項８９に記載の方法。
【請求項１０２】
単一のデバイス内の複数のセンサによって前記場所を監視するステップを含む、請求項８９に記載の方法。
【請求項１０３】
監視される環境に関する情報を提供するシステムであって、
処理デバイスと、
メモリと、を備え、前記処理デバイスは、
場所においてセンサによって収集されたデータを受信し、
ネットワークを介して、複数のセンサの少なくとも１つによって収集されたデータに少なくとも部分的に基づいて、前記場所の状態の情報をユーザに提供するように構成される、システム。
【請求項１０４】
前記複数のセンサの少なくとも１つから収集されたデータに関する基準が満たされる場合に、それぞれの更新が設けられる、請求項１０３に記載のシステム。
【請求項１０５】
少なくともある基準を満たすことは、閾値を上回ること、及び／又は、標準パターンから逸脱することを含む、請求項１０４に記載のシステム。
【請求項１０６】
前記センサの少なくとも１つに対する基準が満たされることを判定することと、
少なくとも１つのセンサであって、その基準が満たされない少なくとも１つのセンサを含む、複数のセンサに関連する情報を前記更新において提供することと、を含む、請求項１０４に記載のシステム。
【請求項１０７】
前記センサの１つはカメラを含み、並びに、前記センサの別の１つは、温度センサ、湿度センサ、動きセンサ、空気質センサ及び／又は加速度計を含み、並びに、前記処理デバイスは、
前記温度センサ、湿度センサ、動きセンサ、空気質センサ及び／又は加速度計の少なくとも１つからの前記基準が満たされるかを判定し、
前記上回った基準に関連する情報を提供するように構成されており、前記更新は、前記カメラによって収集されたデータからの映像を含む、請求項１０６に記載のシステム。
【請求項１０８】
前記情報は、それぞれの基準を上回るデータを含む、請求項１０７に記載のシステム。
【請求項１０９】
前記処理デバイスはさらに、
前記データが前記基準を満たすこと、及び、前記データが前記基準を満たさないことに少なくとも部分的に基づいて、前記更新への応答を前記ユーザから受信し、
前記応答に少なくとも部分的に基づいて、後続の情報を提供するように構成される、請求項１０８に記載のシステム。
【請求項１１０】
複数の時間において提供された情報を表示するように構成されたユーザデバイスをさらに備える、請求項１０４に記載のシステム。
【請求項１１１】
前記ユーザデバイスは、前記情報が提供された順序で、ユーザが更新をスクロールすることを可能にするように構成される、請求項１１０に記載のシステム。
【請求項１１２】
前記処理デバイスは、前記場所において複数の監視デバイスによって収集されたデータに基づいて、前記ユーザに情報を提供するように構成され、
前記ユーザデバイスは、前記情報が提供された順序で、前記複数のデバイスからの情報を前記ユーザがスクロールすることを可能にするように構成される、請求項１１１に記載のシステム。
【請求項１１３】
前記処理デバイスは、前記ユーザと関連付けられた複数の異なる場所における複数の監視デバイスによって収集されたデータに基づいて、情報を前記ユーザに提供するように構成され、
前記ユーザデバイスは、前記情報が提供された順序で、特定のデバイスからの前記情報を前記ユーザがスクロールすることを可能にするように構成される、請求項１１０に記載のシステム。
【請求項１１４】
前記情報の少なくとも一部は、前記ユーザのジオロケーションを含む、請求項１１０に記載のシステム。
【請求項１１５】
前記ユーザデバイスは、前記情報が提供された順序で、ユーザが情報をスクロールすることを可能にするように構成される、請求項１０３に記載のシステム。
【請求項１１６】
単一のデバイス内の複数のセンサによって前記場所を監視することを含む、請求項１０３に記載のシステム。
【請求項１１７】
前記ユーザデバイスは、少なくとも１週間にわたり前記更新が提供された順序で、ユーザが更新をスクロールすることを可能にするように構成される、請求項１１６に記載のシステム。
【請求項１１８】
前記ユーザデバイスは、前記ユーザデバイスに記憶されたアプリケーションを介して、前記情報を表示するように構成される、請求項１１５に記載のシステム。
【請求項１１９】
場所からのビデオクリップをユーザデバイスに提供する方法であって、
場所における事象をユーザに通知する映像カメラを含む監視デバイスによって、前記場所を監視するステップと、
前記ユーザが通知された、前記場所におけるそれぞれの事象に関連する第１ビデオクリップを記憶するステップと、
前記ユーザの要求があると、前記場所の第２ビデオクリップを記憶するステップと、
前記ユーザから、ある期間にわたる前記場所の記憶されたビデオクリップを提供する要求を受信するステップと、
前記記憶されたビデオクリップを読み出すステップと、
表示のために、前記読み出されたビデオクリップをユーザデバイスに提供するステップと、を含む、方法。
【請求項１２０】
モバイルユーザデバイスによって、場所におけるセキュリティデバイスの動作を制御する方法であって、
モバイルユーザデバイスを介して、対象の場所の周囲の領域を監視するステップと、
前記領域内で少なくとも１つのセキュリティデバイスを設けるステップであって、前記セキュリティデバイスは、場所を監視する少なくとも１つのセンサを含む、ステップと、
前記ユーザデバイスによって、前記ユーザデバイスが前記領域に入ったことを認識するステップと、
前記ユーザデバイスによって、前記領域内でセキュリティデバイスを探索するステップと、
前記セキュリティデバイスを検出するステップと、
少なくともあるセキュリティ機能及び／又はセンサを作動不能化するステップと、を含む、方法。
【請求項１２１】
ネットワークを介して、処理システムによって通知が送信され、
少なくともあるセキュリティ機能を作動不能化することは、少なくともある通知を前記ユーザデバイスに送信しないことを含み、
通知を送信することを停止する命令が、前記ネットワークを介して、前記処理システムに送信される、請求項１２０に記載の方法。
【請求項１２２】
前記セキュリティデバイスを探索することは、Ｂｌｕｅｔｏｏｔｈデバイスを探索することを含み、
前記セキュリティデバイスを検出することは、前記Ｂｌｕｅｔｏｏｔｈデバイスを検出することを含み、
前記方法はさらに、
前記Ｂｌｕｅｔｏｏｔｈデバイスがユーザのセキュリティデバイスであるとの検証を受信するステップを含む、請求項１２０に記載の方法。
【請求項１２３】
前記ユーザデバイスによって、前記ユーザが前記領域を離れていることを認識するステップと、
少なくともあるセキュリティ機能及び／又はセンサを作動可能化するステップと、をさらに含む、請求項１２０に記載の方法。
【請求項１２４】
少なくともあるセキュリティ機能を作動可能化するステップは、少なくともある通知を前記ユーザデバイスに送信するステップを含み、
通知を送信する命令が、前記ネットワークを介して、前記処理システムに送信される、請求項１２３に記載の方法。
【請求項１２５】
セキュリティ監視システムを動作させる方法であって、
システムによって、人のグループであって、前記グループのいずれかのメンバーと関連付けられた場所において発生する事象の通知を受信する人のグループを定義するステップと、
前記システムによって、前記グループの前記メンバーが通知されることが必要なセキュリティ事象が少なくとも潜在的に発生したことを判定するステップと、
ネットワークを介して、前記事象を前記グループの前記メンバーに通知するステップと、を含む、方法。
【請求項１２６】
前記少なくとも潜在的なセキュリティ事象の通知を第１当事者に提供するステップと、
前記第１当事者が所定の期間内に前記通知に応答しない場合、前記グループの前記メンバーに通知するステップと、をさらに含む、請求項１２５に記載の方法。
【請求項１２７】
セキュリティ監視システムを動作させるシステムであって、
処理デバイスと、
メモリと、を備え、前記処理デバイスは、
システムによって、人のグループであって、前記グループのいずれかのメンバーと関連付けられた場所において発生する事象の通知を受信する人のグループを定義し、
前記システムによって、前記グループの前記メンバーが通知されることが必要なセキュリティ事象が少なくとも潜在的に発生したことを判定し、
ネットワークを介して、前記事象を前記グループの前記メンバーに通知するように構成される、システム。
【請求項１２８】
前記処理デバイスはさらに、前記少なくとも潜在的なセキュリティ事象の通知を第１当事者に提供し、
前記第１当事者が所定の期間内に前記通知に応答しない場合、前記グループの前記メンバーに通知するように構成される、請求項１２７に記載のシステム。
【請求項１２９】
セキュリティ監視システムを動作させる方法であって、
場所における一次ユーザを定義するステップと、
前記一次ユーザからの入力に基づいて、少なくとも１人の補助ユーザを定義するステップと、
前記事象を前記一次ユーザに通知するステップと、
前記一次ユーザが、所定の期間に前記通知に応答しない場合、前記事象を少なくとも１人の補助連絡者に通知するステップと、を含む、方法。
【請求項１３０】
前記一次ユーザからの入力に基づいて、複数の補助ユーザを定義するステップと、
前記一次ユーザが所定の期間に前記事象に応答しない場合、前記事象を前記複数の補助ユーザの少なくとも一部に通知するステップと、を含む、請求項１２９に記載の方法。
【請求項１３１】
前記補助連絡者の場所を判定するステップと、
前記複数の補助ユーザの１人に、前記１人の補助連絡者の前記場所に基づいて連絡するステップと、をさらに含む、請求項１３０に記載の方法。
【請求項１３２】
前記補助連絡者の前記場所に基づく順序で、前記補助連絡者に連絡するステップをさらに含む、請求項１３１に記載の方法。
【請求項１３３】
前記一次ユーザ及び前記補助連絡者が前記通知に応答しない場合、警察及び／又は消防局に通知するステップをさらに含む、請求項１２９に記載の方法。
【請求項１３４】
コールセンタによって、警察、消防局、及び／又は救急車サービスに通知するステップを含む、請求項１３３に記載の方法。
【請求項１３５】
コールセンタによって、前記一次ユーザ及び前記少なくとも１人の補助ユーザに連絡するステップを含む、請求項１２９に記載の方法。
【請求項１３６】
ユーザの優先度によって定義された順序で前記補助連絡者に連絡するステップを含む、請求項１３０に記載の方法。
【請求項１３７】
セキュリティ監視システムであって、
処理デバイスと、
メモリ、前記システムの一次ユーザ及び前記一次ユーザに対する補助連絡者の識別と、を備え、前記処理デバイスは、
前記一次ユーザが通知されることになる事象が、場所において発生したことを判定し、
ネットワークを介して、前記場所における前記事象を一次ユーザに通知し、
前記一次ユーザが所定の期間内に応答しない場合、前記ネットワークを介して、少なくとも１人の補助連絡者に通知するように構成される、システム。
【請求項１３８】
前記処理デバイスは、前記一次ユーザからの入力に基づいて、複数の補助ユーザを定義し、
前記一次ユーザが所定の期間に前記事象に応答しない場合、前記事象を前記複数の補助ユーザの少なくとも１人に通知するように構成される、請求項１３７に記載のシステム。
【請求項１３９】
前記処理デバイスは、前記補助連絡者の場所を判定し、
前記複数の補助ユーザに、前記１人の補助連絡者の前記場所に基づいて連絡するように構成される、請求項１３８に記載のシステム。
【請求項１４０】
前記処理デバイスは、前記補助連絡者の前記場所に基づく順序で、前記補助連絡者に連絡するように構成される、請求項１３９に記載のシステム。
【請求項１４１】
前記処理デバイスは、前記一次ユーザ及び前記補助連絡者が前記通知に応答しない場合、警察、消防局及び／又は救急車サービスに通知するように構成される、請求項１３７に記載のシステム。
【請求項１４２】
前記処理デバイスは、警察、消防局及び／又は救急車サービスに通知するようにコールセンタに指示するように構成される、請求項１４１に記載のシステム。
【請求項１４３】
前記処理デバイスは、コールセンタによって、前記一次ユーザ及び前記少なくとも１人の補助ユーザに連絡するように構成される、請求項１３７に記載のシステム。
【請求項１４４】
前記処理デバイスは、ユーザの優先度によって定義された順序で前記補助連絡者に連絡するように構成される、請求項１３８に記載のシステム。
【請求項１４５】
ネットワークを介して、ユーザデバイスによって制御されることになる監視デバイスを構成する方法であって、
オーディオケーブルを介して、前記ユーザデバイスを、構成されることになる前記監視デバイスに接続するステップと、
前記オーディオケーブルを介して、前記ユーザデバイスから前記監視デバイスに、無線ネットワークへのネットワークパスワードを提供するステップと、
前記監視デバイスを前記無線ネットワークに接続するステップと、
前記無線ネットワークを介して、前記ユーザデバイスが前記監視デバイス及び処理デバイスと相互作用することができるように、前記処理デバイスによって、前記監視デバイスを前記ユーザデバイスに関連付けるステップと、を含む、方法。
【請求項１４６】
前記ユーザデバイスはモバイルユーザデバイスである、請求項１４５に記載の方法。
【請求項１４７】
前記モバイルユーザデバイスは、ＷｉＦｉネットワーク及び／又はセルラネットワークに接続可能である、請求項１４６に記載の方法。
【請求項１４８】
セキュア通信のために、前記監視デバイスと前記ユーザデバイスとの間の暗号化鍵を発行するステップをさらに含む、請求項１４５に記載の方法。
【請求項１４９】
ネットワークを介して、第２ユーザデバイスによって制御されることになる第１デバイスを構成する方法であって、
オーディオケーブルを介して、前記第２ユーザデバイスを、構成されることになる前記第１デバイスに接続するステップと、
前記オーディオケーブルを介して、前記第２ユーザデバイスから前記第１デバイスに、無線ネットワークへのネットワークパスワードを提供するステップと、
前記第１デバイスを、前記無線ネットワークに接続するステップと、
前記ユーザデバイスが、前記無線ネットワークを介して、前記第１デバイス及び処理デバイスと相互作用することができるように、前記処理デバイスによって、前記第１デバイスを前記第２デバイスと関連付けるステップと、を含む、方法。
【請求項１５０】
前記ユーザデバイスはモバイルユーザデバイスである、請求項１４９に記載の方法。
【請求項１５１】
前記モバイルユーザデバイスは、ＷｉＦｉネットワーク及び／又はセルラネットワークに接続可能である、請求項１５０に記載の方法。
【請求項１５２】
セキュア通信のために、前記第１デバイスと前記第２デバイスとの間の暗号化鍵を発行するステップをさらに含む、請求項１４９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１３年４月２３日に出願された米国仮特許出願第６１／８１５，２２３号の利益を主張するものであり、当該出願は、本出願の譲受人に譲渡され、及び、参照により本明細書に組み込まれる。
【０００２】
ホームセキュリティ及び監視デバイス並びにシステム、特に、学習能力を有する、複数のセンサを備えるホームセキュリティ及び監視デバイス並びにシステム。
【背景技術】
【０００３】
ホームセキュリティシステムは一般的に、システムの作動時にドアが開いているとき、サイレンなどの可聴音を始動することができるドアアラームを含む。ドアアラームは、ドアが開いているときに２つの面の間の接点が解放されるときに始動されることがある。システムが作動可能になっているときに窓が開いていると、アラームを始動するための窓に関する同様の接点が設けられることがある。また、窓のガラスが破壊されるときを検出するためのセンサを設けることもできる。家の居住者に警告するためのサイレン又は他の音を始動することに加えて、ホームセキュリティシステムは、アラームが始動されたことをコールセンタに通知することができる。ユーザは、アラームが誤ったアラームであることをコールセンタに通知するために、コールセンタと通信するデバイスにコードを入力することがある。コールセンタはまた、家に電話をして、アラームについて問い合わせをすることがある。ユーザが応答しない場合、コールセンタは警察に電話をすることがある。そのようなホームシステムは、居住者及び近隣者を悩ますことがある誤ったアラームを発する傾向があり、かつ、警察及び消防局などの機関の時間及び資源を無駄にする。例えば、火災探知器、煙探知器、一酸化炭素探知器などの他のタイプのホームセキュリティデバイスがまた知られている。そのようなデバイスは、ユーザによって管理及び場所決めされ、始動される場合にサイレン又は他のそのような音を提供する。
【０００４】
家の中での子供、ベビーシッター及び他の活動を監視するためにウェブカメラが設けられることがある。ウェブカメラは、調査を必要とする多くの場合無関係な大量の映像を提供し、早送り機能を使用する場合でさえ時間がかかることがある。
【０００５】
ホームオートメーションシステムは、光デバイス、サーモスタットデバイス及びセキュリティデバイスのリモート制御を可能にする。
【発明の概要】
【０００６】
家、オフィス又は他の場所などの物理的な場所で何が発生したかのより詳細な理解を提供することができる、映像及び１つ以上のセンサを含む統合デバイスは知られていない。
【０００７】
本発明の実施形態に従って、デバイスは、Ｗｉｆｉ（登録商標）又は他の無線通信を介して、１つ又は複数のストリーム内で音声、映像及び／又はセンサデータを、分析のために処理システムに同時に送信することができる。処理システムは、例えば、別個のエンティティであってもよく、又は、クラウドベースのシステムであってもよい。デバイス内のセンサは、以下で説明されるように、温度センサ、湿度センサ、空気質センサ、動き探知器及び／又は他のセンサを含んでもよい。センサの複数の又は全てからの同時発生データをともに分析することができるため、場所において何が発生しているかのより詳細な理解を、公知の従来技術におけるように単一のセンサからのデータが分析されるときよりも発展させることができる。デバイスは、例えば、カメラ（映像用）、マイクロフォン（音声用）、受動赤外線センサ（動きを検出するための）、並びに、例えば、空気質監視センサ、二酸化炭素監視センサ、温度監視センサ、湿度監視センサ及び／又は他の空気質若しくは大気センサなどのライフセーフティセンサを含んでもよい。処理デバイスがデバイスに設けられるとともに、家の中では追加の処理デバイスは必要とされない。
【０００８】
１つのデバイス内の複数のセンサを介して、デバイスは、センサからのデータフィードを同時に結合して、１つの場所で何が発生しているかの明確な画像を生成することが可能である。例えば、ビデオフィードを温度センサと同一のデバイスに追加することによって、人の動き又は人の行動が所与の場所の温度に影響を与えるかを判定することができる。デバイスは、デバイスの物理的近接性を理由に、正確な測定値を収集することができ、並びに、Ｗｉｆｉ（登録商標）及び／又はセルラネットワークを介して同一のデータストリームに含めるときに、さらなる正確な測定値、及び、さらなる即時的なデータを提供することができる。同時のセンサフィードはまた、ユーザが任意の所与の時間からの物理的な場所からの音声、視覚、及びセンサ測定値の完全な画像、並びに変化又は１つのセンサ若しくは活動から別のセンサ若しくは活動への影響のさらなる正確な検出パターンを有し得ることを意味する。
【０００９】
本発明の実施形態に従って、結合された機能は、場所において何が通常であり、及び、何が異常であるかを判定することを支援する。これは、誤ったアラームを減少させ、並びに、ユーザが通知されることを望み、及び／又は、通知されることを必要とする事象を識別することを支援する。
【００１０】
本発明の実施形態は、人々を家、他の人々及びその人々にとって重要な場所に接続するために使用される、統合されかつインテリジェントなデバイスを使用し、安らぎ、安心感、セキュリティ及び標準から逸脱した状況の検出を可能にする、クラウドベースなどのネットワークベースの共有セキュリティ層をインターネットに提供する。
【００１１】
本発明の別の実施形態に従って、例えば、生命の安全に関わる事象及び他の事象を防止し、反応し及び応答するためのアラート及び通知による行動を介して人々のグループが相互に気を配ることを可能にするために、仮想的な近隣コミュニティの見守りが定められてもよい。
【００１２】
結合された機能は、場所において何が発生しているかに関する例外的な視点を提供し、特に、何が通常であり、及び、何が異常であるかの両方を識別する。同様に、本明細書で概要を述べるように、本発明の個々の要素の多くは、セキュリティ、つながり、個人福祉及び安全の旧来の問題に対処する新たな方法である。
【００１３】
この点で、セキュリティデバイスは、デバイスが電力供給されるときに、物理的な場所を、その場所からの連続的な情報の収集を通じてユーザが監視することを促進する。
【００１４】
この情報は、デバイス及び／又はクラウドベースの処理システムなどの処理システムによって分析されて、ユーザに関心のある事象が発生したかを判定する。ユーザは、例えば、家庭の１人以上のメンバーであってもよい。例えば、場所において発生した事象に関する初期の通知を受信し、及び、通知がいつ送られるかを決定する１人又は複数の一次ユーザ、並びに、一次ユーザが応答しないときに通知を受信する、一次ユーザによって指定される補助ユーザが存在してもよい。
【００１５】
関心の事象は、例えば、火災又は攻撃者などの生命を脅かすインシデントを含む、セキュリティ又は安全のインシデントなどの否定的な事象とすることができる。関心の事象はまた、人の子供を見守るなどの、中間的又は肯定的なインシデントであってもよい。本発明の実施形態に従って、関心の事象はまた、例えば、知らない人物が家に入ること、又は、知っている人物が予期せぬときに家に入ることなどの、異常な事象であってもよい。インシデントの全体的な重要性は、個々のユーザ及び複数のユーザからの蓄積された情報の両方によって判定されてもよい。従って、デバイスは、物理的な場所を、ウェブ及びインターネット／クラウドベースサービスに接続するポータルとして動作する。
【００１６】
事象は複数の方法で定義されてもよい。例えば、事象は、例えば、温度、温度の変化率、空気質又は動きに対する閾値を定義することによって、システムによって定義されてもよい。事象を定義するにおいて、システムは、例えば、多数の場所における多数のデバイスから収集されるクラウドを元にした情報を考慮することができる。特定のユーザに適用されるクラウドを元にした情報は、ニューヨークシティにおける１つのベッドルームアパートメントにいるユーザ、ワシントンＤ．Ｃ．の郊外の家にいるユーザなどの同様の状況にあるユーザから導出されてもよい。例えば、特定のユーザの近くの場所からのクラウドを元にした情報に基づいて、システム１４は、そのユーザに対する単一のセンサ及びセンサの組み合わせに対する閾値などの基準を学習及び適用してもよい。
【００１７】
事象はまた、個々のユーザの入力によって定義されてもよく、それは、ユーザの個別の優先度を学習し、並びに、ユーザがどのようにセキュリティ及び安全の視点から相互に作用するかを学習するように、ユーザがデバイスを本質的に「プログラムする」ことを可能にする。ユーザは、標準的若しくは許容可能な活動を定義し、並びに／又は、システムにより定義された事象及び／若しくはクラウドを元にして定義された事象を確認若しくは修正するために、入力をシステムに提供してもよい。
【００１８】
本発明の別の実施形態に従って、デバイス及び／又はシステムは、例えば、閾値を上回っていること／下回っていること、又は、異常な事象に基づいて、関心の事象として識別されたセンサ（又は、複数のセンサ）からのデータを含む、一連の事象を記録する。次いで、とりわけ、インシデントの時刻、誰が家若しくは場所にいるか又はいつ事象が発生したかを判定する、処理システムにデータが送信される。１日にわたって送信される個々の通知は、例えば、事象の時系列の形式においてユーザデバイス上でユーザに表示されてもよく、それによって、ユーザは、場所で発生した行動を監視することができる。これはさらに、場所で何が発生したかをユーザが理解することを支援する。
【００１９】
多くの家、特に、アパートメント又はより小さなユニットでは、単一のセキュリティ／監視デバイスを使用することができる。大きな部屋、廊下、及び複数の部屋を有する家などのより大きな場所では、複数のデバイスを使用することができる。
【００２０】
本発明の実施形態では、デバイスは、ホームネットワークに接続され、又は、スマートフォン、他のモバイルデバイス及び／若しくはコンピュータを介して直接ユーザに接続される。デバイスは、絶えず動作してデータを収集していてもよく、それは、単一の場所で何が発生しているかに関する、及び、何か異常であるかを判定するための情報の継続的な源であることを意味する。代わりに、ユーザは、必要に応じて、スマートフォンなどを介して直接又はリモートでのいずれかで、デバイスを停止してもよい。
【００２１】
本発明の実施形態に従って、収集されたデータを処理することは、デバイス上で及び／又は処理センタで行われてもよい。例えば、事象が発生していたかを判定するために、映像、音声及び動き感知を通じてなど、デバイスから関連性確認分析を実行することができ、並びに、データは、さらなる分析のためにネットワークを介して処理センタに送信される必要がある。次いで、処理システムは、例えば、標準からの逸脱であること、又は、家の中で何が発生しているかに関する洞察を与える別の事象であることのいずれかによって、デバイスの範囲内の事象又はインシデントが、デバイスの所持者の関心の事象又はインシデントであるかを判定する。１つ以上のセンサからの入力は、複数のセンサからのセンサデータを受信及び分析することによって、デバイスの所持者に通知する価値があるインシデント又は事象が存在するかを判定するために使用されてもよい。
【００２２】
本発明の実施形態では、処理システムは、ネットワークを通じて、ユーザ若しくはユーザのグループと直接通信し、あるいは、ユーザの補助の友人若しくは家庭又はユーザが事象に応答することを支援し得る、警察及び消防局などの指定された政府若しくは民間機関と通信する。通知は、公共安全職員若しくは第一応答者に専用のネットワークベースのポータルを通じて、又は、限定された個人によってアクセス可能なソフトウェアアプリケーションを通じて、電子メール、テキストメッセージ又は電話呼出などの直接通信の形式であってもよい。物理的な場所からの即時的なフィードバックを有することは、応答に必要となる時間量を大幅に減らすことができ、及び、機関が人命救助を支援することを可能にする。
【００２３】
本発明の実施形態に従って、デバイスは、壁又は有線ホームシステムへのインストール又は接続を必要としない。加えて、ある実施形態に従ったデバイスは、専用インストーラを必要とせず又はインストールを全く必要としない。デバイスは、壁又は有線ホームシステムに接続される必要はないが、それは任意選択である。デバイスは、例えば、壁、ドアの枠、ドア、床面、天井又は窓などの面に恒久的に又は半恒久的に取り付けられる必要はないが、それは必要に応じて任意選択である。本発明の実施形態に従って、デバイスは、例えば、床面、テーブル又は書棚などの面に配置されてもよい。
【００２４】
１つの実施形態に従って、例えば、Ｗｉｆｉ（登録商標）を通じて、又は、セルラオペレータからの３Ｇ若しくは４Ｇサービスなどの別のネットワークを通じてインターネットに接続することができ、その接続を通じて、監視、セキュリティ及び／若しくはセーフティシステムとともに家に接続されたデバイスの必要な機能の全てを実行することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に従ったセキュリティシステムの例である。
【図２】本発明の実施形態に従った監視／セキュリティデバイスの例のブロック図である。
【図３】図１のデバイスの別の例のブロック図である。
【図４】図１のデバイスのブロック図の別の例である。
【図５】本発明の実施形態に従った監視／セキュリティデバイスの斜視図である。
【図６】図５の実施形態に従ったデバイスの側面図である。
【図７】図５の実施形態に従ったデバイスの背面斜視図である。
【図８】図５の実施形態に従ったデバイスの正面図である。
【図９】図５の実施形態に従ったデバイスのメインボードの正面斜視図である。
【図１０】図５の実施形態に従ったデバイスのカメラ光学系の前に設けられ得るディスクの正面図である。
【図１１】図５の実施形態に従った、ＰＩＲレンズが除去されたメインボードの斜視図である。
【図１２】図５の実施形態に従ったメインボード、底面ボード、及びアンテナボードの背面斜視図である。
【図１３】図５の実施形態に従ったデバイスの断面図である。
【図１４】図５の実施形態に従った、Ｂｌｕｅｔｏｏｔｈアンテナ、WiFiアンテナ、及び容量性スイッチを示すアンテナボードの上面図である。
【図１５】図５の実施形態に従った、ＩＲフィルタに対するアクチュエータを示すメインボードの図である。
【図１６】本発明の実施形態に従った、撮像センサの前に選択的に配置するための２つのＩＲフィルタの概略図である。
【図１７Ａ】本発明の実施形態に従った、セットアップ手順の例のフローチャートを示す。
【図１７Ｂ】本発明の実施形態に従った、セットアップ手順の例のフローチャートを示す。
【図１７Ｃ】本発明の実施形態に従った、セットアップ手順の例のフローチャートを示す。
【図１８】デバイス及びデバイスによって検出される事象に応答するシステムの動作の方法の例のフローチャートを示す。
【図１９】デバイス及びデバイスによって検出される事象に応答するシステムの動作の方法の例のフローチャートを示す。
【図２０Ａ】本発明の実施形態に従った、事象が検出されるときのデバイス及び／又はシステムの動作の方法の例の別のフローチャートである。
【図２０Ｂ】本発明の実施形態に従った、本発明の実施形態に従った、学習手順の別の例である。
【図２１】本発明の実施形態に従った、映像処理に関与するデバイスの構成要素の例の概略図である。
【図２２】本発明の実施形態に従った、映像処理に関与するシステムの構成要素の例の概略図である。
【図２３】本発明の実施形態に従ったアプリケーションによって表示される、一次ユーザのユーザデバイスに提供される通知の例である。
【図２４】本発明の実施形態に従った、人が自宅に到着したこと、及びいつ到着したかを表す、ユーザデバイスに表示される通知の例である。
【図２５】本発明の実施形態に従った、システム及び／又はデバイスから受信されるデータから、アプリケーションを介してユーザデバイスによって表示することができる事象の時系列の例である。
【図２６】本発明の実施形態に従った、通知の時系列である。
【図２７】本発明の実施形態に従った、システムからの映像クリップを取得する方法の例のフローチャートである。
【発明を実施するための形態】
【００２６】
図１は、本発明の実施形態に従ったセキュリティシステム１０の例である。この例では、システム１００は、各々が家１２内の１つ以上の場所に配置された１つ以上の監視／セキュリティデバイス１０を含む。１つ以上のデバイス１０は、子供が遊び、乳児、子供、高齢者又は病人が寝る場所などである、それぞれの部屋のサイズ、家の活動及び／又は関心領域、望ましいセキュリティの程度、家への入り口の場所に応じて、家１２の単一の部屋１４又は複数の部屋に配置されてもよい。
【００２７】
図１の例では、１つのデバイスが部屋１４の角の近くに設置され、及び、他のデバイスが同一の部屋における反対側の角の近くのテーブルに設置される。１つ以上のデバイスは家の他の部屋に設置されてもよい。デバイス１０はまた、オフィスビル、店舗、個々のオフィス、病院及び病院の部屋、並びに、監視することが望ましいであろう任意の他の場所及び／又は関連するホームセキュリティで使用されてもよい。例えば、デバイス１０はまた、裏庭、デッキ、中庭などの戸外の場所に設置されてもよい。上述したように、デバイス１０を、例えば、壁、ドアの枠、ドア、床面、天井又は窓に取り付けるのにインストールは必要ないが、必要に応じて任意選択である。デバイス１０は、床面、テーブル、デスク、書棚などの平坦な面に設置されてもよい。
【００２８】
この例では、家１２における１つ以上のデバイス１０は、ネットワーク１６を介してセキュリティ処理システム１４と通信する。ネットワーク１６は、例えば、インターネットであってもよい。デバイス１０は、例えば、Ｗｉｆｉ（登録商標）によって、又は、イーサネットを通じてネットワーク１６と無線で通信してもよい。セキュリティ処理システム１４は、例えば、処理デバイス１８及びデータベース２０を含んでもよい。処理デバイス１８は、例えば、１つ以上のコンピュータ又はサーバを含んでもよい。複数のデータベース２０がまた設けられてもよい。セキュリティ処理システム１４は、ネットワーク１６に接続された別個のエンティティであってもよく、又は、それは、例えば、クラウドベースのシステムであってもよい。「クラウド」若しくは「クラウドベース」のシステム、又は、ネットワークへの言及は、クラウドベースのアプリケーションによって動作する既知の分散ネットワークを指す。
【００２９】
図１はまた、例えば、Ｗｉｆｉ（登録商標）及び／又はセルラネットワークを通じて、ネットワーク１６を介してデバイス１０及び／又はセキュリティ処理システム１４と無線で通信することができる、家１２の外でユーザデバイス２４を有する一次ユーザ２２を示す。一次ユーザ２２は、デバイス１０及びシステム１４への完全なアクセスを有するユーザである。一次ユーザ２２は、優先度を設定し、並びに、デバイス１０及び／又はシステム１４の動作をカスタマイズする能力を有する。家庭ユーザは、家庭のメンバー又は家１２に居住し、若しくはオフィスなどの場所と関連付けられ、毎日など定期的にデバイス１０及び／若しくはシステム１４と対話する他の人物である。一次ユーザ２２の１つの重要な機能は、デバイス１０によって検出されるときに、潜在的に深刻かつ生命を脅かす状況の通知を含む、家１２の状態に関する情報及び通知を受信すること、並びに、デバイス１０及び／又はシステム１４に、どのように状況に対応するかを指示することを含む、それらに応答することである。加えて、一次ユーザ２２は、デバイス１０及び／又はシステム１４に、デバイス１０によって検出されたデータにどのように対応するかを教示することができる。
【００３０】
一次ユーザ２２は、仕事の場所、又は、ネットワーク１６にアクセスすることができる任意の他の場所における家１２の近くにいてもよい。ユーザデバイス２４は、例えば、スマートフォン又はタブレットなどのモバイル処理デバイスであってもよい。ユーザデバイス２４はまた、家１２又はオフィスなどの家１２の外にあるデスクトップ又はラップトップコンピュータであってもよい。ユーザ２２は、デバイス１０と通信することができる複数のデバイスを有してもよい。
【００３１】
図１はまた、自身のユーザデバイス２４を有する補助連絡者２６を示す。補助連絡者２６は、一次ユーザ２２がシステム１４によって提供される通知に応答しないときに、システム１４との対話が制限される。一次ユーザ２２は、セットアップの間及び他の時点で、補助連絡者を選択及び招待するオプションを有する。一次ユーザ２２は、補助連絡者が通知を受信するときの状況を判定する。ほとんどの場合、一次ユーザ２２又は家庭ユーザが通知に応答することができないとき、補助連絡者は、通知を送信され、及び、インシデントを解決する機会を有する。一例では、招待を受け入れる補助連絡者は、ウェブポータルにリダイレクトされて、アカウントを作成する。補助連絡者は、テキスト又は電子メールによって通知を受信すると、一意なＵＲＬに誘導されて、通知を引き起こした事象に関する情報が提供され、及び、一次ユーザの優先度に基づいて、事象通知に応答する能力を有する。
【００３２】
複数の補助ユーザは、インシデントを解決するためにともに作業することができる。一例では、一次ユーザ２２は、３人の補助連絡者を選択してもよく、また必要が生じたときは随時（例えば、一次ユーザが休暇中であるときに、一次補助者として誰を指定していたかに関係なく）、補助連絡者の名簿を変更することが可能である。番号順、例えば、補助連絡者の１人目が、エスカレーションされた通知を受信する第１補助連絡者となり、よって、補助連絡者の１人目が事象を解決することに失敗した場合に補助連絡者の２人目が通知を受信することに基づいて、事象がエスカレーションされた後に、最初に通知を受信する補助連絡者をユーザは切り替えることが可能である。一次ユーザ２２は、連絡者間でのエスカレーションの遅延を設定する。
【００３３】
加えて、デバイス１０、セキュリティ処理システム１４、並びに／又は、一次ユーザ２２及び補助連絡者２６は、例えば、ネットワーク１６を介して、警察２８、消防局３０、及び／又は救急車サービス３２などの第１応答者と、通信してもよい。代わりに、デバイス１０、処理システム１４及び／又はユーザデバイス２４は、ネットワーク１６又は電話ネットワークなどの他のネットワークを介して、警察２６、消防局２８、救急車サービス３０及び／又は本明細書で説明される他の当事者と次に通信することができる、コールセンタ３０と通信してもよい。例えば、コールセンタは、それぞれのユーザデバイス２４へのテキスト、電子メール及び／又は電話呼出を介して、一次ユーザ２２及び補助連絡者２６に通知を送信してもよい。システム１４はまた、例えば、家又はオフィスの電子メールアドレス又は電話番号に連絡してもよい。
【００３４】
例えば、一次ユーザ２２が家１２に関する通知に応答しない場合、１人以上の補助連絡者２６が連絡されてもよい。補助連絡者又は連絡者２６が応答しない場合、システム１４は、状況に応じて、警察２８、消防局３０及び／若しくは救急車３２サービスに連絡するようにコールセンタ３４に指示してもよく、又は、それらの当事者は、システム１４によって直接連絡されてもよい。次いで、システム１４又はコールセンタ３４は、一次ユーザ２２と連絡することを試みて、ユーザに潜在的な事象、及び、とられる行動を通知してもよい。
【００３５】
図２は、本発明の実施形態に従った監視／セキュリティデバイス１０の例のブロック図５０である。この例では、デバイス１０は、メインプリント回路基板（「ＰＣＢ」）５２、底面プリント回路基板５４、及びアンテナプリント回路基板５６を含む。中央処理装置（「ＣＰＵ」）などの処理デバイス５８は、メインＰＣＢ５２に据え付けられてもよい。処理デバイスは、デジタルシグナルプロセッサ（「ＤＳＰ」）５９を含んでもよい。ＣＰＵ５８は、例えば、Ambarella, Inc., Santa Clara, Californiaから入手可能なAmbarellaデジタルシグナルプロセッサ、Ａ５ｘであってもよい。
【００３６】
カメラの撮像センサ６０、赤外線発光ダイオード（「ＩＲ  ＬＥＤ」）アレイ６２、ＩＲカットフィルタ制御機構６４（ＩＲカットフィルタ６５用）、及び、Ｂｌｕｅｔｏｏｔｈ（登録商標）チップ６６は、メインボード５２のセンサ部６８に据え付けられ、並びに、処理デバイス５８に入力を提供し、及び／又は、処理デバイス５８から入力を受信する。メインボード５２はまた、受動ＩＲ（「ＰＩＲ」）部７０を含む。受動ＩＲ部７０に据え付けられるのは、ＰＩＲセンサ７２、マイクロコントローラなどのＰＩＲコントローラ７４、マイクロフォン７６、及び周辺光センサ８０である。ランダムアクセスメモリ（「ＲＡＭ」）８２及びフラッシュメモリ８４などのメモリはまた、メインボード５２に据え付けられてもよい。サイレン８６はまた、メインボード５２に据え付けられてもよい。
【００３７】
湿度センサ８８、温度センサ９０（以下で論述するように、湿度／温度センサの組み合わせを含んでもよい）、加速度計９２、及び空気質センサ９４は、底面ボード５４に据え付けられる。スピーカ９６、赤／緑／青（「ＲＧＢ」）ＬＥＤ９８、ＲＪ４５若しくは他のそのようなイーサネット（登録商標）ポート１００、３．５ｍｍのオーディオジャック１０２、マイクロＵＳＢポート１０４及びリセットボタン１０６がまた、底面ボード５４に据え付けられる。任意選択で、ファン１０８が設けられる。
【００３８】
Ｂｌｕｅｔｏｏｔｈアンテナ１０８、ＷｉＦｉモジュール１１０、ＷｉＦｉアンテナ１１２及び容量性ボタン１１４が、アンテナボード５６に据え付けられる。
【００３９】
構成要素は、異なるボードに据え付けられてもよい。例えば、ＷｉＦｉモジュール１１０は、以下で論述される図面で示されるように、メインボード５２に据え付けられてもよい。
【００４０】
図３は、２つのプリント回路基板、側面ＰＣＢ１２２、及び下側ＰＣＢ１２４を含むデバイス１０の別の例のブロック図１２０である。図２及び３Ａに共通の構成要素は、共通して番号付けされる。この例では、ＣＰＵ１２６及びマイクロコントローラは、Ｂｌｕｅｔｏｏｔｈ低エネルギー（「ＢＬＥ」）アンテナ１０８、ＷｉＦｉアンテナ１１２、ＩＲ  ＬＥＤアレイ６２、広角度レンズ１３２、周辺光センサ８０、ＰＩＲセンサ７２、加速度計９２、容量性スイッチ１１４、マイクロフォン７６及びスピーカ９６に沿って、側面ＰＣＢ１２２に据え付けられる。ＲＧＢ  ＬＥＤ９８、湿度センサ８８、温度センサ９０、二酸化炭素（ＣＯ２）センサ１３４、一酸化炭素センサ１３６、サイレン８６、イーサネットポート１００、オーディオジャック１０２、マイクロＵＳＢポート１０４及びリセットボタン１０６が、下側ＰＣＢ１２４上に設けられる。
【００４１】
図４は、デバイス１０のブロック図の別の例１５０である。図２及び図３に共通の構成要素は、共通して番号付けされ、これ以上は論述されない。図４はさらに、ＣＰＵ１２６に接続されたセルラ無線機１５２及びビデオエンコーダ１５４を示す。電力管理チップ１５６は、ＣＰＵ１２６及びマイクロコントローラ１２８の両方に接続される。ＡＣ電力１５８及びバッテリ１６０は、電力管理チップに接続される。圧力センサ１６２は、マイクロコントローラ１６４に接続される。
【００４２】
図５は、本発明の実施形態に従った監視／セキュリティデバイス１０の斜視図である。デバイス１０は外側筐体２０２及び正面プレート２０４を含む。この例では、プレート２０４は、撮像センサ６０の正面にある第１窓２０６を含む。この例では長方形である第２窓２０８は赤外線ＬＥＤアレイ６２の正面にある。開口部２１０は周辺光検出器８０の前にあり、及び、開口部２１２はマイクロフォン７６の前にある。正面プレート２０４は、例えば、黒色アクリルプラスチックを含んでもよい。この例における黒色アクリルプラスチックプレート２０４は、８００ｎｍ超の近赤外放射に透過的である。
【００４３】
デバイス１０の最上部２２０がまた示される。最上部２２０は、空気がデバイス１０の外に流れることを可能にする、最上部を通じる排出口２２４を含む。図６は、底面２２６、及び、空気がデバイス１０の中に流れることを可能にする吸入口２２８を示す、デバイス１０の底面図である。デバイス１０の最上部２２０及び底面２２６は、例えば、組み立ての間に筐体２０２又は内部筐体に取り付けられる、分離したプラスチック部分であってもよい。底面、吸入口２２８を通る空気はデバイス１０を通じて移動し、そこでデバイスの内部構成要素からの熱を受け取り、最上部を通じて排出口２２８を出る。この例では、対流によってデバイス１０を通じて熱気が生じ、それによって、空気が底面排出口２２６からデバイスに吸い込まれ、最上部排出口２２０を通じて出る。ファン１０８（例えば、図２）は、底面、吸入口２２８を通じて外気をデバイス１０に引き込み、及び、最上部、排出口２２４を通じてデバイスの外に空気を追いやるために設けられてもよい。
【００４４】
排出口２２４のサイズは、ユニットから熱が出ることを可能にし、及び、デバイス１０に熱が循環しないように十分に大きい必要があるが、子供がユニットに指を突き出すことができるほど排出口を大きくすることはできない。代わりに、大きな排出口は、水の浸入を防ぐが、空気がユニットから出るように、ゴアテックス又はナイロンメッシュから作成され、及び、それらで被膜される。
【００４５】
図７は、イーサネットコネクタ１００、オーディオジャック１０２及びＵＳＢポート１０４を示す、デバイス１０の背面斜視図である。
【００４６】
図８は、正面プレート２０４を有するデバイス１０の正面図である。湾曲した筐体の対向する湾曲した縁を相互に接続する前壁２３２が示される。前壁２３２は、第１の部分的な円形断面２３４、部分的な円形開口部の上にある上部長方形断面２３６、及び、部分的な円形断面の下にある第２下部長方形断面２３８を有する開口部を規定する。小さな長方形開口断面２４０は第２長方形断面２３８の下にある。
【００４７】
撮像センサ６０は、部分的な円形断面２３４の背後にあり、ＩＲ  ＬＥＤアレイ６２は、第１及び第２長方形断面２３６、２３８の背後にあり、受動ＩＲセンサ７２は、より小さな下部長方形断面２４０の背後にある。部分的な円形断面は、プレート２０４における第１窓２０６の背後にある。より小さな長方形断面２４０は、プレート２０４における長方形窓２０８の背後にある。追加的な開口部２４２及び２４４は、周辺光センサ８０及びマイクロフォン７６の前で、プレート２０４における開口部２１０、２１２の背後に設けられる。長方形断面２３６、２３８の背後にあるＩＲ  ＬＥＤ６２の一部は、正面筐体によって部分的に隠されるが、ＬＥＤは、ＬＥＤによって放出される赤外線光がデバイス１０の外に向けられるような角度にされることに留意されたい。
【００４８】
図９は、メインボード５２の正面斜視図である。カメラ光学系２４６は、撮像センサ６０（図示せず）の前に示される。カメラ光学系はバレル２４８内で支持される。図８においてセンサを開口部２４２に結合する光パイプ２５０は、周辺光センサ８０の前にある。マイクロフォン７６は光パイプ２５０の下にある。また、長方形レンズ２５２がＰＩＲセンサ７２の前に示される。レンズ２５２及びセンサ７２は以下でさらに論述される。
【００４９】
底面ボード５４の一部が示される。可塑性プリント回路（「ＦＰＣ」）２５４は、メインボード５２を底面ボード５４に接続する。また、イーサネットポート１００の背面が示される。図９に示される他の構成要素が以下でさらに論述される。
【００５０】
図１０は、光学系２４６の前に設けることができる開口部２５７を有するディスク２５６の正面図である。ディスク２５６は、黒色正面プレート２０４と混じりあって黒に塗られ、それによって、例えば、家１２で使用している間に撮像センサ６０及びカメラ光学系２４６を目立たなくさせる。ディスク２５６は、例えば、プラスチックであってもよい。
【００５１】
図１１は、メインＰＣＢに据え付けられたＰＩＲ７２を示すように取り外されたＰＩＲレンズ２５２を有するメインボード５２の斜視図である。周辺光センサの前にある光パイプはまた、メインボード５４に据え付けられた光センサを示すために取り外される。バレル２４８はまた、カメラ光学系２４６をよりよく示すために取り外される。
【００５２】
図１２は、メインボード５２、底面ボード５４及びアンテナボード５６の背面斜視図である。放熱板２６０はメインボード５２の背面に貼り付けられる。サイレン８６はメインボード５２の裏面に据え付けられる。底面吸入口２２８を通じて、放熱板２６０を通る空気の流れは、上面排出口２２４を通じてデバイス１０を出る前に、放熱板から熱を追い出す。また、撮像センサ６０が示される。図１２はまた、イーサネットポート１００、オーディオジャック１０２、及びＵＳＢ電力ポート１０４を示す。オーディオジャック１０２は、例えば、３．５ｍｍのバレルジャックであってもよい。
【００５３】
図１３は、デバイス１０の断面図である。正面プレート２３２及び正面筐体２０４の位置が示される。また、この図では、底面ボード５４に据え付けられたＲＧＢ  ＬＥＤ９８が示される。以下のＲＧＢ  ＬＥＤは、ＬＥＤから分岐した円錐形光ガイド２６０（この図では、横断面で示される）である。光ガイド２６０の円形底面２６２は、例えば、デバイス１０の底面の外で作動可能又は作動不能であるなどの、デバイスの状態を示す色付けされた照射を提供する。
【００５４】
図１３はまた、この例では、据え付けられた底面ボード５４に据え付けられた、ＦＰＣ２７０に据え付けられた温度／湿度（「Ｔ／Ｈ」）センサ９０／８８及び空気質センサ９４を示す。Ｔ／Ｈセンサ９０／８８は、デバイス１０が位置する場所からの外気がセンサ上を通るように、底面吸入口２２８の１つに近接する。空気ガイド２７２が、Ｔ／Ｈセンサ９０／８８、空気質センサ９４、及び底面排出口２２６の１つの周囲に設けられる。空気ガイド２７２は、以下でさらに説明されるように、底面排出口を通じて受けられる外気を、センサを通るように誘導し、及び、デバイス１０内で発生した熱からセンサを絶縁する。
【００５５】
例における空気ガイド２７２は、例えば、図９及び図１３に示すように、側壁２７２ａ及び裏壁２７２ｂを含む。空気ガイド２７２の正面２７２ｃは、筐体２０２の内面によって設けられる。裏壁及び側壁は、ガイド２７２への底面の入口が出口２７４よりも大きくなるように、デバイスの正面に向かって内側に先細る。先細りは、Ｔ／Ｈセンサ９０／８８によって検出される温度の精度を改善する。空気ガイド２７２は、以下でさらに論述されるように、アクリルプラスチックを含んでもよい。
【００５６】
筐体２０２は、外観の質を高め及び耐久性を高める、陽極酸化アルミを含んでもよい。陽極酸化アルミは、電気絶縁体の役割を果たすことができるため、陽極処理によって、電気的アースがアルミ金属筐体に結び付けられることが可能となる間に、筐体２０２の内面が研磨又はマスキングされてもよい。これは、静電放電（ＥＳＤ）に対する大きな放電、並びに、デバイス１０からの電磁放射及び外部ソースからの電磁的影響に対する部分的な保護をもたらす。筐体２０２の研磨された内面は、熱放射率を下げ、及び、熱放射をユニットからよりよく逃げることを可能にし、それによって、周囲センサをよりよく熱隔離させる。
【００５７】
カメラの撮像センサ６０は、画像又は映像をデジタルに捕捉、送信及び記憶するトランデューサとして使用されるＣＭＯＳ、ＣＣＤ撮像アレイセンサを含んでもよい。センサは、集光能力を高めるために大きな画素サイズを有してもよい。背面照射センサは、低光環境におけるダイナミックレンジをさらに高めるために使用されてもよい。
【００５８】
この例では、撮像センサ６０は、可視光とともに、センサが「暗」視画像を捕捉することを可能にする近赤外線（７００ｎｍ波長〜１１００ｎｍ波長）に対して高感度である。撮像センサ６０は、電子ローリング又はグローバルシャッターのいずれかとすることができ、７２０画素及び１０８０画素の解像度における少なくとも毎秒３０フレームの映像を達成することができ、並びに、ダイナミックレンジを高めるために使用することができる、より細かな、画素ビニング、長時間露出、及び高ダイナミックレンジ撮像（「ＨＤＲ」）技術に対する１０８０画素よりも大きな解像度の静止画像を生成することができ、それは、低光レベルで精度が高く、かつ高品質の画像を生成するのに役立つ。撮像センサは、例えば、Aptina Imaging Corporation, San Jose, Californiaから入手可能なAptina AR330であってもよい。
【００５９】
カメラ光学系２４６は、場所に関する視覚情報を捕捉する固定焦点、広角度マルチエレメントレンズを含んでもよい。この例では、角度は１４０度である。レンズは、空間的解像度及び色収差に対して最適化されてもよい。レンズは、取り付けネジを通じて撮像センサ６０に据え付けられて、大量生産の間に正確な焦点を保証する。レンズは、高画質を保証するために、例えば、ＢＫ７又はサファイアなどの高品質ガラスから作成されてもよい。撮像光学系２４６は、例えば、ゴリラガラス又はサファイアガラスなどの、化学的に強化され又は本来的に強固なガラスから作成される平坦な射出窓を使用して、周囲から保護される。射出窓は、反射防止被膜、指紋及び汚れを防ぐ、油分をはじく被膜で覆われてもよい。射出窓はまた、画像若しくは映像を塞ぐことがある水滴又は凝結物がたまることを防止する疎水性被膜を有してもよい。黒色正面アクリルプレート２０４における窓２０６は、センサ６０及び光学系２４６のＦＯＶを収容する。
【００６０】
３軸又は６軸アクセラレータ９２（図２、図４）は、例えば、反転されるデバイスなど、デバイス１０自体の動きを検出するために、デバイスの底面ボード５４上、又は、別の場所に配置されて設けられてもよい。
【００６１】
処理デバイス５８、撮像センサ６０及びＷｉＦｉモジュール１１０などの、デバイス１０内の構成要素によって発生する熱は、Ｔ／Ｈセンサ９０／８８による周囲の温度及び湿度の測定値に逆に作用することがある。熱伝達は伝導、対流、及び放射を通じて発生するため、本発明の実施形態は、Ｔ／Ｈセンサ９０／８８のこれらの熱伝達モードの影響を下げることを追求する。
【００６２】
上述した空気ガイド２７２は、Ｔ／Ｈセンサ９０／８８及び空気質センサ９４に対し、それらを伝導及び放射から分離するための熱障壁を規定する。Ｔ／Ｈ及び空気質センサをＦＰＣ２７０に据え付けることによって、これらのセンサは、それらからの伝導を通じた熱伝達から分離される。加えて、極細トレースがＦＰＣに使用される。ＦＰＣは、高耐熱性を有し、並びに、Ｔ／Ｈセンサ及び空気センサが底面ボード５４に直接据え付けられた場合に発生することがある熱伝達を減少させる、ポリアミドを含んでもよい。他のセンサが、熱分離のために空気ガイド２７２内に配置されてもよい。
【００６３】
この例では、空気ガイド２７２は、例えば、研磨された銅又はマイラー（Ｍｙｌａｒ）などの高熱反射材で覆われたプラスチックアクリルを含む。筐体の陽極酸化アルミが高熱波長の放出を有するため、筐体２０２の内壁を研磨することによって、熱放射が低減する。
【００６４】
加えて、この例では、メインボード５２に据え付けられた処理デバイス５８及びＷｉＦｉモジュール１１０などの主な発熱体は、図１２に示すように、高伝導材料を放熱板２６０として使用して「放」熱される。加熱デバイスは、アルミの壁の研磨された内壁に熱的に結合する。
【００６５】
空気質センサ９４は、当技術分野で示されるように、揮発性有機化合物（「ＶＯＣ」）センサであってもよい。
【００６６】
例えば、必要な場合に、Ｔ／Ｈセンサ９０／８８によって検出される温度を補正するために使用することができる発熱体要素によって発生する熱を測定するために、メインボード及び／又はアンテナボード上にサーミスタ（図示せず）が設けられてもよい。
【００６７】
図１４は、Ｂｌｕｅｔｏｏｔｈアンテナ１０８、ＷｉＦｉアンテナ１１２及び容量性スイッチ１１４を示すアンデナボード５６の上面図である。この例では、Ｂｌｕｅｔｏｏｔｈアンテナ１０８及びＷｉＦｉアンテナ１１２は、シートメタルを基板とするのとは対照的に、アンテナボード５４によって規定され、並びに、デバイス１０の最上部２２０の上面の下に設置される。これは、ＲＦエネルギーが、電気的に接地された金属筐体２０２によって減衰しないことを保証する。代わりに、金属アンテナは、最上部の金属キャップ又はメイン金属筐体に統合されてもよい。代わりに、最上部２２０は、プラスチック、又は、アンテナを規定するために挿入若しくは外側被膜するプラスチックパターンを有する金属から作成されてもよい。金属の最上部２２０はまた、デバイス１０の内部の冷気を保つための放熱器として機能することができる。
【００６８】
容量性スイッチ１１４は、以下で論述されるように、デバイス１０及びシステム１４のモードを変更するために使用されてもよい。
【００６９】
ＩＲ  ＬＥＤアレイ６２による近赤外線光で場所を照射することによって、暗視覚の動作が改善される。近赤外線ＬＥＤアレイは、例えば、８５０〜８７５ｎｍの範囲で放射を放出してもよい。８５０ｎｍ〜８７５ｎｍの光は、ほとんどの人間にとって非常に僅かに可視的であり、ほとんど見えない。しかしながら、ＣＭＯＳ撮像センサ６０がこの波長帯域に対して感度が高いため、それは、デバイスが位置する部屋が暗いときでさえ、良好に照射された画像を提供することによって、これらの照射光源に応答することができる。例えば、周辺光センサ８０によって検出される光に基づいて、夜間であるかが判定されてもよい。
【００７０】
撮像センサの周囲のＩＲ  ＬＥＤアレイ６２は、夜において、ユーザを妨げることなく、かつ妨害することなく、及び、ユーザに見えずに、暗視モードにおいて周囲を照射する近赤外線ＬＥＤ（一般的に、８５０〜８８０ｎｍを含む。ＩＲ  ＬＥＤアレイ６２は、カメラの視野（「ＦＯＶ」）において均一な照射を提供する。ＩＲ  ＬＥＤは、ユーザに見えないままとするために黒色アクリル窓の背後に設置される。黒色アクリル窓によって、近赤外線のみが通過することが可能になる。ほとんどの８５０ｎｍ  ＬＥＤは、人間の目には部分的に可視的であり、なぜならば、広伝達帯域幅が可視スペクトルに向かって下方に伸びるからである。このユーザへの妨害を回避するために、バンドパス又はハイパスフィルタが、窓を通過する任意の可視光を遮断するために正面筐体（黒色アクリルシート）の内側に設けられてもよい。
【００７１】
図１３及び図１５に示すように、例えば、日中の間、ＣＭＯＳ撮像センサ６０の空間的解像度及び他の画質パラメータを改善するために、７００〜７５０ｎｍを超える近赤外線（「ＮＩＲ」）の放射を遮断するために近赤外線フィルタ６５が設けられる。それは夜では使用される必要はない。図１５に示すように、フィルタ６０の動作がアクチュエータ６４によってもたらされてもよい。アクチュエータ６４は、ＬＣＳシャッターで使用されるなどの電子光学系、又は電子機械シャッターで使用されるなどの電子機械系であってもよい。例えば、図２に示すように、近赤外線フィルタのアクチュエータ６４の動作は、処理デバイス５８によって制御されてもよい。図１５はまた、アレイ６２におけるそれぞれのＬＥＤに対する支持構造６７における空洞６５を示す。
【００７２】
本発明の別の実施形態に従って、図１６に概略的に示すように、別のアクチュエータ２８０又はカットフィルタ６５の動作を制御する同一のアクチュエータ６４の制御の下の、第２の独立したＩＲフィルタ２８２が設けられてもよい。第２フィルタ２８２は、光の狭い波長のみが通過することを可能にするナローバンドパスフィルタとしての役割を果たす。例えば、第２ＩＲフィルタは、３０ｎｍの帯域幅を有する８５０ｎｍのバンドパスフィルタとすることができる。従って、３Ｄ飛行時間の、構造化された光による３Ｄカメラに対して、このフィルタ２８２を使用することができる。アクチュエータ２８０はまた、例えば、処理デバイス５８によって制御されてもよい。
【００７３】
本発明の実施形態に従って使用することができる３Ｄ撮像系の例では、照射光源は、標準パルス幅変調（「ＰＷＭ」）回路を使用して超高周波数（１０ＭＨｚ超）においてパルス化される近赤外線ＬＥＤアレイ（８５０又は８７５ｎｍ）であってもよい。受信された「パルス」又は連続波画像が、例えば、画像の深さを算出するために処理デバイス５８又は別の処理デバイスに提供される。デバイスの３Ｄ情報に使用することができる飛行データ（ｆｌｉｇｈｔ  ｄａｔａ）を取得するために、アレイ６２におけるＬＥＤがパルス化されてもよい。ＬＥＤパルスに対する放出の後に撮像センサ６０によって検出されることになる赤外線光に対する時間は、処理デバイス５８によって測定されてもよい。赤外線光が目的物からデバイス１０の近くに戻った後に、赤外線光が目的物からさらに離れて戻る。３Ｄ情報は、例えば、火事、侵入者の正確な場所を判定するために使用されてもよい。また、それは、人の体積に基づいて人の識別を支援する、人の少なくとも一部の３Ｄ画像内で、撮像センサからの映像データとともに使用される能力を取得するために求められる。映像データの処理は、以下で論述される。第１フィルタは、第２フィルタが活性化される間には活性化されない。
【００７４】
処理デバイス５８の機能は、以下でさらに論述されるように、オペレーティングシステム及びオペレーティングシステム上で可動する組み込みソフトウェアを実行して、デバイス１０上で種々のハードウェアを適切に実行し、撮像センサからの到来する生の映像信号を、インターネット上で効率的に送信することができる高品質の小型ストリームに圧縮することを含む。
【００７５】
ＲＡＭメモリ８２は、撮像センサから処理デバイス５８に入る大容量のストリーミング映像データを記憶、複製及び処理するために使用されてもよい。それはまた、デバイス１０上でローカルに、早急なデータの分析を実行するためのワークスペースとして使用されてもよい。フラッシュメモリ８４は、場所及びオペレーティングシステムに関連する重要な情報の不揮発性の永続的な記憶のために使用されてもよい。
【００７６】
図１４は、アンテナボードの上面図である。ＷｉＦｉアンテナ及びＢＴＬＥ又はＢｌｕｅｔｏｏｔｈ低エネルギーアンテナが示される。両方のアンテナは、２．４ＧＨｚの周波数で動作する。
【００７７】
フレネルレンズレットとともにＰＩＲセンサ７２が、黒体放射の原理に基づいて動き検出のために使用される。フレネルレンズレットは、正面の黒色アクリルプラスチックプレート２０４に対して同一面であってもよく、及び、黒色アクリル材料の残りと一致するように色付けされてもよい。デバイス１０の正面を美的にするために、暗黒ＨＤＰＥ材料の射出窓が、鮮明かつ白みがかったフレネルレンズの前にある。黒色ＨＤＰＥは、８μｍ超の波長が通過することを可能にする。
【００７８】
セットアップ手順
本発明の実施形態に従って、デバイス１０は、デバイス１０とホームネットワークとの間とともに、デバイスとユーザデバイス２４との間で、使用デバイス２４及びデバイス１０のオーディオジャックを介して、情報の使用及び転送のために構成及び「セットアップ」されてもよい。この例では、デバイス１０がユーザインタフェースを含まないため、ユーザインタフェース又はキーボード又はタッチスクリーンなどのユーザデバイスの入力装置がデータを入力するために使用される。この実施形態に従ったセットアップは、単純であり、迅速であり、かつセットアッププロセスにおいてコンピュータを必要とすることを回避する。
【００７９】
図１７Ａ〜図１７Ｃは、本発明の実施形態に従ったセットアップ手順３００の例のフローチャートを示す。ステップ３０２では、デバイス１０が、プラグ接続され、又は、電池がオンにされる。ステップ３０４及び３０６では、一次ユーザ２２は、アプリケーションをデバイス２４にダウンロードし、及び、３．５ｍｍのオーディオジャックとして一般的に知られるオーディオケーブルを、デバイス１０及びユーザデバイス２４に接続する。ケーブルは、ユーザデバイス２４の３．５ｍｍのオーディオポート（ステレオ音響及びマイクロフォン）、及び、デバイス１０の３．５ｍｍのオーディオジャック９６に接続される。ユーザデバイス１０は、スマートフォン、タブレット、ラップトップ又は他のコンピューティングデバイスであってもよい。
【００８０】
一次ユーザ２２は、この時点で、ユーザデバイス２４によってアクセスされるウェブインタフェースを通じて、又は、ユーザデバイス２４にダウンロードされるアプリケーションを通じてのいずれかで、デバイスをセットアップすることができる。方法３００の残りは、ユーザデバイス２４上のアプリケーションに関して説明される。ウェブインタフェースの使用も同様である。
【００８１】
ステップ３０８においてユーザがアプリケーションをオープンするとき、ステップ３１０では、アプリケーションは、アカウントを作成するオプションを提示する。ステップ３１２では、オプションの選択によって、例えば、ユーザの名前、電子メールアドレス、パスワード及び電話番号を、タッチスクリーン又はキーボードなどのユーザデバイス２４の入力を介して入力することを可能にするグラフィカルユーザインタフェースをアプリケーションが提示することになる。例えば、いくつのデバイス１０がセットアップされるか、及び、それらがどこに位置するかなどの他の情報が要求されてもよい。ステップ３１４では、アカウントの作成及びアカウント情報が、例えば、テキスト又は電子メールによって確認されてもよい。以下でさらに説明されるように、ユーザ２２はまた、サービスの条件に同意し、並びに、場所で発生する事象を一次ユーザに通知するために使用される通知、電子メール及び／又はテキストメッセージをプッシュすることを受け入れることに同意することを要求されてもよい。一次ユーザ２２は電話によって事象を通知されてもよい。
【００８２】
ステップ３１６では、ユーザ２４は、所望の場所にデバイスを配置することをアプリケーションによって指示される。例示的な場所は上述した通りである。
【００８３】
ステップ３１８では、アプリケーションは、オーディオケーブルを介してデバイス１０からデバイスのシリアル番号を要求し、及び、ステップ３２０では、シリアル番号が受信される。データは、デバイス１０からユーザデバイス２４に渡されるようにオーディオ信号として符号化され、及び、アプリケーションを介してユーザデバイス２４によって復号化される。デバイス１０は、オーディオ信号を符号化及び復号化するとともに、セットアップ処理を完了するために、それに応答するように構成されてもよい。
【００８４】
図１７Ｂのステップ３２２では、次いで、ユーザデバイス２４上のアプリケーションは、ユーザデバイスが無線ネットワークに接続されているかを判定する。そうである場合、ステップ３２４では、アプリケーションは、デバイス１０が同一のネットワークに接続されるべきであることを確認することをユーザに依頼する。ステップ３２６では、応答が受信される。ユーザが確認した場合、アプリケーションは、同一のネットワークに接続することをデバイス１０に指示する。ステップ３２８では、デバイス１０は、ネットワークに対するパスワードを要求する。ユーザは、タッチスクリーン又はキーボードなどのユーザデバイス２４上の入力デバイスを介してパスワードを入力する。アプリケーションは、パスワードをオーディオ信号に符号化し、及び、オーディオケーブルを介してパスワードをデバイス１０に提供する。ステップ３３０では、アプリケーションは、パスワードをオーディオ信号に符号化し、パスワードを提供し、オーディオケーブル介してデバイス１０によってパスワードが受信され、並びに、デバイスはパスワードを復号化する。ステップ１２８では、当技術分野で公知の方式で、デバイス１０は、ＷｉＦｉ認証情報を更新し、必要なシステムを再起動し、及び、ネットワークを介して処理システム１４に接続する。ステップ１３０では、次いで、デバイス１０は、ユーザデバイスに接続する。
【００８５】
ステップ３２２で、ユーザが無線ネットワークに接続されない場合、又は、ステップ３２４及び３２６で、ユーザが、デバイス１０が同一のネットワークに接続すべきことを確認しない場合、ステップ３３２では、アプリケーションは、利用可能なネットワークを探索することをデバイスに指示する。ステップ３３４では、デバイス１０は、利用可能なネットワークをアプリケーションに通知する。３３６では、次いで、アプリケーションは、利用可能なネットワークからネットワークを選択することをユーザに依頼する。ステップ３３８において、ユーザがネットワークのうちの１つを選択する場合、ステップ３２８では、アプリケーションは、ユーザからネットワークパスワードを要求し、及び上記説明されたように、方法３００は続行する。
【００８６】
ステップ３３８において、ユーザがネットワークのうちの１つを選択しない場合、ステップ３４０では、アプリケーションは、所望のネットワークを入ることをユーザに要求する。ユーザは、入力デバイスを介して、例えば、ネットワークのサービスセット識別子（「ＳＳＩＤ」）を入力することによって、所望のネットワークに入る。ステップ３４２において、ネットワークの識別子が受信されるとき、ステップ３２８では、アプリケーションは、ユーザからネットワークパスワードを要求し、及び、上記説明されたように、方法３００は続行する。
【００８７】
ステップ３４４では、オーディオケーブルを介してネットワークパスワードがデバイス１０に提供され、及び、ステップ３４６では、デバイスはネットワークに接続する。ステップ３４８では、次いで、デバイス１０は処理システム１４に接続する。
【００８８】
ステップ３４８において、ネットワーク１６及びシステム１４へのデバイス１０の接続の後、ステップ３５０では、デバイス１０の一意な識別子がデバイスによってユーザデバイス２４に送信される。これによって、ユーザ２４が、デバイス１０をシステムにおけるそのデバイスとしてセットアップすることが可能になり、すなわち、セキュリティ及び管理の観点から、デバイス１０が承認され、かつ、接続されたデバイスとなることが可能になる。
【００８９】
ステップ３５２では、デバイス１０の地理的位置を識別するために、アプリケーションを介して地図がユーザ２２に提示されてもよい。ステップ３１２では、アプリケーションが確立されたユーザアカウント情報を送信し、ステップ３５２では、デバイス１０のシリアル番号及びユーザの地理的位置が定められ、並びに、ステップ３５４では、デバイス１０とユーザの場所との間でプロファイル及び関連付けを確立する、処理システム１４にそれを送信する。
【００９０】
無線接続をセットアップさせ、及び、ユーザデバイス２４をプロビジョニングして、それがデバイス１０と作用することを把握するために、ステップ３５６及び３５８では、ユーザは、オーディオポートを切断することを指示され、及び、デバイスセットアップが完了する。デバイス１０が既に所望の場所に設置されている場合、さらなるインストールなしでデバイスが動作の準備状態となる。
【００９１】
また、デバイスと電話との間でセキュアな暗号化鍵が発行されて、それらが安全にペアにされることを可能にする。この場合、デバイス１０は、電話自体と「話す」ことができ、及び、鍵の交換によって、それとペアになった電話であることを把握することができる。
【００９２】
方法１００のステップは、異なる順序で実行されてもよい。ステップ３１６〜３２２で、ユーザデバイス２４が接続されることになるネットワークが、デバイス１０が接続されることになるネットワークであることを確認することをユーザ２２に依頼する代わりに、方法１００は、ステップ３２０からステップ３２２に進み、そこでは、デバイス１０は利用可能なネットワークを探索する。
【００９３】
一次ユーザ２２がデバイス１０を新たな場所に移動させる場合、又は、無線名及びパスワードを変更する場合、オーディオポート１０２を介してユーザデバイス２４をデバイス１０に再度接続することによって、それらは、デバイスの変更を更新することができる。
【００９４】
Ｂｌｕｅｔｏｏｔｈ低エネルギー（「ＢＴＬＥ」）通信がまた、情報交換のために設けられてもよく、この場合、ユーザデバイス２４及びデバイス１０は、通信が始まる前に相互に発見する。別のセットアップ手順では、デバイス１０は、ユーザデバイス２４がデバイスに直接接続することを可能にする無線ルータを含む。この例では、デバイス１０は、ＩＰアドレスをユーザデバイス２４に送信する。ユーザは、アプリケーションを介して、ＷｉＦｉ  ＳＳＩＤ及びパスワードを入力して、デバイス１０に接続する。
【００９５】
他の例では、Ｂｌｕｅｔｏｏｔｈのペアリング、直接ＵＳＢ接続又はＤＴＭＦがまた、デバイス１０を構成するために使用されてもよい。また、符号化情報が、ユーザデバイス２４によって読み込まれるフラッシング光に提供されてもよい。
【００９６】
デバイスとホームネットワークとの間の対話
上記説明されたように、セットアップの後、デバイス１０は、家の中の無線ルータ、イーサネットなどを含むことができるユーザホームネットワーク、及び、デスクトップコンピュータ、ラップトップコンピュータ、モバイルスマートデバイスなど、ユーザホームネットワークに接続されるデバイスに接続されてもよい。デバイス１０は、ホームネットワークに接続されたホームデバイスから及びユーザデバイス２４から情報及び命令を受信してもよい。デバイス１０はまた、デバイス１０がシステム１４及びユーザデバイス２４に送信する情報などの、外に向かう対話を送信してもよい。
【００９７】
デバイス１０は、セットアップ手順において上述したアプリケーションなどのアプリケーションを介してユーザデバイス２４と通信して、そのユーザデバイスと通信する。このアプリケーションは、「バックグラウンド」で稼働し、又は、ユーザデバイス２４上で常に一部の機能を有するため、セキュリティ又は安全機能のためにそれを使用することができる。例えば、ユーザ２２が物理的な場所に近づくとき、家の中のセキュリティシステム１４及びデバイス１０のユーザの近接性に基づく自動作動有効化又は作動無効化が有効となってもよい。
【００９８】
この例では、一次ユーザ２２が、家１２、又は、デバイス１０が位置する他の場所の周辺の所定の半径に近づくとき、ユーザデバイス２４は、アプリケーションを介して、一次ユーザ２２が領域にいること、及び、デバイスが入るためにそれらに対して「準備状態」であるべきであることの信号をホームネットワークに送信する。この例における「準備状態」は、デバイス１０のセンサによる進入の認識に関わらず、ユーザ２２が家１２に入ると、デバイス１０及びシステム１４が、何者かが場所に入ったことを即時に一次ユーザ２２に通知すべきでないことを意味する。代わりに、デバイス１０及びシステム１４は、場所に入った人物が、一次ユーザ２２である可能性があると仮定してもよく、よって、例えば、ユーザが場所にいることをアプリケーション又は無線ネットワークを通じて確認し、それら自体を作動無効化にするために、４５秒など別の所定の時間セットだけ待機すべきである。
【００９９】
ユーザに対する他の情報を、アプリケーションを通じて送信することができ、及び、他のユーザは、アプリケーションを使用することができる。例えば、ユーザが第三者を承認されたユーザとしてネットワークに追加する場合、その第三者は、アプリケーションを自身のユーザデバイス２４にダウンロードすることができ、及び、デバイス１０の同一の近接性に基づくジオロケーションサービスを使用して、ユーザのシステムを作動有効化又は作動無効化することができる。
【０１００】
一例では、ユーザによって承認される場合、他のユーザは、ユーザのネットワーク上の一次、二次又は三次ユーザとしてリスト化されてもよく、第１一次ユーザ２２に警告することなく、デバイス１０を自動的に作動有効化又は作動無効化することが可能である。二次ユーザは、家庭のメンバー、又は家１２に定期的にいる他の人物であってもよい。
【０１０１】
一例では、情報は、事象の「時系列」に保存されてもよいが、一次ユーザ２２は、これがセキュリティのインシデントであったかのようには通知されない。時系列は以下でさらに論述される。デバイス１０及びシステム１４との対話に他の当事者を含めることによって、セキュリティが単純に物理ネットワーク内の個人を越えるものになる。それは社会的構成概念であり、そこでは、人々の大きなグループが、環境内で「信頼されている」としてリスト化される。そのようなグループのセキュリティ、又は社会的セキュリティの構成概念は、人々がともに作用して相互に保護する方法を改善することができる。地域としてともに行動し、技術を通じて有効化されることによって、地域がより広くなるにつれてより安全になる。
【０１０２】
加えて、携帯電話の地理的位置を探すことによって、家庭内の他の優先事項を制御することができる。例えば、デバイス１０は、家の中で他のサービスに対するハブとしての機能を果たしてもよく、及び、優先事項は、システムで識別される異なる人々に対し異なった機能を果たすことができる。セキュリティ及び安全の観点から、特定の行動及び通知が、電話の地理的位置及び場所内の個人の近接性の確認と調節されてもよい。アカウントの個々の所有者は、個人に対する優先事項を設定することができる。行動は特定の通知であってもよく、例えば、個人の子供の場所が活性化される場合、個人は、子供の往来の時系列又はグラフを受信することができる。言い換えると、人に基づく特定の行動。
【０１０３】
事象は、標準からの逸脱、又は、１つ若しくはいくつかのセンサ、カメラ（撮像センサ６０）及び／若しくはマイクロフォン７６に対して、デバイス１０によって監視される場所における所定の組の基準からの逸脱である。本発明の実施形態に従って、家、又は、デバイス１０が位置する他のそのような場所において何が標準、若しくは通常であるか、又は、何が標準でないか、若しくは、異常であるかを把握するためにシステムの学習／教示を行ういくつかの方法が存在する。
【０１０４】
事前設定パラメータ
システム１４は、何が標準であり、及び、何が事象又はインシデントを構成するかに関するあるパラメータ又は基準を定義してもよい。例えば、システム１４は、ある閾値を上回る温度が通知をもたらすべきであることを定義してもよい。パラメータは、デバイス１０及び家１２の地理的位置に基づいてもよい。例えば、高平均温度及び／又は湿度を有する、地理的位置における温度パラメータ及び／又は湿度基準は、低平均温度及び／又は湿度を有する地理的位置に対する温度及び／又は湿度基準よりも高いことがある。温度パラメータはまた、現在の日付に基づいて、季節的に変化することがある。空気質パラメータレベルが、システム１４によって同様に定義されてもよい。システム１４によるパラメータ設定は、センサデータの組み合わせを含んでもよい。例えば、通知は、温度及び湿度並びに／又は空気質の両方が所定のレベルを上回るときのみ送信されてもよい。基準及びパラメータは、例えば、データベース２０内で、システム１４によって記憶されてもよい。デバイス１０によって適用されることになる基準及びパラメータは、もしあれば、例えば、ＲＡＭ８２及び／若しくはフラッシュメモリ８４又は他のそのようなメモリへの記憶のために、ネットワーク１６を通じてシステム１４によってデバイスにダウンロードされてもよい。
【０１０５】
ユーザパラメータ
一次ユーザ２２は、それに対して何が事象であるとみなされ、及び、通知がいつ送信されるべきかのあるパラメータ及び基準を設定してもよい。上述したように、ユーザ２２によって設定されるパラメータは、１つ又は複数のセンサに適用することができる。パラメータ及び基準はまた、センサデータ及び環境の組み合わせを含んでもよい。例えば、一次ユーザ２２は、家に誰もおらず、及び一定のデシベルを超える雑音がある場合に、単に事象を通知されることを望むことを指定してもよい。すなわち、一次ユーザ２２は、特定の人物が家１２に来るいずれのときに、一次ユーザ２２が通知されることを望み、又は、別の人物が通知されることを望んでいることを指定することができる。別の例では、一次ユーザ２２は、ある人物又はユーザが家の中にいて、及び、温度がある値を上回り若しくは下回るいずれかのときに、一次ユーザが通知されることになると判定してもよい。これらは、ユーザが設定することができるパラメータ及び基準の例にすぎない。以下でさらに論述されるように、ユーザパラメータは、オンボーディング処理の間及び／又はオンボーディングの後に設定されてもよく、質問が一次ユーザ２２に提示されて、ユーザ定義パラメータ及び基準を確立する。
【０１０６】
ユーザ習慣、挙動及びフィードバックを介した学習
ユーザパラメータ及び事前設定されたパラメータに加え、デバイス１０及び／又はシステム１４は、ユーザの家１２の中のユーザの挙動及び活動から学習して、家の中で何が標準的な活動であるかをさらに定義するように構成される。システム１４における処理デバイス１８及び／又はデバイス１０における処理デバイス５８は、データベース２０及びＲＡＭ８２若しくはフラッシュストレージ８４、又は他の適切なメモリ若しくはストレージデバイスなどの、それぞれのストレージデバイスに記憶されたソフトウェアによって学習するように構成されてもよい。
【０１０７】
学習処理は、曜日及び時刻に基づいて、家の中で往来する人など、家の中の基本パターンで開始してもよい。ほとんどの人は、デバイス１０及び／又はシステム１４によって理解することができるいくらかの標準的な挙動を有する。例えば、システム１４は、家１２の中に何人の人がいるか、並びに、どの人がユーザ入力に基づいているか、又は、家の中の１つ以上のデバイス１０上の１つ以上のセンサ、及び／若しくは、ジオロケーションデータによる体重及び活動を感知することによるものであるかを把握することができる。それらの人が各曜日に場所に往来するときなど、それらの人の個々のパターン。２〜４週以上、それぞれの人がある期間にわたって規則的に行動をしていた場合、パターンはその人に対して確立されてもよい。複数の時間のパターンに従って一次ユーザが人の活動を通知され、及び、人が特定の時間に家１２に入るなど、一次ユーザが事象を明らかにする場合、次の時間に人はパターンに従って家１２に入り、一次ユーザは事象を通知されない。事象は、必要に応じて、要求されると一次ユーザ２２に提供することができる時系列など、さらなる参照のために記憶されてもよい。
【０１０８】
パターンは、センサデータにも基づいて、家又は他の場所の環境特性に対して区別されてもよい。例えば、温度、湿度及び／又は空気質に関連するパターンは、ある期間にわたる温度、湿度及び／又は空気質センサからのデータを比較することによって、区別されてもよい。
【０１０９】
システム１４は、例えば、所与の場所におけるユーザの活動及び場所における活動のレベルに関して学習するために、例えば、マイクロフォン７６からの音声入力、並びに温度／湿度センサ９０／８８からの温度及び湿度入力に従った映像の形式であることができる、撮像センサ６０からのデータを使用してもよい。これによって、システム１４が、家１２の中の所与の部屋など、所与の場所における活動の標準的なレベルを判定することが可能になる。例えば、高い活動が、特定の曜日又は週末に標準的であり、及び、システム１４が、それらの時点の１つにおいて非常に小さい活動が存在すると判定する場合、それは、例えば、ユーザが休暇をとっていたことが理由となることがあり、又は、潜在的な問題となることがある。システム１４は、標準からの逸脱を識別し、及び、一次ユーザ２２に通知する。ユーザ２２は、おおよそ、通知に応答することができる。
【０１１０】
加えて、場所内の１つのデバイス１０がパターンを検出する場合、場所におけるすべてのデバイスに対してパターンを設定することができる。１つのデバイス１０はまた、別のデバイスによってパターンを破棄することができる。例えば、１つのデバイス１０は、動きを検出せず、従って、ある時刻の間に家１２に誰もいないと考え、並びに、家の中の別のデバイス１０が動きを検出し、動きは、場所ごとに基づいて入力が算出され、及び、第２デバイスからの入力が第１デバイスのパターンに優先する。システム１４は、複数のデバイス１０からの情報を蓄積して、場所における現在の活動及び挙動のパターンを判定する。
【０１１１】
場所内の人の識別は、それぞれの人に関して学習されたパターンに基づいてシステム１４によって判定されてもよい。それらのパターンは、例えば、撮像センサ６０及びＰＩＲセンサ７２から受信されたデータによって判定されるユーザの一般的なサイズ及び重さ、例えば、ＰＩＲセンサによって判定される人によって発する熱のレベル、マイクロフォン７６によって検出される人の声、撮像センサによって収集されるデータに基づくユーザの顔若しくは他のパターン認識器、学習されたパターンに基づくユーザの活動パターン、又は、デバイス１０内の種々のセンサを介して判定される他の人の特定のデータを含む。場所の個々のメンバーの活動及びパターンを判定して、インシデントに対する個々の特定の応答が存在するかを判定するために誰が家にいるかを把握するために、人認識は重要である。
【０１１２】
ＰＩＲセンサ７２によって検出される動物のおおよそのサイズ及び形状を示すとともに、ペット及び動きに対してより感度が低い映像の一部を強調することによってなど、ある映像画素を敏感にさせ及び敏感にさせない、撮像センサ６０及び赤外線熱によって収集される映像データに基づく、場所におけるペットの存在は、ペットが絶え間なく通る領域にいるはずである。オンボーディングの間にユーザに提示される質問が、ペットを認識するためにセンサデータとともに使用されてもよい。ペットは、ホームセキュリティシステムにおける一般的な誤ったアラーム源である。ペットの存在を認識するために学習することによって、誤ったアラームを減少させることができる。
【０１１３】
システム１４及びデバイス１０が学習を有効にする方法の１つは、家１２又は家の活動の一部に状態スコアを与えることである。例えば、ユーザの家１２、又は家の中の特定の部屋は一般的に、例えば、マイクロフォン７６によって検出される雑音、撮像センサ６０によって記録される映像で発見される動き、及び／又は、Ｔ／Ｈ９９／８８よって検出される温度／湿度の変動に基づいて、特定の日のある時間に非常に騒々しく、かつ非常に活動的であり、家１２又は家の中の部屋は、それらの日のそれらの時間に対して１０／１０の活動スコアが割り当てられてもよい。活動スコアは、例えば、スコアが適用可能であり、部屋スコアが適用可能であり、並びにユーザ及び／又はユーザの家に関する情報を識別する特定の日の期間と関連して、システム１４におけるデータベース２０に記憶されてもよい。一例では、現在の活動スコアが期間において予想スコアよりも２０％を超えて下がる場合、一次ユーザ２２は警告されてもよい。他の乖離率又は範囲が代わりに使用されてもよい。
【０１１４】
別の例では、１人で暮らす高齢ユーザを含む家１２は、例えば、２の低活動スコアを有することがある。高齢者の家１２における活動スコアが突然５に上がる場合、それは、家への侵入者など、潜在的な問題を示すこともあり、又は、活動スコアの上昇が、例えば、孫の訪問によって生じることもある。高齢ユーザ及び／又は人の補助連絡者に活動の注目すべき変化を通知することによって、ユーザ又は補助連絡者は、家の中で問題があり、又は、問題がないことをシステムに通知することができる。
【０１１５】
場所の他の特性は、例えば、温度、湿度及び／又は空気質に対するスコアなど、他のセンサデータに基づいてスコアが割り当てられてもよい。センサ自体及びともに機能するセンサの両方をスコアリングすることによって、システム１４は、家１２又は他の場所において何が標準であり又は標準でないかの明確かつ完全な画像を提供することができ、従って、応答することができる。
【０１１６】
デバイス１０及び／又はシステム１４は、どのようにセンサデータが処理されるかを再調整することによって学習を可能にする。例えば、デバイス１０及び／又はシステム１４は、例えば、処理デバイスに結合された１つ以上のセンサによって収集される場所に関するデータの１つ以上の部分に基づいて、処理デバイス５８及び／又は処理デバイス１８がどのように場所に関するデータを処理するかを適合させることによって、学習を有効にすることができる。
【０１１７】
オンボーディング処理
本発明の実施形態は、学習に基づくオンボーディング処理を含む。最初の２週間などの、製品の所有権の初期段階の間の本発明の一実施形態では、例えば、家１２又はデバイス１０が位置する他の環境に関する情報を判定するための周期的な質問を含む、急速な学習期間が存在し、例えば、以下の通りである。
住所は何か？
家には何人が住んでいるか？
何歳か？
子供は何人か？
ペットを飼っているか？
ペットを飼っている場合、何匹であり、かつどのようなタイプか？
通常仕事に行くのは何時か？
通常帰宅するのは何時か？
通常よりも遅く、又は早く帰宅するあらかじめ定められた日はあるか（定期的に予定される会議又は運動など）？
子供が学校に行くのは何時か？
通常子供が学校から帰宅するのは何時か？
子供が通常よりも帰宅が遅くなる定期的な活動を有しているか？
家政婦、犬の散歩代行者など、いずれかの曜日に定期的な訪問者はいるか？
郵便物が配達されるのは何時か？
新聞が配達されるのは何時か？
エアコンを使用するか？そうである場合、スケジュール通りか？その場合、どのようなスケジュールか？
温度調節器はスケジュール通りか？その場合、どのようなスケジュールか？
補助連絡者は誰か？
【０１１８】
上記質問は例にすぎず、及び、必ずしもユーザ２２に提示される形式ではない。それらの質問は、収集することが望ましいことがある、考えられる質問及び情報の主題を表す。質問は、複数の選択肢の質問、並びにドロップダウンメニュー及び／又はユーザ入力の単語、名前、時間などを扱うウインドウを有する質問の空白を埋めるものとして提示されてもよい。
【０１１９】
ユーザ２２が質問の全てに回答する必要はないが、さらなる質問が回答されると、システム１４はより早く、日及び曜日の異なるときに、家１２、又は、若しくは家の一部、又は、他の環境における標準的な活動を学習する。それらの質問への回答は、学習ソフトウェア及び学習ソフトウェアに通知する。例えば、ここで、システム１０は、ユーザがペットを有する場合、ペットとユーザと他の家政婦のメンバーの動きとの間を区別する必要がある。
【０１２０】
環境に関して何が学習されたかを確認するための周期的な質問がまた、一次ユーザ２２に提示されてもよい。例えば、システム１４は、往来のユーザパターンとしてパターンを推測し、次いで、それは、活動のパターン又は学習が正確であることを確認することをユーザに依頼することができる。特に、デバイス１０が、日又は週の期間で、人が起床し、大人が仕事に行き及び仕事から戻り、子供が学校に行き及び学校から戻り、新聞、洗濯物、及び／若しくは郵便物などの配達など、ある活動が、オンボーディングの質問に対してユーザの応答によっては対処されなかったあるときに発生することを見る場合、システム１４は、活動のパターン又は学習が正確であることを確認することをユーザに依頼することができる。学習は、観察された挙動、及びユーザによって前に回答された質問の組み合わせを含んでもよい。他のパターンは、例えば、一日の間の温度、湿度及び空気質の変化に関連してもよい。
【０１２１】
スコア及び褒賞に基づく誘因学習
デバイスがどの程度学習したか、及び、個人の挙動を本当に理解するためにどの程度残されているかに関する「完全性スコア」を提供することは、例えば、一次ユーザ２２がさらなる質問に回答することを奨励することができる。数週間の間、デバイス１０が一次ユーザの挙動を観察し、及び、ユーザによって回答された数個の質問を有していた場合、システム１４は、例えば、学習が８０％完了であるなど、ユーザに完全性スコアを付与することによって、環境を把握するのにどの程度近づいているかをユーザ２４に通知することができる。システム１４は常に学習しており、及び、完全性スコアが進化し続けることができるように新たなパターンを学習することができる。スコアは、割合又は自然言語を含む別の形式で付与されてもよい。
【０１２２】
完全性の割合又は他のそのようなスコアはまた、例えば、提示された質問に回答することなど、オンボーディング処理の学習処理の一部としてユーザが実行する必要がある種々のタスクとともに、友人及び家庭を補助連絡者２６として追加し、地元の警察２８、消防局３２及び救急車サービス３４の識別を確認することなどの他の活動に対して褒賞を付与されてもよい。
【０１２３】
褒賞は、プロファイルの完全性に基づいてもよい。例えば、オンボーディング処理の完全性の見返りとして、データベース２０の追加の記憶領域を設けることである。そのような追加的な記憶領域は、例えば、ユーザが関心のあるビデオクリップを記憶するために使用されてもよい。
【０１２４】
データ活動スコア
デバイス１０がそのセンサを通じてデータを収集するため、そのデータはまた、センサ活動スコアが付与されてもよい。１つのセンサからのデータ又は複数のセンサからのデータセットの特定のポイント及び場所に関して何が学習されたかに少なくとも部分的にスコアは基づいている。例えば、１日及び１週間の全体を通じて、動きの頻度及び平均温度などの部屋又は家のパターンを学習した後、デバイスは、特定の場所において、及び、１日の特定の時間の間に、標準と見なされる活動又は事象の基準値を判定することが可能となる。新たなデータがデバイスのセンサによって取得されるとき、データの発行活動スコアは、潜在的な脅威を識別するために１日のその時間、及び曜日において、何が標準であるとデバイスが学習したことの基準値に対して判定される。データは、システム１４及び／又はデバイス１０によって１つ又は複数のパターンと比較され、並びに、例えば、標準パターンからの逸脱の程度が判定されてもよい。逸脱は、例えば、逸脱の割合によって表されてもよい。逸脱の程度はまた、１〜１０又は１〜１００のスケールに適用されてもよい。より高い逸脱の割合又は重要な活動スコアは、家の標準基準値からのより強い逸脱を反映する。センサ活動スコアはまた、温度などのあるセンサが、例えば、基準値パターン又は一次ユーザ２２によって設定された閾値から逸脱するとき、家の物理的環境の快適性を示してもよい。ユーザは、例えば、割合又はスコアとして逸脱の程度の単位で逸脱が通知されてもよい。
【０１２５】
動作の間、デバイス１０は、他の期間又はその間に全てのセンサから継続してデータを収集してもよい。センサデータはまた、規則的に又は非規則的な間隔で、周期的に収集及び記憶されてもよい。収集されたデータの一部又は全ては、デバイス１０上の処理デバイス５８によって分析されてもよく、並びに／又は、分析若しくはさらなる分析のためにネットワーク１２を介してシステム１４に送信されてもよい。収集及び記憶されたデータは、規則的に又は非規則的な間隔で、継続して又は周期的な分析のためにシステム１４に送信されてもよい。セキュアソケットレイヤ（ＳＳＬ）接続などの暗号化チャネルに従って、それがそこから到来するデバイスの識別を含むメタデータを有するデータ又はデータファイルが、デバイス１０によってシステム１４に送信されてもよい。収集されたデータは、例えば、複数のそれぞれのデータストリームで、又は他の形式で送信されてもよい。
【０１２６】
図１８及び図１９は、デバイス１０によって検出される事象に応答したデバイス１０及びシステム１４の動作の方法４００の例を示す。ステップ４０２では、１つ以上のセンサが始動され、及び／又は、動きが検出される。この例では、デバイス１０は、例えば、検出されたデータが、ステップ４０４において、閾値を上回るなど、検出されたデータが基準を満たすか、又は、パターンからの逸脱であるかに基づいてさらに分析される必要がある「事象」として定義されることになるかを判定する。そうでない場合、この例では、さらなる行動はとられない。そうである場合、ステップ４０６では、デバイス１０は、さらなる分析のために、検出されたデータ及び事象に関連する他の情報を、ネットワーク１６を介してシステム１４に送信する。デバイス１０によって送信されたデータは、事象を引き起こす１つ又は複数のセンサからのデータ、及び、事象を引き起こすセンサからのデータの解釈においてシステム１４を支援することができる他のセンサからのデータを含む。例えば、温度センサ９０が始動される場合、ビデオクリップがシステム１４に送信されてもよい。デバイス１０、ユーザ２２、家１２、家の中のデバイスの場所などに関連する識別情報がまた送信されてもよい。
【０１２７】
この例では、ステップ４０８では、システム１４は、受信されたデータに基づいて、事象が生命又は安全なインシデントであるかを判定する。生命又は安全な事象は、温度センサ９０による高温、空気質センサ９４により感知された非常に悪い空気質、マイクロフォン７６により測定されたような過度にかつ急激な雑音などの検出であってもよい。検出された特性は、閾値又は他のそのような基準と比較されて、例えば、検出された特性が生命を脅かすものに相当するかを判定してもよい。事象は、センサ測定値の組み合わせに基づいてもよい。
【０１２８】
事象が生命−安全事象である場合、ステップ４１０では、いずれの人が家にいるかが判定される。システム１４は、例えば、撮像センサ６０、ＰＩＲセンサ７２、マイクロフォン７６及びユーザデバイス２４のジオロケーションから前に受信されたデータに基づいて、何者かが人が家にいるかを把握することができる。
【０１２９】
そうである場合、ステップ４１２では、システム１４は、事象を緊急事態として扱い、並びに、例えば、電子メール、テキストを介して、及び、電話によって、一次ユーザ２２及び補助連絡者２６に同時に連絡する。一次ユーザ２２は、それらがどのように連絡されることになるかを判定することができる。異なる補助連絡者は、事象のタイプに応じて連絡されてもよい。
【０１３０】
ステップ４１４では、一次ユーザ２２又は補助連絡者２６が所定の期間内に応答するかが判定される。所定の時間は、例えば、１分であってもよい。そうである場合、ステップ４１６では、連絡された当事者の１人が誤ったアラームとして事象を消去するかが判定される。そうである場合、ステップ４１８では、方法は消去された事象で終了する。
【０１３１】
ステップ４１６において事象が消去されない場合、ステップ２１８では、システム１４は、警察２８、消防局３０及び／又は救急車サービス３２、警察及び／又は消防局に電話をかけるなど、事象に応じてさらなる行動をとる。システム１４は、デバイス１０にサイレン８６を活性化させることをさせてもよい。
【０１３２】
ステップ４１４において一次ユーザ２４又は補助連絡者２６が応答しない場合、ステップ４２２では、それらは再通知され、並びに、方法はステップ４１４に戻る。ステップ４１４において、再通知の後に一次ユーザ２４又は補助連絡者２６が応答しない場合、システム１４は、ステップ４２０に直接進んで、警察、消防局又は救急車に電話をかけてもよい。
【０１３３】
ステップ４１０において誰も家にいない場合、しかし、ステップ４２４で、夜間であると判定される。システムは、引き続き事象を緊急事態として扱い、及び、ステップ４１２に進む。
【０１３４】
ステップ４０８において、システム１４が、事象が生命を脅かす事象でないと判定し、又は、ステップ４２４で、夜間でないと判定する場合、ステップ４２８では、一次ユーザが通知される。ステップ４３０において、一次ユーザ２２が、例えば、１分などの所定の期間内に応答する場合、ステップ４３２では、一次ユーザが、誤ったアラームとして事象を消去したかが判定される。そうである場合、上述したように、ステップ４１８でアラートが消去される。
【０１３５】
ステップ４３２において、一次ユーザ２２が、誤ったアラームとして事象を消去しない場合、方法はステップ４３４に進み、上述もされた警察などに連絡をとる。
【０１３６】
一次ユーザ２２が所定の期間に応答しない場合、ステップ４３４では、補助連絡者が通知される。ステップ４３２では、補助連絡者が、誤ったアラームとして事象を消去するかが判定される。そうである場合、ステップ４１８では、事象が消去される。そうでない場合、ステップ４３４では、システムは、警察、消防局及び／又は救急車サービスに連絡する。
【０１３７】
ステップ４２６〜４３６は、システム１４が、一次ユーザ２２からの通知を、補助連絡者２６、警察などにどのようにエスカレーションすることができるかの例を示す。エスカレーション手順は、システム１４及び／又はユーザ優先度によって判定されてもよい。一次ユーザ２２は、例えば、一次ユーザ２２が通知に応答及び解決することに失敗した後、補助連絡者が警告を受ける前の期間を設定してもよい。一次ユーザによって設定することができる他のエスカレーションポリシは、エスカレーションするアラートのタイプ（すなわち、あるセンサからのアラートのみを解決するために補助者に送信される）、全ての補助連絡者が最初に連絡されなかった場合に補助連絡者２６の間としてのエスカレーションの間の時間、事象を解決した補助連絡者の一次ユーザのいずれも応答しない場合に、自動的にサイレンを鳴らすこと、誰もアラートに応答しない場合の機関（サービス計画を選択するユーザに対するコールセンタの補助を介して）を含む。
【０１３８】
図２０Ａは、本発明の実施形態に従った、事象が検出されるときのデバイス１０及び／又はシステム１４の動作５００の方法の別の例である。この例では、デバイス１０は、システム１４によって実行される学習ステップを除いて、方法５００の全てのステップを実行する。
【０１３９】
ステップ５０２では事象が検出される。ステップ５０４では、事象が、温度／湿度及び／又は空気質センサによって検出される事象などのセンサ関連事象であるかが判定される。そうである場合、ステップ５０６では、デバイス１０は、アラートを送信するために、事象が所定の基準と一致するかを判定する。上述したように、所定の基準は、閾値などのシステム定義基準である。そうである場合、ステップ５０８では、デバイス１０がアラートをユーザ２２に送信し、及び、ステップ５１０で方法が終了する。
【０１４０】
ステップ５０６において、事象が所定の基準と一致しないとデバイス１０が判定する場合、ステップ５１２では、デバイスは、事象がユーザ定義基準と一致するかを判定する。上述したように、ユーザ定義基準は、一次ユーザ２２によって設定される基準である。言い換えると、一次ユーザ２２は、特定の基準が満たされるときに通知が送信される必要があることをデバイス１０及び／又はシステム１４に通知する。ユーザ定義基準は、上述したように、セットアップの間、及び動作の間、システム１４によって問い合わされた質問、及び、ユーザによって回答された質問を通じて、一次ユーザ２２によって定義されてもよい。ステップ５１２において、事象がユーザ定義活動を満たすとデバイス１４が判定する場合、ステップ５０８では、アラートが一次ユーザ２２に送信される。例えば、図１９に示すように、及び、上述したように、一次ユーザ２２が所定の期間に応答しない場合、エスカレーションが続いてもよい。
【０１４１】
事象がユーザ定義基準に関連しないとデバイス１０が判定する場合、ステップ４１６で、アラートが送信され、及び、ステップ５１８では、学習のために事象がシステム１４に提出される。
【０１４２】
ステップ５０４において、デバイス１０によって、事象がセンサ関連であると判定されない場合、ステップ５１６では、デバイス１０は、家１２に入る人など、事象が近接関連であるかを判定する。そうである場合、ステップ５２０では、デバイス１０は、ユーザが近接事象を通知されることを望んでいるかを判定する。そうである場合、ステップ４２０で、アラートがデバイスによって送信され、及び、ステップ４１８では、学習のために事象がシステム１４に提出される。そうでない場合、ステップ４２２では、アラートが送信されず、及び、学習のために事象がシステム１４に提出される。
【０１４３】
事象が、センサ事象、近接事象、又は事前定義された基準に関連しない場合、システムはまた、事象から学習することができる。事象は、動き又は雑音などに対して突然であり、又は、考慮されていないなど、カメラ／撮像センサ６０及び／又はマイクロフォン７６によって収集されるデータに関連してもよい。事象は一次ユーザ２４に提示されてもよく、及び、ユーザは、事象を消去し、又は事象を定義する情報を入力することができる。このようにして、システム１４は、一次ユーザがどの事象を通知されることを望んでいるか、及び、ユーザがどの事象を通知されることを望んでいないかを学習する。
【０１４４】
例えば、映像は、床面の近くで動いている小質量を示す。一次ユーザに提示されるとき、ユーザは、この質量をペットとして識別してもよい。ユーザが、床面の近くで動いている小質量をペットとして２〜３回識別した後、システム１４は、同様の質量が識別される次のときにアラートを送信しないことを学習する。
【０１４５】
別の例では、特定のサイズ及び形状の人は、月曜日の午前９〜１０時の間に家に入ることがある。アラートは、アラートを消去するユーザに送信される。同一の事象が、ユーザによってまた消去される次の２回の月曜日に発生する。次いで、システム１４は、同一のサイズ及び形状の人が月曜日の午前９〜１０時に家に入る次のときにアラートを送信する必要があるかを一次ユーザ２２に問い合わせすることができる。
【０１４６】
別の例では、一般的に低周波数の雑音が、７日以上連続して検出されてもよい。システム１４は、これが標準レベルであり、及び、例えば、雑音レベルが突然この通常レベルを上回って急上昇する場合（急上昇がシステム１４によって事前に設定された、事前設定された閾値を上回らない場合でさえ）のみアラートを送信することができる。
【０１４７】
別の例では、システム１４は、７日間、毎日の同一の時間に低雑音を検出してもよい。毎日、一次ユーザ２２は雑音事象を消去する。次の日に、システム１４は、同一の時間に同一の音を検出し、及び、アラートをユーザに送信しない。
【０１４８】
デバイス１０が上記説明された方法４００の全てのステップを実行する間、デバイス１０及びシステム１４の両方は、方法のステップを実行してもよい。例えば、デバイス１０は、システム１４によって実行される学習ステップ４１４及び４２２を除く全てのステップを実行してもよい。別の例では、システム１４は、ステップ４０８及び４１６において、アラートを送信するように構成される。別の例では、デバイス１０は、事象を検出し、及び事象に関連する情報を、方法４００のステップの残りを実行するシステム１４に提供する。別の例では、デバイス１０は、全てのセンサから収集された全てのデータを、システム１４に提供し、システム１４は、事象が発生したかを判定し、及び、方法４００の全ての他のステップを実行する。
【０１４９】
デバイス１０及びシステム１４に言及するとともに、デバイス１０によってとられる動作は、この例では、メモリに記憶されたアプリケーションなどのソフトウェアの制御の下、処理デバイス５８によって実行され、システム１４による動作は、メモリに記憶された適切なソフトウェアの制御の下、処理デバイス１６によって実行されることが理解される。上述したように、システム１４は、別個のエンティティ又はクラウドベースの処理システムであってもよい。
【０１５０】
図２０Ｂは、本発明の実施形態に従った学習手順６００の別の例である。ステップ６０２では、デバイス１０におけるセンサからデータが受信される。データは、例えば、データの時間及び日付を示すタイムスタンプとともに、データを検出するデバイス及びユーザの家の中のデバイスの場所などの識別情報を含む。
【０１５１】
ステップ５０４では、タイムスタンプデータが記憶され、及び、ステップ５０６では、それが分析されて潜在的なパターンを識別する。パターンは、当技術分野で公知の方法によって識別されてもよい。
【０１５２】
フローチャート６００では、２つの例が説明される。第１オプションＡは、
１）２４時間の間、各センサに対し、センサ値の曲線を定義し、
２）期間の間、曲線を比較して、各センサに対する潜在的なパターンを導出し、及び、
３）異なるセンサに対する曲線を比較して、センサのグループ又は期間に対する潜在的なパターンを導出する、
ことを含む。
【０１５３】
第２オプションＢは、
１）１日２４時間を、１５分の増分などの所定の時間増分に分割し、
２）各日に対し、各所定の時間増分における各センサに対する平均センサ値を比較し、
３）各時間増分において、平均センサ値が所定の範囲内にあるかを判定し、及び、
４）そうである場合、その時間増分における潜在的なパターンを定義し、
５）各日に対し、各時間増分における異なるセンサに対する平均センサ値を比較し、
６）その時間増分において、少なくとも２つの異なるセンサに対する平均センサ値が所定の範囲内にあるかを判定し、及び、
７）そうである場合、その時間増分における潜在的なマルチセンサパターンを定義する、
ことを含む。
【０１５４】
ステップ６０６においてパターンが識別された後、ステップ５０８では、一次ユーザは、潜在的なパターンを確認することを依頼される。パターンがユーザによって確認された場合、ステップ６１２では、それが記憶される。それが確認されなかった場合、それは記憶されない。
【０１５５】
ステップ６２０では、現在のセンサデータが、記憶されたパターンと比較される。現在のセンサデータが所定の量だけパターンから逸脱する場合、ステップ６２２では、ユーザは通知される。センサデータが所定の量だけパターンから逸脱しない場合、ステップ６２４では、ユーザは通知されない。
【０１５６】
上述したように、逸脱が通知されることになるユーザの応答はまた、追加の学習のために学習アルゴリズムに使用されてもよい。例えば、一次ユーザ２２が、数回、かつユーザが通知を消去する都度、特定の逸脱を通知される場合、システム１４は、ユーザがそのような通知を通知されることを望んでいるかをユーザに問い合わせることができる。ユーザの応答がそうでない場合、同一の逸脱に対して再度、通知は送信されない。
【０１５７】
映像処理
デバイス１０の撮像センサ６０による場所の監視の間、場所における環境で何も発生していないことから、画像が変化しないときが長期間となることがある。例えば、誰も家にいないことがあり、監視されている部屋に誰もおらず、若しくは誰も通過しないことがあり、又は、部屋にいる人々が、部屋にいる時間の少なくとも一部の間に動いていないことがある（例えば、人が寝ている場合又はテレビを見ている場合）。本発明の実施形態に従って、撮像センサ６０によって記録された映像は、デバイス１０の処理デバイス５８によって、及び／又は、システム１４の処理デバイス１８によって分析される。本発明の１つの実施形態に従って、映像はデバイス１０の処理デバイス５８によって最初に分析され、及び、関心のある映像フレームが識別されるとき、それらは、システム１４の処理デバイス１８によるさらなる分析のために、ネットワーク１２を介してシステム１４に送信される。
【０１５８】
図２１は、この実施形態において映像処理に関与するデバイス１０の構成要素の例の概略図である。図２２は、映像処理に関与するシステム１４の構成要素の例の概略図である。撮像センサ６８によって収集されたデータは、２つの同一のストリームで処理デバイス５８に提供される。処理デバイス５８のデジタルシグナルプロセッサ７０２、又は、別個のデジタルシグナルプロセッサは、ストリームの１つにおける映像を圧縮し、及び記憶バッファ７０４に圧縮ストリームを記憶する。記憶バッファは、例えば、ＲＡＭ８２又は他のそのようなメモリにあってもよい。例えば、ＭＰＥＧ−４映像圧縮が使用されてもよい。
【０１５９】
圧縮されない第２ストリームは、撮像センサ６０によって、処理デバイス５８の映像分析モジュール７０６に提供される。映像分析モジュール７０６は、映像のフレームにおける動きなど、システム１４によるさらなる処理に相当する変化があるかを判定するソフトウェアモジュールである。
【０１６０】
映像分析モジュール７０６は、映像における変化の量を数値化し、及び、デバイスとシステム１４との間の利用可能な帯域幅を含む重み付けされた関数とすることができる、「関心度」スコアを算出する。重み付けされた関数は、システム１４からの情報／命令に基づいて更新されてもよい。関心度スコアは、バッファワーカモジュール７０８に提供されてもよい。バッファワーカモジュール７０８は、さらなる分析のために、どの圧縮フレームがシステム１４へのアップロードのためにアップロードバッファに送信されるかを判定するソフトウェアモジュールである。
【０１６１】
例えば、大量の映像に対する関心度スコアが閾値よりも大きい場合、バッファワーカモジュールは、ネットワーク１２を介したシステム１４への対応する大量の圧縮映像のアップロードのために、バッファ記憶装置７０４からアップロードバッファ７０６に映像を移動させる。大量の映像は、例えば、ＷｉＦｉ又はイーサネットによってシステム１４にアップロードされてもよい。スコアが閾値よりも低い場合は何も行われない。バッファワーカ７０８は、バッファ記憶装置７０４が限界に近いことを通知するとき、それは、最小の関心スコア、最も古い映像、又は、他のことに基づいて、映像を削除して、バッファに記憶された情報を最大化する。
【０１６２】
システム１４にアップロードされる大量の映像は、ネットワーク１２を介して、図２２における映像進入モジュール７１２によって受信される。映像進入モジュール７１２は、映像処理のために、大量の映像を処理デバイス１８の映像処理モジュール７１３に提供する。処理は、「入る」、「出ていく」、「交差する」、「起床する」などの動き特性化７１４、セグメント化７１６、及び特徴抽出７１８を含んでもよい。処理は、別個のエンティティ又はクラウドベースのシステムによって実行されてもよいことに留意されたい。
【０１６３】
セグメント化７１６は、いくつかのフレーム上で動いていない背景に対して動いている目的物を定義する。特徴抽出７１８では、動いている目的物の認識を促進することができる、セグメント化された質量から特定の特徴が抽出される。加えて、特性化のために、背景の動いていない部分から特徴が抽出される。
【０１６４】
映像処理モジュール７１３の出力は、動いている目的物を識別するための認識を実行する、学習モジュール７２０に提供される。次いで、通知モジュール７２２は、一次ユーザ２２、又は、補助連絡者２６などの別の当事者が、識別された動いている目的物を通知される必要があるかを判定する。そうである場合、通知モジュール７２２は、一次ユーザ２２及び補助連絡者２６により指定される方式で、ネットワーク１２を介して、一次ユーザ２２又は他のそのような当事者に通知を送信する。そうでない場合、通知は送信されない。
【０１６５】
学習モジュール７２０はまた、ネットワーク１２を介して、デバイス１０におけるバッファワーカ７０８にフィードバックを提供して、関心度スコアの閾値を調節し、又は、絶え間なく変化するテレビスクリーン若しくは天井のファンなど、関心度スコアの算出からそれらを除去する画像の部分をマスキングする。動いている間、ＴＶ又はファンは一般的に、関心のあるものではなく、及び背景の一部として考えられることがある。動いている目的物を識別することに成功するために十分なデータが提供されない場合、例えば、さらなる映像データがさらなる分析のためにシステム１４に提供されるように、閾値が下げられてもよい。これは、例えば、システム１４が同一の人を識別するためにユーザに問い合わせたままとする必要がある場合に明らかとなることがある。システム１４が効率的、時宜にかなった分析のために非常に多くのデータが提供される判定すると場合、又は、動いている目的物が、少ないデータで絶え間なく識別されることに成功すると判定される場合、閾値が上げられてもよい。
【０１６６】
オンボーディング段階の間、又は、映像の一部における動いている目的物を識別することができないとき、学習モジュール７２０は、映像内の目的物が人、子供又はペットであるかを識別する要求とともに、映像又は画像を一次ユーザ２２に送信してもよい。
【０１６７】
人又は子供の場合、システム１４はまた、人又は子供の識別を要求してもよい。一次ユーザ２２はまた、ユーザがその人、子供又はペットの存在／動きを通知されることを望んでいるかを問い合わされてもよい。一次ユーザ２２からのフィードバックに基づいて、システム１４は、家又は他の場所で住んでおり、又は、訪問している人の識別を学習する。システム１４はまた、一次ユーザが検出された動きを通知されることを望んでいないとき、及び、ユーザが検出された動きを通知されることを望んでいるときを学習する。
【０１６８】
デバイス１０上で実行される動作に戻ると、映像分析モジュール７０６は、例えば、受信された映像が、現在のフレーム又はフレームの一部を、前のフレーム又はフレームの一部と比較することによる動きを示しているかを判定してもよい。一例では、画像上でグリッドが重ね合わされてもよい。グリッドの各ポイントに対し、８×８又は他のサイズの画素パッチが定義され、及び、前のフレーム又は後続のフレームにおける同一の点の周囲の同一のサイズの画素パッチと比較される。フレームごとの差異は、フレーム内の１つ以上の目的物の動きを示す。動きベクトルがフレームごとに生成されてもよい。動きがない場合、ＭＰＥＧ−４映像圧縮にあるように、ゼロに等しいパッチにおける動きベクトル、及び非ゼロ動きベクトルを有する前のパッチが、後続のパッチとの比較のために繰り越される。
【０１６９】
別の例では、コンピュータビジョンで使用される技術などの、特徴検出及び認識技術が、映像分析モジュール７０６によって使用される。この例では、グリッドの代わりに、高コントラストの領域がフレームにおいて識別されて、際立った画像領域を識別する。最も際立った画像領域は、各フレームにおいて識別されてもよい。際立った画像領域は、フレームごとに比較されて、動きを検出する。動きを示すフレームは、モジュール７０６によって高関心度スコアが付与される。
【０１７０】
バッファワーカによって関心度スコアと比較された閾値は、デバイスで設定されてもよく、及び／又は、ネットワーク１２を介してシステム１４に提供されてもよい。上述したように、閾値はシステム１４によって変更されてもよい。
【０１７１】
認識の間に、システム１４に戻ると、この例における動き分析モジュールは、フレームにおいて動きが「どこで」で発生するかを判定し、及び、目的物分析モジュールは、「何」が動いているかを判定する。動いている「斑点」が、フレームにわたって動いているとして識別されてもよく、及び、動いている斑点の動きサインが、例えば、１５０のフレームなど複数のフレーム上の動きベクトルを定義することによって判定されてもよい。同様の動きをともにグループ化するために、ベクトルの全ての組のクラスタリングが実行されてもよい。それらのクラスタは、それに対して将来の動きを比較することができる「動きサイン」の辞書の基準を形成することができる。
【０１７２】
辞書内の動きサインはまた、学習処理の間に発展し、若しくは、ユーザ入力によって指定されたサインと比較されてもよく、又は、全てのデバイスで認識された全ての動きに対して比較されてもよい。ペットに対する動きサインは、子供及び大人のそれとは異なる。入るサイン及び出ていくサインは、多くの場所にわたって共通する特質を有する。動きサインは、辞書に記憶することもできる、動いている目的物の速度、足取りなどの動きキュー、及び／又は、サイズを考慮することができる。一次ユーザ２２は、学習／オンボーディング段階の間、及び、識別されていない斑点が検出されたときの後に、動いている目的物又は斑点を識別することを依頼されてもよい。辞書が含むのは、例えば、用語頻度−逆文書頻度及びＫ平均法訓練に基づいてもよい。そのサインを辞書に記憶することができる、著しく、かつ、共通して発生する対象の特徴（動いている斑点）は、例えば、ドアの開閉、人が部屋に入ること及び出ること、ペットが部屋を歩くこと又は走ることを含む。
【０１７３】
第２辞書は、映像から抽出することもできる、色、縁、角などの特徴を記憶するために作成されてもよい。この辞書は、映像内の動き又は位置に関わらず、人及びペットなどの目的物を認識するために、何が動いているかの「何」の特徴を記憶する。
【０１７４】
フィードバックは、動き認識、セグメント化又は特徴抽出ステップのいずれか１つ又は全ての間に、学習モジュール７２０から映像処理モジュール７１３に提供されて、学習処理、及び、動いている目的物を識別することに成功したことに基づいて、映像処理を改善することができる。
【０１７５】
他のセンサからのデータを含む映像ファイル及びのデータファイルが、それがそこから到来するデバイスの識別を含むメタデータとともに、セキュアソケットレイヤ（ＳＳＬ）接続などの暗号化チャネルに従って、デバイス１０によってシステム１４に送信されてもよい。本発明の実施形態に従って、デバイス１０は、音声、映像及びセンサデータを同時に送信する。それは、例えば、複数の独立したセンサを含むことができる、現在利用可能なホームオートメーションシステムとは異なる。デバイス１０は、システム１４による早急な応答を促進する、完全なデータセットを送信してもよい。家１２又は他の場所において、同時に複数のデバイス１０が動作している場合、それらは、変化するセンサデータを蓄積して、システム１４に送信するために同時に作動してもよい。
【０１７６】
温度、湿度、空気質などのセンサからの現在の映像ファイル及び現在のデータを含む、デバイス１０の現在の状態は、デバイスの識別、ジオロケーションによって判定されたデバイスの場所、及び、一次ユーザの識別と関連してデータベース２０に記憶されてもよい。デバイス１０の前の状態はまた、例えば、データベース２０若しくは他のそのような記憶装置、又は学習を促進するデータベースに保存されてもよい。補助連絡者、家庭のメンバー、グループメンバー及び通知ルールはまた、デバイス１０及び一次ユーザ２２の識別と関連してデータベースに記憶されてもよい。一例では、映像は、別個のデータベースに記憶され、及び、映像へのポインタが、他の状態情報と関連して記憶される。
【０１７７】
図２３は、アプリケーションに表示されるような、一次ユーザ２２のユーザデバイス２４に提供される通知７５０の例である。通知７５０は、それが発生する事象及び場所の記述７５２を含む。この例では、活動が、リビングルームで検出されている。通知はまた、ここでは午後２時１２分である時間７５４を含む。通知７５０はまた、ここでは動き検出である何が事象７５６を引き起こしたかを記述する。事象が発生した部屋の画像７５８がまた示される。画像をクリックすると、事象の映像が再生される。活動が発生した部屋の現在の映像を閲覧することを可能にするアイコン７６０がまた設けられる。一次ユーザ２２に対する行動のオプションを提供するために、別のアイコン７６２が設けられる。行動のオプションは、例えば、事象を誤ったアラームとして消去すること、補助連絡者２６に連絡すること、又は、警察２８、消防局３０若しくは救急車３２に連絡することを含んでもよい。
【０１７８】
図２４は、人が家に到着したこと及び到着したときを示す、ユーザデバイス２４に表示される通知７７０の例である。通知はまた、Ｔ／Ｈセンサ９０／８８、空気質センサ９４及びマイクロフォン７６にそれぞれ基づいた部屋の中の現在の温度、湿度、空気質及び雑音を含む。
【０１７９】
ジェスチャ及び音に基づくユーザ入力行動
上述したように、一次ユーザ２２は、スマートフォン又はウェブインタフェースからアプリケーションを通じてデバイス１０を制御することができる。デバイス１０はまた、能動的及び受動的な行動を通じてユーザによって制御されてもよい。デバイスを制御することができる能動的な行動は、例えば、ボイスコマンド及び物理的ジェスチャを含む。音声／音及びジェスチャ行動の組み合わせは、デバイスを制御するコマンドを生成することができる。音は、マイクロフォン７６によって検出されてもよく、及び、ジェスチャは、撮像センサ６０によって検出されてもよい。一例では、一次ユーザ又は家庭の他のメンバーは、例えば、セキュリティアラートを求めて電話をして、警察若しくは消防局などの機関に連絡することができ、又は、補助ユーザに連絡することができる。特定の行動は、ユーザが低レベルのアラートを発行する言葉によるコマンド、又は、高レベルのアラートを発行する特定のハンドジェスチャを指定するなど、所望の結果に基づいて適合されてもよい。当技術分野で公知なように、コマンドを認識することをシステムに教示するために音声認識技術が使用されてもよい。当技術分野で公知なように、ジェスチャを認識するためにジェスチャ認識技術が使用されてもよい。
【０１８０】
ユーザはまた、受動的な行動を通じてデバイスを制御することができる。動き及び映像キューは、受動的な行動を判定する。一例では、一次ユーザがデバイス１０の前を歩いて、デバイス及び／又はシステム１４が例えば、顔認識を通じて一次ユーザを認識した後、デバイスを作動不能化させることができる。デバイス１０はまた、その撮像センサ６０からの方向に基づく入力を感知して、特定の動きが標準的であるか又は異常であるかを示すことができる。
【０１８１】
時系列
事象がシステム１４及び／又はデバイス１０によって記憶されるとき、それらの場所における活動の「時系列」でそれがユーザに示されてもよい。時系列は、場所において、デバイス１０又は複数のデバイス１０によって捕捉された期間の間に所与の場所で発生した事象の線形、履歴スケジュールである。時系列は、ネットワーク１６を介してシステム１４及び／又はデバイス１０からユーザデバイスに提供される情報に基づいて、アプリケーションを介してユーザデバイス２４に表示される。時系列によって、一次ユーザ２２が、デバイス又はデバイス１０によって捕捉されるユーザ定義場所における全ての活動の概要を素早く得ることが可能になる。時系列によって、ユーザが、アプリケーションの制御の下、事象と前の通知との間を切り替えることが可能になる。
【０１８２】
時系列は、例えば、事象の２つのタイプ、関与の入力及び事象の入力から構成される。関与の通知は、一次ユーザ２２又は家庭のメンバー（信頼されたユーザ）などの他のユーザがデバイス１０と対話するときに生成される。事象通知は、デバイス１０が作動可能にされ、及び、異常な何かを検出するときに生成される。
【０１８３】
関与の入力は、特定の場所におけるユーザのデバイス１０との関与を捕捉することができる。例えば、関与の入力は、一次ユーザが家に到着し又は家を出発するときに生成される。他の関与の通知は、デバイスモードの変更、システムによって自動的に又は一次ユーザ２２によって起動されるか（例えば、「デバイスが現在作動可能にされている」）、若しくは、（例えば、「Ａｍｂｅｒ無効化デバイス」）に関わらず、以下でさらに詳細に説明されるように、一次ユーザが立ち上がること（以下でさらに詳細に説明される）、一次ユーザが通知の設定を変更すること（以下でさらに詳細に説明される）、又は、一次ユーザが事象を解決するとき、を含む。
【０１８４】
また、時系列によって、ユーザは事象通知を管理することが可能になる。例えば、一次ユーザ２２は、どのセンサが事象の作成をもたらしたかを理解することができ、単一の場所における複数のデバイスの場合に、家の中のどのデバイスが事象基準をもたらしたかを学習することができ、他の一次ユーザが「立ち上がった」とき（能動的にカメラを使用してリモートに記録していた）からビデオクリップ理解することができ、何時、かつ、どこから（ＧＰＳ位置を介して）誰が立ち上がったかを理解することができ、事象の重大度を理解することができ、時系列へのアクセスを有する他のユーザに対する入力に関するコメントを残すことができ、事象がどのように応答され、及び、どのユーザによって応答されたかを理解することができ、環境が標準であることを確かめるためにセンサ測定値を理解することができ、各事象の上位レベルの外観、及び詳細な外観を理解することができ、各事象に対するセンサの詳細を理解することができ、各事象の間にどのユーザが家にいたかを学習することができ、各事象がどの程度の期間続いたかを学習することができ、事象から映像を見ることができ、事象からの通知の状態を知ることができ、事象を社会的に知ることができ、事象報告（センサデータ、事象時系列、映像など）をダウンロードすることができ、事象を重要なものとしてマークすることができ、事象の映像及び詳細を電子メール送信又はテキストメッセージで送信することができ、並びに／又は、時系列へのアクセスを有する他のユーザに対するフィードバックを残すことができる。
【０１８５】
時系列は、デバイス１０が一次ユーザ２２に潜在的なセキュリティの脅威を通知した事象を含んでもよい。時系列はまた、例えば、一次ユーザが特定の事象を通知されることを望んでいない学習に起因して、又は、事象の重要度が欠けていることに起因して、一次ユーザ２２への通知をもたらさない事象を含んでもよい。
【０１８６】
図２５は、システム２４及び／又はデバイス１０から受信されたデータから、アプリケーションを介してユーザデバイス２４によって表示することができる事象の時系列８００の例である。時系列は、ここでは「Ｂｒｏｏｋｌｙｎアパートメント」であるデバイス１０の場所８０２、現在の時間８０４、日付（本日）８０６、及びその日（８）前に発生した事象の数を識別する。３つの事象が各事象の時間８１０、及び事象の要約８１２とともにリスト化される。時系列８００は、現在表示されていない追加の事象を見るためにユーザによってスクロールされてもよい。時系列はまた、事象が前に閲覧されていたか（８１４）を示す。
【０１８７】
図２６は、通知の時系列８２０である。通知の２日が示され、及び、時系列が追加の通知を表示するためにスクロールされてもよい。
【０１８８】
複数の一次ユーザ２２が１つ以上のデバイス１０共有する場合、各ユーザの時系列が、わずかに異なって出現することができ、及び、それらに対してカスタマイズされてもよい。補助連絡者２６及び他の当事者は、一次ユーザ２２によって許可される場合に、時系列へのアクセスを有することができる。
【０１８９】
個々のユーザに対して何が標準的であり若しくは異常であるかに対して特に適合された物理的な場所の中の生活の時系列のこの概念は、カメラ／撮像センサ６０、マイクロフォン７６、及び他のセンサと緊密に連携して動作する、センサの観点からの１つの物理的場所で何が発生しているかを要約する。例えば、デバイス１０及びシステム１４は、誰がある場所にいるか（アカウント、顔認識及び／又はユーザパターンに結び付けられたモバイルデバイス上のジオロケーションサービスを使用して）、Ｔ／Ｈ湿度センサ９０／８８に基づいて内側の、及び、公的に利用可能な天気情報を介して外側の温度及び湿度が何度であるか、マイクロフォン７６及び他のセンサを介して何の雑音及び活動が発生しているか、並びに、それらの活動の全てが標準的であり又はそうでないかを理解する。比較的「標準的であること」又は「標準的でないこと」に加え、活動は、時系列上で要約されてもよく、そこでは、一次ユーザ２２は、各事象を即時に探求して、それが生命に影響を与えるか、及び、どのように影響を与えるかを理解することができ、並びに標準的なインシデントでない事象に対して通知されてもよい。
【０１９０】
デバイス１０及び／又はシステム１４はまた、所与の場所において何が発生したかの「日」又は「週」を提供して、非常に迅速なビデオクリップビュー及びその週の間に場所で何が起きたかの理解を提供してもよい。ユーザは、週、日又は他の期間のビデオクリップの概要を電子メールで送信されてもよい。
【０１９１】
一次ユーザ２２はまた、それらの場所のいずれかからそれらのデバイス１０にアクセスして、それらを「立ち上げる」ことが可能な、そのデバイスから生のストリーミング映像を見ることができる。それらはまた、場所から現在のセンサ測定値を把握することができ、及びそのときに誰が家にいるか／不在にしているかを把握することができる。一次ユーザ２２は、ビデオクリップ及び対応するセンサデータを保存するオプションを有する。
【０１９２】
クリップライブラリによって、ユーザは、フラグを付けたビデオクリップを記憶することが可能になり、ユーザはシステム１４にそれらを記憶することを要求する。それらは、裁判において、又は、警察の報告のために後に使用することができる強盗のクリップを通知された事象のクリップを含むことができる。ユーザは、例えば、注目すべき何かをしている家庭のペットの愉快なクリップなど、幸福な事象のクリップをも保存することを要求してもよい。アプリケーションを介したクリップへのフラグ付けは、システム１４上のデータベース２０又は他の記憶装置へのそれらに対し、そのクリップを保存する。クリップライブラリは場所に属する。一次ユーザは、クリップライブラリから、例えば、Ｆａｃｅｂｏｏｋ（登録商標）及びＴｗｉｔｔｅｒ（登録商標）などのソーシャルネットワークに、保存されたクリップを共有してもよい。
【０１９３】
図２７は、場所における生活の中で日又は週を生成する方法９００の例である。ステップ９０２では、撮像センサ６０などの映像カメラを含む監視デバイス１０によって場所が監視される。ステップ９０４では、一次ユーザ２２は、場所における事象が通知される。上述したように、ユーザは、システム１４によって通知されてもよい。ステップ９０６では、ユーザが通知された場所におけるそれぞれの事象に関連するビデオクリップが記憶される。上述したように、ビデオクリップは、デバイス１０によってシステム１４にアップロードされてもよい。ステップ９０６では、ビデオクリップは、システム１４によって、データベース２０又は他の記憶装置に記憶されてもよい。
【０１９４】
ステップ９０８では、ユーザの要求があると、ビデオクリップがシステム１４によって記憶される。ユーザ２２は、その特定のビデオクリップが、ユーザデバイス２４上のアプリケーションを介して記憶されることを要求してもよい。
【０１９５】
ステップ９１０では、システム１４は、ユーザ２２から要求を受信して、アプリケーションを介して、指定された期間の間、記憶されたビデオクリップを提供する。ステップ９１０では、システムは、記憶されたビデオクリップを読み出し、及び、ステップ９１２では、ユーザデバイス２４上で表示するために、それらをユーザに提供する。ビデオクリップは、例えば、単一のファイルに編集されてもよく、及び電子メールを介して送信されてもよい。アプリケーションは、ユーザ２２に要求されるとき、映像を開き及び表示する。
【０１９６】
センサデータの傾向
また、アプリケーションによって、一次ユーザ２４がそれらの場所内で特定のセンサに関する視覚化されたデータを閲覧することが可能となるように、デバイス１０におけるセンサからセンサデータの傾向を閲覧することが可能になる。例えば、空気質センサが始動される場合、グラフがシステム１４によって生成され、及び一次ユーザ２２に送信されてもよく、一次ユーザ２２は、空気質の測定値、センサが停止したときの映像及び音声クリップ、いずれの空気質がアラート、命令（例えば、外に出る、窓を開けるなど）、及び行動の呼び出し（ポイズン制御を呼ぶためにここを押下する、など）の前であるかの履歴グラフを示す。
【０１９７】
時間とともに、システム１４によって発展された環境センサデータに関する見解がまた、それぞれの一次ユーザ２４に送信されてもよい。センサデータは、同様に位置する一次ユーザ２４からのセンサデータによって判定されるような平均測定値に対してベンチマークされてもよい。例えば、「誰も家にいないときに、温度は平均７６度である」。年におけるほとんどの家の所有者は、家に誰もいないときに約７０度の内部温度を保つ。一次ユーザ２２はまた、センサデータを見ることが可能であり、及び、それを前の時間フレーム（すなわち、今月と先月）と比較することが可能である。一次ユーザ２２はまた、特定のセンサからのデータからのデータの間を切り替える能力を有してもよく、それは、それらに関連するそれらのセンサに対するグラフを示し、及び、それらに関心がないセンサデータ及び対応するグラフを妨げる。
【０１９８】
ジオロケーション
例えば、誰が場所に近づいており、入っており又は離れているかを識別するためにジオロケーションが使用されてもよい。ジオロケーションはまた、例えば、一次ユーザ２２、及び家庭のメンバーなどの他の人の場所を判定するために、デバイス１０及び／又はシステム１４への入力を提供するために使用されてもよい。ジオロケーションサービスは、大部分のスマートフォン又はスマートモバイルデバイスで利用可能である。デバイス１０及びシステム１４の作動不能化及び作動可能化は、ジオロケーションに基づいてもよい。例えば、一次ユーザ２２が、場所にあり又は場所に近づいていると判定されるとき、ユーザによって要求される場合に、デバイス１０／システム１４は、人が監視された場所に近づいており又は入っていることの通知を発行することから作動不能とされてもよい。この例では、通知が送信されない間、データが引き続き収集されてもよい。同様に、一次ユーザ２２が場所を離れていると判定されるときに、ユーザによって要求される場合に、デバイス１０／システム１４は通知を提供するために作動可能とされる。
【０１９９】
一次ユーザ２２が家１２又はデバイス１０が位置する他の場所の周囲の限定された半径に近づき始めるとき、それは、ユーザが領域におり、及びそれらが入る「準備」ができているホームネットワークに信号を送信する。この「準備」ができていることは、例えば、場所に入っている人がユーザである可能性があり、よってアプリケーション又は無線ネットワークを通じて場所にいるユーザを確認するためにもう一つの所定の時間セット（例えば、４５秒）だけ待機し、及び、それ自体を作動不能化すべきであることから、動きアラームのアラートを入力すると、ユーザに即時に通知しないようにデバイス１０／システム１３に通知する。
【０２００】
例えば、家庭のメンバーなどの一次使用２４によって指定された他のユーザのジオロケーションはまた、ユーザに警告することなく、デバイス１０／システム１４を作動可能化又は作動不能化してもよい。そのような情報は、「時系列」に保存されてもよいが、必ずしもセキュリティインシデントとしての通知をもたらさない。
【０２０１】
デバイス２４の地理的位置を探索することによって、家１２の中の他の優先度がまた制御されてもよい。例えば、優先度は、誰が家にいるかに応じて異なってもよい。セキュリティ及び安全の観点から、特定の行動及び通知は、電話のジオロケーション及び場所内の個人の近接度の確認と調節されてもよい。アカウントの個々の保有者は、個人に対する優先度を設定することができる。行動は、特定の通知であってもよい。例えば、一次ユーザの子供の場所が、例えば、活性化される場合、一次ユーザ２２は、子供の活動の系列又はグラフを受信することができる。
【０２０２】
ジオロケーションは、種々の方法で実行されてもよい。一例では、モバイルデバイスなどのユーザデバイス２４は、例えば、ＧＰＳ座標を使用して、ユーザの家１２の中心から周囲の広範な領域（約１Ｋｍ）を監視してもよい。ユーザデバイス２４が、それが広範な領域に入ったことを認識するとき、ＢＴＬＥデバイスを使用して作成されるミニジオフェンスである、ｉＢｅａｃｏｎと称されるより狭い領域の探索を開始してもよい。ユーザデバイス２４がｉＢｅａｃｏｎを認識するとき、それは、通知を作動不能にするＨＴＴＰ要求をシステム１４に送信する。
【０２０３】
別の例では、モバイルユーザデバイス２２が、それがより広範な監視された領域に入ったことを認識するとき、それは、Ｂｌｕｅｔｏｏｔｈの低エネルギーデバイスであるデバイス１０の探索を開始する。ユーザデバイス２４に接続されるとき、ＢＴＬＥデバイス１０は周辺デバイスになり、及びユーザデバイス２４は中央デバイスになる。ユーザデバイス２４は、バックグラウンドで周辺デバイスの探索を継続する。ユーザデバイス２４が周辺デバイスを検出するとき、それがユーザのデバイス１０であると検証し、及び、通知を作動不能にするＨＴＴＰＳ要求をシステム１４に送信する。
【０２０４】
別のデバイス１０の一次ユーザ２４、又は一次ユーザのグループにおける補助／連絡者２６であるとしてプロビジョニングされる一次ユーザ２４のいずれかとすることができる二次ユーザは、同様に、一次ユーザ２２によって設定されるような基準に基づいて、デバイスのセキュリティ及び通知を作動可能及び作動不能にするために使用されてもよい。
【０２０５】
第三者情報及びＡＰＩ
本発明の別の実施形態に従って、システム１４は、Ｆａｃｅｂｏｏｋ又はＬｉｎｋｅｄＩｎ（登録商標）などの、第三者へのシステムと第三者との間の接続が、例えば、ユーザの場所を学習すること、又は誰が潜在的な補助連絡者であるかを学習することを可能にしてもよい。ユーザが、Ｆａｃｅｂｏｏｋアカウントをシステム１４に接続する場合、例えば、システムは、Ｆａｃｅｂｏｏｋにおける友人の全ての画像をスキャンし、及び、それらが補助連絡者２６として指定されるべきであるかを一次ユーザに問い合わせすることができる。スキャンされた画像に基づいて、デバイス１０及びシステム１４は、例えば、撮像センサ６０によって捕捉された画像又は映像を一致させ、及びそれをスキャンされた画像と比較することによって、それらが家１２に入る場合、Ｆａｃｅｂｏｏｋ上の友人を認識することが可能になることがある。次いで、一次ユーザ２２は、誰が家１２に入ったかを通知されてもよい。
【０２０６】
本発明の別の実施形態に従って、システム１４は、自身の環境をよりよく理解するために、パブリック及び／又は自身のデバイス１０の他のユーザが、一般化、匿名にされたデータ及び個人の生活に関する特定のデータの両方を収集することを可能にするＡＰＩを作成してもよい。このオープンセキュリティプラットフォームは、デバイスをシステム１４に接続し、及び／又は、他のセキュリティ若しくは非セキュリティ関連の利点のためにシステム１４の態様を使用することを望む他のセキュリティ会社によって使用されてもよい。
【０２０７】
システムによって取得及び使用することができる他の第三者情報は、天気を含む。例えば、温度、湿度、及び空気質閾値は、例えば、局地的な天気に基づいて、システム１４によって変更されてもよい。
【０２０８】
局地的な犯罪の警告がまた、システム１４によって使用されてもよい。例えば、システム１４は、例えば、犯罪が領域内で減少していることをそれが把握している場合、ユーザの優先度が、通知を提供するべきでないことを示している状況の下、通知を一次ユーザ２２に送信してもよい。
【０２０９】
コミュニティ監視
本発明の別の実施形態は、システム１４と、システムに含めることをそれらが選択するユーザのソーシャルグループ／友人、家庭又は隣人との間の交流である。一次ユーザ２２は、ユーザデバイス２４上のアプリケーションを通じて、一次ユーザが「ソーシャルグループ」として認識し、及び、それらのユーザを一次ユーザの通知の補助者として識別する個人を指定してもよい。それらの補助者は、時系列の視点で相互の家を調査し、並びに、相互の安全及びセキュリティの監視を支援するためにともに取り組む特定の「グループ」に配置される。システム１４はまた、例えば、Ｆａｃｅｂｏｏｋ上で一次ユーザ２２の友人として識別される人を自動的に識別してもよい。
【０２１０】
それらのグループは、２人〜１０人以上のいずれかであってもよいが、人のコミュニティがセキュリティの観点から応答することを可能にする小さな社会的集団であることが意図される。グループのメンバーは、一次ユーザ２２の後、又は、高優先度の通知の場合には一次ユーザと同時に、のいずれかで、システム１４／デバイス１０から通知を受信する。これは、混雑が原因の応答を有効にし、そこでは、複数の人が通知に応答して、システムに対する正確かつ迅速な応答を保証する。加えて、一次ユーザ２２は、一次ユーザの状態を譲渡し、並びに所有権を渡し、及び、所定の期間の間、デバイスを補償するソフトウェア及びハードウェア上で制御する一次「鍵」を提供することができる。それらのデジタル鍵によって、一次ユーザの家を一時的な来客に賃貸し、又は、ユーザが休暇をとっているときに一次ユーザの家を検査するために家庭のメンバーの友人にアクセスを付与するときなど、一次ユーザ以外の何者かが家におり、又は、家を使用するとき、デバイス１０への一時的なアクセスを受信者に持たせることが可能になる。
【０２１１】
別の例では、一次ユーザ２２が通知に応答しない場合、所定の長さの後、例えば、システム１４によってグループの一部又は全てのメンバーに通知が送信される。グループのメンバーは、例えば、場所において何が進行しているか、又は何が通知を引き起こしたかの記述のいずれかを理解することが可能であってもよい。一次ユーザ２２は、適切な優先度を設定することによって、グループのメンバーがどの程度の情報を受信するかを判定してもよい。次いで、複数のグループのメンバーは、仮想近隣若しくは仮想コミュニティ監視としてインシデントを解決し、及びセキュリティ若しくは安全関連のインシデントに応答若しくは反応する責任を共有するためにともに取り組むことができる。
【０２１２】
一次ユーザのソーシャルグループ内の個人は、アプリケーションを通じて直接若しくは間接的な行動をとって、インシデントを解決し、又は、インシデント若しくは事象に応答することができる。一次ユーザ２２は、複数のグループのメンバーであってもよい。グループは、例えば、２人のユーザ、又は場所若しくは別の場所における家の所有者及び二次的な家庭のメンバーを含んでもよい。グループメンバーはまた、グループにおける他のメンバーの時系列へのアクセスを有してもよく、及び、グループからメンバーを追加又は削除してもよい（グループ設定及び優先度に応じて）。グループによって、人が、親、子供、近隣者、及び友人などの、セキュリティ又は安全を行うのにそれらを支援するために既に知っており、かつ信頼している人を連れているようにすることができる。
【０２１３】
加えて、グループは、共同住宅又はオフィスなどの建物の一部の物理的な建物の住民の一部又はすべてを含む。このグループは、確認されたインシデント、又は、温度、湿度及び空気質の測定値などの、限定された情報を共有してもよい。建物又はオフィスの複数のメンバーは、オフィス内のデバイスへの供給を共有し、及び、通知又は応答を共有する。物理的な場所で何が進行しているかを把握することは、グループの全てのメンバーに有益である。人は、それらがデバイス又はメンバーシップを有していない場合でさえ、グループのメンバーとすることができる。例えば、それらがいずれかの者の補助者とすることができ、及び、他の人のセキュリティに参加する能力を引き続き有することができる。しかしながら、この場合、それらは自身の入力を有さなくてもよい。
【０２１４】
グループはまた、コミュニティであってもよく、及び、警察又は他の機関に対する入力を含んでもよい。グループのメンバーは、いずれかの者若しくは物のいずれかが所有者によって確認されるべき即時的な通知、又は、高熱、一酸化炭素若しくは他の生命の安全に関連する情報が検出される即時的な通知を受信する。会社／エンティティをサポートする適切な政府機関又は非政府機関は、デバイス１０及び／又はシステム１５から直接又は間接的に連絡をとられて、インシデントが異常であると見なされるかのインシデントを通知／報告することができる。代わりに、デバイス１０／システム１４は、通知が一次ユーザ又はグループメンバーによって承認されないままである場合に、機関に警告するように一次ユーザ２２によって構成されてもよい。
【０２１５】
相互に監視する近隣者のクラスタとは別の第２層は、システム１４と地方の機関との間の交流である。警察及び他の機関に通じる専用ソフトウェアアプリケーション又はウェブサイトは、犯罪及び他の安全情報に関するデータである、ユーザの家から関連するグループに直接、デバイス１０によって収集されたデータを供給することができる。会社／エンティティをサポートする適切な政府機関又は非政府機関は、デバイス１０及び／又はシステム１４から直接又は間接的に連絡をとられて、インシデントが異常であると見なされるインシデントを通知／報告することができる。代わりに、デバイス１０及びシステム１４は、適切な設定を設定することによって、一次ユーザ又はグループメンバーによって承認されないままである場合に、機関に警告するように一次ユーザ２２によって構成されてもよい。
【０２１６】
ユーザアプリケーション
上述したように、一次ユーザ２２及び他のユーザは、ユーザによって許可される場合に、モバイルデバイス、又は、ラップトップ若しくはデスクトップコンピュータなどの他の処理デバイスを介して、デバイスにおけるアプリケーションを通じて、デバイス１０及びシステム１４と通信してもよい。アプリケーションから、ユーザは、デバイスに対する設定を制御し、異常である何かが発生するときに通知を受信し、及び、適切な方式で応答する能力を有する。モバイルアプリケーションの特徴は、１つの家の中で何が発生するかの全体的な視野、及び、異なる状況で１つの家を効果的に監視する必要なツールを一斉に提供するために作用する。
【０２１７】
特定の通知は、モバイルデバイス、タブレット、コンピュータ又は他のウェブ接続デバイス上でユーザに送信される。ユーザの優先度に基づいて、電子メール、電話、テキストを介して、又は、アプリケーションメッセージでメッセージを送信することができる。デバイス１０及びシステム１４からの入力に基づいて、通知又はアラートがユーザにプッシュされて、システムによって生成された関連するインシデントがそれらに知らされる。
【０２１８】
他のタイプの通知は、デバイス通知を含む。それらは、ヒューマン対話によって生成されないシステムに関連する通知である。例えば、デバイス通知は、システムが電力を失うとき、又は、システムがインターネットから切断されるときに、ユーザに送信される。また、デバイスの機能に関連しないいくつかのクラスの通知がユーザに送信される。それらは、第三者の天気情報、サービスのプランに対する残りの支払い、容量に達する割り当てられたデータ記憶領域、通知に関連するＳＤＫ／ＡＰＩ、ソフトウェア更新、補助者の導入の確認、通知が補助連絡者にエスカレーションするとき、及び／又は、追加のユーザ通知の確認など、非デバイス、非ヒューマン対話の生成される通知である。
【０２１９】
カスタムモード
デバイス１０及びシステム１４は、動作の異なるモードで動作してもよい。動作のモードは、ホームモード、アレイモード、夜間モード、プライバシーモード及び／又は休暇モードを含む。モードは、例えば、容量性スイッチ１１４を介して、及び、ユーザデバイス２４におけるアプリケーションを介して、デバイス１０上で直接変更されてもよい。各モードは、例えば、ＲＧＢのＬＥＤ９６によって表示される色によって表されてもよい。
【０２２０】
夜間モードの間、デバイス１０及びシステム１４は、事象のあらゆる事例をユーザに通知することなく、ユーザの家を引き続き監視することが可能になる。例えば、ユーザは、例えば、デバイス１０が動き、又は、温度の急上昇を検出するときなど、重要なアラートを受信し、及び、次の朝まで、セットアップの間又は後に、全ての他のアラートが遅延されるようにするためのみに、夜間モードを設定することができる。
【０２２１】
休暇モードでは、デバイス１０及びシステム１０は、高アラートモードにあってもよい。例えば、システムは、ユーザ又は補助連絡者を待つ代わりに、動きが検出されるとき、自動的にサイレン８６を鳴らして、事象を解決することができる。加えて、エスカレーションの優先度は、通知を同時に受信する一次ユーザ２２及び補助連絡者とともに一時停止される。
【０２２２】
加えて、休暇モードでは、一次ユーザは、所定の期間の間、補助連絡者又は他の当事者に、一次ユーザ状態を譲渡し、並びに、所有権を渡し、及び、デバイス１０及びシステム１４上で制御するための一時デジタル「鍵」を提供してもよい。
【０２２３】
また、それらのデジタル鍵によって、一次ユーザ以外の何者かが家におり、又は、家を使用する例において、受信者がデバイス１０へのアクセスを有することが可能になる。例えば、一次ユーザの家を一時的な来客に賃貸し、又は、それらが休暇にあるときに一次ユーザの家を検査するために家庭のメンバーの友人に一時的なアクセスを付与するときである。
【０２２４】
本明細書で説明される本発明の実施形態の例は提示にすぎず、かつ説明された実施形態の態様を認識する当業者によって、以下の特許請求の範囲で定義される、本発明の趣旨及び範囲から逸脱することなく変更されてもよい。
【図１】
2016524209.tif 000003
【図２】
2016524209.tif 000004
【図３】
2016524209.tif 000005
【図４】
2016524209.tif 000006
【図５】
2016524209.tif 000007
【図６】
2016524209.tif 000008
【図７】
2016524209.tif 000009
【図８】
2016524209.tif 000010
【図９】
2016524209.tif 000011
【図１０】
2016524209.tif 000012
【図１１】
2016524209.tif 000013
【図１２】
2016524209.tif 000014
【図１３】
2016524209.tif 000015
【図１４】
2016524209.tif 000016
【図１５】
2016524209.tif 000017
【図１６】
2016524209.tif 000018
【図１７Ａ】
2016524209.tif 000019
【図１７Ｂ】
2016524209.tif 000020
【図１７Ｃ】
2016524209.tif 000021
【図１８】
2016524209.tif 000022
【図１９】
2016524209.tif 000023
【図２０Ａ】
2016524209.tif 000024
【図２０Ｂ】
2016524209.tif 000025
【図２１】
2016524209.tif 000026
【図２２】
2016524209.tif 000027
【図２３】
2016524209.tif 000028
【図２４】
2016524209.tif 000029
【図２５】
2016524209.tif 000030
【図２６】
2016524209.tif 000031
【図２７】
2016524209.tif 000032
【国際調査報告】
2016524209.tif 000033
2016524209.tif 000034
2016524209.tif 000035