(57)【要約】乳幼児、子供、病人や他の世話を要する人の監視システムは、コンピューターの視覚、聴覚、及び他のモダリティの入力を用いて、世話人及び／又は被世話人の状態及びその環境を解析する。条件は、通常条件若しくは警報条件としてクラス分けされ、映像、音声及び他の入力の記録を含んでよい情報のある警報信号が生成される。システムは、また、その状態信号における曖昧さを低減すべく、占有者からの反応を誘起する能力を有し、クラス分け可能な入力を促進させる。
2004531800.tif 000002
【特許請求の範囲】
【請求項１】
監視を要する第１の人を監視するための装置であって、
監視領域内に位置する環境監視器から少なくとも１つの監視信号を受信するようにプログラムされたコントローラを含み、
該コントローラは、前記環境監視器に応答して前記第１の人を脅かす少なくとも１つの警報条件をクラス分けし、クラスデータを作成するようにプログラムされ、また、
該コントローラは、前記クラスデータに応じて、前記警報条件の発生の直前若しくは直後の少なくとも一方における前記監視信号の少なくとも一部を含む警報信号を生成するようにプログラムされている、装置。
【請求項２】
前記少なくとも１つの監視信号は、静止画像、映像及び音声データのうちの少なくとも１つを含む、請求項１記載の装置。
【請求項３】
前記コントローラは、顔を識別するようにプログラムされており、前記警報条件は、顔の識別、若しくは、顔の識別の失敗に応じるものである、請求項１記載の装置。
【請求項４】
前記コントローラは、占有者による行動を誘引するようにプログラムされ、前記監視信号は、該占有者による行動に応じるものである、請求項３記載の装置。
【請求項５】
前記コントローラは、占有者による行動を誘引するようにプログラムされ、前記監視信号は、該占有者による行動に応じるものである、請求項１記載の装置。
【請求項６】
前記コントローラは、話者の声を識別するようにプログラムされ、前記警報信号は、前記話者の声の識別、若しくは、前記話者の声の識別の失敗に応じるものである、請求項１記載の装置。
【請求項７】
前記少なくとも１つの監視信号は、人による呼吸の低下を検出するように構成された検出器を含む、請求項１記載の装置。
【請求項８】
前記警報信号は、前記警報条件の発生の直前若しくは直後における前記監視信号の少なくとも一部を含む、請求項１記載の装置。
【請求項９】
前記警報信号は、音声信号、文字データ信号及び映像信号の少なくとも何れかを含む、請求項１記載の装置。
【請求項１０】
監視を要する人の環境を監視する監視システムであって、
少なくとも１つのセンサからの少なくとも１つの信号を受信するように接続されたコントローラを含み、
前記少なくとも１つのセンサは、前記人の世話人の第１の状態及び前記人の第２の状態に応答して第１の信号及び第２の信号を生成し、
前記コントローラは、前記第１の状態が第１の所定の範囲を逸脱したときに第１の警報信号を発生し、前記第２の状態が第２の所定の範囲を逸脱したときに第２の警報信号を発生するようにプログラムされている、監視システム。
【請求項１１】
前記第１の警報信号は、前記第１及び第２の信号の少なくとも一方のサンプルを含む、請求項１０記載の監視システム。
【請求項１２】
前記コントローラは、前記第１の状態が第１の所定の範囲を逸脱したときに前記世話人による行動を誘引するためのメッセージを生成するようにプログラムされている、請求項１０記載の監視システム。
【請求項１３】
監視を要する人を監視する方法であって、
前記人の状態若しくは前記人の環境を指示する第１の信号を生成するステップと、
遠隔にいる監視人の注意を必要とするイベントを検出する検出ステップと、
前記検出ステップの結果に応答して、前記第１の信号の少なくとも一部を前記遠隔にいる監視人に送信する送信ステップとを含む、方法。
【請求項１４】
前記送信ステップは、音声、映像及び文字データの少なくとも１つを含む電磁信号を送信することを含む、請求項１３記載の方法。
【請求項１５】
前記人は、乳幼児であり、前記検出ステップは、該乳幼児の呼吸の低下を検出することを含む、請求項１３記載の方法。
【請求項１６】
前記検出ステップは、音声信号及び映像信号の少なくとも一方を検出し、前記音声信号及び映像信号の少なくとも一方における所定のパターンをクラス分けすることを含む、請求項１３記載の方法。
【請求項１７】
前記検出ステップは、子供及び子供の環境以外の人の挙動を検出することを含む、請求項１３記載の方法。
【請求項１８】
前記検出ステップは、前記人若しくはその他の顔を識別し、前記人の体質をクラス分けし、前記人の人相をクラス分けし、前記人若しくはその他の動きの速度を検出し、占有領域内の人の数を検出し、及び、声の特性を識別することの少なくとも１つを含み、該識別、クラス分け及び検出は、自動機械処理である、請求項１３記載の方法。
【請求項１９】
前記検出ステップは、移動し、話し、若しくは他の検出可能な活動をする前記人若しくはその他の少なくとも一の動きの欠落を検出することを含む、請求項１３記載の方法。
【発明の詳細な説明】
【０００１】
本発明は、病人、乳幼児、子供若しくは注意が必要な他の人を取り巻く条件により保証された時に警報信号を生成する装置に関する。
【０００２】
ビデオカメラが関心の対象若しくは領域に向けられ、訓練された観測者によって観測される、遠隔安全監視システムは、本分野で知られている。また、携帯可能な受信機へ音声の送信を行う病人や乳幼児の監視装置は、市場にて入手可能である。しかしながら、これらの装置は、子供や乳幼児のような、関心の対象や領域への保護を供給するために不断の注意を必要とする。
【０００３】
子供や乳幼児の突然死症候群（ＳＩＤＳ）を防止する補助をするため、例えば乳幼児の寝る位置を監視する子供や乳幼児の自動監視装置が提案されている。米国特許第５，８６４，２９１号に提案される一アプローチは、呼吸を検出するため乳幼児の胴の周辺にて呼吸検出ストラップを用いる。その他（米国特許第５，６３８，８２４号）は、同一の目的のために、超音波センサ及び米国特許第５，９１４，６６０号の位置センサを用いることを提案する。しかしながら、これらのタイプの監視装置の自動化は、呼吸していないか若しくは所期の位置での就寝していない以外の理由で苦悩している幼児に対しては殆ど役に立たない。また、警報信号は、誤った警報を含む場合があり、また、苦悩の原因を診断するのに殆ど役に立たない。
【０００４】
監視される人の身体的若しくは精神的な状態は、医療診断目的のためにコンピューターにより決定することもできる。例えば、この参照により本明細書の開示に含められる、米国特許第５，６１７，８５５号は、診断を補助するために、脳電図及び他の診断データと共に顔及び声の特徴をクラス分けするシステムを開示する。この装置は、精神療法及び神経学の分野に目標が向けられている。しかしながら、この及び他のかかる装置は、通常の環境内で人を監視するために設計されていない。
【０００５】
更なる他の適用範囲では、機械が、機械認証及び確認若しくは利便性のために、自動的に占有者の存在や占有者の特別な特徴を検出する。この目的のため、幾つかの先行技術のシステムは、生物測定的なセンシング、近接検出器、無線認識タグや他の装置を採用する。
【０００６】
ＥＰ０７１６４０２Ｂ１号は、赤外線センサ及びファジー推理システムを用いて訓練スペース若しくは他のスペースに入る人の数を検出する方法を開示する。人の数が所望の限界値を超えたか若しくはアンバランスになったとき、システムは、当該作用への注意の喚起をすることができ、その条件を補正する装置にリンクされてよい。
【０００７】
ＵＫ２０２７３１２Ａ号は、標準的な映像信号を生成する赤外線カメラを用いて魚の動きを検出する方法を開示する。
【０００８】
ＵＳ４５２４２４３号は、ユーザが特別な間隔でスイッチを操作することを必要とするシステムを開示する。それを行わない場合、非活動のアラームが生成されることになる。
【０００９】
ＵＳ５９０５４３６号は、トリガされるべき家庭内の種々のセンサの欠陥が、中央監視部でかかる状態を指示する信号の生成をもたらす、システムを開示する。この開示は、家に暮らす老人の監督に向けられている。
【００１０】
ＵＫ２１７９１８６Ａ号は、動きが所定の時間検出されない場合にアラームがトリガされるシステムを開示する。警報は、ユーザがスイッチをリセットできるように付与される。
【００１１】
ＵＳ６００２９９４号は、家の中の戦略的な位置に置かれた送信機が、人が送信機をトリガするセンサの位置に存在するときはいつでも、トリガされるシステムを開示する。また、このシステムは、ユーザが使用すると予測される機器及び装置に取り付けられる他の入力を採用する。このシステムは、通常の使用パターンを認識するように訓練される。送信機は、通常パターンが追従されない場合に中央監視装置に信号を送信する。
【００１２】
この参照において、生理学的な測定値は、ユーザの血圧、心拍数、体温、体重及び血糖値を含んでよい。非生理学的な測定値は、室温、尿から出るアンモニア、痛んだ食物からのメタン、煙の存在、電気尿使用頻度、水の使用頻度、蛇口からの流れる水の温度、動きセンサにより指示されるような選択された領域における人の動き、トイレ、電話、ストーブ、電子レンジ、トースター、オーブン、冷蔵庫、冷凍庫、食器洗い機、フロ、シャワー、生ごみ処理手段、洗濯機、乾燥機、郵便箱、ドア及び乗り物のような機器の使用を含む。
【００１３】
顔の機械識別は、広く開発されている技術である。顔を写真撮影若しくは認識するためのシステムに対するＧＢ２３４３９４５号では、コントローラは、風景中の動く顔を認識し、それらを追従して、顔若しくはその識別可能な特徴を識別するのに十分な画像の捕捉を可能とする。例えば、このシステムは、宝石店のセキュリティシステムにおいてプルダウン式の帽子やフェースマスクを認識すると同時にアラームを発令することができうる。
【００１４】
監視の必要な人を監視するシステムに対して本分野において、よりロバストに、より微妙な手掛かりに応答でき、監視人により有益な情報を提供できることが依然として必要とされている。
【００１５】
要約すると、警報システムは、介護を必要とする人の状態、当該人に付き添う他の人の状態、及び、当該人の環境を監視する。警報システムは、情報的な警報信号若しくはこれらのファクターについての情報を含むメッセージを生成して、メッセージを受ける者が、何が起こっているかを理解できるように補助する。一実施例では、警報信号は、介護を必要とする人に向けられたカメラから供給される生のビデオ及び／又は音声である。その他の実施例では、警報信号は、例えばメッセージ“介護を必要とする人が３時間いません”、“動きが２０分検出できません”、“呼吸が停止しています”、若しくは“介護人がいません”のような、アラームが発される状態及び条件に関する象徴的なデータセットである。更なるその他の実施例では、システムは、その場にいる介護人からの応答のような、行動を促進させる応答を生成する。警報信号は、電話線、インターネット、若しくは無線チャンネルにより送信されてよい。
【００１６】
人工知能及びロボットの分野は、機械によるその周辺の十分な検出を可能とする技術が生まれており、これにより、例えば、機械により、所定の条件が認識され、乗り物が案内され、対象及びそれらの向きが識別される。自律型観測者と称されるシステムの構成要素は、工場で製造され、機械が領域内で観測者に追従し、非常経路を追跡することを可能とする。類似の技術の他の用途は、プレゼンテーションをする話者に追従し、話者のジェスチャコマンドに応答するビデオ追跡システムを含む。本発明の実施例では、画像及び映像認識、音声認識の技術、及び他の入力が、監視される介護者の条件を推測するために適用されてよい。
【００１７】
人工知能（ＡＩ）原理は、現在の状態をモデル化するため、ビデオ、音声、及び／又は他の入力を受信するクラス化エンジンにより使用される。条件が注意を必要とするもの（窮迫イベント）としてクラス化されるとき、窮迫イベントまで記憶されてよいビデオ、音声及び他のデータは、生のデータと共に、認識されたイベントの属するクラスの指示と共に監視装置に送信されてよい。例えば、泣いている人により生成される音声信号は、“人が泣いている”状態として、単独で若しくは泣いている介護を必要とする人の映像データのような他のデータのクラス化と共に、クラス化されてよい。適切な監視システムに対する条件クラスは、次のようなイベントを含んでよい。
１．従来技術の装置におけるような呼吸センサ、動きセンサ、若しくはオーディオセンサによるトリガ
２．介護必要人に付く乳母やオペア若しくは他の介護人の反応時間の遅れ
３．部屋の禁止領域への介護必要人の動き（腹ばいで進む動き）
４．落下、走り、通常的な歩き、腹ばいでの進行に対応する突然の動き
５．前回以外の１回につき検出される乳幼児や子供のような素早い動きのような通常的な動きの欠如
６．介護必要人若しくは他の個人の空間内の存在及びその数
７．所定時間に亘るスペース内の占有者の服、顔の特徴等の整合性
８．音の特性（シグニチャ）に基づく、大きな音、通常の音及び異常な音
９．音源の位置
１０．不許可スペースの占有
１１．介護人が介護必要人から異常な時間離れているか否か、若しくは、介護人が特定のスペースで異常な時間を費やしているか否かのような、占有パターン
１２．監視システムへの損傷に一致するパターン
１３．不法占有者の声の特性若しくは認識されない声の特性
１４．占有者の人相及び体質
１５．スペース内のセキュリティシステムの状態
１６．占有スペース内の非認識対象、若しくは、予期しない位置に移動若しくは予期しない位置で見出される認識対象
１７．通常範囲からの逸脱した、温度、湿度、音のレベル、若しくは他の周囲変数
１８．特定の時間間隔におけるベビーベッド上の介護者の顔の検出の失敗
１９．非認識の顔若しくは体のパターンの存在。
【００１８】
警報条件をトリガするイベントは、呼吸や泣くことを検出する先行技術のセンサのような唯一の簡易なものであってよく、若しくは、警報状態に関して決定をなすために複数の入力をネットワークへと統合するより複雑なものであってよい。かかるネットワーク装置は、神経回路網、ベイズのネットワークの形態のクラス化器、及び、物理的な対象及び挙動の機械認識のための他の技術を含んでよい。本分野は、豊富で高速に成長しており、現在の発明を実現するための改善手段が連続的に利用可能となることが予測される。好ましくは、クラス化エンジンは、訓練可能であって、パターンマッチング用の所定のテンプレートパターンのみに依存する必要が無いようにされる。システムは、訓練の補助を提供するため、模擬ダイアログを生成する能力を備えてよく、例えば、占有者が監視スペースを観測できるとき、一度に監視スペースに存在する多くの条件クラスの中から占有者に選択することを求める。
【００１９】
一実施例では、本発明は、また、この参照により本明細書の開示に含められる以下の各文献に開示されるように、機械生成ペルソナを備えた模擬ダイアログを採用してもよい。
−個人の対話を模擬する環境応答ユーザインターフェース／娯楽装置に対する米国特許出願第０９／６９９，６０６号、
−テレビジョンに表示される仮想の生き物に対する米国特許出願第０９／６８６，８３１号、及び、
−個人の対話を模擬し占有者の精神状態及び／又は個性に応答するユーザインターフェース／娯楽装置に対する米国特許出願第０９／６９９、５７７号。
【００２０】
ペルソナは、特定の条件に応答して（目立つ条件のあいまいなクラス分けや単にランダム的なもの若しくは期間ベースのもの）、現在の環境についての占有者からの情報を要求する。受信されたフィードバックは、クラス化エンジンにより使用され、目立つ条件が更に推測され、及び／又は、環境についての他の情報と共に責任者に中継される。
【００２１】
上述の出願は、また、占有者についての決定をなすため入力のリッチアレイをクラス化するトピックスを議論する。
【００２２】
本発明は、より完全な理解のため、次の例示的な図面を参照しつつ、ある好ましい実施例と関連されて説明される。図面を参照するに、強調すべきことは、示された詳細は、例として本発明の好ましい実施例の例示的な議論のためにのみのものであり、また、最も有用であると信じるものを供給し、本発明の原理及び概念的局面の説明が容易に理解される理由で示されている。この点に関して、本発明の基本的理解に必要以上の本発明の構造的な詳細を示すための試みがなされておらず、図面と共に本説明は、当業者にどのようにして本発明の幾つかの形態を実施するかを明らかにするだろう。
【００２３】
図１を参照するに、本発明の一実施例を実現するためのハードウェア装置において、プログラム可能なコントローラ１００は、例えばカメラ１３５，１３６に接続された接続された画像プロセッサ３０５、マイクロフォン１１２、及びセンサ１４１のような種々の源から入力を受信する。センサ１４１は、呼吸監視装置や他のＳＩＤＳ防止検出器のような警報センサ、若しくは、温度センサ、位置センサ、セキュリティスイッチ、近接センサ、電気負荷センサ、周囲光センサ等のような如何なる他の種のセンサを含んでよい。コントローラ１００のソフトウェアを更新するためのデータ、若しくは、その環境をモデル化するためのテンプレートのような、他の必要とされるデータを供給するためのデータは、雲印１１０によって記号化されたローカル若しくはワイドエリア若しくはインターネットネットワークを介して収集されてよい。コントローラは、スピーカー１１４若しくは如何なる他のモダリティの装置を介して音声信号（例えば、合成スピーチや遠隔の話者からのスピーチ）を出力してよい。占有者の入力をプログラミング及び要求するため、端末１１６が設けられてよい。
【００２４】
図２は、図１のコントローラ１００により収集される情報がどのように使用されて、特定の条件が識別され、これらの条件に対応する警報が発生されるかを示す。映像データ、音声データ、温度、音のレベル、セキュリティシステムの状態等のような環境条件のような種々のモダリティの入力５００が、訓練されたクラス化器５１０に印加され、監視される環境の識別可能な特徴が区別されクラス分けされる。例えば、クラス化器５１０は、顔を判別し、それらを認識セットの一に属するもの若しくは認識セットの何れにも属さないものとしてクラス分けするように訓練されてよい。その他の例では、クラス化器５１０は、グラスの割れや物体の落下のような突然のノイズをクラス分けするように訓練されてよい。更なる他の例では、クラス化器５１０は、映像信号内のデータから、監視される人の精神状態及び健康を、顔の表情、人相、体質、挙動等により認識するよう訓練される。例えば、クラス化器は、非認識の顔が後続する大きな音を警報条件として識別するように訓練されてよい。
【００２５】
５１０のようなクラス化器を訓練する技術は、広く開発され、急速に成長している。かかるクラス化器は、例えばベイズのクラス化器を形成するための規則を用いて明示的に訓練されてよい。或いは、神経回路網を訓練するためのような例を用いて訓練されてよい。どのように異なる種のクラス化器が設計され訓練されたかは、ここで議論されるのを除いて、本発明の焦点でなく、また、かかるクラス化器を設計及び訓練する技術は、広く開発され、非常に多様であるので、細部はここでは詳細には議論されない。クラス化器５１０をプログラミング及び／又は訓練するための幾つかのインターフェースが、５３０により指示される。クラス化器５１０の最終目標は、警報出力５２０に状態若しくは警報情報を出力することである。５３０及び５２０の双方は、ネットワーク化された端末、携帯電話機、ＰＤＡや他の適切なＵＩ装置であってよい。
【００２６】
図３を参照するに、占有領域を監視するために利用されてよいイベント駆動アーキテクチャの機能図は、単一のクラス化器５１０の“ブラックボックス”により図示される対象を、警報条件をクラス分けするために組み合わされる出力を持つ複数の対象に分離してよい。音声入力２４５、映像入力２５５、他のユーザインターフェース装置（図示せず）は、各々のクラス化器２１０，２４０に印加される信号を発生する。マイクロフォン（分離して図示せず）若しくは音及びその方向の双方を示す指向性音声検出器（分離して図示せず）により、又は他の適切なオーディオトランスデューサにより受信されてよい音声入力２４５は、音声クラス化器２１０に入力されてよい。後者のデータは、実時間信号を形成し、音声クラス化器２１０により、適切なデジタル若しくはアナログ手段又はそれらの組み合わせによってクラス分けされる。次いで、音声クラス化器２１０は、精神状態／健康状態クラス化器２９０及びイベント／クラスプロセッサ２０７の双方に入力される現在の状態情報信号を生成する。
【００２７】
説明上、音声クラス化器により生成される信号は、次の構成要素を含むベクトルで有ってよい。
１．話者のＩＤ
２．話者の数
３．音の種類（衝突音、打撃音、周期的な音、コツコツ音等）
４．音の強度レベル
５．認識音の持続時間、時刻
６．スピーチの質（ささやき、叫び、早い等）
７．声の質（男性、女性、子供等）
８．認識イベント（照明のスイッチング、いびき、ラジオ若しくはＴＶの小さな音、真空掃除機等）。
【００２８】
離散的な音のイベント及び／又は状態の各例は、その開始時及びある場合には終了時を指示するタイムスタンプが結合されてよく、結合された信号は、イベント／クラスプロセッサ２０７に入力される。
【００２９】
ビデオ画像クラス化器２４０は、映像入力２５５を受信し、画像データをクラス分けし、精神状態／健康状態クラス化器２９０及びイベント／クラスプロセッサ２０７に入力される状態情報信号を生成する。ビデオ画像クラス化器２４０は、ジェスチャ、速い動き、視野内の占有者の数のようなあるイベントを識別するようにプログラムされてよい。音声クラス化器２１０と同様、その出力は、ベクトルであってよく、説明の目的から、次の構成要素を含む。
１．占有者の数
２．体、顔の特徴、動き等からの情報から得られうる占有者（非識別を含む）のＩＤ
３．各占有者の体の位置／ジェスチャ（例えば、立っている、座っている、飲んでいる、食べている）
４．風景内の非常駐の対象のサイズ
５．風景内の非常駐の対象の本質（例えば、テレビジョン、食器、洗濯籠等）
６．走ること若しくはカオスの指示として占有者の画像中心の移動の敏捷性
７．カメラアングルの変化等。
【００３０】
真贋鑑定、機械のジェスチャ制御等のような種々の分野からの映像処理技術は、システム設計者の特定の目的に応じて現在のシステムに採用されてよい。
【００３１】
クラス化器２３５に関連する他の入力装置は、イベント／クラスプロセッサ２０７にその出力信号を入力する。他のＵＩクラス化器２３５は、周囲光レベル、時刻、室温、ビルのセキュリティ状態のような環境を監視する計測器を含んでよい。
【００３２】
文字データは、音声入力２４５を受信しそれを文字に変換する音声−文字変換器２１５から得られてよい。音声から得られるとき、文字は、音声−文字変換器２１５によりタイムスタンプされる。音声−文字変換器２１５は、自然言語サーチエンジンで使用されるように、新たな若しくは先行技術の会話シミュレーターで使用されるような文法的若しくは構造的規則又は他の適切な手段を用いて文字を構文解析する。この構文解析の結果は、精神状態／健康状態クラス化器２９０が認識しうる発言特徴若しくは単語の抽出であってよい。構文解析は、従来のシミュレーターにおいてのように規則ベースのテンプレートマッチングを用いて、若しくは、より緻密な自然言語法を用いて実行されてよい。ムードを指示する単語は、次いで、話者のムードのクラス分けのために精神状態／健康状態クラス化器２９０に送られる。
【００３３】
精神状態／健康状態クラス化器２９０は、種々のクラス化器から信号を受信し、これらを処理して、ムード／個性状態信号を生成する。精神状態／健康状態クラス化器２９０は、訓練された神経回路網、ベイズのネットワーク、単純な規則ベースのシステム、若しくは、異なる多くの入力を取ることができ、所与の感情的な状態にあり所与の個性を有する占有者の可能性を予測することができる如何なるクラス化器であってよい。簡易型から複雑型のものまで、種々の個性及びムードタイポロジーが使用されてよい。おもしろくない人のような占有者をクラス分けする規則のセットの一例は、
−少ない文／語句単語数（占有者の文は、少ない数の単語を含む）（反応単語数を指示する入力構文解析器４１０の信号）
−最高のような熱狂を提案する単語の低い出現率（形容詞を指示する入力構文解析器４１０の信号）
−声の静かでフラットな調子（変調抑揚強度を指示する音声クラス化器２１０の信号）
−物理的な動きの欠落（等を示すビデオ画像クラス化器２４０の信号）
−ほとんど無い頭や体の動き
−ため息音等
−時計を見ること、及び、
−風景内のテレビジョン若しくは本のような対象とのアイコンタクトの欠落、である。
【００３４】
これらのそれぞれは、対応するクラス化器によりクラス化される。占有者の服の色、占有者の声のピッチ、占有者の単一の風景を出入りする回数、占有者のジェスチャの方法等はすべて、占有者の感情的な状態及び／又は個性への手がかりを供給する。出力ベクトルは、あらゆる適切な精神状態クラス化であってよい。例えば、米国特許第５，９８７，４１５号に提案される誘意性／強度感情状態タイポロジーが使用されてよい。
【００３５】
次の表は、メイヤー・ブリッグス（Ｍｙｅｒｓ−Ｂｒｉｇｇｓ）のタイポロジーの進化産物であるＢｉｇ Ｆｉｖｅを要約化したものである。感情状態及び個性をモデル化することを主題とした学術論文が多数有り、これらの多くは、声、顔の表情、姿勢、及び多くの他の機械入力を基礎とした機械クラス化の問題を扱う。インターネット上の業者を用いて、若しくは、１日の間の日照のような基礎天気データを測定する装置を介して得られてよい天気さえも、精神的感情状態を推測するために使用されてよい。
【００３６】
連続の２つの極限に対するアンカーによるマイナス気分の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９２からの改作）
【００３７】
【表１】
2004531800.tif 000003
連続の２つの極限に対するアンカーによる外向性の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９２からの改作）
【００３８】
【表２】
2004531800.tif 000004
連続の２つの極限に対するアンカーによる開放性の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９２からの改作）
【００３９】
【表３】
2004531800.tif 000005
連続の２つの極限に対するアンカーによる従順性の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９９からの改作）
【００４０】
【表４】
2004531800.tif 000006
連続の２つの極限に対するアンカーによる良心性の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９２からの改作）
【００４１】
【表５】
2004531800.tif 000007
精神状態／健康状態クラス化器２９０は、多数の自由度を備える状態ベクトルであって、設計者により選択された精神状態及び個性のモデルに対応する状態ベクトルを出力する。精神状態／健康状態クラス化器２９０は、個性をモデル化する際に期間に亘って連続的なデータを積み重ねる。これは、個性が永続的な状態であるからである。精神状態は、より一時的な要素を有するだろう。
【００４２】
イベント／クラスプロセッサ２０７は、複数のクラス化器からの状態情報を組み合わせて、占有者、特に監視される人を含むシステムの環境の現在の状態を指示する環境／占有者状態信号を生成するクラス化器である。イベント／クラスプロセッサは、また、例えば、緊急条件に一致しうるイベントのような、あるイベントがクラス化器により識別されたときの即応性を保証するためにイベント信号を生成してよい。イベントの認識は、複数のクラス化器からの状態情報を必要としうり、従って、イベント／クラスプロセッサ２０７は、複数のクラス化器からの状態情報を組み合わせて、組み合わせ状態信号及び組み合わせイベント信号を生成する。環境／状態信号は、種々のクラス化器が識別することができるすべての考えられるイベントクラスの指示を含んでよく、若しくは、確度の閾値レベルを越えるイベントクラスの指示のみを含んでよい。
【００４３】
出力発生器４１５は、精神状態／健康状態クラス化器２９０及び入力構文解析器４１０から、ムード／個性状態ベクトル、及び、構文解析された応答データをそれぞれに受信する。応答発生器４１５は、また、イベント／クラスプロセッサ２０７から環境／占有者状態信号及びイベント信号を受信する。出力発生器４１５は、精神状態、環境／占有者状態、及び、イベント信号に対応する種の反応を内部データベースから選択し、必要とされる場合には警報出力を生成する。或いは、出力発生器は、端末１１６（図１）のようなユーザインターフェースを介して占有者からの更なるデータを誘起する出力テンプレートを選択するようにプログラムされてもよい。例えば、種々のクラス化器出力の構成要素が、低い確度レベルを指示する場合、システムは、占有スペースの現在の状態についての情報を求める音声をスピーカー１１４を介して生成しうる。例えば、“誰かいますか”は、大人の明確な存在が検出できない場合に発生されうる。システムは、次いで、映像入力２５５のようなその他の入力装置を使用し、その状態及びイベント信号のあいまいさを低減する。尚、これらの特徴は、米国特許出願番号０９／６９９，６０６号、０９／６８６，８３１号及び０９／６９９，５７７号に開示されるような従来のシュミュレーターにより実現されてよく、機械補助として動作するために組み込まれてよい。
【００４４】
映像入力２５５から開始するデータフローをたどると、映像入力２５５の信号は、ビデオ画像クラス化器２４０に入力される。例えば、それは、座っている人と寝ている人とを、及び、静止して座っている人と動揺して移動している人若しくは領域を離れる人とを区別するようにプログラムされてよい。これらのクラスのそれぞれに対する可能性は、信号として生成及び出力されてよい。或いは、単一の最も可能性のあるクラスが、信号として生成及び出力されてよい。この信号は、イベント／クラスプロセッサ２０７に入力され、イベント／クラスプロセッサ２０７は、このデータを他のクラスデータと組み合わせて、環境／占有者状態信号を生成する。イベント／クラスプロセッサ２０７が、ビデオ画像クラス化器２４０から、例えば占有者が起き上がり部屋を出たというような、突然で重要な何かが起こったという指示を受信した場合、イベント／クラスプロセッサ２０７は、イベント信号を生成するだろう。精神状態／健康状態クラス化器２９０が、占有者が動揺した態様で移動していることを示す信号をビデオ画像クラス化器２４０から受信した場合、精神状態／健康状態クラス化器２９０は、この情報を他のクラス化器信号の信号に結合して、不安の高まった感情状態を示すムード／個性状態ベクトルを生成する。例えば、音声クラス化器２１０は、話者の声が通常よりも高くなったことを同時に指示していてもよく、入力構文解析器４１０は、直近の発話の単語数が低いことを指示してよい。
【００４５】
尚、現在のクラス若しくは状態が前の時間からの変化を表わしているかをシステムが決定できるようにするため、イベント／クラスプロセッサ２０７及び精神状態／健康状態クラス化器２９０は、対応する履歴を異なる占有者に対して記憶できるようにデータ記憶能力及び現在の占有者を決定する手段を備えてよい。占有者の識別は、上述の如く、ビデオ画像クラス化器２４０による顔識別、若しくは、声特性によるものであってよい。それは、また、無線周波数認識（ＲＦＩＤ）トークン、スマートカード、若しくは、占有者が自己を指紋のような生物測定指示で特定できる単純なユーザインターフェース、又は単なるＰＩＮコードにより確証されてよい。このようにして、精神状態／健康状態クラス化器２９０及びイベント／クラスプロセッサ２０７の双方は、それぞれ履歴データを特定の占有者に関連付け、出力発生器４１５へ傾向を特定及び信号化する際にそれを採用する。
【００４６】
イベント／クラスプロセッサ２０７は、音声クラス化器２１０及び他のクラス化器からのクラス情報を受信し、認識するために訓練されたメタクラスによりこれらを特定しようとする。即ち、それは、状態のクラスを組み合わせて、当該複数の状態に一致するオーバーアーチング状態を定義する。当然に、ここで開示するアーキテクチャは、本発明の種々の特徴を実行するための唯一の方法ではなく、イベント／クラスプロセッサ２０７が単に省略され、その機能が出力発生器４１５により取って代わられてよい。しかしながら、機能を分離することの一の有利な点は、イベント／クラスプロセッサ２０７が、出力発生器４１５により使用されるものと異なる種類のクラス化器を採用しうることにある。例えば、出力発生器４１５は、規則ベースのテンプレート整合器を使用しうる一方、イベント／クラスプロセッサ２０７は、訓練された神経回路網タイプのクラス化器を使用しうる。これらの機能の割り当ては、より適切でありうる。というのは、出力発生器４１５の出力数が、イベント／クラスプロセッサ２０７（若しくは他のクラス化器）が認識するように訓練されるクラス数よりも非常に多くなりうるからである。これは、ネットワークタイプのクラス化器（神経回路網及びベイズのネットワーククラス化器のような）は、考えられる多数の出力状態を有するときに訓練するのが難しいという事実から分かる。
【００４７】
ビデオ画像クラス化器２４０の処理は、ビデオ情報を受信するカメラ（映像入力２５５により指示）を制御する能力を含んでよい。ビデオ画像クラス化器２４０は、個人であってもなくてもよい室内の対象を規則的に識別し、これらの個人の種々の特徴を拡大（ズーム）しようとする処理を含んでよい。例えば、ビデオ画像クラス化器が、新たな個人を識別する毎に、ビデオ画像クラス化器は、個人を識別するため若しくは個人のムードを識別するために使用できる顔の表情の情報を得るべく、顔が視野のどこにあるかを識別しようとし、当該視野で識別された各個人の顔を規則的にズームしようとしてよい。
【００４８】
尚、本発明は、上述のような人工知能（ＡＩ）技術を使用することなく設計されてよいが、ＡＩ技術のロバストネスはそのように実行するのを非常に望ましいものとする。例えば、音声信号は、大きい衝突音の検出のため、及び、フィルタ出力があるレベルを超えるときに時間ラッチ出力をセットする検出器のために設定されたバンドパスフィルタによりフィルタ処理されてよい。同時に、ビデオ輝度信号は、ローパスフィルタ処理され、そのエネルギがあるレベルを超えるときに、時間ラッチをセットする。双方のラッチされた信号がポジティブの場合（大きな音及び一時的な近接度における大きな活性）、システムは警報を発してよい。
【００４９】
警報信号は、単に、幾つかの種の警報状態の通知を含んでよい。しかしながら、警報は、好ましくは、特定の設計基準内で可能な限り情報的なものであるべきである。例えば、警報信号は、警報状態をトリガしたイベント（複数を含む）の前後の音声及び／又は映像データを含んでよい。これらは、出力発生器４１５により記憶され、ｅ−メールにより送信され、映像能力のある携帯電話接続若しくは無線コンバージェンス装置若しくは他の手段を介して流される。警報状態のメタ−クラス化を生む最も重要な状態クラスの記号的表現も送信されてよい。例えば、“大きな騒音”を指示する記号及び／又は未認識の占有者が、責任者の携帯無線呼出し器に送信されてよい。
【００５０】
図４を参照するに、任意の数の信号が、ステップ１０（Ｓ１０）により指示されるように連続的にバッファに格納される。警報条件が指示された場合、ステップ１５において、特定の警報条件が以前に無効にされているかどうかが判断される。該当する場合、信号のバッファ格納は、再開され、更なる動作は取られない。警報条件が無効にされていない場合、メッセージがステップ２０で生成され、ステップ３０でバッファ格納された信号１．．Ｎが付加される。警報メッセージは、次いで、ステップ４０で例えばｅ−メールにより送信され、ステップ５０で、適切な場合には、選択的な生の供給が生成される。生の供給は、ｅ−メール送信に含まれるＵＲＬにて利用可能とされてよく、若しくは、自動電話呼び出しによりデジタルビデオ電話に送信されるメッセージ内の信号の一部として利用可能とされてもよい。
【００５１】
バッファ格納された信号は、時間に亘り一若しくはそれ以上のセンサの状態を指示する時間シーケンスに過ぎないものであってよい。バッファ格納された信号は、警報条件の指示を与える信号である必要はない。例えば、本発明の一実施例では、ビデオカメラは、人のベッド上に向けられてよい。警報は、呼吸を検出する機械的なセンサ（胸のストラップ）により生成されてよい。映像信号は、人の呼吸の休止の検出の瞬間まで格納された信号は、警報メッセージの部分として送信される信号であってよい。バッファの長さは任意であってよい。
【００５２】
各警報は、特有のイベントであってよいが、それぞれは、例えば子供や乳幼児の所定時間の呼吸の欠落のような、同一の永続的な条件により生成されてよい。所与の警報が確認応答されることは望ましく、異なる環境から生ずる新たな警報条件が、現にある既存の警報と混同されないようにする。これを扱う一方法は、警報条件を引き起こす構成要素のベクトルに基づいて各警報にシグニチャを割り当てることである。同一の警報条件の認識は、新たな警報が既に無効とされているかを調べる（ステップ１５）ために既存の警報のテーブルと比較されてよいその他のベクトルを生むだろう。構成要素は、ベクトル構成要素の小さな差異が異なるものとして認識されることを保証するために量子化されてよく、若しくは、低感度の比較が、同一の作用を達成するために使用されてもよい。
【００５３】
警報信号は、次の何れかの手段により送信されてよい。
１．警報条件の記号的な指示を提供する合成音声（予め記録された語句若しくは合成スピーチ）による自動電話呼び出し及び／又は監視スペースから供給される記憶された音声及び／又は生の音声
２．ビデオを備える無線機器は、上述に加えて、記録されたデータ及び／又は生のデータ、更に同一の情報を供給する文字メッセージを含んでよい。
３．ｅ−メールメッセージは、生若しくは記録されたデータを備えるＵＲＬへのリンクを含んでよく、若しくは、静止画若しくは動画を供給する埋め込みＭＩＭＥ付加を有してよい。
４．放送：無線メッセージ、音声メッセージ、有線コンソール上でのディスプレイ等。
【００５４】
次は、幾つかの例のアプリケーション及び使用シナリオである。
【００５５】
［例１］
乳幼児のベビーベッドは、介護人が乳幼児を見るために通常的に立つ位置であるベビーベッドの側面に向けられた一若しくはそれ以上のカメラ１３５，１３６を備える壁に沿って配置される。マイクロフォン１１２は、ベビーベッド近傍の音を検出するための所定の位置に配置される。コントローラ１００は、カメラ及びマイクロフォンから生の映像及び音声信号を受信し、それらを各々のクラス化器２４０，２１０へとそれぞれにフィルタ処理する。コントローラ１００は、介護人の顔を認識するようにプログラムされ、顔が存在することを指示する信号及び顔が期待値に如何に良好に整合するかを示す信頼度推定値を生成する。コントローラ１００は、赤ちゃん及び子供の血縁者のような他の顔を同様に認識するようにプログラムされてよい。コントローラ１００は、更に、泣き声を認識し、泣き声が存在することを指示する信号を生成するようにプログラムされる。更に、コントローラ１００は、次のイベントを認識し、対応する信号を生成するようにプログラムされる。乳幼児の通常及び異常な体質、泣くこと、満足、困惑、早い若しくは遅い動きのようなムードを示す乳幼児の顔の表情、存在する個体数、部屋内の新たな対象の存在、それらの“小さな塊（ｂｌｏｂ）”サイズ（“小さな塊”とは、画像プロセッサが映像画像内に定義できるあらゆる閉形状を特徴付ける用語）、介護人の認識した顔のムード。
【００５６】
上述の例では、次のイベントが生じうる。乳幼児が泣き、介護人が反応しない。乳幼児のムードが、受信された音声及び映像信号により検出される。合成音声が、スピーカー１１４を介して介護人を呼び出し、乳幼児に対する介助を要求する。乳幼児の困窮の認識から現在までの経過時間が、警報をトリガする特定の時間に達する。警報信号は、文字メッセージ、警報イベントの以前からの記憶された音声及び映像を含む。警報信号は、ｅ−メールにより送信される。
【００５７】
［例２］
例１のシステム構成は、本例に含まれる。追加のカメラ及びマイクロフォンが、家の中の種々の位置に配置される。ベッド上に赤ちゃんの存在が検出される。テレビジョンの音が検出される。大人の介護人の体位置が寝ている位置で検出される。システムは、介護人に起きて乳幼児に付き添うように要求する合成音声を発生する（コントローラ１００のプログラミングは、乳幼児が付き添われず安全な場所にいないことの心配の反映である）。連続的な睡眠（若しくは病気若しくは死亡）が検出されている間の所定時間後、警報が発される。警報は、寝ている大人の映像からの静止画像（警報前の時間からのもの）及び乳幼児及び大人が存在する部屋の生の音声及び映像を含む。
【００５８】
［例３］
例２の物理的な構成（プログラミングを含む）が、本例に組み込まれる。本例では、乳幼児及びベビーベッドが、病気の大人に代替され、介護人は大人である。監督者は、介護を供給する代理人である。システムにより検出される警報条件は、家内の如何なる物体若しくは人の動きの欠乏である。占有者の認識、顔の認識、体質及び体位置、音声等は、リビングルーム内の大人の存在の指示を生成しているが、信号が、低い信頼度であり、活動（占有者の動き）の指示がない。システムは、病人のベッドサイドでの認識される顔の外観、家の中の予期された位置の人の認識される動き及び体位置等のような予期されたイベントのセットが所定時間無い場合に、警報を生成するようにプログラムされる。警報信号は、監督者（視野を切り替えること等ができ、介護人と交信することができる者）により制御可能な生の映像及び音声供給を含む。
【００５９】
［例４］
例３のシステムが本例に組み込まれる。ベビーシッターは、複数の子供を世話している。システムは、ベビーシッターの顔及び子供たちの顔を、体型、動きパターンのようなそれぞれの種々の特徴と共に認識するようプログラムされる。システムは、次の何れかの事象が生じた時に、警報を発するようにプログラムされ、それを無線携帯装置に送信する。（１）家の中の検出される占有者の数（システムは、多数のカメラで同時に、固体の特定数を検出する）が、所定数（想定されるように、ベビーシッターと子供たちの数の合計）よりも多く、若しくは、（２）システムが、未認識の顔を検出し（即ち、システムが、顔の良好な画像を受信するが、既知のテンプレートとの信頼性のある整合を生成できない）、（３）所定の時間ドアが開け放たれており（セキュリティシステム状態により指示されるように）、（４）家の中の人の動きが、大騒ぎや乱暴を潜在的に指示し過剰である。
【００６０】
上述の実施例では、介護人と非介護人の双方の様相、位置及び活動が監視されているが、双方で無くいずれか一方のみを監視することも可能である。また、認識される又は認識されない“占有者”の概念は、人間の占有者のみならずペットにも適用されてよいが、認められているように、最先端の技術は、ペットの顔の特徴が他の動物の同特徴から区別されうる時点には至らず、確かに、小さな塊認識が、プードル及び猫若しくは他の種の動物及び／又はロボットのような生き物のように動く対象間を認識することができる時点にある。
【００６１】
本発明は、上述の好ましい実施例の内容で説明されているが、本発明の精神や観点から逸脱することなく、これらの実施例に、当業者にとっては明らかなような、種々の変更がなされ、種々の均等物が置換されてよいことは理解されるべきである。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施例による監視システムを支援できるハードウェアシステムの概略図である。
【図２】種々のモダリティの入力がどのようにしてフィルタ処理され本発明の幾つかの実施例に対応する警報信号が生成されるかを示す高レベル流れ図である。
【図３】本発明の一実施例による監視システムを実現するソフトウェアシステムの機能図である。
【図４】本発明の一実施例による警報信号の生成を示すフローチャートである。
【図１】
2004531800.tif 000008
【図２】
2004531800.tif 000009
【図３】
2004531800.tif 000010
【図４】
2004531800.tif 000011
【国際公開パンフレット】
2004531800.tif 000012
2004531800.tif 000013
2004531800.tif 000014
2004531800.tif 000015
2004531800.tif 000016
2004531800.tif 000017
2004531800.tif 000018
2004531800.tif 000019
2004531800.tif 000020
2004531800.tif 000021
2004531800.tif 000022
2004531800.tif 000023
2004531800.tif 000024
2004531800.tif 000025
2004531800.tif 000026
2004531800.tif 000027
2004531800.tif 000028
2004531800.tif 000029
2004531800.tif 000030
2004531800.tif 000031
2004531800.tif 000032
2004531800.tif 000033
2004531800.tif 000034
2004531800.tif 000035
2004531800.tif 000036
【国際公開パンフレット（コレクトバージョン）】
2004531800.tif 000037
【国際調査報告】
2004531800.tif 000038
2004531800.tif 000039
2004531800.tif 000040
2004531800.tif 000041
2004531800.tif 000042