(57)【特許請求の範囲】
【請求項１】
監視者が携帯する携帯端末と、監視対象の近くに設置された前記携帯端末と無線で相互に通信可能な異常通報装置とで構成され、
前記異常通報装置が、監視対象の顔を検知する顔検知手段と、検知した顔から顔の状態を判断する顔状態判断手段と、周辺の音を収集する音収集手段と検知した音から周囲の音の異常を判断する手段とを備え、顔状態の異常若しくは周囲の音の異常を予め記憶された所定値に基づき判断し
異常があると判断したときに異常通報信号を前記携帯端末に送信する制御手段とを備え、
前記異常通報装置が顔検知の際、監視対象者の顔の向きにより、カメラから顔を検出することが出来ないときに、監視対象者の注意を引き、監視対象者の顔をカメラの方向に向かせる手段を備え、
前記携帯端末が、表示手段と音声手段と、前記異常通報装置から受信した異常通報信号に基づき前記表示手段に異常通報を表示し前記音声手段より警告音を発生させる制御手段とを備えた監視システム。
【請求項２】
前記監視対象者の顔の向きにより、カメラから顔を検出することが出来ないときに、監視対象者の注意を引き、監視対象者の顔をカメラの方向に向かせる手段が、登録された音よりなる、請求項１に記載の監視システム。
【請求項３】
前記登録された音が、呼びかけ音よりなる、請求項２に記載の監視システム。
【請求項４】
前記監視対象者の顔の向きにより、カメラから顔を検出することが出来ないときに、監視対象者の注意を引き、監視対象者の顔をカメラの方向に向かせる手段が、ものの動きよりなる、請求項１〜３何れか１項に記載の監視システム。
【請求項５】
前記監視対象者の顔の向きにより、カメラから顔を検出することが出来ないときに、監視対象者の注意を引き、監視対象者の顔をカメラの方向に向かせる手段を実施したときの反応により、監視対象者の状態を判定する、請求項１〜４何れか１項に記載の監視システム。
【請求項６】
前記携帯端末が、異常通報装置からの通報の履歴を映像および音で、設定可能な間隔で定期的に取得し、監視対象者の状態として表あるいはグラフ化して監視対象者の健康状態、食事状態、排泄状態のうち少なくともひとつの状態を把握することが出来る手段を備えた、請求項１〜５のいずれ１項に記載の監視システム。
【請求項７】
前記携帯端末が、異常通報装置からの通報時、または、任意のときに以前の履歴を確認して、検出状態の学習を行えるようにして状態判断の精度を高める手段を備えた、請求項１〜６の何れか１項に記載の監視システム。
【請求項８】
前記顔検知手段が、顔検知状態により、「存在状態」、「不在状態」、「布団かぶり状態」、「うつぶせ寝状態」のうちの少なくとも１つの状態である事を判断する顔状態判断手段を備えた、請求項１〜７の何れか１項に記載の監視システム。
【請求項９】
前記顔状態判断手段が、前記顔検知手段により「存在状態」の場合、顔の「覚醒状態」、「睡眠状態」、「泣いている状態」、「機嫌がいい状態」、「普通の状態」、「笑っている状態」、「吐しゃ状態」、などの基本状態を推定して顔の動きの情報とあわせて監視対象者の状態を推定する手段を備えた、請求項８に記載の監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔監視システムに関し、特に、赤ちゃんや乳幼児あるいは高齢者の表情をカメラから取り込んだ画像を画像認識により状態を判断し、乳幼児の状態を監視者が常に見なくても同等の判断を監視者に逐次情報提供するための監視システムに関する。
【背景技術】
【０００２】
従来、監視者が離れた場所から監視対象の監視を行うための種々の技術が開示されている。このような遠隔監視システムでは、監視対象の近くに監視カメラを設置し、監視者が離れた場所に設置したモニタで監視対象を監視するのが最も基本的であるが、さらに、たとえば特開平１-１２９５９０号公報では、周囲の音を収集しその音圧や周波数が異常と判断されると、監視カメラを旋回させて異常音が発生したポイントの画像情報を監視者が監視するモニタに送信し表示を行わせるようにして監視者に異常を通報するようにしている。
【０００３】
また、特開昭５５−１３２１６５号公報では、監視対象の近くに設置した集音装置と監視者に近くに設置した拡声装置とを電話の内線を介して監視対象の周辺の音を聞けるようにしている。
【０００４】
また、特開平１０−１１６７４号公報の異常通報システムは、音、温度、マイク、体温等のセンサにより、異常値に対する閾値を設けて、設定値との比較を行って異常があった場合、監視者に通報するシステムであった。
【０００５】
また、本発明に関する類似の従来技術として顔照合技術としては、特開２００１−９２９６３があるが、本発明は照合ではなく、表情の分析であるので、若干異なる。また、表情認識技術として、特開２００１−４３３４５がある。これは、笑い、怒り、喜び、悲しみといった表情的にも、感情的にも大きく異なるものではなく、つらさといった人物の所定の表情に対する強さ、激しさといった度合いを認識するものであり、表情の遷移といった時系列データを使用する。また、顔の検出に関しては、正面画像を得ることが認識精度に関わり、そのための手法として、特開２００６−２５９９００号や、特開２００４−４６３９９号が挙げられる。
【０００６】
また、動画像処理およびパターンマッチングを使って顔の動きの異常を感知して、通報するものとして、就寝状態以上検知装置の特開平１１−９９１４０号があげられる。
【特許文献１】特開平１-１２９５９０号
【特許文献２】特開昭５５−１３２１６５号
【特許文献３】特開平１０−１１６７４号
【特許文献４】特開２００１−９２９６３号
【特許文献５】特開２００１−４３３４５号
【特許文献６】特開２００６−２５９９００号
【特許文献７】特開２００４−４６３９９号
【特許文献８】特開平１１−９９１４０号
【非特許文献１】P. Viola  and  M.Jones: Rapid object detection using a boosted cascade of simple features, Proc.On CVPR, Vol. 1.Pp 511-520 2001
【非特許文献２】Paul Ekman,Wallace V.Friesen, 工藤  力訳：“表情分析入門”，誠信書房, 1987
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した従来技術では、音や、温度、マイク、体温等のセンサ等の個々の使用または、複合した使用により異常監視の精度を高めるように努めているが、通常状態では、温度や体温が急激に変化するのか考えにくく、実際に機能するのは、音の情報に依存するところが大きい。
また、音の情報に依存した場合、周囲情報やテレビの音などの影響も大きく、精度を高めるのは難しい。さらに音が出ない場合も想定できる。
このように異常通報の状態の精度をあまり細かく設定できないため、誤報が多く監視者の負担は依然多くなってしまう。
【０００８】
顔認証に関する従来技術に関しては、本システムは表情に関する認識ではあるが、遷移状態を見るものではなく、逐次処理を行うものである。また、監視対象者の顔の向きにより、カメラから顔を検出することが出来ないときに、正面画像を得るために使用する手段としては、本手法は、音やものの動きにより、監視対象者の注意を引くところにある。また、就寝状態の異常を検知するシステムは、動画像により監視対象者の動きと時間を検知して、それにより動きが異常かどうかを判断するものであるが、限られた条件の下に判定するのであり、乳幼児の状態を判定するのには不十分といえる。
【０００９】
しかし、画像認識を用いて、顔の表情により状態を判別することにより、監視対象者の状態を判別することが出来れば、そこで表情に異常があるときだけ映像とともに通報すれば、精度の高い情報をおくることができる。
【００１０】
本発明の目的は、画像認識および学習により監視対象者の顔の表情を高精度に判断し、監視対象者に異常がある場合のみ通報する監視システムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の監視システムは、監視者が携帯する携帯端末と、監視対象の近くに設置された前記携帯端末と無線で相互に通信可能な異常通報装置とで構成され、前記異常通報装置が、監視対象の顔を検知する顔検知手段と、検知した顔から顔の状態を判断する顔状態判断手段と、周辺の音を収集する音収集手段と検知した音から周囲の音の異常を判断する手段とを備え、顔状態の異常若しくは周囲の音の異常を予め記憶された所定値に基づき判断し異常があると判断したときに異常通報信号を前記携帯端末に送信する制御手段とを備え、前記異常通報装置が顔検知の際、監視対象者の顔の向きにより、カメラから顔を検出することが出来ないときに、異常通報装置に接続してあるがらがらの動作による動きや、スピーカーからのお母さんの呼びかけなどの登録もしくは、携帯端末からの呼びかけ音やものの動きにより、監視対象者の注意を引くことによって、監視対象者の顔をカメラの方向に向かせる。また、そのときの反応により、監視対象者の状態を判定する手段を備え、前記携帯端末が、表示手段と音声手段と、前記異常通報装置から受信した異常通報信号に基づき前記表示手段に異常通報を表示し前記音声手段より警告音を発生させる制御手段とを備えた事を特徴とする。
【００１２】
更に、前記携帯端末が、異常通報装置からの通報の履歴を映像および音で、設定可能な間隔で定期的に取得し、監視対象者の状態として表あるいはグラフ化して監視対象者の健康状態、食事状態、排泄状態のうち少なくともひとつの状態を把握することが出来る手段を備えると良い。
【００１３】
また、前記携帯端末が、異常通報装置からの通報時、または、任意のときに以前の履歴を確認して、検出状態の学習を行えるようにして状態判断の精度を高める手段を備えると良い。
【００１４】
また、前記顔検知手段が１軸、あるいは２軸のモータで制御する手段をもち、監視対象者の顔の位置および方向を検知し、常にカメラの中に捉えるように制御し顔トラッキング手段を備えると良い。
【００１５】
また、前記顔検知手段が、顔検知状態により、「存在状態」、「不在状態」、「布団かぶり状態」、「うつぶせ寝状態」のうちの少なくとも１つの状態である事を判断する手段を備え、監視対象者の状態が好ましくない状態であるときに異常通報する手段を備えると良い。
【００１６】
また、前記顔状態判断手段が、前記顔検知手段により「存在状態」の場合、顔の「覚醒状態」、「睡眠状態」、「泣いている状態」、「機嫌がいい状態」、「普通の状態」、「笑っている状態」、「吐しゃ状態」、などの基本状態を推定して顔の動きの情報とあわせて監視対象者の状態を推定する手段を備え、監視対象者の状態が好ましくない状態であるときに異常通報する手段を備えると良い。
【００１７】
また、前記携帯端末が、監視対象者の状態を定期的な一日のリズムで把握し、お昼寝などの睡眠時間の管理を統計的に表示し、ずれた場合の注意を促す手段を備えると良い。
【００１８】
また、前記異常通報装置が、顔検知の際、監視対象者の顔が、カメラからの死角になっているときに、監視対象者の注意を引き、正面画像を取得する手段を備えると良い。
【００１９】
また、前記異常通報装置が、睡眠中の監視対象者の呼吸を画面中の動き部分により検知すると良い。
【発明の効果】
【００２０】
本発明は、監視対象者の顔の向きにより、カメラから顔を検出することが出来ないときに、異常通報装置に接続してあるがらがらの動作による動きや、スピーカーからのお母さんの呼びかけなどの登録もしくは、携帯端末からの呼びかけ音やものの動きにより、監視対象者の注意を引くことによって、監視対象者の顔をカメラの方向に向かせる手段を備え、また、そのときの反応により、監視対象者の状態を判定する手段を備え、前記携帯端末が、表示手段と音声手段と、前記異常通報装置から受信した異常通報信号に基づき前記表示手段に異常通報を表示し前記音声手段より警告音を発生させる制御手段とを備えることにより、監視者が、監視したい情報である顔情報を自動的に判断し、監視者が監視対象者を注視しなくても、注視したときと同等の安心感を与え、注視する労力や負担を軽減する効果がある。また、学習機能を備えていることにより、監視対象者の個体の差による状態推定エラーを使用するたびに軽減することが出来、精度を向上することが可能である。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の一実施の形態について、図を踏まえて具体的に説明する。
【実施例１】
【００２２】
図１、図２は本発明による監視システムの一実施の形態を示すブロック図である。図１は監視対象者である乳幼児もしくは、高齢者の近くに設置する異常通報装置である。また、図２は監視者が手元においておく携帯端末装置である。
【００２３】
図１の異常通報装置は、カメラ５が監視対象者の向きを向くように設置しておく。監視対象者の動ける状態によって、撮影の範囲３５は調整する。たとえば、新生児でほとんど動きが少ない場合は、顔が画面の半分を占めるくらいのサイズにしてもよい。カメラ５からの入力はビデオ入力部４によりデジタル信号で所定の形式に変換されて、メモリ３に取り込まれる。ここで、ＣＰＵ２により、画像内に顔があるかどうかの判定がなされる。
【００２４】
顔検知の手法は、参考文献１のような、代表的なＡｄａｂｏｏｓｔ手法を用いた顔検知手法によって行う。顔検知を行い、初期状態では、かならず顔が入るように設置し検知を行う。
検知が完了したら、その後、その顔の位置が画面上どこにあるのか追従し、常に画面の中央になるように、ＣＰＵ２からカメラコントローラ６を通じてカメラ制御台を調整しカメラ５の姿勢を制御するようにしてもよいし、モータ制御を省略して、画面から顔を検知できなければ、警告を出すようにしてもよい。ここで、監視対象者の顔の向きがカメラの向きと同じ場合、カメラから顔を検出することが出来なくなる。
【００２５】
この場合は検出を喪失した位置により、それがカメラの視野から外れたのか、カメラ視野内で顔の向きが同一方向により顔が検知できないのか判断する。前者の場合は、カメラコントローラ６を駆動することによりカメラ制御台７をコントロールして、カメラ中心から前回顔を検知した方向にカメラを動作させてもよいし、カメラの視野から外れたと認識しているだけでもよい。これらの流れを図３に示す。画像入力２３のたびに、図４の(ａ)のように顔検知２４を行い、カメラ視野内、あるいは、指定した顔検出範囲内に顔が検知されれば（顔検知？２５）、顔中心座標３６を取得２６する。このとき、顔が検出されているので、顔が画面中に存在し、「存在」状態２７と確認して正常状態と判断２８する。また、顔検知が不可能な場合、前回および前々回などの顔中心座標の履歴を判断し、顔の移動ベクトル量を計算２９し、移動量が多く、今回の位置が検出範囲外に移動したことが推定される場合は、「不在３０」と判断する。図４の（ｃ）にあたる。移動量が少ない場合は、顔の周りの動き３１を動き検知エリア４４内で検知して、図５のように動き検知エリアの動画像処理によるオプティカルフローを検出し動きが多い場合（図４（ｃ）の４１−４２−４３）は、「布団かぶり３２」状態と判定し、動きが少ない場合図４（ｂ）の３８−３９−４０）は、「寝返り３３」状態と判定する。「不在」「布団かぶり」、「寝返り」状態の場合、異常状態と判断３４し、顔検出が行えない状態が一定時間続くようであれば、別途予め時間を設定しておき、端末に「不在」「布団かぶり」、「寝返り」の状態であると通報するようにする。
【００２６】
後者の場合、異常通報装置に接続してあるがらがらの動作による動きや、スピーカーからのお母さんの呼びかけなどの登録もしくは、携帯端末からの呼びかけ音やものの動きにより、監視対象者の注意を引くことによって、監視対象者の顔をカメラの方向に向かせる。また、そのときの反応により、監視対象者の状態を判定する。
【００２７】
顔検知手段にて、顔の検知ができ、「存在」状態と判断した場合、さらに、図５のようなフローにより、その状態を判定する。顔の位置を検出すると顔の範囲内で、各器官の状態をチェックする。口検知を行い、口の周辺の状態を見て、口の周りに、異常がないかをチェックする。何か通常の状態と異なる場合は、異物検知と判断し、「吐しゃ状態」と判断する。「吐しゃ状態」の場合、異常状態と判断し、端末に通報する。
各器官を検出する場合、図８の特徴点６４を探し、その位置関係を特徴ベクトル６５から計算し、表情や状態を分析する。また、図７のように目の縦長さ５８と横長さ５９の比率やや口の縦長さ６２、横長さ６１による比率や口と目の矩形の作り縦長さ６２と横長さ６３の比率や位置関係を見てもよい。
【００２８】
口周辺にものがない場合は、図７の目の部分の特徴量から、目の開閉状態を調べる。目の特徴ベクトルの縦横比などで検出してもよい。ここで、目が閉じていると出た場合、「睡眠状態」と判定し、それ以外は「覚醒状態」と判断し、笑顔であるかどうか判定する。その他の「泣いている状態」、「機嫌がいい状態」、「普通の状態」についても、
図８の特徴点の各ベクトルの関係から判断する。これは、事前に、不特定多数の被験者からのデータをとり、特徴量と「状態」の関係の相関をとっておく。使用時は、監視者により状態を学習させる。このデータをフィードバックして、顔状態検知の精度を高めていく。
【００２９】
端末側では、これまでのデータ履歴を例えば１日単位で、図９のように表示して確認することができる。週単位や、月単位で確認できるようにしてもよい。図９の例では状態の表示項目６６は、「不在」「起きた状態」「睡眠中」布団かぶり」「吐しゃ」「うつぶせ」となっているが、これは、任意に設定可能にする。イベントの項目も「ミルク」「オムツ」となっているが、これも任意に設定可能にすることも可能である。状態はグラフ化６８四手表示可能で、あり、イベントも時間と回数が表示６９可能である。このようにミルクや、おむつ交換の情報を入れておくと次回の目安とすることもできる。入力はい端末の入力モードにて７１のように入れることが出来る。また、状態表示が間違っている場合は、学習入力７０することが出来る。
【００３０】
就寝状態では、対象者の呼吸をみることにより、異常がないかを確認することができる。図１０のように幼児の場合、腹式呼吸が主であるので、顔の位置を検知した後、一定距離位置の胸部腹部の付近となる位置の動き７２を調べることのより呼吸を見ることができる。呼吸をしているかどうかの判断は単に動画像処理により動きが一定に動いているかを判定すればよい。
【００３１】
顔検知以外でも動画像解析により、監視対象者の動きおよび顔の向きを検知して、監視対象者である乳幼児が、活動状態にあるのか、休止状態にあるのかを判断する。休止状態の場合は、特に問題がないが、活動状態のときに怪我などの注意が必要であるので、活動状態に入ったことを通知する。
【００３２】
また、同時に音声信号を検知しておき、周囲の音が急激に変化した場合の通報するようにしておく。
【００３３】
尚、本実施例の携帯端末は、携帯電話等の既存の通信手段を有する機器を利用しても良い。また、実施例においては、乳幼児に関する監視システムとして記述したが、病人や、要介護者などの監視システムとして使用する事が出来、更に、例えば、パソコンのモニタにカメラをセットして、勤務中の社員の状態の様子を検査することも可能でこの場合は、疲労度などのチェックを行い、一定時間で休憩を促すシステムにしてもよいし、運転中のドライバーの状態をチェックしてもよいし、工場の作業者の状態をチェックしてもよいし、テレビを見ている自動の状態をチェックしてもよいし、人間の疲労や状態のチェックなど様々シーンに利用する事が出来る。
【産業上の利用可能性】
【００３４】
本発明は、乳幼児等の状態を離れた場所から容易に確認出来、必要に応じて異常状態を監視者に知らせる事が出来る監視システムに利用する事が出来る。
【図面の簡単な説明】
【００３５】
【図１】一実施の形態の異常通報装置の構成部品
【図２】一実施の形態の異常受信端末の構成部品
【図３】一実施の形態の顔検知状態の流れ
【図４】一実施の形態の顔の位置履歴ベクトル
【図５】一実施の形態の顔の周りの動き検出エリア
【図６】一実施の形態の顔検知状態の流れ
【図７】一実施の形態の顔の器官の特徴量
【図８】一実施の形態の顔の器官の特徴量れ
【図９】一実施の形態の情報端末の表示例
【図１０】一実施の形態の胸部動き検知範囲
【符号の説明】
【００３６】
１    異常通報装置
２    CPU
３    メモリ
４    ビデオ入力
５    カメラ
６    カメラコントローラ
７    カメラ制御台
８    音声入力
９    マイク
１０  送受信部
１１  アンテナ
１２  異常通報装置
１３  CPU
１４  メモリ
１５  ビデオ入力
１６  カメラ
１７  カメラコントローラ
１８  カメラ制御台
１９  音声入力
２０  マイク
２１  送受信部
２２  アンテナ
２３  画像入力
２４  顔検知
２５  顔検知?
２６  顔中心座標取得
２７  存在
２８  正常状態判断
２９  顔座標履歴移動ベクトル大？
３０  不在
３１  顔回りの動き？
３２  布団かぶり
３３  寝返り
３４  異常状態判断
３５  顔検出エリア
３６  顔中心座標
３７  検出顔エリア
３８  ｎ−１枚目検出顔中心位置履歴
３９  ｎ枚目検出顔中心位置履歴
４０  ｎ＋１枚目検出顔中心位置履歴
４１  ｎ−１枚目検出顔中心位置履歴
４２  ｎ枚目検出顔中心位置履歴
４３  ｎ＋１枚目検出顔中心位置履歴
４４  動き検知エリア
４５  存在
４６  口検知
４７  口周辺にもの？
４８  異物検知
４９  吐しゃ状態
５０  異常状態判断
５１  目の開平状態
５２  睡眠状態
５３  笑顔か？
５４  笑っている状態
５５  その他の状態
５６  特徴量学習
５７  正常状態判断
５８  目の縦の長さ
５９  目の横の長さ
６０  口の縦長さ
６１  口の横長さ
６２  目と口のつくる矩形の縦長さ
６３  目と口のつくる矩形の横長さ
６４  特徴点
６５  特徴ベクトル
６６  状態表示項目
６７  イベント表示項目
６８  状態グラフ
６９  イベントグラフ
７０  状態学習入力
７１  イベント入力
７２  胸部の動き
【図１】
0005133677.tif 000002
【図２】
0005133677.tif 000003
【図３】
0005133677.tif 000004
【図４】
0005133677.tif 000005
【図５】
0005133677.tif 000006
【図６】
0005133677.tif 000007
【図７】
0005133677.tif 000008
【図８】
0005133677.tif 000009
【図９】
0005133677.tif 000010
【図１０】
0005133677.tif 000011