(57)【要約】【課題】  センサシステムの可用性をさらに高めること。【解決手段】  実施形態によれば、センサシステムは、複数の画像センサと、前記画像センサにより撮像された画像データから抽出された動体に係わる特徴量情報を、対象動体の属性情報として他の画像センサに伝達する手段とを具備し、さらに、前記画像センサの各々は、前記画像データを取得する撮像部と、前記画像データから前記特徴量情報を抽出する抽出部と、前記特徴量情報に基づいて前記対象動体を判定する判定部と、前記判定に係わる辞書データを記憶するデータ保存部と、前記抽出された特徴量情報を前記他の画像センサに伝達する通信部とを備える。【選択図】  図５
2020115608.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像センサと、
前記画像センサにより撮像された画像データから抽出された動体に係わる特徴量情報を、対象動体の属性情報として他の画像センサに伝達する手段とを具備する、センサシステム。
【請求項２】
前記画像センサの各々は、
前記画像データを取得する撮像部と、
前記画像データから前記特徴量情報を抽出する抽出部と、
前記特徴量情報に基づいて前記対象動体を判定する判定部と、
前記判定に係わる辞書データを記憶するデータ保存部と、
前記抽出された特徴量情報を前記他の画像センサに伝達する通信部とを備える、請求項１に記載のセンサシステム。
【請求項３】
前記通信部は、前記対象動体の前記属性情報を蓄積した累積特徴量情報を他の画像センサに伝達する、請求項２に記載のセンサシステム。
【請求項４】
前記画像センサの各々は、前記累積特徴量情報の蓄積に応じて前記判定部における判定基準を変化させる、請求項３に記載のセンサシステム。
【請求項５】
前記画像センサの各々は、前記累積特徴量情報の蓄積に応じて、前記対象動体の動線を一筆書きで接続可能とすべく経路マップを累積する、請求項３に記載のセンサシステム。
【請求項６】
前記判定部により通知対象となる閾値を超える値と判断された場合に、前記通信部は、所定の情報提示先に前記特徴量情報を通知する、請求項２に記載のセンサシステム。
【請求項７】
前記対象動体の属性情報は、前記画像センサ内で生成された特徴量情報である、請求項２に記載のセンサシステム。
【請求項８】
前記画像センサの各々は、前記対象動体の属性情報として、対象動体の動線形成に係わる座標情報を画像内の相対座標から、さらに当該画像センサの空間的な配置を示す絶対座標として変換する手段を有する、請求項２に記載のセンサシステム。
【請求項９】
前記累積特徴量情報が累積最終閾値を超えていない場合に、前記通信部は、前記対象動体の動体特徴量情報、および前記対象動体の画像データ情報の削除指示を他の少なくとも一つの画像センサに送信する、請求項３に記載のセンサシステム。
【請求項１０】
前記属性情報は、前記複数の画像センサにおける撮像時刻情報を含む、請求項２に記載のセンサシステム。
【請求項１１】
前記画像センサの各々は、前記属性情報が所定の閾値範囲を超えている場合に、異常系のデータとして異常系処理を実施する、請求項２に記載のセンサシステム。
【請求項１２】
前記属性情報は、前記対象動体の動線を含む、請求項２に記載のセンサシステム。
【請求項１３】
前記通信部は、前記対象動体が検知されたという情報と、前記対象動体が検知されていないという情報との少なくともいずれか一方を前記他の画像センサに伝達する、請求項２に記載のセンサシステム。
【請求項１４】
前記画像センサの各々は、
前記対象動体の前記特徴量情報を前記他の画像センサに伝達し、前記対象動体の画像データを自らに保存する、または、所定の宛先に伝送する請求項２に記載のセンサシステム。
【請求項１５】
前記通信部は、前記対象動体の前記特徴量情報、および撮像した前記画像データを前記複数の画像センサに伝達する、請求項２に記載のセンサシステム。
【請求項１６】
前記画像センサの各々は、
前記対象動体を検知できなくなった場合に、そのことを他の画像センサに伝達し、前記対象動体の前記特徴量情報を累積した累積特徴量情報と、前記対象動体の画像データとを取得する、請求項２に記載のセンサシステム。
【請求項１７】
前記画像センサの各々は、
前記対象動体を検知したのち、時間の経過とともに、前記対象動体の前記属性情報の保存の優先順位を低下させる、請求項２に記載のセンサシステム。
【請求項１８】
前記画像センサの各々は、
前記画像センサの視野外に前記対象動体が移動した場合に、前記対象動体の属性情報を、前記通信部を介して伝達する、請求項２に記載のセンサシステム。
【請求項１９】
前記画像センサの各々は、
所定のエリア内にある他の画像センサに接続要求を伝達後、前記画像センサからの応答が所定時間を経過しても得られない場合に、前記所定のエリアを拡大して再度接続要求を送信する、請求項２に記載のセンサシステム。
【請求項２０】
前記画像センサの各々は、
他の画像センサからの消去指示を受信するまで、前記伝達された前記属性情報を前記データ保存部に保持する、請求項２に記載のセンサシステム。
【請求項２１】
前記画像センサの各々は、う回路を形成可能な通信トポロジーで互いを接続し、通信に先立って相手先との事前動作確認のための通信を行う、請求項２に記載のセンサシステム。
【請求項２２】
前記画像センサの各々は、互いの時刻同期をとる手段を備える、請求項２に記載のセンサシステム。
【請求項２３】
前記判定部は、撮像エリアのする所定の範囲内への前記動体の進入を検知した場合、または、前記動体の形状情報が所定の形状情報に一致する場合に、前記閾値を超えたことを判定する、請求項６に記載のセンサシステム。
【請求項２４】
前記画像センサの各々は、累積閾値を超えたことを検知した画像センサからの通知、または、保存期間が既定値を超えた場合に、前記伝達された属性情報を削除する、請求項２に記載のセンサシステム。
【請求項２５】
前記画像センサの各々は、固有のカメラ座標、または、システム座標を前記属性情報とともに他の画像センサに伝達し、対象動体の動線をトレースした画像センサ群から取得した前記属性情報に基づいて全体トレースマップを再構成する、請求項２に記載のセンサシステム。
【請求項２６】
前記画像センサの各々は、前記属性情報の発信元である前記画像センサの有する撮像エリアのうちの縁部に対象動体が現れた時点で前記属性情報を伝達する、請求項２に記載のセンサシステム。
【請求項２７】
前記画像センサの各々は、
前記動体の移動方向が、前記撮像エリアの中央から縁部に向かっていることを検知した時点で前記属性情報を伝達する、請求項２６に記載のセンサシステム。
【請求項２８】
前記画像センサの各々は、
前記対象動体の属性情報を、前記縁部からの延長線方向のエリア内に配置されている画像センサを送信先とする、請求項２７に記載のセンサシステム。
【請求項２９】
前記属性情報は、前記画像データの輝度勾配情報を含む、請求項１に記載のセンサシステム。
【請求項３０】
複数の画像センサを具備するセンサシステムに適用される前記画像センサにおいて、画像データから抽出された動体に係わる特徴量情報を、対象動体の属性情報として他の画像センサに伝達する手段と、
前記画像データを取得する撮像部と、
前記画像データから前記特徴量情報を抽出する抽出部と、
前記特徴量情報に基づいて前記対象動体を判定する判定部と、
前記判定に係わる辞書データを記憶するデータ保存部と、
前記抽出された特徴量情報を前記他の画像センサに伝達する通信部とを備える、画像センサ。
【請求項３１】
複数の画像センサを具備するセンサシステムに適用されるセンシング方法であって、各画像センサで撮像された画像データから抽出された動体に係わる特徴量情報を、対象動体の属性情報として他の画像センサに伝達する過程を含む、センシング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、センサシステム、画像センサ、およびセンシング方法に関する。
【背景技術】
【０００２】
近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在・不在、あるいは人数などを計算することができる。
【０００３】
古くから、画像センサによる物体認識が研究されている。特に、ロボットの目の役目を果たすロボットに搭載された画像センサを使った、移動時の障害物の発見など、近年その研究が進められている。物体の認識については、たとえばchamfer distance を用いた障害物検知の文献がある。また、画像センサを用いて検知した動体が人であることを辞書と照合して確認し、照明制御を行う方法なども提案されている。
【０００４】
対象動体に対する識別能の高い特徴量情報を抽出可能な方法として、ＨＯＧ（Histgrams of Oriented Gradients）を用いた方法がある。輝度勾配方向ヒストグラムと呼ばれるこの手法は、候補領域を複数のブロックに分割して、各ブロックの輝度勾配方向をヒストグラム化する方法である。勾配の有無だけを用いることにより、明るさの変化による影響を受けにくく、形状の変化に対しても頑健であるといわれる。さらに形状識別能を高めたＣｏＨＯＧ（Co-occurrence HOG）という手法も開発されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−９８４７号公報
【特許文献２】ＷＯ２０１６／０３１７２０
【特許文献３】ＷＯ２０１１／１１４７７０
【特許文献４】特許第４７５９９８８号明細書
【非特許文献】
【０００６】
【非特許文献１】Lakshitha Dantanarayana*, Gamini Dissanayake, Ravindra Ranasinge, C-LOG: A Chamfer distance based algorithm for localisation in occupancy grid-maps, CAAI Transactions on Intelligence Technology 1 (2016) 272e284, http://www.journals.elsevier.com/caai-transactions-on-intelligence-technology/
【非特許文献２】Navneet Dalal and Bill Triggs, Histograms of Oriented Gradients for Human Detection, INRIA Rh.one-Alps, 655 avenue de l'Europe, Montbonnot 38334, France
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像センサを用いたソリューションへのニーズが年々高まってきている。例えば、撮影された画像から、老健施設からの徘徊老人の不測の外出や、体調不良で急に歩行困難になった人、酩酊した人、公共の場所での迷子、または挙動不審者のモニターなど、通常と異なる行動をする動体（人）を発見したいという要望がある。また、同じ動体でも、倉庫で稼働するフォークリフトなどの車両の動線を把握したいという要望もある。このように画像認識技術にはさまざまなニーズがあり、画像センサ、および画像センサを用いたセンサシステムへの期待は大きい。
【０００８】
そこで、目的は、可用性をさらに高めたセンサシステム、画像センサ、およびセンシング方法を提供することにある。
【課題を解決するための手段】
【０００９】
実施形態によれば、センサシステムは、複数の画像センサと、前記画像センサにより撮像された画像データから抽出された動体に係わる特徴量情報を、対象動体の属性情報として他の画像センサに伝達する手段とを具備し、さらに、前記画像センサの各々は、前記画像データを取得する撮像部と、前記画像データから前記特徴量情報を抽出する抽出部と、前記特徴量情報に基づいて前記対象動体を判定する判定部と、前記判定に係わる辞書データを記憶するデータ保存部と、前記抽出された特徴量情報を前記他の画像センサに伝達する通信部とを備える。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態に係わるセンサシステム１の一例を示す図である。
【図２】図２は、センサシステムの一例を示す機能ブロック図である。
【図３】図３は、画像センサの配置の一例を示す図である。
【図４】図４は、実施形態に係わるセンサシステムの一例を示す機能ブロック図である。
【図５】図５は、実施形態に係わるセンサシステムの他の例を示す機能ブロック図である。
【図６】図６は、画像センサ１０の一例を示す機能ブロック図である。
【図７】図７は、実施形態における画像センサ間の情報伝達の一例を説明するための図である。
【図８】図８は、実施形態における画像センサ間の情報伝達の他の例を説明するための図である。
【図９】図９は、図８の次の状態の一例を示す図である。
【図１０】図１０は、図９の次の状態の一例を示す図である。
【図１１】図１１は、実施形態における画像センサ間の情報伝達の他の例を説明するための図である。
【図１２】図１２は、実施形態における画像センサ間の情報送信先を決定する手法の一例を説明するための図である。
【図１３】図１３は、図１２の次の状態の一例を示す図である。
【図１４】図１４は、実施形態において、対象動体の特徴量情報伝達方式の一例を示すフローチャートである。
【図１５】図１５は、実施形態における対象動体の特徴量情報伝達方式の異常系のデータ処理手順を示すフローチャートである。
【図１６】図１６は、実施形態における画像センサが共有する設定情報、および、伝送する特徴量情報の一例を示す図である。
【図１７】図１７は、実施形態における伝送された側の画像センサが収集し、累積情報として伝送する特徴量情報の一例を示す図である。
【図１８】図１８は、モニター対象となる特定の動体に関する、対象動体属性情報の処理の一例を示すフローチャートである。
【図１９】図１９は、実施形態における簡易動き検知の一例を示す図である。
【図２０】図２０は、実施形態における全体トレースマップの一例を示す図である。
【図２１】図２１は、実施形態における、動体特徴量情報を伝達する条件の一例を示す図である。
【発明を実施するための形態】
【００１１】
画像センサにより撮像した動体（例えば人）が移動した経路を動線として把握し、目的を持って移動している通常の人の動線か、そうでないかを知りたい場合がある。これは、例えば動体が徘徊老人かどうか、あるいは迷子かどうかを調べるために行われる。対象動体（人）が携帯電話やスマートフォンを等の発信機をもっていれば、ＧＰＳ（Global Positioning System）などによる検知が可能であるが、発信機を持たない場合や、そもそも屋内ではこの方法を適用することができない。この場合、例えば建物内に設置された画像センサにより動線を把握することになる。
【００１２】
老健施設からの徘徊老人の不測の外出や、体調不良で急に歩行困難になった人、酩酊した人、公共の場所での迷子、または挙動不審者のモニターなど、通常と異なる行動をする動体（人）を撮影画像から見い出したいという要望がある。また、同じ動体でも、倉庫で稼働するフォークリフトなどの車両の動線を把握したいという要望もある。
【００１３】
例えば、人物の顔を検知対象として画像データを収集し、別途登録した辞書情報と比較して対象動体を特定することや、表情の細かな違いから緊張状態や、快、不快などの感情を推定する方法がある。この場合では、通常、１つの画像センサでデータ収集が可能である。その一方で、個人情報保護上、常時顔識別を実施することには課題がある。また、顔認識を含めた動体の形状認識の精度を上げるには、辞書情報への大量の学習や、撮影する動体の向きなどを考慮した多数の画像センサを設置する必要などが生じる。さらに、撮影される側は、視野の中にカメラが見えて、不快感を持つこともあり得る。解像度を下げ、服の色、形、持ち物などから動体の形状情報を収集する方法もあるが、上述の要望は必ずしも満たされない。すなわち、動体の形状情報の利用のみでは、上述の要求を満足させることはできない。
【００１４】
別な方法として、動体の動作を１つの画像センサでモニターし、例えば万引きをする前兆としての、周囲に人がいないことの素早い首振り動作による確認など発生していないか、あるいは、手の不自然な動きなど監視する方法がある。このようなケースも、通常、１つの画像センサでデータ収集が可能である。典型的な動作であれば、警告を監視者、店舗であれば店員に通知することにより、未然に防ぐあるいは、早期に万引きなどの発生を確認することができる。上述の要望すべてをカバーできるわけではないという課題がある。  
実施形態では、複数の画像センサを用いて、徘徊老人や迷子、不審者、あるいは単に動体の有無などを、動線把握を加味して識別する手法について開示する。
【００１５】
［構成］
図１は、実施形態に係わるセンサシステム１の一例を示す模式図である。センサシステム１は、対象空間４の監視をセンサを用いて実現するためのシステムである。対象空間４は、例えばビルや、店舗、オフィス等の有人の空間であってもよいし、機器の搬入／搬出を伴う工場や、サーバルーム等の無人の空間であってもよい。対象空間４の立体形状は、図示されるように直方体である必要はなく、センサが設置された任意の空間形状であってよい。また、センサシステム１が設置された建物全体を含む、多層階の略中空建築物であってもよい。
【００１６】
対象空間４は、例えばａからｆまでのエリアに分割される。エリアａ〜ｆのセンサによる監視は、それぞれに対応するセンサデバイス９ａ〜９ｆ及び通信部２０ａ〜２０ｆにより実現される。例えば、各通信部２０から送られた情報を中央サーバ３０が収集し、処理することで、対象空間４全体での空調制御が実現される。エリアａ〜ｆには、それぞれに共通する文字（ａからｆ）で区別されるセンサデバイス９及び通信部２０が対応する。以下、エリアａ〜ｆを区別しない場合は単に「エリア」と記載する。
【００１７】
センサシステム１は、センサデバイス９ａ〜９ｆ、通信部２０ａ〜２０ｆ及び中央サーバ３０を備える。通信部２０ａ〜２０ｆは、それぞれセンサデバイス９ａ〜９ｆのうち共通する文字（ａからｆ）で区別されるセンサデバイスを制御する。以下、センサデバイス９ａ〜９ｆを区別しない場合はセンサデバイス９と記載し、通信部２０ａ〜２０ｆを区別しない場合は通信部２０と記載する。
【００１８】
各通信部２０及び中央サーバ３０は通信線５で接続され、互いに通信可能に構成される。通信線５は、例えば、代表的な有線ＬＡＮであるイーサネット（登録商標）でも良いし、ＰＬＣ（Power Line Communication）でもよい。各通信部２０及び中央サーバ３０の通信は無線通信によって実現されてもよい。中央サーバ３０は、各通信部２０から取得される計測データに基づいて、各通信部２０を全体制御する。
【００１９】
図２は、センサシステムの一例を示す機能ブロック図である。一例として、センサデバイス９ａ〜９ｄは、例えば室温や照度などの環境情報（センサデータ）を収集する。センサデータは、各センサデバイス９ａ〜９ｄに接続された通信部２０ａ〜２０ｄから、通信線５による一次通信系を介して、中央サーバ３０に伝送される。
【００２０】
中央サーバ３０は、通信部３１を介して受信したセンサデータを、分析部３２により分析し、判定部３３により、次の処理をどうするかを判定する。判定の際、設定値との比較に加え、例えば過去データ３４内にあるデータと比較することにより判定を行う。これら一連の処理は、制御・処理部のＣＰＵ３５により制御される。すなわちＣＰＵ３５は、通信部３１を介してセンサデバイス９、またはエアコンや照明機器（図示せず）への制御命令を発行し、通知する。
【００２１】
ところで、実施形態では、センサデバイス９として画像センサを適用するシステムについて説明する。画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば１台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。さらに、辞書データ対象を検知するための辞書データを更新することで、対象物の検知性能を最適化することも可能である。
【００２２】
画像センサは、例えば対象空間４の天井部に所定の間隔で複数設けられる。各画像センサの撮像範囲は、略長方形の部屋であれば、天井の隅に置く画像センサであってもよいし、部屋の中央に置く３６０度周囲を撮像できる魚眼レンズなどの広視野角レンズを使った画像センサであってもよい。また、各画像センサの撮像領域は隣接する画像センサと、一部重複している場合もあるし、死角となる領域がある場合があってもよい。
【００２３】
図３は、画像センサの配置の一例を示す図である。この例では、各画像センサ１０ａ〜１０ｄを接続する情報経路はなく、各画像センサはそれぞれ独立して機能し、各画像センサ間でのデータ共有等は想定されない。
【００２４】
図４は、実施形態に係わるセンサシステムの一例を示す機能ブロック図である。センサデバイスとして、環境センサ８a〜８ｄ、および画像センサ１０a〜１０ｄが示される。このうち環境センサ８a〜８ｄは、例えば、温度、湿度、照度、風量、音量などの、対象空間の環境を測定する。赤外線などを用いたモーションセンサもこれに含まれる。環境センサ８a〜８ｄは、一次通信系により通信線５を介して中央サーバ３０に接続される。
【００２５】
さらに、環境センサ８a〜８ｄとは別に、画像センサ１０ａ〜１０ｄが設置される。画像センサ１０ａ〜１０ｄは、それぞれ通信部２１ａ〜２１ｄを介して相互に接続され、２次通信系を形成する。つまり、環境センサに係わる通信部２０a〜２０ｄ（１次通信系）が中央サーバ３０に直接接続されるのに対し、通信部２１a〜２１ｄ（２次通信系）は、画像センサ１０ａ〜１０ｄ間を接続する。
【００２６】
２次通信系の通信方式と１次通信系の通信方式は、同じでも、異なっていてもよい。２次通信系は、イベントドリブンの無線による一時的な接続、例えばアドホック接続であってもよい。あるいは、２次通信系を１次通信系に多重してもよい。これは２次通信系への要求事項は、１つの画像センサから別の画像センサに動体の属性情報を伝送できればよいためである。
【００２７】
図４において、通信部２１ａ〜通信部２１ｄは、相互に通信可能である。実施形態において、通信部２１ａ〜通信部２１ｄの通信は、画像センサ自身の判断に基づき実行される。例えば、画像センサ１０ａは、自ら撮像した画像から特徴量情報を抽出し、画像センサ１０ａ内部のＣＰＵにより、他の画像センサへの通信の可否を判断する。必要と判断されると、通信部２１ａを経由して、周辺の画像センサ１０ｂ、１０ｃ、および１０ｄにそれぞれの通信部２１ｂ、２１ｃ、および２１ｄを介して、画像センサ１０ａで得られた動体特徴量情報が伝達される。なお、以下の記述において、動体特徴量情報、特徴量情報、および動体情報はいずれも同様の意味を持つ。
【００２８】
動体特徴量情報を受信した、画像センサ１０ｂ、１０ｃ、および１０ｄは、それぞれに備わるＣＰＵにより、動体特徴量情報に合致する対象物が、撮像している画像内に現れないか、観測する。例えば、画像センサ１０ｃで伝達された動体特徴量情報に合致する動体が撮像した画像上に検知された場合は、伝達された動体特徴量情報と、該当画像センサで収集した動体特徴量情報とを合わせて、累積の動体特徴量情報として、さらに周辺の画像センサ群に伝達する。このような動作により、即時性のある、対象動体の継続モニターが可能となる。
【００２９】
図５は、実施形態に係わるセンサシステムの他の例を示す機能ブロック図である。各通信部２１ａ〜２１ｄからのデータの授受を制御するマスター２２を２次通信系に設けることによっても、中央サーバ３０とは無関係に、画像センサ間の通信を実現することができる。マスター２２の機能は、画像センサ間のデータ授受の制御を専用に行う機器に持たせてもよいし、いずれかの画像センサが兼用してもよい。
【００３０】
図５においても、２次通信系の接続は、優先リソース上で恒久的に維持されるものであっても、無線リソースを用いたでテンポラリなものであっても、いずれでもよい。２次通信系の通信方式は、画像センサで伝送すべき状況を検知した場合にのみ通信を開始する、イベントドリブンのアドホック通信方式であってもよい。また、２次通信系の通信トポロジーは、リング型、ツリー型、メッシュ型など、特に限定されるものではない。故障や災害により、いずれか１つの画像センサの通信部に故障が発生しても、う回路を形成可能なトポロジーを用いれば、センサネットワークを構成する他の画像センサ群との接続を維持することができる。事前に通信相手先とのヘルシーチェックを行ってもよい。
【００３１】
図５の構成においても、動体特徴量情報を画像センサ間で伝達していくことにより、画像センサにおいて累積特徴量情報を生成し、動体判定に係わる最終的な判定をすることが可能となる。
【００３２】
なお、図４、図５の画像センサ間では時刻同期の仕組みを設けておくことが必要である。これは、動線把握の処理のために、座標情報と時刻情報とを伝達するためである。座標情報については、各画像センサの相対座標（カメラ座標）を有するが、最終的には、動線トレースのため、全体トレースマップを作成するので、絶対座標（システム座標）を必要とする。各画像センサが絶対座標への変換をしてから、伝達情報として次の画像センサに渡すようにしてもよい。これにより、最終の全体トレースマップの作成を容易に、かつどの画像センサ内でも行うことができる。
【００３３】
図６は、画像センサ１０の一例を示す機能ブロック図である。画像センサ１０は、画像撮像用カメラ１１と、２次通信系に接続される通信部２１とを備える。画像撮像用カメラ１１で取得された画像データは、画像前処理部１２により前処理（preprocessing）され、判定しやすい画像に変換される。次いで、前処理された画像データから特徴量情報抽出部１３により特徴量情報が抽出され、判定部１４により動体が判定される。このとき、データ保存部に記憶される辞書データ１６が参照される。全体の制御はＣＰＵ１５により行われる。判定後の撮像データや抽出した特徴量情報は、必要に応じて、保存部１７に保存される。次に、上記構成における作用を説明する。
【００３４】
［作用］
図７は、実施形態における画像センサ間の情報伝達の一例を説明するための図である。伝達される情報は、画像データから生成された特徴量情報であるとする。図７に示されるように多数の画像センサが、異なる空間的な位置を撮像するように配置されているとする。図７に示されるレイアウトは、例えば、１つのフロアに配置されている画像センサ群を表す。各々の画像センサ１０に、互いを識別するための番号が付与される。図７では、ｘｙ座標で表現可能な、空間的な位置に基づく番号付けの例が示される。
【００３５】
動体特徴量情報の伝達方法には、幾つかのやりかたが考えられる。先ず、或る画像センサで発見され、伝達すべきと判断された動体特徴量情報を、図７の全ての画像センサに同時に伝達する方法がある。この方法は、各画像センサの隣接関係が既知の情報として登録されている場合に利用できる、
ここでは、この方法に代えて、より伝達範囲を狭めることで、ネットワーク負荷および画像センサの処理負荷を低減する手法について順次開示する。  
１つ目には、動体を検知した画像センサ（例えば中央の画像センサ１０Ｆ４１）から、周辺の画像センサに動体特徴量情報を同心円状に伝達していく方法が考えられる。この方法は、画像センサ１０Ｆ４１を中心として、同心円の半径方向に動体が直線的に移動していく場合に適用できる。しかしながら、対象動体の動線が直線状でない場合には、この方法はマッチしない。次に、動線が自在に曲がっている場合にも適用可能な手法について説明する。
【００３６】
図８〜図１０は、実施形態における画像センサ間の情報伝達の他の例を説明するための図である。図８が最初の状態で、この状態から図９、図１０の順で時間が経過する。先ず、図８の画像センサ群のうち中央の画像センサ１０Ｆ４１で撮像した画像から抽出した動体特徴量情報が、所定の閾値を超えた場合を考える。すなわち、画像センサ１０Ｆ４１を、最初に対象動体を検知した画像センサＡ１とする。
【００３７】
［手順（１）］
閾値を超える特徴量情報を検知すると（特徴量情報  ＞  閾値が成立）、対応する動体を継続監視するために、画像センサＡ１は周辺画像センサ群Ｂ１〜Ｂ６に通知する。次に、図９の手順（２）が実施される。
【００３８】
［手順（２）］
動体特徴量情報を注意フラグとして、画像センサＡ１から、所定の周辺画像センサ群Ｂ１〜Ｂ６に伝送する。図９に示されるように、画像センサＡ１から画像センサＢ１〜Ｂ６に動体特徴量情報が伝達されたとする。注意フラグを受信した画像センサＢ１〜Ｂ６は、受信した動体情報をもとに、対象の動体が画像上に在るかモニターする。所定時間内に対象動体が検知できない場合は、検知できないことを示す情報を、伝達対象となる画像センサＢ１〜Ｂ６およびＡ１に伝達共有してもよい。ここでは、画像センサＢ１〜Ｂ６で、対象動体を検知したとする。
【００３９】
［手順（３）］
受信した注意フラグ情報に合致する動体が存在しないことを画像センサＢ６およびＡ１が検知し、所定の周辺画像センサ群Ｂ１〜Ｂ６およびＡ１（ただし、発信する画像センサを除く）に伝送する。ここでは、対象の動体が画像センサＢ２で検知されたとする。
【００４０】
［手順（４）］
受信した注意フラグ情報に合致する動体が視野内に存在することを、画像センサＢ２が検知したとする。画像センサＢ２で対象動体を検知した場合、画像センサＡ１から受け取った動体特徴量情報に、画像センサＢ２に収集分析した動体特徴量情報を、経時的情報として加えて、累積特徴量情報を生成する。
【００４１】
複数の画像センサを経由して収集した動線情報を用いれば、判定精度をより高くできることが期待される。そこで、累積特徴量情報の判定には、累積閾値を定義し、その値を用いて閾値判定を行う。累積特徴量情報の伝達先は、手順（３）で通知した画像センサＢ１〜Ｂ６およびＡ１ではなく、画像センサＢ２を中心とする新たな画像センサを決定する。その際、伝送する情報は、累積した特徴量情報を含む、対象動体の情報となる。
【００４２】
［手順（５）］
図１０に示されるように、画像センサＢ２を中心とする新たな周辺画像センサ群Ｃ１〜Ｃ４に、動体特徴量情報とともに累積特徴量情報を通知する。すなわち、画像センサＢ２を中心として、周辺の画像センサＣ１〜Ｃ４が選択され、注意フラグが送信される。例えば画像センサＣ１は画像センサ１０Ｆ２３、同様に、Ｃ２は１０Ｆ５３、Ｃ３は１０Ｆ４１、Ｃ４は１０Ｆ２２の画像センサがそれぞれ対応している。
【００４３】
最新の時刻に対象動体を検知した画像センサ（この場合は、Ｂ２）を中心に周辺の画像センサを決定する。対象動体がどちらの方向に移動するか不明なため、もとの画像センサＡ１に戻る方向の画像センサ１０Ｆ４１も、新たに、画像センサＣ３として伝送先に選ばれている。例えば、画像センサＣ４で対象動体を検知し、累積特徴量情報を画像センサＣ２内のＣＰＵにより計算する。
【００４４】
［手順（６）］
受信した注意フラグ情報に合致する動体が存在したこと、さらに、（累積特徴量情報＞累積最終閾値）の判定がＹｅｓであり、累積最終閾値を超えている動体があることを管理者あるいは対象通知先に通知する。例えば、中央サーバ３０を備えるシステムで、当該中央サーバ３０が画像センサに接続されていれば、中央サーバ３０を対象通知先としてもよい。この場合、中央サーバ３０を介して監視者に情報が通知される。
【００４５】
別の方法としては、画像センサ群の全てに最終閾値を超えた累積特徴量情報を有する動体が存在することを通知してもよい。そして、画像センサと接続される、有線、無線ネットワークにより、そのような動体の現れたことを通知してもよい。または、ＬＥＤの点灯や音によっても、通知を行うことが可能である。画像センサ間で動体情報を伝達するタイミングと、その送る先を限定する方法についてさらに説明する。
【００４６】
図１１は、図８の画像センサＡ１における撮影領域（検知する平面空間）の一例を示す図である。撮影領域は、例えば正方形で、さらにその正方形を格子状に分割することができる。説明を簡単にするために、図では、４×４の正方形状に空間が仕切られているとする。これにより計１６個のマスのいずれで動体が検知されたのか、識別することができる。
【００４７】
画像センサＡ１の撮像領域の縁部（Ｅｄｇｅ）および角部に相当するマスに符号ｅ１〜ｅ１２を付し、縁部から離れた撮像領域の中央部（Ｃｅｎｔｅｒ）のマスに番号ｃ１〜ｃ４を付して示す。どのマスで動体が検知されたかを継続的に観測することで、画像センサ間で動体情報を伝達するタイミングと送る先を決めることができる。
【００４８】
伝達するタイミングを決める第１の方法は、ｅ１〜ｅ１２のいずれかで動体が検知された時点を、伝達のタイミングとする方法である。すなわち、特定のマス上で動体が検知された場合である。これは、外側のマスｅ１〜ｅ１２で検知されると、動体が画像センサＡ１の視野外に出てしまう可能性があるからである。
【００４９】
伝達するタイミングを決める第２の方法は、中央部（ｃ１〜ｃ４）から縁部（ｅ１〜ｅ１２）方向に動体が動いた時点を、伝達のタイミングとする方法である。この場合も、動体が画像センサの撮像視野外に出る可能性が高いからである。これは、動体の移動方向、すなわち動体ベクトルの向きを基準に伝達タイミングを決める方法である。なお第１及び第２の方法を兼ねて、特定の方向に移動しており、かつ特定のマス上に動体がきたときを伝達するタイミングとしてもよい。このようにすれば精度の向上を期待できる。  
伝達するタイミングを決める第３の方法として、画像センサの視野外に動体が移動してしまい、動体の検知ができなくなった時点以降を、伝達のタイミングとしてもよい。次に、動体情報の送信宛先の決定手法について説明する。
【００５０】
動体情報の送信先を決める第１の方法は、対象空間内の全ての画像センサに動体特徴量情報を送る方法である。  
動体情報の送信先を決める第２の方法は、例えば図８〜図１０に示されるように、動体を検知している画像センサを中心として同心円状に（３６０°方向に）送信先を決める方法である。
【００５１】
動体情報の送信先を決める第３の方法は、図１１において、画像センサＡ１の撮像範囲のどの縁部に動体がいるかに応じて、その縁部方向の画像センサに向けて動体情報を送る方法である。例えば、撮像領域が方形をしていて、撮像領域の縁部であるｅ５またはｅ６に動体が検知された場合、縁部側の画像センサである１０Ｆ３３および１０Ｆ５３に動体情報を伝送する。このようにすれば、より動体の出現の確率の高いセンサに限って動体情報を送ることができ、伝送帯域の節約などの面からも効率が良い。
【００５２】
また、画像センサＡ１のｅ４に動体が検知された場合には、角部に相当するため、画像センサ１０Ｆ２２および１０Ｆ３３に動体情報を伝送する。ｅ７に動体が検知された場合には、１０Ｆ５３および１０Ｆ６２に動体情報を伝送する。
【００５３】
なお、画像センサの撮像範囲が、隣接する画像センサと縁部同士で重なる場合もある。この場合は、動体情報を伝達するタイミングまたは送信先を、送信先の画像センサがなんらかの動体を検知した時点以降にまで待ってもよい。詳しくは後述する。
【００５４】
図１２は、画像センサＡ１の角部ｅ４に動体が検知された場合に、伝送範囲を限定することを模式的に示す図である。図１２の状況下では、１０Ｆ２２（画像センサＢ１）および１０Ｆ３３（画像センサＢ２）が動体を検知すると想定される。そこで、これらの画像センサに動体情報を伝送している。例えば、画像センサＡ１の角部ｅ４から到着しうる画像センサＢ２のマスは、ｅ８〜ｅ１２である。
【００５５】
画像センサＢ２で動体を検知する第１の方法は、上記のマスで動体が、画像センサＡ１から動体情報が送られてから所定時間内に検知されれば、同一の動体であろうとする、簡易的な検知方法である。
【００５６】
動体を検知する第２の方法は、図６における、各画像センサがもつ辞書情報または過去の撮像データおよび特徴量情報を用いて、動体の形状にかかわる情報、例えば人であることを最初に識別する方法である。
【００５７】
動体を検知する第３の方法は、画像センサＡ１から送られてきた動体情報のうち、動体の形状にかかわる情報、例えばＨＯＧ情報またはＣｏＨＯＧ情報をもとに、同一の動体であることを検知し、そのうえで動線を把握する方法である。これら３つの動体検知方法を組み合わせて用いてもよい。このようにして動体を検知、または、対象動体の同定が可能になる。
【００５８】
なお、画像センサＢ２の撮像範囲内で、対象動体が移動した時間経過後、縁部に達した対象動体が、縁部ｅ５およびｅ６で検知されたとする。縁部からの移動先となる画像センサは、１０Ｆ２３および１０Ｆ６３とする。このような場合に、さらに検索範囲を広げて、１０Ｆ５３を動体情報の伝送先に加えてもよい。
【００５９】
図１３は、図１２の次の状態の一例を示す。図１３においては、画像センサＢ２の縁部ｅ５およびｅ６で動体が検知された場合に、伝送先として画像センサ群Ｃ１、Ｃ２、およびＣ３が選択されることが示される。例えば画像センサＣ１では、ｅ１、ｅ１０、ｅ１１およびｅ１２から動体が出現すると想定される。画像センサＣ１で対象動体が検知されると、画像センサＡ１からの特徴量情報を加えた、画像センサＢ２からの累積特徴量情報に、画像センサＣ１の特徴量情報を加味することにより、受信した対象動体情報に合致する動体が存在したことが検知される。さらに、（累積特徴量情報＞累積最終閾値）の判定がＹｅｓであり、累積最終閾値を超えている動体があることが、管理者あるいは対象通知先に通知される。この際、最新の時刻において、対象とする動体がどのマス内にいるかという情報を加えて送ってもよい。この場合は例えば画像センサＣ１のマスＣ３内に動体がいることが、示される。
【００６０】
累積最終閾値による判定のＹｅｓかＮｏかに拘わらず、動体情報には、タイムスタンプと、どの画像センサに動体情報が送られたのかが履歴として残っている。画像センサ内のデータを確実に削除するため、不要となった動体情報の削除指示を、この画像センサＣ１経由で送信してもよい。または、累積最終閾値による判定がＹｅｓの場合に、画像データを保存または所定の場所に収集する指示後に、削除指示を出すようにしてもよい。あるいは、保存開始から所定時間経過した場合に、各画像センサは、撮像した画像自体を含む動体情報を削除対象として優先的に削除するという一律の処理ルールとしてもよい。これらいずれかの処理をすることにより、画像センサ内の限られた保存容量を有効に活用しつづけることができる。
【００６１】
図１４は、実施形態において、対象動体の特徴量情報伝達方式の一例を示すフローチャートである。任意の画像センサを主体としてこのフローチャートが実行される。図１４において、Ｓ１０１は、このフローチャートにおけるデータ収集の元となるステップである。Ｓ１０１で、他の画像センサからの動体特徴量情報を含めた、所設定情報収集を行う。これには、アップデートされた閾値や、画像センサ群の位置関係、および画像のプリプロセスなどの、画像センサ間で共通に保持しておく共通情報と、各画像センサが動的に収集している動体特徴量情報の受信情報が含まれている。また、この画像センサ自体が撮像した画像データがあれば、その情報も含む。
【００６２】
次に、Ｓ１０２において、この画像センサが収集した画像情報が、収集画像より異常系のデータの検知ありか否かを判断する。Ｓ１０２においてＮＯすなわち、収集画像は正常であると判断した場合、次のＳ１０３のステップに進む。
【００６３】
Ｓ１０３では、転送されてきた動体特徴量情報はあるか否かの判断を行う。転送されてきた情報がなければ、Ｎｏとなり、Ｓ２１０に進む。転送されてきた情報がある場合、Ｙｅｓとなり、処理手順は次のステップＳ１０４に移る。
【００６４】
Ｓ１０４では、特徴量情報抽出のための画像収集を開始する。これは、この画像センサで画像を収集するステップである。Ｓ１０５において、収集画像のpre processingを行う。これは、収集した画像から、特徴量情報を抽出するための、画像への前処理であり、画像から不要な情報を削除する、フィルタリング等が行われる。
【００６５】
次にＳ１０６のステップで、画像解析による特徴量情報抽出が行われる。画像から、輝度勾配方向ヒストグラムの生成や、動体か否かの判断をするための画像間の差分処理などが行われ、特徴量情報としてデータ化される。この特徴量情報には、顔画像が残っているようなことはなく、同一の動体であることは判断がついても、誰というようなことは通常わからない情報である。また、ステップＳ１０３において、転送されてきた動体特徴量情報があることから、ステップＳ１０６で生成する情報は、転送されてきた動体特徴量情報と合わせて累積動体特徴量情報とできるよう、後述するフォーマットに揃えておく。
【００６６】
Ｓ１０７では、この画像センサによる画像データ中に、対象動体は収集画像中に発見されたか否かの判断を行う。Ｙｅｓであれば、対象動体が発見されたことになるので、所定時間の画像収集を行う。
【００６７】
Ｓ１０８では、転送されてきた動体特徴量情報に、この画像センサにより生成した動体特徴量情報を、時間軸情報とともに、累積特徴量情報として生成する。  
Ｓ１０９では、累積特徴量情報が、累積閾値を超えているか否かの判断を行う。累積閾値を超えている場合は、Ｙｅｓとなる。  
Ｓ１１０で、累積特徴量情報が、累積最終閾値を超えているか否かの判断を行う。超えていれば次のＳ１１１のステップに移行する。  
Ｓ１１１では、累積最終閾値を超えている動体があることを管理者／通知対象機器に通知する。これにより、動体情報を累積していくことにより、例えば対象動体が、徘徊行動や迷子等、正常行動による動線を形成していないことが通知できる。  
Ｓ１１２は、対象動体に対する一連の累積特徴量情報の生成、判定および通知が完了した後のプロセスで、後処理（削除指示等）を行う。対象動体に関する各画像センサ上の情報に対する削除指示を出す。削除指示は、本処理プロセスで出す場合もあるし、通知先からでる場合もあってよい。さらに、上述のように、対象動体の画像情報を収集を完了した各画像センサ内のタイマによる所定時間経過後、削除指示がなくても削除対象とする、自律的な処理であってもよい。
【００６８】
次に、Ｙｅｓ／Ｎｏの選択肢を含む判定処理について説明する。Ｓ１０２において、システム異常などにより、収集画像より異常系のデータの検知ありと判断した場合、Ｙｅｓとなり、Ｓ２２０およびＳ２２１のステップにおいて、異常系処理を行う。異常系の処理がおわれば、Ｓ２２１の異常系処理ＥＮＤとなり、その後、Ｓ１０１に戻る。Ｓ２２０〜Ｓ２２１の間の異常系の処理の詳細については、後述の図で説明する。
【００６９】
Ｓ１０３において、転送されてきた動体特徴量情報がない場合、Ｎｏとなり、Ｓ２１０以下の処理を行う。  
Ｓ２１０では、特徴量情報抽出のための画像収集を開始する。  
Ｓ２１１では、収集画像 pre processing を行う。  
Ｓ２１２では、画像解析による特徴量情報抽出を行う。  
Ｓ２１３では、特徴量情報が閾値を超えているか否かの画像センサ内の１次判断を行う。閾値を超えている場合、Ｙｅｓとなり、次のＳ２１４に移行する。閾値を超えていない場合は、他の画像センサ群への通知の必要はないとして、Ｎｏとなり、Ｓ１０１に戻る。
【００７０】
Ｓ２１４では、動体特徴量情報を所定の画像センサ群に通知する。この所定の画像センサ群は、Ｓ１０１のステップで収集しておいた、設定情報からあらかじめ画像センサごとに決まっている値である。通知後、初期状態のステップＳ１０１に戻る。  
Ｓ１０７において、対象動体は収集画像中に発見されたか否かの判断を行う。対象動体が発見されない場合は、Ｎｏとなり、Ｓ２１５に移行する。
【００７１】
Ｓ２１５では、転送されてきた動体特徴量情報を有する動体が検知されていないことを、所定の画像センサ群に通知する処理を行う。この処理のあと、Ｓ１０１に戻る。  
Ｓ１０９において、累積特徴量情報が、累積閾値を超えているか否かの判断を行う。累積閾値を超えていない場合は、Ｎｏとなり、Ｓ２３０に移行する。  
Ｓ２３０では、対象動体は検知されたが、累積閾値は超えておらず、対象動体から削除する指示を所定の画像センサ群に通知する。他の画像センサ内の一次判断により、転送されてきた対象動体の動体特徴量情報であるが、この画像センサでの累積閾値による判定により、継続モニターの必要性がないと対象動体であると判断している。それにより、対象動体から外す、削除指示を所定の画像センサ群に通知するプロセスである。Ｓ２３０の処理後、Ｓ１０１に戻る。
【００７２】
Ｓ１１０において、累積特徴量情報が、累積最終閾値を超えているか否かの判断を行う。超えていない場合は、Ｎｏとなり、次のＳ２４０のステップに移行する。  
Ｓ２４０では、対象動体の動体特徴量情報、および画像データ情報の削除指示を他の所定の画像センサ群に送信する。最終判断であり、対象動体の関連情報および画像が各画像センサに残っていれば、それも削除することを指示する。  
図１４における一連の手順に従って、各画像センサが動作する。これにより、本実施形態における、各画像センサ内における１次判断により、動体特徴量情報の他の画像センサへの伝達がなされる。動体特徴量情報を受信した画像センサは、自らの（この画像センサ内での）動体特徴量情報の作成と、累積特徴量情報の生成とを行う。また、累積特徴量情報が十分長い時間蓄積していれば、累積最終閾値による、最終判断を行い、管理者／通知対象機器に通知する。さらに、１次判断後、他の画像センサで累積閾値を超えていない、すなわち、対象動体としてモニターを続ける必要がないと判断されれば、動体情報の削除指示が送出されて、ＣＰＵや保存媒体のリソースが開放される。これにより、継続的な監視が可能となる。
【００７３】
図１５は、実施形態における対象動体の特徴量情報伝達方式の異常系のデータ処理手順を示すフローチャートである。図１４のＳ１０２においてＹＥＳの場合に、この異常系処理になる。ステップＳ２２０において、異常系処理が開始されると、Ｓ１０では、他の画像センサからの動体特徴量情報を含む、所設定情報収集を行う。これにより、この画像センサで撮像した画像データ、および、他の画像センサからの動体特徴量情報を含む、一連のデータを、異常系のデータとして判断してよいか、最新の判断基準が取得される。
【００７４】
Ｓ１１では、異常系データとして処理してよいか否かの判断を行う。ＹＥＳの場合は、次のＳ１２に移行する。ＹＥＳとなる異常とは、例えば以下の４つのケースである。  
異常系データによる現象：
（１）  対象動体が２手に分かれた。  
（２）  壁、床などの、画像センサに通常映る静止画像を定点観測し、所定の範囲内の特徴量情報となることを確認しているが、観測時は、何らかの理由で正常の範囲を超える特徴量情報となった。  
（３）  輪郭抽出の結果が異常値となっている。  
（４）  対象動体が、別な画像センサで検知できず、見失う。
【００７５】
異常系データとしての処理：
（１）  同じＩＤ（IDentification）の動体があると区別ができなくなるため、改めてそれぞれに独立したＩＤ番号を与える。  
（２）  画像センサの故障や、照度の著しい低下などにより異常値が観測されたとして、画像センサや照明の状態を確認する。データは特異的な異常値として、無視する。または、管理者に報告をする。  
（３）  室内の明るさの差の影響を受けにくいため、輝度勾配ヒストグラムを特徴量情報として算出する。既に、輝度勾配ヒストグラムを利用していれば、画像センサ故障等として管理者に通知する。  
（４）  なんらかの理由により対象動体を検知できなくなったとして、所定時間後、対象動体の蓄積情報は削除する。  
Ｓ１２では、異常系データとして処理をする。処理方法は、該当する動体の動体特徴量情報を含む削除を、対象画像センサに対して指示する。または、指示発行前に、管理者／通知対象機器に通知し、管理者側からの指示を受けてから、画像センサのＯＮ／ＯＦＦ処理あるいは、該当動体情報の削除処理を行う方法であってもよい。
【００７６】
Ｓ１１において、Ｎｏの場合、すなわち異常系データとしての処理をしない場合には、Ｓ１３にて、同一動体に対して所定回数以上、Ｓ２２０に始まる異常系処理に入っているか否かが判断される。Ｎｏの場合は、異常系データとしての処理をせず、Ｓ２２１に移行する。ＹＥＳの場合は、何らかの理由で異常系に入っていることから、いったん正常データとしての処理を継続させる。すなわち、図１５のＳ１０３の処理に移行する。  
Ｓ２２１では、異常系処理を終了し、図１４にＳ１０１に戻る。
【００７７】
図１６は、実施形態における画像センサが共有する設定情報、および、伝送する特徴量情報の一例を示す図である。図１４のＳ１０１で収集する情報のフォーマットの一例を示す。図１６の上段の画像センサ共有設定情報は、各画像センサ１０が、共通で記憶しておくべき情報である。画像センサ共有設定情報１は、各画像センサの位置関係、通知対象となる周辺画像センサ、閾値情報、辞書情報、管理者／通知対象機器を含む。画像センサ共有設定情報２は、更新変更した各情報を含む。中央サーバ情報は、中央サーバに接続している場合に追加される、中央サーバのアドレス等の情報である。
【００７８】
図１６下段の画像センサ間のリアルタイム伝送情報（画像センサＡ１）は、対象動体のなる動体を最初に発見した画像センサＡ１が持つ情報となる。図８〜図１０の手順または、図１１〜図１３の手順で伝送される動体特徴量情報のフォーマットとなる。１行目に各項目が示されている。項目は、各画像センサ固有のプロセスＩＤにはじまり、他の画像センサに伝達すべきか否かを示す注意フラグ有無、画像センサＡ１が撮像した画像中にある対象動体に、画像センサＡ１が与えた対象動体番号である。
【００７９】
２行目から４行目に、時間経過とともに履歴が記録されている。ここでは、Ｍ００２１およびＭ００２２という２つの動体が撮像されていることがわかる。２行目では、最初は動体Ｍ００２１が検知されている。Ｍ００２１については正常動作の範囲にあり、閾値を超えていないので、注意フラグは「無」となる。従って、右の欄にある伝達すべき情報欄にはデータがない。
【００８０】
次いで、３行目で、Ｍ００２１とは異なる、動体Ｍ００２２が検知される。最初は、閾値を超える動作がないために、注意フラグは「無」となっている。しかし時間経過後、４行目において、Ｍ００２２が閾値を超える動体特徴量情報を持ったために、注意フラグが「有」となる。
【００８１】
周囲画像センサ群に伝達する情報は、１行目の項目として記載されている。画像センサの撮像時間に関する情報の発信先の場所に関する情報、伝達先（この場合はＢ群）に関する情報に関する情報である。この画像センサＡ１が算出した、対象動体の属性情報に関する情報が含まれている。この属性情報には、動体形状にかかわる情報、動体の細かな動きに係る情報、動体の形成する大きな動きすなわち動体動線に係る情報である。この動体動線に係る情報については、後述の図１９に示す、相対座標に関する情報であっても良い。
【００８２】
図１６の下段の表では、周辺画像センサ情報として、１つの画像センサについて例を示している。画像センサＡ１が伝達すべき動体特徴量情報を収集した段階（＝時刻）では、まだ、周辺画像センサであるＢ１〜Ｂ６には、対象とする動体の対象動体属性情報はない。画像センサＡ１が、前出のフローチャートに従い、周辺画像センサ群Ｂ１〜Ｂ６に、対象動体属性情報他を送る。
【００８３】
図１７は、実施形態における伝送された側の画像センサが収集し、累積情報として伝送する特徴量情報の一例を示す図である。図１６は、最初に対象動体を検知した画像センサＡ１内のデータを示しているのに対し、図１７は、特徴量情報を伝送された周辺画像センサ群側のデータを示している。すなわち図１７のデータのフォーマットは、例えば、対象動体を検知した画像センサＢ４内の、動体特徴量情報を受け取るまでと、受け取って次の画像センサ群Ｃ１〜Ｃ４に渡すデータを収集、伝送するまでの時間経緯とともに変わる情報を示している。
【００８４】
図１７において、１行目は図１６と同様であるが、画像センサ情報（Ｂ４）となっており、周辺画像センサ情報は、特徴量情報を送付した画像センサＡ１となっている。２行目から４行目までは、画像センサＢ４は、Ｍ０００１、Ｍ０００２の動体を検知しているが、注意フラグを立てる動体の動きでなかったため、データ欄はＮ／Ａ（Not/Available）となっている。
【００８５】
４行目では、動体が検知されなかったために、対象動体ＩＤ番号はＮ／Ａとなっている。５行目で、先ほどの画像センサＡ１から転送されてきたい対象動体属性情報を受信し、その情報が周辺画像センサ情報（Ａ１）として記録された。次いで、６行目以降、動体ＩＤ番号Ｍ００２２の情報について記載している。６行目では、動体ＩＤ番号Ｍ００２２を検知したために、画像センサＢ４の対象動体属性情報の欄が記入された。７行目では、動体ＩＤ番号Ｍ００２２は、周辺画像センサ群Ｃ１〜Ｃ４での継続モニターを必要とする、累積閾値を超える動体特徴量情報であることがわかり、伝達すべき、動体特徴量情報として、画像センサＡ１の情報および画像センサＢ４の情報を時間順に記録した情報となっている。これは複数の画像センサで追尾した結果である累積特徴量情報となっており、累積閾値より値が大きいために、次の周辺画像センサ群Ｃ１〜Ｃ４に伝送するデータとなっている。
【００８６】
図１８は、モニター対象となる特定の動体に関する、対象動体属性情報の処理の一例を示すフローチャートである。Ｓ２０において、他の画像センサから受信した対象動体属性情報の処理が開始される。
【００８７】
Ｓ２１では、他の画像センサからの対象動体属性情報の受信情報の受信をする。  
Ｓ２２では、情報を受信した本画像センサによる撮像、および、対象動体属性情報の計算を実施する。  
Ｓ２３では、受信した動体形状情報と、この画像センサにより撮像した画像中の動体との同定はできたか否かの判断を行う。同じ動体でない場合には、Ｎｏとなり、Ｓ２２の撮像、および対象動体属性情報の計算を継続する。ＹＥＳの場合は、Ｓ２４に移行する。
【００８８】
Ｓ２４では、受信した動体動線情報と、この画像センサにより撮像した画像中の動線情報は整合（連続）するか否かを判断する。ここで、整合とは、対象動体の２つの画像センサにより得られた動線がおおよそ連続線となっているか、断絶があり、位置がぴったりは合わないかの判断をすることである。合わない場合は、Ｎｏとなり、Ｓ２５に移行する。
【００８９】
Ｓ２５では、伝送情報に、コメントを付与する（軌跡の連続性に（１）若干／（２）大きなずれあり）。そして、Ｓ２７に移行する。
【００９０】
Ｓ２４で、動線情報が整合する場合、ＹＥＳとなり、Ｓ２６に移行する。  
Ｓ２６では、受信した動体動き情報と、この画像センサにより撮像した動体動き情報を、累積特徴量情報として保存するか否かを決定する。あらかじめ保存するか否かを設定しておいてもよいし、閾値により決めてもよい。保存しない場合は、Ｓ２９の対象動体属性情報の処理ＥＮＤに移行する。保存する場合は、ＹＥＳとなり、Ｓ２７に移行する。  
Ｓ２７では、累積特徴量情報の生成を行う。  
Ｓ２８では、累積特徴量情報の保存をするか、または、判定部結果により、周辺画センサへの対象動体属性情報の伝達を行う。このような一連の処理により、対象動体属性情報の伝送ができる。なお、動体動き情報は、動線ではなく、対象動体のくせや意図的なわずかな動きの有無を検知する情報であり、対象動体が意図した動きであることが多い。通常動線把握には、通常必要とされない情報である。
【００９１】
図１９は、実施形態における簡易動き検知を示す図である。上述したように、動体特徴量情報を画像センサで共有し、累積動体特徴量情報を生成するのが、動体の識別をしながら動線を把握していく上で適した方法である。これとは別に、より簡易的な方法として、対象動体の形状情報を伴わず、かつ各画像センサで動体を検知した場合に、それを管理者／通知対象機器に通知する方法もある。同じ動体であるか否かを調べていないが、画像センサが動きを検知した場合にそれを通知することで、より簡易的なシステムで、より迅速に注意を喚起することが可能となる。
【００９２】
図１９では、表の縦軸が時間経緯、横軸がセンサ名、検知した動体の座標、検知対象として動きのみを検知したことを表している。複数の画像センサで検知した動きから、累積した特徴量情報が得られている。
【００９３】
図２０は、実施形態における全体トレースマップの一例を示す図である。図１７の表に従い、画像センサＡ０、Ａ１、Ｂ２、Ｂ３、Ｃ１、Ｃ３それぞれから形成されるマップをつなぎ合わせた全体トレースマップを示す。
【００９４】
１つの画像センサの視野が、例えば４×４のエリアに区分されているとする。最初に画像センサＡ１で検知された動体は、座標ｘ０、ｙ０を起点として移動し、最終的に、画像センサＣ１に達したことが示される。移動経路を動線として一筆書きでなぞったものになる。この蛇行している動線の特徴は、正常な動きの範囲を超えた動体特徴量情報を有していることが、例えば報告を受けた管理者側で判断可能である。
【００９５】
このように、各画像センサ内で１次判断をせず、動体の動線を追っていくだけで、特定の１つの動体が、図２０に示す動線をたどっていることを、ある程度の精度で判断することができるようになる。この場合、動線を追うだけなので、特徴量情報を判定する閾値を必要とせず、簡易に動線のトレースが可能となる。
【００９６】
また、画像センサＡ１の撮像範囲の縁部に動体がきた場合に、画像センサＡ１内で特徴量情報を計算し、他の画像センサにその動体形状情報を伝送することにより、例えば、画像センサＢ２において、同一の動体であることを確認したうえで動線をトレースすることが可能になる。
【００９７】
図２１は、画像センサＡ１と、動体の特徴量情報の伝達先である画像センサＢ２の撮像エリアとが一部重なっている場合と、重なっていない場合を示す。伝達先への送信のタイミングは、動体が、画像センサＡ１の縁部で検知された場合を想定してもよいし、前記縁部での検知であり、かつ動体の移動方向が外向きである場合を加味してもよい。
【００９８】
さらに、撮像エリアが一部重なっている場合は、画像センサＡ１に撮像領域の縁部に動体がきた時点で、いったん注意フラグを送付し、前記特徴量情報の伝達先である画像センサＢ２での動体検知の通知を待ってから、画像センサＡ１で検知された、最終的な動体の特徴量情報を伝送するようにしてもよい。画像センサＡ１で収集する動体の特徴量情報を最長時間とすることで、画像センサＡ１と画像センサＢ２での重複する観測時間が長くなり、マス内に動体がいつ現れ、いつ消失したかという出現／消失時刻の一致度から、同一動体であることを確定することができる。
【００９９】
図２１（ａ）では、画像センサＡ１で動体検知を検知した場合例を示している。１）〜３）の順で観測し、３）の条件を満たした時に、画像センサＡ１で収集した動体特徴量情報を画像センサＢ２に伝達する。  
１）Ｔ１：動体が分割したエリアの中で検知された時刻
２）Ｔ２：動体が縁部で検知された時刻で、Ｔ１より後の時刻
３）動体が縁部におり、かつ移動が外向きであることが確定した時刻。この時刻において、画像センサＢ２に、動体の特徴量情報を伝達する。
【０１００】
図２１（ｂ）では、画像センサＡ１および画像センサＢ２の両方で動体を検知したタイミングで、動体特徴量情報を伝達する。
【０１０１】
画像センサＡ１で動体検知  
１）Ｔ１：動体が分割したエリアの中で検知された時刻。  
２）Ｔ２：動体が縁部で検知された時刻で、Ｔ１より後の時刻。  
３）画像センサＡ１および画像センサＢ２の両方で動体検知した時刻。この時刻において、画像センサＢ２に、動体の特徴量情報を伝達する。
【０１０２】
［効果］
以上述べたように、実施形態では、動線把握には複数の画像センサからの情報がより望ましい制約条件下での、リアルタイム監視、トレースを可能にする。画像センサ内のＣＰＵにより１次判定を行い、必要であれば通知する。次いで、周辺画像センサに動体特徴量情報を伝送する。伝送先の画像センサでは、対象動体の有無を通知する。通知を受けたいずれかの画像センサが対象動体を検知すれば、その動体特徴量情報を算出し、時系列で累積していく動体特徴量情報により、最終判定をしていく。動体の移動先を中心として、通知対象の画像センサを切り替えていけば最小の通信量で、動線把握がリアルタイムで可能となる。通信対象は、画像センサ群であっても、管理者であってもよく、通信内容に特徴量情報を含まない単純な動体の有無のみを通知する簡易的な方法を選択することもできる。通信経路上に肖像権の課題を含む画像データが常時流れていることがない。数値化された動体の特徴量情報で動線把握ができ、個人情報保護上も安全性が高い。通信量をまかなうためのシステムコストが安くすみ、画像センサ間のみで動線把握ができるため、災害時でも動作する。
【０１０３】
以下に、実施形態における効果を列挙する。
【０１０４】
（１）  センサシステムは、複数の画像センサと、前記画像センサにより撮像された画像データから抽出された動体に係わる特徴量情報を、対象動体の属性情報として他の画像センサに伝達する手段とを具備する。
【０１０５】
このようにすることで、中央サーバでの画像の集計なしに、複数の画像センサを用いた、対象動体の特徴量情報に基づく継続的な撮像が可能となる。
【０１０６】
（２）  （１）のセンサシステムにおいて、前記画像センサの各々は、前記画像データを取得する撮像部と、前記画像データから前記特徴量情報を抽出する抽出部と、前記特徴量情報に基づいて前記対象動体を判定する判定部と、前記判定に係わる辞書データを記憶するデータ保存部と、前記抽出された特徴量情報を前記他の画像センサに伝達する通信部とを備える。これにより、画像センサで、特徴量情報抽出および画像センサでの１次判定を行うことが可能なる。
【０１０７】
（３）  （２）のセンサシステムにおいて、前記通信部は、前記対象動体の前記属性情報を蓄積した累積特徴量情報を他の画像センサに伝達する。このように、複数の画像センサが対象動体の属性情報をもつことで、時間経過とともに累積した累積特徴量情報を画像センサ間で伝達していくことができる。
【０１０８】
（４）  （３）のセンサシステムにおいて、前記画像センサの各々は、前記累積特徴量情報の蓄積に応じて前記判定部における判定基準を変化させる。累積特徴量情報の蓄積にあわせて判定基準を変えていくことで、対象動体の動線が延びるにつれて、より正確な判定が可能になる。
【０１０９】
（５）  （３）のセンサシステムにおいて、前記画像センサの各々は、前記累積特徴量情報の蓄積に応じて、前記対象動体の動線を一筆書きで接続可能とすべく経路マップを累積する。これにより、複数の画像センサによりカバーされる全体マップを形成し、対象動体の動線の移動経路を生成することができる。
【０１１０】
（６）  （２）のセンサシステムにおいて、前記判定部により通知対象となる閾値を超える値と判断された場合に、前記通信部は、所定の情報提示先に前記特徴量情報を通知する。このように個々の画像センサが１次判断を行い、それぞれが独立に通知することで、動体特徴量情報の伝達がなくても、動体の移動範囲をリアルタイムで知ることができる。
【０１１１】
（７）  （２）のセンサシステムにおいて、前記対象動体の属性情報は、前記画像センサ内で生成された特徴量情報である。これにより、対象動体の属性情報が特徴量情報を、各画像センサで生成することができる。
【０１１２】
（８）  （２）のセンサシステムにおいて、前記画像センサの各々は、前記対象動体の属性情報として、対象動体の動線形成に係わる座標情報を画像内の相対座標から、さらに当該画像センサの空間的な配置を示す絶対座標として変換する手段を有する。各画像センサの相対座標による動線把握と、各画像センサの空間的位置を示す絶対座標とを組み合わせることで、複数の画像センサにより形成される全体マップを、各画像センサ内であっても形成することができる。
【０１１３】
（９）  （３）のセンサシステムにおいて、前記累積特徴量情報が累積最終閾値を超えていない場合に、前記通信部は、前記対象動体の動体特徴量情報、および前記対象動体の画像データ情報の削除指示を他の少なくとも一つの画像センサに送信する。このように、モニター対象となっていた動体が、累積最終閾値を超えないことから、モニター対象からはずれた際に、動体属性情報を削除することで、リソースを開放し、継続的な動作を可能とする。
【０１１４】
（１０）  （２）のセンサシステムにおいて、前記属性情報は、前記複数の画像センサにおける撮像時刻情報を含む。このように、周辺の画像センサ群に伝達する際、各画像センサの撮像時刻に係る情報も併せて伝送することで、経時的な動体の移動経路を知ることができる。
【０１１５】
（１１）  （２）のセンサシステムにおいて、前記画像センサの各々は、前記属性情報が所定の閾値範囲を超えている場合に、異常系のデータとして異常系処理を実施する。このようにすれば、属性情報が所定の閾値を超えている場合に、異常系のデータとして処理することができる。
【０１１６】
（１２）  （２）のセンサシステムにおいて、前記属性情報は、前記対象動体の動線を含む。動体の属性情報を動線とすることで、複数の画像センサにわたる対象動体の動線を得ることができる。
【０１１７】
（１３）  （２）のセンサシステムにおいて、前記通信部は、前記対象動体が検知されたという情報と、前記対象動体が検知されていないという情報との少なくともいずれか一方を前記他の画像センサに伝達する。対象動体を検知したという情報だけでなく、対象動体を検知していないという情報を画像センサ群で共有することで、より妥当な動線把握が可能となる。
【０１１８】
（１４）  （２）のセンサシステムにおいて、前記画像センサの各々は、前記対象動体の前記特徴量情報を前記他の画像センサに伝達し、前記対象動体の画像データを自らに保存する、または、所定の宛先に伝送する。対象動体の画像データも含む属性情報を集めることで、最終的に対象動体と判断された場合に、必要な画像情報の収集を、情報の喪失なく収集することができる。
【０１１９】
（１５）  （２）のセンサシステムにおいて、前記通信部は、前記対象動体の前記特徴量情報、および撮像した前記画像データを前記複数の画像センサに伝達する。対象動体の特徴量情報として、分析後の統計データだけでなく、撮像した画像データも伝達することで、集計、再計算を容易にするという効果がある。
【０１２０】
（１６）  （２）のセンサシステムにおいて、前記画像センサの各々は、前記対象動体を検知できなくなった場合に、そのことを他の画像センサに伝達し、前記対象動体の前記特徴量情報を累積した累積特徴量情報と、前記対象動体の画像データとを取得する。これにより、累積特徴量情報を生成するとともに、画像データも集計することができる。
【０１２１】
（１７）  （２）のセンサシステムにおいて、前記画像センサの各々は、前記対象動体を検知したのち、時間の経過とともに、前記対象動体の前記属性情報の保存の優先順位を低下させる。このように、対象動体を検知してから所定時間経過すると保存優先順位を下げることで、画像センサのＣＰＵや保存媒体のリソースを開放可能にすることができる。
【０１２２】
（１８）  （２）のセンサシステムにおいて、前記画像センサの各々は、前記画像センサの視野外に前記対象動体が移動した場合に、前記対象動体の属性情報を、前記通信部を介して伝達する。これにより、画像センサが対象動体の情報を伝達するタイミングを、前記画像センサの視野から離れるときに設定することができる。
【０１２３】
（１９）  （２）のセンサシステムにおいて、前記画像センサの各々は、所定のエリア内にある他の画像センサに接続要求を伝達後、前記画像センサからの応答が所定時間を経過しても得られない場合に、前記所定のエリアを拡大して再度接続要求を送信する。前記対象動体の属性情報を伝達する先の画像センサへの接続要求による確認により、伝達先の画像センサの動作可能な状態か否かを知ることにより、対象送信範囲を変えることができ、より信頼性の高い動線把握が可能となる。
【０１２４】
（２０）  （２）のセンサシステムにおいて、前記画像センサの各々は、他の画像センサからの消去指示を受信するまで、前記伝達された前記属性情報を前記データ保存部に保持する。対象動体の画像情報を、消去指示が届くまで一定期間、撮像した各画像センサ内で保存しておくことで、後で時間経緯と伴う画像群として収集することが可能となる。
【０１２５】
（２１）  （２）のセンサシステムにおいて、前記画像センサの各々は、う回路を形成可能な通信トポロジーで互いを接続し、通信に先立って相手先との事前動作確認のための通信を行う。各画像センサにより形成したセンサネットワークにおいて、１つの画像センサが災害や故障などにより、故障しても、他の画像センサからの情報を収集できる、ネットワーク構成を有することで、信頼性を高めることができるという利点がある。
【０１２６】
（２２）  （２）のセンサシステムにおいて、前記画像センサの各々は、互いの時刻同期をとる手段を備える。各画像センサ内タイマの時刻同期をとることで、同一の時刻基準をもとに、タイムスタンプを含む動体特徴量情報の伝達、累積ができるようになる。
【０１２７】
（２３）  （６）のセンサシステムにおいて、前記判定部は、撮像エリアのする所定の範囲内への前記動体の進入を検知した場合、または、前記動体の形状情報が所定の形状情報に一致する場合に、前記閾値を超えたことを判定する。対象動体を同定する方法として、想定される範囲に動体が入ってきたことを判定基準とする方法と、動体の形状情報をもとに判定基準とする方法を利用できる。
【０１２８】
（２４）  （２）のセンサシステムにおいて、前記画像センサの各々は、累積閾値を超えたことを検知した画像センサからの通知、または、保存期間が既定値を超えた場合に、前記伝達された属性情報を削除する。対象動体が次々に見つかる場合に、センサ内の限られた保存容量をオーバフローさせることなく、優先順位をつけて削除し、機能を維持することができる。
【０１２９】
（２５）  （２）のセンサシステムにおいて、前記画像センサの各々は、固有のカメラ座標、または、システム座標を前記属性情報とともに他の画像センサに伝達し、対象動体の動線をトレースした画像センサ群から取得した前記属性情報に基づいて全体トレースマップを再構成する。複数の画像センサによる動線を形成する際に、カメラ座標からシステム座標に変換する手段を有することで、動線全体のトレースをした、全体トレースマップを生成することができる。
【０１３０】
（２６）  （２）のセンサシステムにおいて、前記画像センサの各々は、前記属性情報の発信元である前記画像センサの有する撮像エリアのうちの縁部に対象動体が現れた時点で前記属性情報を伝達する。対象動体の属性情報を伝達するタイミングを、観測中の画像センサによる撮像エリアの縁部に設定することで、複数の画像センサによる継続的な動線把握が可能となる。
【０１３１】
（２７）  （２６）のセンサシステムにおいて、前記画像センサの各々は、前記動体の移動方向が、前記撮像エリアの中央から縁部に向かっていることを検知した時点で前記属性情報を伝達する。対象動体の属性情報を伝達するタイミングを、観測中の画像センサによる撮像エリアの縁部に動体が達するとともに、前記撮像エリア内の動体の軌跡が、画像センサの視野外に向かっている場合に、対象動体の属性情報を伝達するタイミングとすることで、継続的な動線把握が可能となる。
【０１３２】
（２８）  （２７）のセンサシステムにおいて、前記画像センサの各々は、前記対象動体の属性情報を、前記縁部からの延長線方向のエリア内に配置されている画像センサを送信先とする。観測中の画像センサのどの縁部に対象動体が存在するかという情報をもとに、前記属性情報を転送する、転送先となる画像センサを正確に選択することができるようになる。
【０１３３】
（２９）  （１）のセンサシステムにおいて、前記属性情報は、前記画像データの輝度勾配情報を含む。輝度勾配情報を特徴量情報としてもつことで、照度の異なる位置に配置された画像センサからの特徴量情報であっても一律に扱うことができ、数値データなので転送量が少なくネットワークへの負荷低減、ならびに肖像権を含む個人情報、セキュリティの観点からの利点がある。
【０１３４】
これらのことから実施形態によれば、可用性をさらに高めたセンサシステム、画像センサ、およびセンシング方法を提供することにある。
【０１３５】
本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３６】
１…センサシステム、４…対象空間、５…通信線、８…環境センサ、９ａ〜９ｆ…センサデバイス、１０ａ〜１０ｄ…画像センサ、１１…画像撮像用カメラ、１２…画像前処理部、１３…特徴量情報抽出部、１４…判定部、１５…ＣＰＵ、１６…辞書データ、１７…保存部、２０…通信部、２０ａ〜２０ｄ…通信部、２０ａ〜２０ｆ…通信部、２２…マスター、３０…中央サーバ、３１…通信部、３２…分析部、３３…判定部、３４…過去データ、３５…ＣＰＵ、Ａ０…画像センサ、Ａ１…画像センサ、Ｂ１〜Ｂ６…画像センサ、Ｃ１〜Ｃ４…画像センサ、ａ〜ｆ…エリア、ｅ４…角部、ｅ５…縁部。
【図１】
2020115608.tif 000003
【図２】
2020115608.tif 000004
【図３】
2020115608.tif 000005
【図４】
2020115608.tif 000006
【図５】
2020115608.tif 000007
【図６】
2020115608.tif 000008
【図７】
2020115608.tif 000009
【図８】
2020115608.tif 000010
【図９】
2020115608.tif 000011
【図１０】
2020115608.tif 000012
【図１１】
2020115608.tif 000013
【図１２】
2020115608.tif 000014
【図１３】
2020115608.tif 000015
【図１４】
2020115608.tif 000016
【図１５】
2020115608.tif 000017
【図１６】
2020115608.tif 000018
【図１７】
2020115608.tif 000019
【図１８】
2020115608.tif 000020
【図１９】
2020115608.tif 000021
【図２０】
2020115608.tif 000022
【図２１】
2020115608.tif 000023