(57)【要約】【課題】従来の不審行動検知装置においては、物を持っていない状態における不審行動と似た動作で、物を持った状態で行う正常な動作の場合に対して警報を発生する問題があった。【解決手段】カメラの撮影した画像情報に基づき、人および物体を検知する人検出部および物体検出部と、前記人検出部により検知した人の動きおよび形状情報と前記物体検出部により検知した物体の動き情報に基づいて特徴量を推定する特徴量推定部と、予め定常状態モデルを保持する定常状態モデル保存部と、前記特徴量推定部および定常状態モデル保存部により定常状態の特徴量を学習する定常状態モデル推定部と、前記特徴量推定部により算出した特徴量および前記定常状態モデル保存部のデータを用いて定常状態モデルからの逸脱を判断する非定常状態推定部と、前記非定常状態推定部により非定常状態を推定した結果を表示する警報部とから構成した。【選択図】図２
2020149389.tif 000002
【特許請求の範囲】
【請求項１】
監視領域を撮影するカメラと、前記カメラの撮影した画像情報に基づき、人を検知する人検出部と、前記カメラの撮影した画像情報に基づき、物体を検出する物体検出部と、前記人検出部により検知した人の動きおよび形状情報と前記物体検出部により検知した物体の動き情報に基づいて特徴量を推定する特徴量推定部と、予め定常状態モデルを保存する定常状態モデル保存部と、前記特徴量推定部および前記定常状態モデル保存部により定常状態の特徴量を学習する定常状態モデル推定部と、前記特徴量推定部により算出した特徴量および前記定常状態モデル保存部のデータを用いて定常状態モデルからの逸脱を判断する非定常状態推定部と、前記非定常状態推定部により非定常状態を推定した結果を表示する警報部とを備えたことを特徴とする不審行動検知装置。
【請求項２】
監視領域を撮影するカメラと、前記カメラの撮影した画像情報に基づき、人を検知する人検出部と、前記カメラの撮影した画像情報に基づき、物体を検出するとともに、予め学習した物体検出学習結果パラメータ保存部のパラメータにより、検出した物体が持ち運び可能物であるかどうかを判断する持ち上げ可能物体推定部と、前記人検出部により検知した人の動きおよび形状情報と前記持ち上げ可能物体推定部により検知した物体の動き情報に基づいて特徴量を推定する特徴量推定部と、予め定常状態の特徴量を学習する定常状態モデル推定部と、前記定常状態モデル推定部のデータを保存する定常状態モデル保存部と、算出した特徴量を用いて定常状態モデルからの逸脱を判断する非定常状態推定部と、前記非定常状態推定部により非定常状態を推定した結果を表示する警報部と、前記持ち上げ可能物体推定部により推定した持ち上げ可能物体だけを使用して追加で学習し、学習結果を前記物体検出学習結果パラメータ保存部に保存する追加学習部とを備えたことを特徴とする不審行動検知装置。
【請求項３】
監視領域を撮影するカメラと、前記カメラの撮影した画像情報に基づき、人を検知する人検出部と、前記カメラの撮影した画像情報に基づき、物体を検出するとともに、予め学習した物体検出学習結果パラメータ保存部のパラメータにより、検出した物体が持ち運び可能物であるかどうかを判断する持ち上げ可能物体推定部と、前記人検出部により検知した人の動きおよび形状情報と前記持ち上げ可能物体推定部により検知した物体の動き情報に基づいて特徴量を推定する特徴量推定部と、予め定常状態の特徴量を学習する定常状態モデル推定部と、前記定常状態モデル推定部のデータを保存する定常状態モデル保存部と、算出した特徴量を用いて定常状態モデルからの逸脱を判断する非定常状態推定部と、前記非定常状態推定部により非定常状態を推定した結果を表示する警報部と、前記持ち上げ可能物体推定部により推定した持ち上げ可能物体および予め収集した学習画像情報データ保存部のデータを使用して追加で学習し、学習結果を前記学習画像情報データ保存部に保存する追加学習部とを備えたことを特徴とする不審行動検知装置。
【請求項４】
監視領域を撮影する複数のカメラと、前記複数のカメラの撮影した画像情報に基づき、人を検知する人検出部と、前記複数のカメラの撮影した画像情報に基づき、物体を検出するとともに、予め学習した物体検出学習結果パラメータ保存部のパラメータにより、検出した物体が持ち運び可能物であるかどうかを判断する持ち上げ可能物体推定部と、前記人検出部により検知した人の動きおよび形状情報と前記持ち上げ可能物体推定部により検知した物体の動き情報に基づいて特徴量を推定する特徴量推定部と、予め定常状態の特徴量を学習する定常状態モデル推定部と、前記定常状態モデル推定部のデータを保存する定常状態モデル保存部と、算出した特徴量を用いて定常状態モデルからの逸脱を判断する非定常状態推定部と、前記非定常状態推定部により非定常状態を推定した結果を表示する警報部と、前記持ち上げ可能物体推定部により推定した持ち上げ可能物体および予め収集した学習画像情報データ保存部のデータを使用して学習し、学習結果を前記学習画像情報データ保存部に保存する追加学習部とを備えたことを特徴とする不審行動検知装置。
【請求項５】
監視領域を撮影する複数のカメラと、前記カメラの撮影した画像情報に基づき、人を検知する人検出部と、前記カメラの撮影した画像情報に基づき、物体を検出するとともに、予め学習した物体検出学習結果パラメータ保存部のパラメータにより、検出した物体が持ち運び可能物であるかどうかを判断する持ち上げ可能物体推定部と、前記人検出部により検知した人の動きおよび形状情報と前記持ち上げ可能物体推定部により検知した物体の動き情報に基づいて特徴量を推定する特徴量推定部と、予め定常状態の特徴量を学習する定常状態モデル推定部と、前記定常状態モデル推定部のデータを保持する定常状態モデル保存部と、算出した特徴量を用いて定常状態モデルからの逸脱を判断する非定常状態推定部と、前記非定常状態推定部により非定常状態を推定した結果を表示する警報部と、前記持ち上げ可能物体推定部により推定した持ち上げ可能物体領域および予め保存したカメラ内部・外部パラメータ保存部のパラメータを使用して持ち上げ可能物体領域を推定する持ち上げ可能物体領域推定部、前記持ち上げ可能物体推定部により推定した持ち上げ可能物体および予め収集した学習画像情報データ保存部のデータを使用して学習し、学習結果を前記学習画像情報データ保存部に保存する追加学習部とを備えたことを特徴とする不審行動検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、監視カメラを用いた不審行動検知装置に関するものである。
【背景技術】
【０００２】
近年、発電プラント、化学プラント、受配電設備、上下水道等のシステムにおいて、内部脅威者に対する対策を行う必要から監視カメラを用いて不審者を検知することが行われているが、監視するためのカメラの台数増加に伴い、監視員の負担が増加しており、負担軽減が期待されている。
従来、この種の不審行動検知装置として定常状態の動き特徴をモデリングし、非定常状態を検知するものが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５４９６５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の不審行動検知装置においては、人の動き情報のみの定常状態をモデリングするものであり、人の歩行や伸びといった持ち上げ行動と似た動作でも警報を発生することになるといった問題があった。
【０００５】
本願は、上述のような問題点を解決するためになされたもので、人の状態だけでなく、物との位置関係および動きを一緒に学習することにより、物を持っていない状態における不審行動と似た動作で、物を持った状態で行う正常な動作の場合にも警報を発生するような誤報を軽減することを目的としている。
【課題を解決するための手段】
【０００６】
本願に開示される不審行動検知装置は、監視領域を撮影するカメラと、前記カメラの撮影した画像情報に基づき、人を検知する人検出部と、前記カメラの撮影した画像情報に基づき、物体を検出する物体検出部と、前記人検出部により検知した人の動きおよび形状情報と前記物体検出部により検知した物体の動き情報に基づいて特徴量を推定する特徴量推定部と、予め定常状態モデルを保存する定常状態モデル保存部と、前記特徴量推定部および前記定常状態モデル保存部により定常状態の特徴量を学習する定常状態モデル推定部と、前記特徴量推定部により算出した特徴量および前記定常状態モデル保存部のデータを用いて定常状態モデルからの逸脱を判断する非定常状態推定部と、前記非定常状態推定部により非定常状態を推定した結果を表示する警報部とを備えたことを特徴とするものである。
【発明の効果】
【０００７】
本願に開示される不審行動検知装置によれば、人の状態だけでなく、物との位置関係および動きを一緒に学習することにより、物を持っていない状態での不審行動と似た動作を不審行動とする誤警報の発生を軽減することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本願に係る不審行動検知装置を概念的に説明するための概要図である。
【図２】実施の形態１に係る不審行動検知装置を示すブロック図である。
【図３】実施の形態１におけるフロー方向、フロー長の算出結果を示すヒストグラム特性図である。
【図４】実施の形態１における検知対象となる人の周辺領域を示す概要図である。
【図５】実施の形態１に係る不審行動検知装置のハードウエア構成を示す図である。
【図６】実施の形態２に係る不審行動検知装置を示すブロック図である。
【図７】持ち上げ可能物体検出部の処理の流れを示すフローチャートである。
【図８】オプティカルフローを用いた物体抽出の概略を説明する図である。
【図９】実施の形態３に係る不審行動検知装置を示すブロック図である。
【図１０】実施の形態４に係る不審行動検知装置を示すブロック図である。
【図１１】実施の形態５に係る不審行動検知装置を示すブロック図である。
【図１２】３次元物体領域からの画像への投影を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本願における実施の形態について図面を参照して説明する。
実施の形態１．
図１は、本願に係る不審行動検知装置を概念的に説明するための概要図である。
図において、不審行動検知装置を構成するカメラ１０により監視領域を撮影し、このカメラ１０から得られる画像情報から人Ｈおよび物体Ｂを検出し、人と物体双方の情報を用いて不審行動を検知する。ここで、図１（Ａ）（Ｂ）は、人Ｈおよび物体Ｂが定常状態にある状態を示し、図１（Ｃ）は、人Ｈが物体Ｂを持ち上げて振り下ろすといった定常状態から逸脱した特徴を持つ人Ｈおよび物体Ｂの動きを不審行動として検出する場合を示している。
【００１０】
図２は、実施の形態１に係る不審行動検知装置を示すブロック図である。
図において、カメラ１０は、予め必要とされる監視領域を撮影するように設置され、このカメラ１０で撮影された画像情報は、人検出部１１に入力される。
人検出部１１では、人の情報を予め機械学習により学習し、この学習結果を用いることにより検出する。人検出の方法としては、輝度値の勾配情報を用いるＨＯＧ(「Histogram of Oriented Gradient」：N. Dalal and B. Triggs、「Histograms of Oriented Gradients for Human Detection」：CVPR, pp. 886-893, 2005.)特徴などを用い、学習にはＳＶＭ(「Support Vector Machine」：Nello Cristianini(原著),John Shawe‐Taylor(原著)、「サポートベクターマシン入門」：大北剛(翻訳)，共立出版,2005)などを用いる。また、ＳＳＤ(W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Fu, and A. Berg. SSD: 「Single Shot MultiBox Detector」：ECCV 2016.)またはＹＯＬＯ（J. Redmon, S. Divvala, R. Girshick, and A. Farhadi：「You Only Look Once」: Unified, Real-Time Object Detection.2015.）などの深層学習を用いた手法でもよい。このような手法により人の存在を示す矩形情報Ｒ(=(u,v,w,h))が得られ、この矩形情報を出力する。なお、矩形情報の記号u,vは、矩形の左上の画像座標を表し、w,hは、矩形の幅および高さを表す。
【００１１】
また、カメラ１０で撮影された画像情報は、物体検出部１２に入力され、椅子などの物体を予め学習して記憶された物体検出学習結果パラメータ保存部１３からの情報を用いて、持ち上げ可能な物体を検出する。物体の検出には、人検知と同様にＨＯＧを用いた手法、またはＳＳＤ、ＹＯＬＯなどの深層学習を用いた手法を用いる。これにより、物体領域の検出枠Ｏ(=(u,v,w,h))を取得することができる。
これらの人検出部１１および物体検出部１２の出力は、特徴量推定部１４に供給され、人の動きから得られる特徴量と形状情報の特徴量、物体の動き情報を特徴量として算出する。
【００１２】
ここで、人の動きから得られる特徴量について説明する。
人の動きの特徴量として、まず、オプティカルフローを求め、図３（Ａ）に示すように、オプティカルフローの方向（以下フロー方向）を量子化し、図３（Ｂ）に示すように、フロー方向のヒストグラムを算出し、図３（Ｂ）に示すように、フロー方向の長さを算出する。求めたヒストグラムは、総数が１となるように正規化する。ｕ方向のフローの長さをｆｕ、ｖ方向のフローの長さをｆｖとすると、フロー方向は、式（１）で算出することができる。
【００１３】
【数１】
2020149389.tif 000003
【００１４】
このフロー方向を次式（２）によりθ方向に量子化する。
【００１５】
【数２】
2020149389.tif 000004
【００１６】
なお、floorは、小数点以下を切り捨て、整数値とする関数である。
次に、式（３）によりヒストグラムを算出する。フロー方向ｋに対して、人の検出領域Ｒ内に存在し、フロー方向が一致する個数を数えることによりヒストグラムが得られる。
【００１７】
【数３】
2020149389.tif 000005
【００１８】
なお、δ（a,ｂ）は、ａとｂが一致する際に「１」、不一致の場合「０」を返す関数である。最後に、式（４）によりヒストグラムを正規化する。
【００１９】
【数４】
2020149389.tif 000006
【００２０】
次に、フロー方向のヒストグラムを求めた後に、フローの長さ（以下フロー長）も併せて特徴量とする。式（５）によりフロー長をフロー方向のθ方向に分割して加算することにより、特徴量を得る。
【００２１】
【数５】
2020149389.tif 000007
【００２２】
次に、フロー長をフローの個数Ｎ（次式（６））で除算し、式（７）に示す平均値を算出する。
【００２３】
【数６】
2020149389.tif 000008
【００２４】
なお、以上では、人の動きから得られる特徴量を領域Ｒから算出したが、領域Ｒを分割し、複数の領域Ｒからの特徴量を連結することも可能である。
【００２５】
次に、人の形状情報を用いた特徴量について説明する。
人の形状情報は、輝度値の勾配方向ヒストグラムにより表現する。勾配方向ヒストグラムは、上記ＨＯＧなどを用いる。
【００２６】
次に、物体の動き情報を用いて特徴量を算出する。
物体の動き情報は、人と同じようにオプティカルフローにより表現し、フロー方向とフロー長の特徴量を算出する。このとき、人の周りの物体だけのオプティカルフローを用いる。人の周辺の物体であるかは、次式（８）に示す人と物体の画素値におけるユークリッド距離のしきい値判定により行う。
【００２７】
【数７】
2020149389.tif 000009
【００２８】
なお、distは、２つの枠の重心のユークリッド距離を求める関数である。
【００２９】
【数８】
2020149389.tif 000010
【００３０】
周辺物体の動き特徴は、図４に示すように人の周辺をグリッド１〜１１に区切り、そのグリッドごとにフロー方向とフロー長のヒストグラムを算出する。フロー方向のヒストグラムは、周辺領域のｊ番目のグリッドをＱｊと表わし、次式（９）（１０）により計算する。
【００３１】
【数９】
2020149389.tif 000011
【００３２】
また、フロー長のヒストグラムもフロー方向を求めた領域で次式（１１）（１２）により算出する。
【００３３】
【数１０】
2020149389.tif 000012
【００３４】
このように人の動き特徴量と形状情報、人の周辺の物体の動き情報を算出した後、全てのヒストグラムを１つのヒストグラムとして並べることにより、最終的なヒストグラムとし、特徴量とする。
【００３５】
この特徴量推定部１４で算出された特徴量のデータは、定常状態モデル推定部１５に供給される。この定常状態モデル推定部１５は、事前に定常状態の特徴量を学習するもので、定常状態モデル保存部１６における定常状態のデータベースを用いて特徴量を算出し、１クラスＳＶＭにより学習する。この１クラスＳＶＭの学習により得られたパラメータを定常状態モデル保存部１６に保存する。ここで、学習手法としては、１クラスＳＶＭの他に、混合正規分布、ｋ−ｍｅａｎｓクラスタリングなどの方法を用いることも可能である。
【００３６】
算出された定常状態モデル推定部１５の特徴量および定常状態モデル保存部１６のパラメータは、非定常状態推定部１７に供給され、非定常状態推定部１７において定常状態の分布より離れている場合、非定常状態にあると推定し、警報部１８に出力を発生して非定常状態と推定したことを警報として表示する。この警報部１８の不審行動検知の表示は、カメラ１０の画像情報を映したモニター上に文字または人の枠を赤で強調表示し、さらに音声で注意を促すことで行わせることができる。
【００３７】
以上のように、人の状態だけでなく、物との位置関係および動きを一緒に学習することにより、物を持っていない状態における不審行動と似た動作であっても、物を持った状態で行う正常な動作の場合に警報を発生するような誤報を軽減することができる。また、未知の物体を推定することが可能となり、学習のコストを削減させることができる。
【００３８】
なお、上述の各回路構成は、ハードウエア構成の一例を図５に示すように、それぞれのデータを入力する入力回路１９ａと、制御プログラムが格納された記憶装置（ＲＯＭ）１９ｂと、データを一時的に保存する揮発性記憶装置（ＲＡＭ）１９ｃと、各種データに基づき演算処理を実行する中央処理装置（ＣＰＵ）１９ｄと、演算結果を出力する出力回路１９ｅとを備えて構成されている。
【００３９】
実施の形態２．
図６は、実施の形態２に係る不審行動検知装置を示すブロック図である。
この実施の形態２においては、カメラ１０により監視領域を撮影し、カメラ１０から得られる画像情報から人Ｈおよび物体Ｂを検出する。また、監視領域内の物体Ｂについて、人が持つことができる物体であるかを判別し、人と物体双方の情報を用いて、不審行動を検知するものである。
図において、実施の形態１と同一の構成については、同一符号を付し、その説明を省略する。
【００４０】
まず、カメラ１０により撮影された画像情報は、人検出部１１を通して特徴量推定部１４に供給され、また、人検出部１１および持ち上げ可能物体推定部２０を通して特徴量推定部１４に供給され、上述のＨＯＧ特徴量を用いた方法あるいはＳＳＤ、ＹＯＬＯの手法を用いて持ち上げ可能物体であるかを推定し、実施の形態１で説明したように人および物体が定常状態であるかを判定する。
次に、持ち上げ可能な物体は、移動することができる物体であるため、物体の移動の有無を判断することによって、持ち上げ可能な物体であるかを検知することができる。この検知に係る学習方法について、図７に示すワークフローに基づいて説明する。
まず、ステップＳ１において、物体検出学習結果パラメータ保存部１３から記憶した物体検出パラメータを読込み、カメラ１０により撮影された画像情報を照合して物体を検出する。
一方、特徴量推定部１４では、画像情報からフレーム間差分情報を算出する（ステップＳ３）とともにオプティカルフローを算出する（ステップＳ４）
すなわち、ステップＳ３では、図８（Ａ）に示すように現在の時刻ｔにおける画像情報Ｉｔとτフレーム前の画像情報Ｉｔ−τとの差分値の画像（差分画像）データＳを算出する。この差分画像データＳは、以下の式（１３）により求めることができ、持ち上げ可能物体データ保存部２１に保存される。
【００４１】
【数１１】
2020149389.tif 000013
【００４２】
次に、オプティカルフローを算出するステップＳ４では、時刻tの画像データとδフレーム前の画像データを用いて、図８（Ｃ）に示すように画像Ｉδの画像データから画像Ｉｔへの移動ベクトルを算出する。上記フレーム間差分で得られた２値化画像データは、フレーム間の違いを算出しているため、移動後の物体だけでなく、移動する前の物体も２値化画像データとして残る。そこで、オプティカルフローの移動先にのみ属する２値化画像データを抽出することにより、図８（Ｄ）に示すように移動した物体だけの領域を抽出する。
【００４３】
次に、この差分画像データＳに対し、しきい値ｔｈを用いて、図８（Ｂ）に示すように「０」か「２５５」の２値化した画像（２値化画像）を算出する。（ステップＳ５）
【００４４】
【数１２】
2020149389.tif 000014
【００４５】
次に、２値化画像データでは物体のすべての領域を把握することが困難であるため、２値化画像を起点として、領域のセグメンテーションを行う。この領域のセグメンテーションには「graphcut」（Y. Boykov and G. Funka-Lea.「Graph Cuts and Efficient N-D Image Segmentation」：International Journal of Computer Vision, 70(2):109-131, 2006.）または「grabcut」（graph cutによる手法）を用いる。これにより、物体領域の検出枠Ｏ(=(u, v, w, h))を取得することができる。この物体領域の検出枠Ｏのデータをステップ２の物体検出によって検出された物体枠のデータと統合処理を行い、重なりがある物体は一つの物体として統合する。（ステップＳ７）
次に、ステップＳ８で、統合された物体検出枠のデータを出力する。
なお、動いた物体がなければ、ステップＳ６におけるセグメンテーションの算出結果が０となるため、以降の処理に影響を及ぼすことがない。
また、セグメンテーションの算出結果データは、持ち上げ可能物体データ保存部２１に供給され、保存される。（ステップＳ９）
【００４６】
次に、ステップＳ１０において、持ち上げ可能物体データを読み込み、追加学習部２２に供給される。
この追加学習部２２においては、持ち上げ可能物体推定部２０によるデータと、持ち上げ可能物体データ保存部２１に保存されたデータとを用いて、オンラインＳＶＭや深層学習を用い追加学習を行い（ステップＳ１１）、学習結果を物体検出学習結果パラメータ保存部１３に保存する。（ステップＳ１２）
このように、物体検出学習結果パラメータ保存部１３を更新することにより、未知ではあるが持ち上げることが可能である物体を次回の物体検出処理で検出することが可能となる。
【００４７】
実施の形態３．
実施の形態３においては、カメラ１０により監視領域を撮影し、カメラ１０から得られる画像情報から人Ｈを検出する。また、監視領域内の人が持つことができる物体Ｂであるかを検出し、人と物体双方の情報を用いて、不審行動を検知する。推定した物体データと事前に収集したデータを用いて検出パラメータを再学習する。不審行動の検知には、定常状態を予め学習し、この学習結果から逸脱した特徴を持つ行動を不審行動として検出し、不審行動を検知したことを表示するものである。
【００４８】
図９は、実施の形態３に係る不審行動検知装置を示すブロック図である。
図において、実施の形態１または実施の形態２と同一の構成については、同一符号を付し、その説明を省略する。
【００４９】
実施の形態３においては、事前に収集した学習画像データを保存した事前収集済み学習画像データ保存部２３が追加されたもので、持ち上げ可能物体推定部２０で得られた物体データとともに追加学習部２２に供給されている。この追加学習部２２では、持ち上げ可能物体推定部２０のデータと、持ち上げ可能物体データ保存部２１のデータと、事前収集済み学習画像データ保存部２３のデータおよび物体検出学習結果パラメータ保存部１３のデータを用いてオンラインＳＶＭあるいは深層学習により再学習を行い、この結果を物体検出学習結果パラメータ保存部１３に保存し、持ち上げ可能物体推定部２０にフィードバックしている。
なお、不審行動の検知は、実施の形態１と同様に実施する。
このように事前に収集したデータを用いることによって、事前に定義した持ち上げ可能物体を初期状態から検出することが可能となり、持ち上げ物体の抽出負荷を下げることが期待できる。
【００５０】
実施の形態４．
図１０は、実施の形態４に係る不審行動検知装置を示すブロック図である。
図において、実施の形態３と同一の構成については、同一符号を付し、その説明を省略する。
実施の形態４においては、複数のカメラ１０ａ，１０ｂ，…１０ｎ（ｎ個のカメラ）を設け、これらの出力画像を人検出部１１に供給するように構成したことを特徴としている。
すなわち、人検出部１１において、複数のカメラ１０ａ，１０ｂ，…１０ｎの全てのカメラから得られる画像データから人を検出し、出力するように構成している。このように複数のカメラ１０ａ，１０ｂ，…１０ｎから人を検知するため、ｎ個のカメラ、画像情報内の物体番号ｉの人検知枠Ｒｎ，ｉを得ることができる。
【００５１】
また、持ち上げ可能物体推定部２０においても、複数のカメラ１０ａ，１０ｂ，…１０ｎから得られる画像データから、推定した持ち上げ可能物体の物体領域のみの差分画像データを用いて、持ち上げ可能物体の領域を推定する。
このようにして、特徴量推定部１４において、全ての人データおよび物体データからヒストグラムを求め、全てを並べて特徴量とすることにより、一部のカメラにおいて撮影できない人または物体に対する検知精度を向上させることができる。
なお、複数のカメラは、特に監視が重要な設備領域に設け、これらのカメラから情報を得ることにより、持ち上げ可能物体推定部２０における推定精度を向上させることが可能となる。
【００５２】
実施の形態５．
図１１は、実施の形態５に係る不審行動検知装置を示すブロック図である。
実施の形態５では、実施の形態４に対し、複数のカメラ１０ａ，１０ｂ，…１０ｎを用いて持ち上げ可能物体の領域を再推定することにより、物体領域の推定精度を高めることを特徴とするものである。
【００５３】
すなわち、複数のカメラ１０ａ〜１０ｎ（ｎ個のカメラ）により撮影した画像情報を人検出部１１に供給し、人検出部１１において、全てのカメラから得られた画像情報に基づいて人を検出する。このように複数のカメラ１０ａ〜１０ｎにより人を検知するため、カメラｎ、画像内の物体番号ｉの人検知枠Ｒｎ,ｉを得ることができる。
【００５４】
次に、持ち上げ可能物体推定部２０においても、実施の形態２および３で説明したように持ち上げ可能物体の推定処理を複数のカメラ１０ａ〜１０ｎにより得られた画像情報を用いて実施する。複数のカメラ１０ａから１０ｎにより推定した持ち上げ可能物体の物体領域のみの差分画像データを用いて、持ち上げ可能物体領域推定部２４において持ち上げ可能物体の領域を推定する。
【００５５】
なお、複数のカメラ１０ａ〜１０ｎは、予めカメラキャリブレーションされており、カメラ内部・外部パラメータ保存部２５にカメラの内部・外部パラメータが保存されている。ここで、内部パラメータは、カメラレンズの焦点距離（ｆｘ,ｆｙ）、画像中心（ｃｘ,ｃｙ）、レンズ歪のパラメータ（ｋ１,ｋ２,ｐ１,ｐ２）からなるもので、また、外部パラメータは、ある地点を原点にしていた際のカメラの回転行列、平行移動ベクトルである。
このカメラ内部・外部パラメータと物体領域の差分画像データを用いて、３次元の物体領域を推定する。３次元物体領域の推定には、視体積交差法（「Space carving method」または「Volume intersection method」、「平面間透視投影を用いた並列視体積交差法」：ウ小軍, 和田俊和, 東海彰吾, 松山隆司：情報処理学会論文誌: Vol.42,No.SIG6,pp.33-43,June 2001）を用いる。求めた３次元物体領域を図１２に示すように、画像情報へ投影し、物体領域を内包する矩形を算出する。この矩形を物体領域の検出枠とし、領域内に存在する物体を推定することになる。
このような構成により、一部のカメラにおいて撮影できない人または物体に対する物体領域を正しく設定することが可能となり、物体領域の推定精度を向上させることができる。
【００５６】
なお、本開示には、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。
【符号の説明】
【００５７】
１０：カメラ、  １１：人検出部、１２：物体検出部、
１３：物体検出学習結果パラメータ保存部、  １４：特徴量推定部、
１５：定常状態モデル推定部、  １６：定常状態モデル保存部、
１７：非定常状態推定部、  １８：警報部、  ２０：持ち上げ可能物体推定部、
２１：持ち上げ可能物体データ保存部、  ２２：追加学習部、
２３：事前収集済み学習画像データ保存部、  ２４：持ち上げ可能物体領域推定部、
２５：カメラ内部・外部パラメータ保存部
【図１】
2020149389.tif 000015
【図２】
2020149389.tif 000016
【図３】
2020149389.tif 000017
【図４】
2020149389.tif 000018
【図５】
2020149389.tif 000019
【図６】
2020149389.tif 000020
【図７】
2020149389.tif 000021
【図８】
2020149389.tif 000022
【図９】
2020149389.tif 000023
【図１０】
2020149389.tif 000024
【図１１】
2020149389.tif 000025
【図１２】
2020149389.tif 000026