(57)【要約】【課題】群集の中に、顔が隠れて認識できない人がいることを検知できる異常検知システムを提供する。【解決手段】画像データを取得し、画像データに含まれる動きのある複数の第１被写体の領域を抽出する領域抽出部２１と、画像データから複数の顔を検出し、複数の顔領域を生成する顔検出部２２と、複数の顔領域に基づいて推定される複数の第２被写体の領域を生成する領域推定部２３と、複数の第１被写体の領域と複数の第２被写体の領域とを比較する領域比較部２４と、比較の結果に基づいて信号を出力する信号出力部２５とを具備する。領域推定部２３は、複数の顔領域の各々に基づく矩形領域を生成し、複数の矩形領域を重ね合わせて複数の第２被写体の領域とする。【選択図】図１
2010199865.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得し、前記画像データに含まれる動きのある複数の第１被写体の領域を抽出する領域抽出部と、
前記画像データから複数の顔を検出し、複数の顔領域を生成する顔検出部と、
前記複数の顔領域に基づいて推定される、複数の第２被写体の領域を生成する領域推定部と、
前記複数の第１被写体の領域と、前記複数の第２被写体の領域とを比較する領域比較部と、
前記比較の結果に基づいて、信号を出力する信号出力部と、
を具備し、
前記領域推定部は、前記複数の顔領域の各々に基づく矩形領域を生成し、複数の前記矩形領域を重ね合わせて前記複数の第２被写体の領域とする
異常検知システム。
【請求項２】
請求項１に記載の異常検知システムであって、
前記領域比較部は、前記複数の第１被写体の領域の第１面積と、前記複数の第２被写体の領域との第２面積とに基づいて、前記第１面積と前記第２面積との面積差と面積比と重複面積とのうちの少なくとも１つを用いて比較する
異常検知システム。
【請求項３】
請求項１又は２に記載の異常検知システムであって、
前記領域抽出部は、
前記画像データのオプティカルフローを生成するオプティカルフロー生成部と、
前記オプティカルフローが示す特定の移動方向と移動量とを有する領域を前記複数の第１被写体の領域として抽出する抽出部と、
を備える
異常検知システム。
【請求項４】
請求項１乃至３の何れか一項に記載の異常検知システムであって、
前記画像データを生成する撮影部と、
前記画像データのうちから、前記複数の第１被写体の領域及び前記複数の第２被写体の領域とを生成する範囲を指定する範囲指定部と、
を更に具備する
異常検知システム。
【請求項５】
画像データを取得するステップと、
前記画像データに含まれる、動きのある複数の第１被写体の領域を抽出するステップと、
前記画像データから複数の顔を検出し、複数の顔領域を生成するステップと、
前記複数の顔領域の各々に基づく矩形領域を生成するステップと、
複数の前記矩形領域を重ね合わせて複数の第２被写体の領域を生成するステップと、
前記複数の第１被写体の領域と、前記複数の第２被写体の領域とを比較するステップと、
前記比較の結果に基づいて、信号を出力するステップと、
を具備する
異常検知方法。
【請求項６】
請求項５に記載の異常検知方法であって、
前記比較するステップは、前記複数の第１被写体の領域の第１面積と、前記複数の第２被写体の領域との第２面積とに基づいて、前記第１面積と前記第２面積との面積差と面積比と重複面積とのうちの少なくとも１つを用いて比較する
異常検知方法。
【請求項７】
請求項５又は６に記載の異常検知方法であって、
前記複数の第１被写体の領域を抽出するステップは、
前記画像データのオプティカルフローを生成するステップと、
前記オプティカルフローが示す特定の移動方向と移動量とを有する領域を前記複数の第１被写体の領域として抽出するステップと、
を備える
異常検知方法。
【請求項８】
請求項５乃至７の何れか一項に記載の異常検知方法であって、
前記画像データを生成するステップと、
前記画像データのうちから、前記複数の第１被写体の領域及び前記複数の第２被写体の領域とを生成する範囲を指定するステップと、
を更に具備する
異常検知方法。
【請求項９】
請求項５乃至８の何れか一項に記載の方法をコンピュータに実行させる
異常検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常を検知するシステムに関し、特に、画像データに基づく、異常検知システム、異常検知方法及び異常検知プログラムに関する。
【背景技術】
【０００２】
人が身に付ける物を検知して、人の行動又は人の周辺状況を自動認識する方法がある。この自動認識方法は、例えばサングラスやヘルメットと不審者とを関連付けておくと、サングラスやヘルメットを検知した場合、それらを身に付けている人を不審者として認識することができる。また、この認識方法は、開いている傘と降雨とを関連付けておくと、人が差している傘を検知して、降雨を認識することにも利用できる。
【０００３】
物を検知するには、汎用カメラが撮影した画像データを用いる方法が例示される。汎用カメラの画像データを用いる方法は、対象となる物毎に専用センサを必要としない点で好ましい。特に、汎用カメラとして既設された監視カメラを流用すると、カメラのコストが抑制できる。しかし、画像データを用いて物を検知する方法は、物の検知が決して容易ではない。例えば、人が身に付ける物は、種類、色彩及び形状が多様で定まらず、角度により見た目が変化するからである。一方、物を検知するのではなく、顔を検知して人の行動を自動認識する方法もある。
【０００４】
特許文献１には、動画像において人物の顔特徴が未確定であることに応じて、何らかの出力を発生させる人物認識装置が開示されている。この人物認識装置は、被写体を撮像して得られる画像データ領域中から人体、即ち動き物体データ領域を検出する手段と、検出された動き物体領域中から顔面データ領域を抽出する手段と、顔面データ領域に顔面を特定する画像データが含まれるか否かを判定する手段と、顔面を特定する画像データが含まれない場合に出力する手段とを具備する。更に、人物認識装置は、顔面データ領域の面積を算出する手段と、算出された面積と所定面積とを比較し、比較結果に応じて判定する手段の能動化を制御する手段とを具備する。このような人物認識装置は、人体に関するデータ領域中に、顔面を特定する画像データが含まれるか否かに応じて、何らかの出力を発生させることができるというものである。
【０００５】
その他関連する技術として、特許文献２には確実に不審者を検出することができる監視システムが開示されている。この監視システムは、監視領域を撮像し、入射光量の対数にほぼ比例した画素値からなる監視画像を出力する撮像装置と、監視する対象であるものに接近した接近者の顔の画像を監視画像から検出する顔検出手段と、接近者の顔の画像から接近者の特徴量を検出する特徴量検出手段と、接近者の特徴量を示す特徴量データの記録手段への記録を制御する記録制御手段と、接近者の特徴量データと記録手段に記録されている過去に検出された接近者の特徴量データとを照合することにより接近者を特定する特定手段と、特定された接近者の顔の画像が所定の時間内に検出された頻度に基づいて、接近者が不審者であるか否かを判定する判定手段とを含むことを特徴とする。このような監視システムは、より確実に不審者を検出することができ、被害の発生および拡大を防止することができるというものである。
【０００６】
また、特許文献３には、画像中の人体領域を自動的に抽出すると共に、抽出性能を向上させる人体領域抽出方法が開示されている。この人体領域抽出方法は、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれる候補領域を決定し、候補領域を構成する２画素以上の大きさの単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定し、推測領域中の人体領域を抽出することを特徴とする。このような人体領域抽出方法は、画像中の人体領域を精度良く自動抽出することができるというものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３０８８８８０号公報
【特許文献２】特開２００６−２５９８２８号公報
【特許文献３】特開２００８−１５６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の人物認識装置は、複数の人が群集となって画像データ上で重なる場合、動き物体データ領域から顔面データ領域を正しく抽出することが難しい。何故なら、群集の動き物体データ領域に各個人の動き領域が含まれるため、各個人の輪郭を利用して顔面データ領域を抽出することは困難と考えられるからである。
【０００９】
本発明の目的は、群集の中に、顔が隠れて認識できない人がいることを検知できる異常検知システムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の異常検知システムは、画像データを取得し、画像データに含まれる動きのある複数の第１被写体の領域を抽出する領域抽出部と、画像データから複数の顔を検出し、複数の顔領域を生成する顔検出部と、複数の顔領域に基づいて推定される複数の第２被写体の領域を生成する領域推定部と、複数の第１被写体の領域と複数の第２被写体の領域とを比較する領域比較部と、比較の結果に基づいて信号を出力する信号出力部とを具備する。領域推定部は、複数の顔領域の各々に基づく矩形領域を生成し、複数の矩形領域を重ね合わせて複数の第２被写体の領域とする。
【００１１】
本発明の異常検知方法は、画像データを取得するステップと、画像データに含まれる動きのある複数の第１被写体の領域を抽出するステップと、画像データから複数の顔を検出し、複数の顔領域を生成するステップと、複数の顔領域の各々に基づく矩形領域を生成するステップと、複数の矩形領域を重ね合わせて複数の第２被写体の領域を生成するステップと、複数の第１被写体の領域と、複数の第２被写体の領域とを比較するステップと、比較の結果に基づいて信号を出力するステップとを具備する。
【００１２】
本発明の異常検知プログラムは、画像データを取得するステップと、画像データに含まれる動きのある複数の第１被写体の領域を抽出するステップと、画像データから複数の顔を検出し、複数の顔領域を生成するステップと、複数の顔領域の各々に基づく矩形領域を生成するステップと、複数の矩形領域を重ね合わせて複数の第２被写体の領域を生成するステップと、複数の第１被写体の領域と、複数の第２被写体の領域とを比較するステップと、比較の結果に基づいて信号を出力するステップとをコンピュータに実行させる。
【発明の効果】
【００１３】
本発明の異常検知システムは、群集の中に顔が認識できない人がいることを検知し、信号を出力することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の第１の実施の形態による異常検知システム１の構成例を示したブロック図である。
【図２】図２は、異常検知システム１の実施の形態における、ハードウエア構成例を示すブロック図である。
【図３】図３は、本発明の異常検知システム１の第１の実施の形態による処理動作を示したフローチャートである。
【図４】図４は、本発明の第１の実施の形態の異常検知システム１が、異常を検知しない場合の処理を示した図である。
【図５】図５は、本発明の第１の実施の形態の異常検知システム１が、異常を検知する場合の処理を示した図である。
【図６】図６は、本発明の第２の実施の形態の異常検知システム１の構成例を示したブロック図である。
【図７】図７は、本発明の異常検知システム１の第２の実施の形態による処理動作を示したフローチャートである。
【図８】図８は、本発明の第２の実施の形態の異常検知システム１の処理を示した図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して本発明の実施の形態による異常検知システム、異常検知方法及び異常検知プログラムを説明する。
【００１６】
（第１の実施の形態）
本発明の第１の実施の形態を説明する。図１は、本発明の第１の実施の形態による異常検知システム１の構成例を示したブロック図である。図１を参照すると、異常検知システム１は、撮影装置１０と、データ処理装置２０とを具備する。
【００１７】
撮影装置１０はカメラを含み、複数の被写体（群集）を任意の時間間隔で逐次撮影する。撮影装置１０は、撮影した群集の画像データをデータ処理装置２０へ逐次提供する。画像データは、ビデオカメラで撮影した映像を画素値の二次元配列として取得したデータが例示される。
【００１８】
データ処理装置２０は、群集の画像データを取得し、群集の中で顔が認識できない人がいることを判定し、顔が認識できない人がいる場合を異常として出力することができる。データ処理装置２０は、領域抽出部２１と、顔検出部２２と、領域推定部２３と、領域比較部２４と、信号出力部２５とを備える。
【００１９】
領域抽出部２１は、撮影装置１０から画像データを取得する。領域抽出部２１は、画像データに含まれる、動きのある複数の第１被写体の領域を抽出する。複数の第１被写体の領域の抽出方法は、領域抽出部２１が過去の画像データを保持しており、領域抽出部２１が過去の画像データと新たに取得した画像データとを比較して、複数の第１被写体の領域を抽出する方法が例示される。また、複数の第１被写体の抽出方法は、領域抽出部２１が動きのある複数の第１被写体が存在しない画像データを保持し、保持する画像データと新たに取得した画像データとを比較して、差分が生じた領域を抽出する方法でもよい。領域抽出部２１は、抽出した複数の第１被写体の領域を領域比較部２４へ提供する。
【００２０】
顔検出部２２は、撮影装置１０から画像データを取得する。顔検出部２２が取得する画像データと、領域抽出部２１が取得する画像データとは同一である。顔検出部２２は、画像データから複数の顔を検出し、画像データ上の顔の数、顔の位置、顔の大きさを取得する。顔検出部２２は、検出した複数の顔に基づいて、複数の顔領域を生成する。顔検出部２２は、生成した複数の顔領域を領域推定部２３へ提供する。
【００２１】
領域推定部２３は、顔検出部２２から複数の顔領域を取得する。領域推定部２３は、複数の顔領域に基づいて推定される、複数の第２被写体の領域を生成する。詳細には、領域推定部２３は、１つの顔領域に基づいて、顔の位置と大きさとを基準にその顔を含むと推定される第２被写体の領域を矩形領域で生成する。そして、領域推定部２３は、取得した複数の顔領域の各々で矩形領域を生成し、生成した複数の矩形領域を重ね合わせて、複数の第２被写体の領域とする。領域推定部２３は、生成した複数の第２被写体の領域を領域比較部２４へ提供する。
【００２２】
領域比較部２４は、領域抽出部２１が抽出した複数の第１被写体の領域と、領域推定部２３が生成した複数の第２被写体の領域とを取得し、複数の第１被写体の領域と複数の第２被写体の領域とが符合するか否かを比較する。詳細には、領域比較部２４は、複数の第１被写体の領域の面積と、複数の第２被写体の領域の面積とに基づいて、面積差と面積比と重複面積とのうちの少なくとも１つを用いて比較する。面積差又は面積比を用いる場合、領域比較部２４は、複数の第１被写体の面積と、複数の第２被写体の面積との面積差分又は面積比率を比較値として求める。領域比較部２４は、所定の基準値を有しており、基準値と比較値とを比べて、複数の第１被写体の領域と複数の第２被写体の領域とが符合するか否かを判定する。重複面積を用いる場合、領域比較部２４は、複数の第１被写体の領域と複数の第２被写体の領域とが重なる重複面積を求める。そして、領域比較部２４は、重複面積と、複数の第１被写体の領域の面積又は複数の第２被写体の面積との面積差分又は面積比率を比較値として算出する。領域比較部２４は、所定の基準値を有し、基準値と比較値とを比べて、複数の第１被写体の領域と複数の第２被写体の領域とが符合するか否かを判定する。領域比較部２４は、基準値を範囲として有すると、複数の第１被写体の領域と複数の第２被写体の領域とがノイズや推定誤差で変動しても、基準値（範囲）を超える場合のみを検知することができる。
【００２３】
領域比較部２４は、複数の第１被写体の領域と複数の第２被写体の領域とが符合する場合、異常がないため処理を終了する。領域比較部２４は、複数の第１被写体の領域と複数の第２被写体の領域とが符合しないと判定した場合、顔の隠蔽が生じる状況が発生しているため、信号出力部２５へ符合しない比較結果を提供する。
【００２４】
信号出力部２５は、複数の第１被写体の領域と複数の第２被写体の領域とが符合しない比較結果を取得する。信号出力部２５は、比較結果に基づいて信号を出力する。例えば、信号出力部２５は、符合しない比較結果を取得すると、異常をユーザに報知するために、音声や光などの信号を出力する。
【００２５】
本発明の異常検知システム１は、コンピュータを用いて実現可能である。図２は、異常検知システム１の実施の形態における、ハードウエア構成例を示すブロック図である。図２を参照すると、本発明の異常検知システム１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；中央処理装置）１０１と、記憶装置１０２と、入力装置１０３と、出力装置１０４と、各装置を接続するバス１０５とを備えるコンピュータシステムで構成される。
【００２６】
ＣＰＵ１０１は、記憶装置１０２に格納されている本発明の異常検知システム１に係る演算処理及び制御処理を行う。記憶装置１０２は、ハードディスクやメモリなど、情報の記録を行う装置である。記憶装置１０２は、ＣＤ−ＲＯＭやＤＶＤ等のコンピュータ読み取り可能な記憶媒体から読み取られたプログラム、入力装置１０３から入力された信号やプログラム、及びＣＰＵ１０１の処理結果を格納する。入力装置１０３は、マウス、キーボード、マイクロフォンなど、ユーザがコマンド及び信号を入力することが出来る装置である。また、入力装置１０３は、画像データを撮影するカメラも含まれる。出力装置１０４は、ディスプレイ、スピーカ、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）など、ユーザに出力結果を認識させる装置である。尚、本発明はハードウエア構成例と示したものに限定されず、各部はハードウエアとソフトウエアとを単独又は組み合わせて実現することが出来る。
【００２７】
図３は、本発明の異常検知システム１の第１の実施の形態による処理動作を示したフローチャートである。図４は、本発明の第１の実施の形態の異常検知システム１が、異常を検知しない場合の処理を示した図である。図５は、本発明の第１の実施の形態の異常検知システム１が、異常を検知する場合の処理を示した図である。図３、図４及び図５を参照して、本発明の第１の実施の形態による処理動作を説明する。
【００２８】
撮影装置１０は、カメラで複数の被写体（群集）を撮影する。撮影装置１０は、撮影した群集の画像データを生成し、データ処理装置２０へ提供する。図４の（ａ）は、撮影装置１０が撮影した画像データである。図５の（ａ）は、同様に撮影装置１０が撮影した画像データである。領域抽出部２１及び顔検出部２２は、撮影装置１０から提供される画像データを取得する（ステップＳ０１）。
【００２９】
領域抽出部２１は、画像データに含まれる、動きのある複数の第１被写体の領域を抽出する。領域抽出部２１は、抽出した複数の第１被写体の領域を領域比較部２４へ提供する（ステップＳ０２）。
【００３０】
図４の（ｂ）は、領域抽出部２１が図４の（ａ）に含まれる動きのある複数の第１被写体の領域を抽出したことを示す図である。図５の（ｂ）は、領域抽出部２１が図５の（ａ）に含まれる動きのある複数の第１被写体の領域を抽出したことを示す図である。尚、抽出方法としては、領域抽出部２１が直前あるいはそれ以前の画像データを過去の画像データとして保持し、過去の画像データと新たに取得した画像データ（図４の（ａ）及び図５の（ａ））との差異に基づいて、複数の第１被写体の領域を抽出する方法が例示される。もしくは、領域抽出部２１は、動きのある複数の第１被写体が存在しない画像データと新たに取得した画像データ（図４の（ａ）及び図５の（ａ））とを比較し、差分が生じた領域を複数の第１被写体の領域として抽出してもよい。
【００３１】
顔検出部２２は、撮影装置１０から画像データを取得する。顔検出部２２は、画像データから複数の顔を検出し、画像データ上の顔の数、顔の位置、顔の大きさを取得する。顔検出部２２は、検出した複数の顔に基づいて、複数の顔領域を生成する（ステップＳ０３）。
【００３２】
図４の（ｃ）は、顔検出部２２が図４の（ａ）から複数の顔を検出し、複数の顔領域を生成したことを示す図である。図５の（ｃ）は、顔検出部２２が図５の（ａ）から傘で隠れていない１つの顔を検出し、１つの顔領域を生成したことを示す図である。尚、顔の検出方法は、特開２００３−３１７０８４に開示されている方法が例示される。顔検出部２２は、生成した複数の顔領域を領域推定部２３へ提供する。
【００３３】
領域推定部２３は、顔検出部２２から複数の顔領域を取得する。領域推定部２３は、複数の顔領域に基づいて推定される、複数の第２被写体の領域を生成する。詳細には、領域推定部２３は、１つの顔領域に基づいて、顔の位置と大きさを基準にその顔を含むと推定される第２被写体の領域を矩形領域で生成する。そして、領域推定部２３は、取得した複数の顔領域の各々で矩形領域を生成し、生成した複数の矩形領域を重ね合わせて、複数の第２被写体の領域とする（ステップＳ０４）。
【００３４】
図４の（ｄ）は、領域推定部２３が生成した複数の第２被写体の領域を示す図である。図５の（ｄ）は、領域推定部２３が生成した第２被写体の領域を示す図である。図５の（ｄ）は、群集の中で顔が検出された１人の領域のみが第２被写体の領域として示されている。領域推定部２３は、生成した複数の第２被写体の領域を領域比較部２４へ提供する。
【００３５】
領域比較部２４は、領域抽出部２１が抽出した複数の第１被写体の領域と、領域推定部２３が生成した複数の第２被写体の領域とを取得する。領域比較部２４は、複数の第１被写体の領域と複数の第２被写体の領域とが符合するか否かを比較する。詳細には、領域比較部２４は、複数の第１被写体の領域の面積と、複数の第２被写体の領域の面積とに基づいて、面積差と面積比と重複面積とのうちの少なくとも１つを用いて比較する（ステップＳ０５）。
【００３６】
ステップＳ０５において、領域比較部２４が、複数の第１被写体の領域と複数の第２被写体の領域とは符合すると判定した場合、異常がないため処理を終了する。
【００３７】
図４に示した例では、領域比較部２４は、図４の（ｂ）と（ｄ）とを比較し、図４の（ｂ）と（ｄ）とが符合するため、異常がなく処理を終了する。
【００３８】
ステップＳ０５において、領域比較部２４は、符合しないと判定した場合、顔の隠蔽が生じる状況が発生しているため、信号出力部２５へ符合しない比較結果を提供する。信号出力部２５は、複数の第１被写体の領域と複数の第２被写体の領域とが符合しない比較結果を取得すると、異常があるとして、音声や光などの信号をユーザに認識できるように出力する（ステップＳ０６）。
【００３９】
図５に示した例では、領域比較部２４は、図５の（ｂ）と（ｄ）とを比較する。図５の（ｄ）に示した第２被写体の領域は、複数の第１被写体の顔が傘によって隠れているため、本来存在する人の数に比べて検出される顔の数は少なく、面積が小さい。従って、領域比較部２４は、複数の第１被写体の領域の面積と、複数の第２被写体の領域の面積との差が大きく、符合しないと判定する。領域比較部２４は、図５の（ｂ）と（ｄ）とが符合しない比較結果を信号出力部２５へ提供する。信号出力部２５は、比較結果に基づいてユーザに異常を報知する。尚、図５では、傘によって顔が隠蔽されている例を示したが、サングラスやヘルメットなどの物によって顔が隠蔽されていても同様に異常を検知することができる。
【００４０】
本発明の異常検知システム１は、画像データから抽出した動きのある複数の第１被写体の領域と、顔の検出に基づいて生成した複数の第２被写体の領域とが符合するか否かを比較し、比較結果に基づいて信号を出力する。従って、本発明の異常検知システム１は、被写体毎に顔の隠蔽を判定する必要がなく、群集の画像データに基づき、顔が隠れて認識できない人がいることを検知し、出力することができる。即ち、本発明の異常検知システム１は、複数の人が重なり、各個人の輪郭を切り分けることが困難な場合に対しても適用することができる。
【００４１】
（第２の実施の形態）
本発明の第２の実施の形態を説明する。カメラに対して後姿の人は、複数の第１被写体の領域に含まれても、顔検出に基づく複数の第２被写体の領域に含まれることがない。従って、後ろ姿の人が含まれる画像データに基づいて異常検知する場合、異常検知システム１は後姿の人を含む複数の第１被写体の領域と、後ろ姿の人を含まない複数の第２被写体の領域とを比較することになり、二つの面積差が大きくなりやすい。そこで、本発明の第２の実施の形態の異常検知システム１は、カメラから遠ざかる方向へ移動する人を複数の第１被写体の領域に含まず、カメラに近づく複数の人のみを複数の第１被写体の領域として抽出を行う。図６は、本発明の第２の実施の形態の異常検知システム１の構成例を示したブロック図である。図６を参照すると、本発明の第２の実施の形態による異常検知システム１は、撮影装置１０と、データ処理装置２０とを具備する。本発明の第２の実施の形態は、データ処理装置２０における、範囲指定部２６と、複数の第１被写体の領域を抽出する領域抽出部２７とが第１の実施の形態と異なる。その他の構成は、第１の実施の形態と同様であるため、同じ構成には同じ符号を用いて説明を省略する。
【００４２】
範囲指定部２６は、撮影装置１０から画像データを取得する。範囲指定部２６は、ユーザ入力に基づいて、画像データの中で異常を検知する範囲を指定し、範囲指定された画像データを領域抽出部２７及び顔検出部２２へ提供する。領域抽出部２７及び顔検出部２２は、画像データの指定された範囲の中で、複数の第１被写体の領域又は複数の第２被写体の領域を設定する。
【００４３】
領域抽出部２７は、画像データに含まれる、動きのある複数の第１被写体の領域を抽出する。領域抽出部２７は、抽出した複数の第１被写体の領域を領域比較部２４へ提供する。領域抽出部２７は、オプティカルフロー生成部２８と、抽出部２９とを備える。
【００４４】
オプティカルフロー生成部２８は、範囲指定部２６に指定された範囲の中で、オプティカルフローを生成する。オプティカルフローは、画像データ上の部分領域に注目し、部分領域が過去の時刻の画像データと現在の時刻の画像データの間で画像上で移動した方向および量を表す。
【００４５】
抽出部２９は、オプティカルフロー生成部２８が生成したオプティカルフローのうち、ユーザ入力に基づいて予め設定された特定の移動方向および移動量を持つ部分領域を、複数の第１被写体の領域として抽出する。
【００４６】
図７は、本発明の異常検知システム１の第２の実施の形態による処理動作を示したフローチャートである。図８は、本発明の第２の実施の形態の異常検知システム１の処理を示した図である。図７及び図８を参照して、本発明の第２の実施の形態による処理動作を説明する。
【００４７】
撮影装置１０は、カメラで複数の被写体（群集）を撮影する。撮影装置１０は、撮影した群集の画像データを生成し、データ処理装置２０へ提供する。図８の（ａ）は、撮影装置１０が撮影した画像データである。範囲指定部２６は、撮影装置１０から提供される画像データを取得する（ステップＳ１０）。
【００４８】
範囲指定部２６は、ユーザ入力に基づいて、画像データ上の動きのある領域を検知する範囲を指定する（ステップＳ１１）。図８の（ｂ）は、範囲指定部２６が画像データの中で指定した範囲を示す図である。
【００４９】
オプティカルフロー生成部２８は、画像データを取得し、指定された範囲の中からオプティカルフローを生成する（ステップＳ１２）。オプティカルフロー生成部２８は、オプティカルフローを例えば以下の手順により生成する。オプティカルフロー生成部２８は、まず現時刻の画像データから部分領域を決定する。次に、オプティカルフロー生成部２８は、過去に取得した過去の画像データ上から部分領域の画像データが適合する位置を探索する。そして、オプティカルフロー生成部２８は、過去の画像データの適合位置に対する現在の画像データの部分領域の相対位置をオプティカルフローとして生成する。オプティカルフロー生成部２８は、異なる部分領域においても同様にオプティカルフロー生成処理を繰り返す。こうして得られるオプティカルフローは、画像データの各部分領域に含まれる物体の移動方向と移動量を表す。
【００５０】
図８の（ｃ）は、指定された範囲の中でオプティカルフロー生成部２８が生成したオプティカルフローである。図８の（ｃ）では、顔が検出される人はカメラに向かって歩いている人の可能性が高く、画像データ上で下向きのオプティカルフローとして表される。
【００５１】
抽出部２９は、オプティカルフロー生成部２８からオプティカルフローを取得する。抽出部２９は、オプティカルフローに基づいて下向きのオプティカルフローを検出し、複数の第１被写体の領域を抽出する（ステップＳ１３）。
【００５２】
図８の（ｄ）は、抽出部２９が画像上のほぼ下向きに移動する部分領域を複数の第１被写体の領域として抽出したことを示す図である。
【００５３】
図７のステップＳ１４からステップＳ１７は、第１の実施の形態のステップＳ０３からステップＳ０６と同様である。
【００５４】
本発明の第２の実施の形態は、画像データに含まれる複数の被写体のうち、顔が検出される可能性が高い被写体のみを複数の第１被写体の領域として抽出できる。これにより、顔の検出に基づいて生成した複数の第２被写体の領域と正しく比較することができるため、誤った異常検知信号の出力を減らすことができる。
【符号の説明】
【００５５】
１      異常検知システム
１０    撮影装置
２０    データ処理装置
２１    領域抽出部
２２    顔検出部
２３    領域推定部
２４    領域比較部
２５    信号出力部
２６    範囲指定部
２７    領域抽出部
２８    オプティカルフロー生成部
２９    抽出部
１０１  ＣＰＵ
１０２  記憶装置
１０３  入力装置
１０４  出力装置
１０５  バス
【図１】
2010199865.tif 000003
【図２】
2010199865.tif 000004
【図３】
2010199865.tif 000005
【図４】
2010199865.tif 000006
【図５】
2010199865.tif 000007
【図６】
2010199865.tif 000008
【図７】
2010199865.tif 000009
【図８】
2010199865.tif 000010