(57)【要約】【課題】危険人物の検索効率を向上する。【解決手段】監視装置は、監視対象の場所の画像を撮像する撮像部と、撮像部によって撮像された画像に含まれる皮膚色の変化に基づいて、人物の心拍を検出する心拍検出部と、心拍検出部によって検出された心拍に基づいて、危険人物候補である警戒対象の人物を検出する警戒対象検出部とを備える。【選択図】図２
2017033459.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の場所の画像を撮像する撮像部と、
前記撮像部によって撮像された前記画像に含まれる皮膚色の変化に基づいて、人物の心拍を検出する心拍検出部と、
前記心拍検出部によって検出された前記心拍に基づいて、警戒対象の人物を検出する警戒対象検出部と
を備えることを特徴とする監視装置。
【請求項２】
前記心拍検出部は、
前記画像のうち、予め定められた色情報の範囲内にある領域を皮膚色の領域として検出する皮膚色検出部と、
前記皮膚色検出部によって検出された前記皮膚色の領域における前記色情報の変化を前記皮膚色の変化として検出する色変化検出部と、
前記色変化検出部によって検出された前記色情報の変化に基づいて、同一の人物における前記皮膚色の領域であるか否かを判定するとともに、前記同一の人物における前記皮膚色の領域であると判定した前記皮膚色の領域における前記色情報の変化に基づいて、前記同一の人物の心拍を検出する同一心拍検出部と
を備えることを特徴とする請求項１に記載の監視装置。
【請求項３】
前記心拍検出部は、前記色情報のピークの時間間隔に基づいて、前記心拍を検出し
前記警戒対象検出部は、前記心拍検出部によって検出された前記心拍の間隔が所定の間隔以下である場合、又は、検出された前記心拍の間隔の変化が、所定の範囲以上である場合に、当該心拍に対応する人物を前記警戒対象の人物として検出する
ことを特徴とする請求項２に記載の監視装置。
【請求項４】
監視対象の場所の画像を撮像する撮像部と、
前記撮像部によって撮像された前記画像に含まれる皮膚色の変化に基づいて、人物の心拍を検出する心拍検出部と
を備える心拍検出装置と、
前記心拍検出部によって検出された前記心拍に基づいて、警戒対象の人物を検出する警戒対象検出部を備える警戒管理装置と
を備えることを特徴とする監視システム。
【請求項５】
撮像部が、監視対象の場所の画像を撮像する撮像ステップと、
心拍検出部が、前記撮像ステップによって撮像された前記画像に含まれる皮膚色の変化に基づいて、人物の心拍を検出する心拍検出ステップと、
警戒対象検出部が、前記心拍検出ステップによって検出された前記心拍に基づいて、警戒対象の人物を検出する警戒対象検出ステップと
を含むことを特徴とする監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置、監視システム、及び監視方法に関する。
【背景技術】
【０００２】
近年、監視カメラで撮影した画像から顔を検出し、検出した顔の特徴量に基づいて、人物を分類する監視装置が知られている（例えば、特許文献１を参照）。このような監視装置では、例えば、分類された人物ごとに経過時間を計測し、経過時間が予め指定された時間閾値を超えた場合に、当該人物を危険人物候補だと判定していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−７７０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した監視装置では、経過時間が予め指定された時間閾値を超えた場合に、当該人物を危険人物候補だと判定するため、例えば、購入を迷っていることにより店舗に居る時間が長い人物やその場に長めに居ただけの人物について、危険人物候補であると判定することがある。そのため、上述した監視装置では、購入を迷っていることにより店舗に居る時間が長い人物やその場に長めに居ただけの人物等を含む危険人物候補であると判定した全員について、警戒対象の人物として警戒する必要があり、危険人物を検索する処理が非効率である場合があった。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、危険人物の検索効率を向上させることができる監視装置、監視システム、及び監視方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一態様は、監視対象の場所の画像を撮像する撮像部と、前記撮像部によって撮像された前記画像に含まれる皮膚色の変化に基づいて、人物の心拍を検出する心拍検出部と、前記心拍検出部によって検出された前記心拍に基づいて、警戒対象の人物を検出する警戒対象検出部とを備えることを特徴とする監視装置である。
【発明の効果】
【０００７】
本発明によれば、心拍に基づいて、危険人物候補である警戒対象の人物を効率良く検出できるため、危険人物の検索効率を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態による監視装置の一例を示すハード構成図である。
【図２】第１実施形態による監視装置の一例を示す機能ブロック図である。
【図３】第１実施形態の色変化検出部による皮膚色の変化の検出例を示す図である。
【図４】第１実施形態の同一心拍検出部による心拍の検出例を示す図である。
【図５】第１実施形態の警戒対象人物検出部による警戒対象の人物の検出例を示す図である。
【図６】第１実施形態による監視装置の動作の一例を示すフローチャートである。
【図７】第１実施形態による皮膚色検出部の動作の一例を示すフローチャートである。
【図８】第１実施形態による色変化検出部及び心拍判定部の動作の一例を示すフローチャートである。
【図９】第１実施形態による同一心拍検出部及び警戒対象人物検出部の動作の一例を示すフローチャートである。
【図１０】第２実施形態による監視システムの一例を示す機能ブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態による監視装置、及び監視システムについて図面を参照して説明する。
［第１実施形態］
図１は、第１実施形態による監視装置１の一例を示すハード構成図である。
図１に示すように、監視装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、入力部１０２と、出力部１０３と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０５と、通信部１０６とを備えている。なお、ＣＰＵ１０１と、入力部１０２と、出力部１０３と、ＲＯＭ１０４と、ＲＡＭ１０５と、通信部１０６とは、内部バスＢＳにより互いに接続されている。
【００１０】
ＣＰＵ１０１は、ＲＯＭ１０４及びＲＡＭ１０５が記憶する各種データを読み出して各種処理を実行し、監視装置１の各部を制御する。入力部１０２は、マウス、キーボード、タッチパネル、及びＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等を備えたカメラなどの入力装置である。また、出力部１０３は、表示部、スピーカなどの出力装置である。ＲＯＭ１０４は、監視装置１の各機能部を動作させるためのプログラム、及び各種データを記憶する。また、ＲＯＭ１０４は、フラッシュメモリなどの電気的に書き換え可能な不揮発性メモリを含んでいてもよく、入力部１０２又は通信部１０６を介して取得したデータを記憶するようにしてもよい。ＲＡＭ１０５は、各種データを一時的に記憶する。通信部１０６は、通信インターフェースを有し、有線又は無線によりネットワークに接続される。
【００１１】
次に、図２を参照して、本実施形態の監視装置１の機能構成について説明する。図２は、本実施形態の監視装置１の一例を示す機能ブロック図である。
図２に示すように、監視装置１は、撮像部１１と、心拍検出部１０と、警戒対象人物検出部１６とを備えている。ここで、図２に示される監視装置１の各部は、図１に示される監視装置１のハードウェアを用いて実現される。
【００１２】
撮像部１１は、例えば、カメラである入力部１０２により実現され、動画（画像）を撮像する機能をもつ。撮像部１１は、監視対象の場所を撮像し、撮像した動画（画像）を、例えば、ＲＡＭ１０５に記憶させる、又は、通信部１０６を介して、外部の記憶装置（不図示）に出力する。
心拍検出部１０は、例えば、ＣＰＵ１０１、ＲＯＭ１０４、及びＲＡＭ１０５により実現され、撮像部１１によって撮像された動画（画像）に含まれる皮膚色の変化に基づいて、人物の心拍を検出する。また、心拍検出部１０は、皮膚色検出部１２と、色変化検出部１３と、心拍判定部１４と、同一心拍検出部１５とを備えている。
【００１３】
皮膚色検出部１２は、撮像部１１によって撮像された動画のフレーム（以下、動画フレームという）ごとに皮膚色を検出する。例えば、皮膚色検出部１２は、撮像部１１が撮像した画像を取得し、撮像部１１が撮像した画像のうち、予め定められた色情報の範囲内にある領域を皮膚色の領域として検出する。すなわち、皮膚色検出部１２は、予め決められた範囲（例えば、ＨＳＶモデルの色空間で、Ｈ値（色相値）の範囲、Ｓ値（彩度値）の範囲、及びＶ値（明度値）のそれぞれの範囲）を皮膚の色として設定しておき、当該範囲内に画像情報（画素情報）が含まれているか否かに応じて、皮膚色であるか否か検出する。また、皮膚色検出部１２は、検出した領域情報（１フレーム中の座標情報）と、画像情報と、動画のフレーム番号などの時間情報とを関連付けて、ＲＡＭ１０５に記憶（記録）させる。なお、本実施形態では、一例として、画像情報の色空間が、ＨＳＶモデルである例を説明するが、ＲＧＢモデルなどの他のモデルであってもよい。
【００１４】
色変化検出部１３は、皮膚色検出部１２によって検出された、複数の動画フレームに渡って記録された領域と皮膚色とにおいて、領域ごとに色成分の変化を検出する。すなわち、色変化検出部１３は、皮膚色検出部１２によって検出された皮膚色の領域における色情報の変化を皮膚色の変化として検出する。色変化検出部１３は、例えば、図３に示すような色情報の変化を検出する。
【００１５】
図３は、本実施形態の色変化検出部１３による皮膚色の変化の検出例を示す図である。
図３に示す例では、色変化検出部１３は、動画フレーム内で検出された「領域１」における色成分（色情報）として、画像要素ごとに平均値を算出する。色変化検出部１３は、例えば、皮膚色検出部１２によって検出された領域が２０×２０ピクセルとして、ＨＳＶモデルのＨ成分、Ｓ成分、及びＶ成分をそれぞれ成分ごとに、２０×２０ピクセルの合計４００ピクセル分の平均値を算出する。色変化検出部１３は、このような色成分の平均値の算出を、動画フレームごとに実行することで、図３（ａ）、及び図３（ｂ）のような波形（Ｗ１、Ｗ２）が得られる。なお、色変化検出部１３は、皮膚色検出部１２によって検出された皮膚色の領域の全てについて、同様に、動画フレームごとに平均値の算出を実行する。
【００１６】
図３（ａ）は、ある動画において検出された「領域１」における皮膚色の変化を示している。この図において、縦軸は、皮膚色の平均値を示し、横軸は、画像取得時刻を示している。ここで、波形Ｗ１は、「領域１」における皮膚色の平均値の変化を示している。
また、図３（ｂ）は、図３（ａ）とは異なるある領域における皮膚色の変化を示している。この図において、縦軸は、皮膚色の平均値を示し、横軸は、画像取得時刻を示している。ここで、波形Ｗ２は、図３（ａ）とは異なるある領域における皮膚色の平均値の変化を示している。色変化検出部１３は、図３（ａ）及び図３（ｂ）に示すように、皮膚色の領域ごとに、色情報の変化を検出する。
【００１７】
図２の説明に戻り、心拍判定部１４は、色変化検出部１３によって検出された色情報の変化に基づいて、心拍を検出する。すなわち、心拍判定部１４は、色変化検出部１３による検出によって得られる図３に示すような各領域の色変化の状況を調べて、変化のピークが心拍の周期となっているか否かを判定する。心拍判定部１４は、例えば、図３に示すピークＰ１〜Ｐ５のような色情報のピークを抽出し、ピークが周期的に出現するか否かを判定する。例えば、図３（ａ）に示す波形Ｗ１の場合には、ピークＰ１、ピークＰ２、ピークＰ３が周期的であるため、心拍判定部１４は、この「領域１」における色変化が心拍によるものである（心拍の検出が可能である）と判定する。また、例えば、図３（ｂ）に示す波形Ｗ２の場合には、ピークＰ４、ピークＰ５があるものの周期的でないため、心拍判定部１４は、色変化が心拍によるものでないと判定する。
【００１８】
また、心拍判定部１４は、抽出された複数個のピークの時間間隔（例えば、図３に示す時間間隔ｔ１、ｔ２、ｔ３など）を算出する。心拍判定部１４は、算出したピークの時間間隔（以下、ピーク間隔ということがある）に基づいて、心拍を判定する。ここで、１分当たりの心拍数は、例えば、６０回〜２００回程度とする。一般的には、２００回程度の心拍数はかなり大きな心拍数となるが、心拍判定部１４は、犯罪の可能性のある警戒すべき人物を検出するために、大きな心拍数も検出するようにする。なお、個々人の状況によっては範囲外となる事も考えられるが、その場合は閾値を広げてもよい。心拍判定部１４は、上述したピークの時間間隔（例えば、時間間隔ｔ１、ｔ２、ｔ３など）が、例えば、３００ｍｓ（ミリ秒）〜１０００ｍｓの範囲内であるか否かによって、心拍であるか否か（又は心拍による変化）を判定する。
なお、色変化（色情報の変化）は、画像要素のＨ値、Ｓ値、及びＶ値のそれぞれで算出されるため、心拍判定部１４は、このＨ値、Ｓ値、及びＶ値のいずれかの変化において、上記条件を満たす場合には心拍である（又は心拍による変化）と判定することとする。
【００１９】
同一心拍検出部１５は、心拍判定部１４によって、色情報の変化が心拍であると判定された複数個の領域について、同じ（ほぼ同じを含む）変化タイミングの領域であるか否かを検出する。同一心拍検出部１５は、例えば、図４に示すように、検出された領域ごとに色情報の変化のピーク位置を比較し、ピーク位置（ピークのタイミング）が一致している領域を同一の人物における皮膚色の領域であると判定する。同一心拍検出部１５は、図４に示す「領域１」と、「領域３」とは、ピークの位置が一致しているため、同一心拍検出部１５は、同一の人物における心拍の領域として検出する。なお、同一心拍検出部１５は、各変化タイミングにおいて、時間的に完全に一致する事はないため、閾値(例えば、２０ｍｓ)などを設けて、閾値以内であればタイミングが一致しているものと判定するようにしてもよい。
【００２０】
図４は、本実施形態の同一心拍検出部１５による心拍の検出例を示す図である。
図４において、（ａ）〜（ｅ）は、「領域１」〜「領域５」における心拍のピーク位置を太線により表している。また、図４において、横軸は、時刻を示している。
図４に示す例では、「領域１」は、時刻Ｔ１、時刻Ｔ４、時刻Ｔ６、時刻Ｔ９、時刻Ｔ１２、及び時刻Ｔ１５においてピーク位置であることを示している。また、「領域３」は、心拍が「領域１」とタイミングが一致するため、同一心拍検出部１５は、「領域１」と、「領域３」とを同一の人物の心拍として検出する。
【００２１】
また、「領域２」は、時刻Ｔ２、時刻Ｔ３、時刻Ｔ５、時刻Ｔ７、時刻Ｔ８、時刻Ｔ１０、時刻Ｔ１１、時刻Ｔ１３、時刻Ｔ１４、及び時刻Ｔ１６においてピーク位置であることを示している。また、「領域５」は、心拍が「領域２」とタイミングが一致するため、同一心拍検出部１５は、「領域２」と、「領域５」とを同一の人物の心拍として検出する。
このように、同一心拍検出部１５は、色情報のピークのタイミングに基づいて、同一の人物における皮膚色の領域であるか否かを判定する。また、同一心拍検出部１５は、色変化検出部１３によって検出された色情報の変化に基づいて、同一の人物における皮膚色の領域であるか否かを判定するとともに、同一の人物における皮膚色の領域であると判定した皮膚色の領域における色情報の変化に基づいて、同一の人物の心拍を検出する。
【００２２】
再び、図２の説明に戻り、警戒対象人物検出部１６（警戒対象検出部の一例）は、心拍検出部１０によって検出された心拍に基づいて、危険人物候補である警戒対象の人物を検出する。なお、一般に、犯罪者は、興奮状態にあり、心拍数が一般人よりも高くなる傾向があることが知られている。そこで、警戒対象人物検出部１６は、例えば、心拍検出部１０によって検出された心拍の間隔が所定の間隔以下である場合、又は、検出された心拍の間隔の変化が、所定の範囲以上である場合に、当該心拍に対応する人物を警戒対象の人物として検出する。警戒対象人物検出部１６は、同一心拍検出部１５によって同一の人物と判定された領域を同一人物として監視し、その心拍数、或は心拍数の変化を監視する。また、警戒対象人物検出部１６は、独立している領域についても１人の人物として同様に監視し、その心拍数、或は心拍数の変化を監視する。
【００２３】
図４に示す例では、警戒対象人物検出部１６は、例えば、「領域１」及び「領域３」を同一の人物として監視し、「領域２」及び「領域５」を同一の人物として監視し、「領域４」を１人の人物として監視する。警戒対象人物検出部１６は、例えば、「領域２」及び「領域５」の心拍の間隔が所定の間隔（例えば、６００ｍＳ）以下であるため、「領域２」及び「領域５」に対応する人物を、警戒対象の人物として検出する。また、「領域４」は、時刻Ｔ１０以降において、心拍の間隔が短くなり（心拍数が高くなり）、心拍の間隔の変化が、所定の範囲（例えば、±３０％）以上であるため、警戒対象人物検出部１６は、「領域４」に対応する人物を、警戒対象の人物として検出する。すなわち、図４に示す例では、警戒対象人物検出部１６は、「領域２」及び「領域５」に対応する人物と、「領域４」に対応する人物との２名を警戒対象の人物として検出する。
【００２４】
なお、同一心拍検出部１５及び警戒対象人物検出部１６は、図５に示すように、“領域番号”と、“グループ識別子”と、“警戒対象”とを関連付けて、例えば、ＲＡＭ１０５に記憶させる。
図５は、本実施形態の警戒対象人物検出部１６による警戒対象の人物の検出例を示す図である。図５に示す例では、同一心拍検出部１５は、“領域番号”の「領域１」と「領域３」とを同一の人物として検出し、“グループ識別子”として「Ｇ１」を付与する。また、警戒対象人物検出部１６は、“グループ識別子”が「Ｇ１」の領域において、心拍の間隔が所定の間隔（例えば、６００ｍＳ）より大きく、且つ、心拍の間隔の変化が、所定の範囲（例えば、±３０％）未満であるため、“警戒対象”を「不要」としている。
【００２５】
また、同一心拍検出部１５は、“領域番号”の「領域２」と「領域５」とを同一の人物として検出し、“グループ識別子”として「Ｇ２」を付与する。また、警戒対象人物検出部１６は、“グループ識別子”が「Ｇ２」の領域において、心拍の間隔が所定の間隔（例えば、６００ｍＳ）以下であるため、“警戒対象”を「必要」としている。
【００２６】
次に、図６〜図９を参照して、本実施形態の監視装置１の動作について説明する。
図６は、本実施形態の監視装置１の動作の一例を示すフローチャートである。
図６に示すように、まず、監視装置１は、動画を撮像する（ステップＳ１０１）。すなわち、監視装置１の撮像部１１は、監視対象の場所の動画を撮像し、撮像した動画を動画フレームごとに、例えば、ＲＡＭ１０５に記憶させる。
次に、監視装置１の心拍検出部１０（皮膚色検出部１２）は、動画フレームごとに皮膚色を検出する（ステップＳ１０２）。
次に、心拍検出部１０（色変化検出部１３）は、皮膚色の領域ごとの色成分の変化を検出する（ステップＳ１０３）。
【００２７】
次に、心拍検出部１０（心拍判定部１４）は、皮膚色の領域ごとに心拍を判定する（ステップＳ１０４）。
次に、心拍検出部１０（同一心拍検出部１５）は、人物の心拍を検出する（ステップＳ１０５）。すなわち、心拍検出部１０の同一心拍検出部１５は、色情報のピークのタイミングに基づいて、同一の人物における皮膚色の領域であるか否かを判定する。また、同一心拍検出部１５は、同一の人物における皮膚色の領域であると判定した皮膚色の領域における色情報の変化に基づいて、同一の人物の心拍を検出する。
【００２８】
次に、監視装置１の警戒対象人物検出部１６は、人物の心拍に基づいて、警戒対象の人物を検出する（ステップＳ１０６）。ステップＳ１０６に処理後に、監視装置１は、ステップＳ１０１に処理を戻し、一定周期（例えば、５秒）ごとに、ステップＳ１０１〜ステップＳ１０６の処理を繰り返して、警戒対象の人物を検出する。
【００２９】
次に、図７を参照して、上述した図６のステップＳ１０２の処理の詳細について説明する。図７は、本実施形態の皮膚色検出部１２の動作の一例を示すフローチャートである。
図７において、皮膚色検出部１２は、まず、画像を取得する（ステップＳ２０１）。皮膚色検出部１２は、例えば、ＲＡＭ１０５に記憶されている動画を動画フレームごとに取得する。すなわち、皮膚色検出部１２は、例えば、撮像部１１によって撮像された動画像の１フレーム分の画像情報（例えば、６４０×４８０ピクセルで画像要素はＨＳＶモデルとする）を取得する。
【００３０】
次に、皮膚色検出部１２は、皮膚色の領域を検出する（ステップＳ２０２）。皮膚色検出部１２は、例えば、６４０×４８０ピクセルの画像において、皮膚色の検出を行う。皮膚色検出部１２は、例えば、予め決められた範囲（例えば、ＨＳＶモデルの色空間で、Ｈ値（色相値）の範囲、Ｓ値（彩度値）の範囲、及びＶ値（明度値）のそれぞれの範囲）を皮膚の色として設定しておき、当該範囲内に画像情報（画素情報）が含まれているか否かに応じて、皮膚色であるか否か検出する。
【００３１】
次に、皮膚色検出部１２は、検出した皮膚色の領域の色情報を記録する（ステップＳ２０３）。皮膚色検出部１２は、例えば、検出された皮膚色のＨ値、Ｓ値、及びＶ値の各平均値と、その領域の位置座標（例えば、左上座標（１０、４００）、右下座標（３０、３８０）などの座標情報）をＲＡＭ１０５に記憶させる。また、皮膚色検出部１２は、複数個の領域について、領域ごとに管理し、ＲＡＭ１０５に記憶させる。例えば、皮膚色検出部１２は、６４０×４８０ピクセルの画像全体に対して、皮膚色の検出が終了した場合（ステップＳ２０３の処理後）に、処理をステップＳ２０１に戻し、動画像の次の１フレーム分の処理を実行する。
これにより、監視装置１において、動画フレームごと（＝時間ごと）に皮膚色の各平均値と位置座標とが管理され、各領域は、領域番号が設定されて（例えば、「領域１」、「領域２」など）管理される。
【００３２】
なお、検出する皮膚色の位置が移動する場合は、皮膚色検出部１２は、以下のように処理を実行してもよい。
皮膚色検出部１２は、ある動画フレームにて検出した皮膚色の領域において、その領域内の皮膚色の平均値と位置座標とを算出する。そして、皮膚色検出部１２は、次の動画フレームにて検出した皮膚色の領域において、同様に皮膚色の平均値と位置座標とを算出する。皮膚色検出部１２は、２つの動画フレームの皮膚色の領域において、色情報の差分が予め設定した閾値（例えば、皮膚色の変化があることを考慮した値とするなど）の範囲内であり、且つ、位置座標の差分も予め設定した閾値内である場合に、同じ皮膚色の領域が移動したものと判定することで、皮膚色の領域を追跡する。
また、皮膚色の検出では、環境の変化（例えば、照明の色温度）に応じて影響を受けることがあるが、これはカメラの既存技術であるホワイトバランスや輝度調整などの調整機能で対処可能である。
【００３３】
次に、図８を参照して、図６のステップＳ１０４の処理の詳細について説明する。図８は、本実施形態の心拍判定部１４の動作の一例を示すフローチャートである。
図８において、心拍判定部１４は、まず、皮膚色変化のピークからピーク間隔を算出する（ステップＳ３０１）。心拍判定部１４は、例えば、色変化検出部１３によって、図３に示すような各領域の画像取得時刻ごとの皮膚色の変化から、当該変化のピーク位置を検出し、時間間隔ｔ１、時間間隔ｔ２などのピーク間隔を算出する。
【００３４】
次に、心拍判定部１４は、変化に周期性があり、且つ、ピーク間隔が３００ｍｓ〜１０００ｍｓの範囲内であるか否かを判定する（ステップＳ３０２）。心拍判定部１４は、例えば、図３（ａ）の波形Ｗ１のように、ピーク位置が複数個検出されて各ピーク間隔が、３００ｍｓ〜１０００ｍｓの範囲内であり、且つ周期性があると判定した場合（ステップＳ３０２：ＹＥＳ）に、処理をステップＳ３０３に進める。また、心拍判定部１４は、変化に周期性がない、又は、ピーク間隔が３００ｍｓ〜１０００ｍｓの範囲外である場合（ステップＳ３０２：ＮＯ）に、処理をステップＳ３０４に進める。
なお、人物以外で皮膚色が検出される例としては、ポスターなどに印刷された人物像などが考えられる。このような場合には、例えば、図３（ｂ）の波形Ｗ２のように、ピークの位置が不定期になり、ピーク間隔が３００ｍｓ〜１０００ｍｓの範囲内に成り難いため、心拍判定部１４は、処理をステップＳ３０４に進める。
【００３５】
ステップＳ３０３において、心拍判定部１４は、当該領域の色情報の変化を心拍の変化である（色情報の変化が心拍である）と判定する。ステップＳ３０３の処理後に、心拍判定部１４は、心拍判定の処理を終了する。
また、ステップＳ３０４において、心拍判定部１４は、当該領域の色情報の変化を心拍以外である（色情報の変化が心拍でない）と判定する。ステップＳ３０４の処理後に、心拍判定部１４は、心拍判定の処理を終了する。
【００３６】
次に、図９を参照して、図６のステップＳ１０５及びステップＳ１０６の処理の詳細について説明する。図９は、本実施形態の同一心拍検出部１５及び警戒対象人物検出部１６の動作の一例を示すフローチャートである。
図９において、同一心拍検出部１５は、まず、心拍と判定されたＭ個の領域（「領域１」〜「領域Ｍ」）の変化タイミングを取得する（ステップＳ４０１）。例えば、図４に示す例では、同一心拍検出部１５は、心拍と判定された５個（＝Ｍ個）の領域、「領域１」〜「領域５」における変化タイミングを取得する。
【００３７】
次に、同一心拍検出部１５は、対象とする領域の番号を変数Ｎで扱う事とし“１”を設定して（Ｎ＝１）、初期化する（ステップＳ４０２）。
次に、同一心拍検出部１５は、「領域Ｎ」にグループ識別子が付加されている否かを判定する（ステップＳ４０３）。同一心拍検出部１５は、「領域Ｎ」にグループ識別子が付加されている場合（ステップＳ４０３：ＹＥＳ）に、処理をステップＳ４０９に進める。また、同一心拍検出部１５は、「領域Ｎ」にグループ識別子が付加されている場合（ステップＳ４０３：ＮＯ）に、処理をステップＳ４０４に進める。
【００３８】
ステップＳ４０４において、同一心拍検出部１５は、「領域Ｎ」とその他の領域の
変化タイミングを比較する。そして、同一心拍検出部１５は、同じ変化タイミングの領域が存在する否かを判定する（ステップＳ４０５）。同一心拍検出部１５は、同じ変化タイミングの領域が存在する場合（ステップＳ４０５：ＹＥＳ）に、処理をステップＳ４０６に進める。また、同一心拍検出部１５は、同じ変化タイミングの領域が存在しない場合（ステップＳ４０５：ＮＯ）に、処理をステップＳ４０７に進める。
【００３９】
ステップＳ４０６において、同一心拍検出部１５は、同じ変化タイミングの領域を「領域Ｎ」のグループとして、グループ識別子（例えば、図５に示す「Ｇ１」など）を付加すし、処理をステップＳ４０７に進める。
また、ステップＳ４０７において、警戒対象人物検出部１６は、「領域Ｎ」（又は、グループ識別子）に対して、心拍間隔が６００ｍｓ以下、又は、心拍間隔の変化が±３０％以上であるか否かを判定する。警戒対象人物検出部１６は、心拍間隔が６００ｍｓ以下、又は、心拍間隔の変化が±３０％以上である場合（ステップＳ４０７：ＹＥＳ）に、処理をステップＳ４０８に進める。また、警戒対象人物検出部１６は、心拍間隔が６００ｍｓより大きい、且つ、心拍間隔の変化が±３０％未満である場合（ステップＳ４０７：ＮＯ）に、処理をステップＳ４０９に進める。
例えば、図６に示す「領域４」は、例えば、前半が９５０ｍｓ程度の心拍間隔であるが、後半が６３０ｍｓ程度と短くなったものする。警戒対象人物検出部１６は、心拍間隔が６００ｍｓ以下という条件を満たしていないが、心拍間隔の変化は（９５０−６３０）／９５０×１００≒３３．７％となるため、この場合、処理をステップＳ４０８に進める。
【００４０】
ステップＳ４０８において、警戒対象人物検出部１６は、「領域Ｎ」（又は、グループ識別子）に対して、警戒対象人物として検出する。すなわち、警戒対象人物検出部１６は、「領域Ｎ」（又は、グループ識別子）を含む人物を、警戒対象人物として検出し、例えば、その行動、顔などをＲＡＭ１０５又はＲＯＭ１０４に記録させる。さらに、警戒対象人物検出部１６は、例えば、出力部１０３である表示部の監視画面に警戒対象人物を色分けして表示、又はスピーカなどで警告音を発する、などして監視者が容易に警戒対象人物を確認できるようにする。ステップＳ４０８の処理後に、警戒対象人物検出部１６は、処理をステップＳ４０９に進める。
ステップＳ４０９において、警戒対象人物検出部１６は、変数Ｎを更新（Ｎ＝Ｎ＋１）する。
次に、警戒対象人物検出部１６は、変数Ｎが変数Ｍより大きい（Ｎ＞Ｍ）か否かを判定する（ステップＳ４１０）。警戒対象人物検出部１６は、変数Ｎが変数Ｍより大きい場合（ステップＳ４１０：ＹＥＳ）に、処理を終了させる。また、警戒対象人物検出部１６は、変数Ｎが変数Ｍ以下である場合（ステップＳ４１０：ＮＯ）に、処理をステップＳ４０３に戻す。
【００４１】
上述したステップＳ４０１〜ステップＳ４１０の処理を実行することにより、図４に示す例では、同一心拍検出部１５及び警戒対象人物検出部１６は、図５に示すように、「領域１」〜「領域５」をグループ分けするとともに、「領域２」及び「領域５」の「Ｇ２」の人物と、「領域４」の人物を、監視対象の人物として検出する。このように、同一心拍検出部１５及び警戒対象人物検出部１６は、図４に示すような５つの領域から同一心拍を識別して個々人を分類し、各々の心拍の状態を監視することで、警戒対象の人物を２人として検出及び特定することができる。
【００４２】
以上説明したように、本実施形態の監視装置１は、撮像部１１と、心拍検出部１０と、警戒対象人物検出部１６（警戒対象検出部）とを備えている。撮像部１１は、監視対象の場所の画像を撮像する。心拍検出部１０は、撮像部１１によって撮像された画像に含まれる皮膚色の変化に基づいて、人物の心拍を検出する。警戒対象人物検出部１６は、心拍検出部１０によって検出された心拍に基づいて、警戒対象の人物を検出する。これにより、本実施形態の監視装置１は、一般に、犯罪者の心拍数が高くなる可能性が高いという根拠に基づき、心拍の状態を継続的に監視することで、心拍に基づいて、危険人物候補である監視対象の人物を効率良く検出できる。よって、本実施形態の監視装置１は、危険人物の検索効率を向上させることができる。
【００４３】
また、本実施形態では、心拍検出部１０は、皮膚色検出部１２と、色変化検出部１３と、同一心拍検出部１５とを備えている。皮膚色検出部１２は、画像のうち、予め定められた色情報の範囲内にある領域を皮膚色の領域として検出する。色変化検出部１３は、皮膚色検出部１２によって検出された皮膚色の領域における色情報の変化を皮膚色の変化として検出する。同一心拍検出部１５は、色変化検出部１３によって検出された色情報の変化に基づいて、同一の人物における皮膚色の領域であるか否かを判定するとともに、同一の人物における皮膚色の領域であると判定した皮膚色の領域における色情報の変化に基づいて、同一の人物の心拍を検出する。これにより、本実施形態の監視装置１は、色情報により皮膚色の領域として検出するとともに、色情報の変化に基づいて、同一の人物における皮膚色の領域であるか否かを判定する。そして、本実施形態の監視装置１は、同一の人物の心拍を検出するので、危険人物候補である監視対象の人物を効率良く検出できる。
【００４４】
なお、同一心拍検出部１５は、同一の人物と判定した皮膚色の領域に、グループ識別子を付与する。これにより、同一の人物と判定された複数の領域のうち、一部の領域が検出不可能になった場合でも、同一の人物において少なくとも１つの領域の心拍が検出可能であれば、監視対象の人物を検出できる。よって、本実施形態の監視装置１は、監視の継続性を維持し易い、信頼性の高い監視を行うことができる。
【００４５】
また、本実施形態では、心拍検出部１０は、色情報のピークの時間間隔に基づいて、心拍を検出する。警戒対象人物検出部１６は、心拍検出部１０によって検出された心拍の間隔が所定の間隔以下である場合、又は、検出された心拍の間隔の変化が、所定の範囲以上である場合に、当該心拍に対応する人物を警戒対象の人物として検出する。これにより、本実施形態の監視装置１は、色情報のピークの時間間隔という簡易な手法により、心拍を検出できるとともに、心拍の間隔（心拍間隔）を利用した簡易は手法により、警戒対象の人物を検出できる。
【００４６】
また、本実施形態では、同一心拍検出部１５は、色情報のピークのタイミングに基づいて、同一の人物における皮膚色の領域であるか否かを判定する。
これにより、本実施形態の監視装置１は、簡易に、且つ確実に同一の人物における皮膚色の領域であるか否かを判定することができる。
また、本実施形態では、監視装置１は、犯罪を犯す可能性のある警戒対象の人物の検出を行う事を記載しているが、心拍のタイミングを見ているため、例えば、体調が悪くなりそうな人の検出、体調が急変した場合に体調が悪くなるまでの心拍変化の経過記録なども可能である。よって、監視装置１は、治療や健康管理などにも適用できる可能性がある。
【００４７】
また、本実施形態の監視方法は、撮像ステップと、心拍検出ステップと、警戒対象検出ステップとを含んでいる。撮像ステップにおいて、撮像部１１が、監視対象の場所の画像を撮像する。心拍検出ステップにおいて、心拍検出部１０が、撮像ステップによって撮像された画像に含まれる皮膚色の変化に基づいて、人物の心拍を検出する。警戒対象検出ステップにおいて、警戒対象人物検出部１６が、心拍検出ステップによって検出された心拍に基づいて、警戒対象の人物を検出する。
これにより、本実施形態の監視方法は、監視装置１と同様に、危険人物候補である警戒対象の人物を効率良く検出できるため、危険人物の検索効率を向上させることができる。
【００４８】
［第２実施形態］
次に、図１０を参照して、第２実施形態の監視システム２について説明する。図１０は、本実施形態の監視システム２の一例を示す機能ブロック図である。
図１０に示すように、監視システム２は、複数の心拍検出装置（１００−１、１００−２、１００−３、・・・）と、警戒管理装置２００とを備えている。なお、心拍検出装置（１００−１、１００−２、１００−３、・・・）のそれぞれは、同一の構成であり、監視システム２が備える任意の心拍検出装置を示す場合、又は特に区別しない場合には、心拍検出装置１００として説明する。また、複数の心拍検出装置（１００−１、１００−２、１００−３、・・・）と、警戒管理装置２００とはネットワークＮＷを介して接続されている。また、心拍検出装置１００及び警戒管理装置２００のハード構成は、上述した図１と同様である。
【００４９】
心拍検出装置１００は、撮像部１１と、心拍検出部１０ａとを備え、心拍検出部１０ａは、皮膚色検出部１２と、色変化検出部１３と、心拍判定部１４とを備えている。心拍検出装置１００は、図２に示す監視装置１から同一心拍検出部１５を除いた構成である。心拍検出装置１００は、通信部１０６を介して、心拍判定部１４によって心拍と判定された領域、色変化タイミング、及び警戒対象人物として検出された人物を含む映像を、警戒管理装置２００に向けて送信する。
警戒管理装置２００は、複数の心拍検出装置１００からの心拍検出の情報を一括で処理する。警戒管理装置２００は、同一心拍検出部１５と、警戒対象人物検出部１６と、警戒対象データベース部１７とを備えている。
なお、図１０において、図２に示す構成と同一の構成については同一の符号を付し、その説明を省略する。
【００５０】
警戒対象データベース部１７は、警戒対象人物検出部１６によって検出された人物を、警戒対象の人物として、データベースへの登録、管理、及び照合を行う。警戒対象データベース部１７は、データベースへの登録及び照合する場合に、警戒対象人物検出部１６によって検出された人物の映像から、顔検出（既知の技術）を行い、顔データに基づいて実行する。なお、警戒対象データベース部１７は、顔以外にも、身長、服の色、肌の色などの特徴量を抽出して、照合の精度を向上させるようにしてもよい。
本実施形態の監視システム２の動作は、基本的に、上述した監視装置１と同様である。なお、監視システム２の動作と、監視装置１との相違点は、皮膚色の領域の出力元が、複数の心拍検出装置１００である点である。
【００５１】
以上説明したように、本実施形態の監視システム２は、撮像部１１と、心拍検出部１０ａとを備える心拍検出装置１００と、警戒対象人物検出部１６を備える警戒管理装置２００とを備えている。これにより、本実施形態の監視システム２は、上述した監視装置１と同様に、危険人物候補である警戒対象の人物を効率良く検出できるため、危険人物の検索効率を向上させることができる。
また、本実施形態では、監視システム２は、警戒対象データベース部１７を備え、警戒対象データベース部１７は、顔の検出に基づく登録、及び照合を行う。これにより、本実施形態の監視システム２は、警戒対象人物の特定精度を向上させることができる。本実施形態では、監視システム２は、心拍に基づく緊張状態の検出から警戒対象の人物を検出し登録するため、確度の高いデータベースの構築が可能となり、照合においても効率よく警戒対象の人物を特定できる。また、監視システム２は、複数の撮像部１１から取得した情報に対して、各撮像部１１で別々に撮像された人物を容易に同一の人物と判定することが可能になる。
【００５２】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。例えば、監視装置１が警戒対象データベース部１７を備えるようにしてもよい。また、監視装置１の各部の一部を、例えば、ネットワークＮＷを介して接続される複数の装置として構成してもよい。
【００５３】
上述の監視装置１及び監視システム２は内部に、コンピュータシステムを有している。そして、上述した監視装置１及び監視システム２の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【符号の説明】
【００５４】
１…監視装置、２…監視システム、１０，１０ａ…心拍検出部、１１…撮像部、１２…皮膚色検出部、１３…色変化検出部、１４…心拍判定部、１５…同一心拍検出部、１６…警戒対象人物検出部、１７…警戒対象データベース部、１００，１００−１，１００−２，１００−３…心拍検出装置、１０１…ＣＰＵ、１０２…入力部、１０３…出力部、１０４…ＲＯＭ、１０５…ＲＡＭ、１０６…通信部、２００…警戒管理装置、ＢＳ…内部バス、ＮＷ…ネットワーク
【図１】
2017033459.tif 000003
【図２】
2017033459.tif 000004
【図３】
2017033459.tif 000005
【図４】
2017033459.tif 000006
【図５】
2017033459.tif 000007
【図６】
2017033459.tif 000008
【図７】
2017033459.tif 000009
【図８】
2017033459.tif 000010
【図９】
2017033459.tif 000011
【図１０】
2017033459.tif 000012