(57)【要約】  画像を用いたトラッキング法により静止している人を検出する方法では、人以外の物体の画像特徴量を事前に登録しておき、静止した画像領域の画像特徴量が類似していない場合に人と認識する。そのため、事前に膨大な画像特徴量の収集及び登録が必要であるという問題があった。本発明にかかる人物検出装置および人物検出方法は、画像から抽出した第１の動体領域の位置と、第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、静止領域を判定する。そして、この静止領域の画像の特徴量の変化量を用いて人物の有無を判定するので、膨大な画像特徴量を事前に収集及び登録することなく、静止した人を含めた人物情報で機器を制御することができる。
2015136828.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像を取得する画像取得部と、
該画像取得部で取得した画像から抽出した第１の動体領域の位置と、該第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、前記第２の動体領域の動体が静止状態である静止領域と判定する静止領域判定部と、
前記静止領域の画像の特徴量の変化量を用いて人物の有無を判定する静止人物判定部とを備えたことを特徴とする人物検出装置。
【請求項２】
前記静止領域判定部は、前記第１の動体領域の位置と、前記第２の動体領域の位置との距離が予め設定された閾値よりも大きく、且つ前記第１の動体領域の画像から抽出された他のすべての動体領域の位置と、前記第２の動体領域の位置との距離が予め設定された閾値よりも大きい場合、前記第２の動体領域を静止領域と判定することを特徴とする請求項１記載の人物検出装置。
【請求項３】
前記静止人物判定部は、前記静止領域の特徴量の変化量が設定した範囲の場合、静止領域に人が居ると判定することを特徴とする請求項１または請求項２の何れか１項に記載の人物検出装置。
【請求項４】
前記動体領域の情報を動体の情報として記憶する動体履歴記憶部と、
前記動体履歴記憶に記憶された動体の情報から人物の情報を外部に出力する人物情報出力手段を更に備え、
前記静止人物判定手段は、人物有りと判定した静止領域の情報を動体の情報として前記動体履歴記憶部に記憶し、
前記人物情報出力手段は、前記動体履歴記憶部に記憶された動体の情報から、人の位置と人の数を人物の情報として出力することを特徴とする請求項１〜３の何れか１項に記載の人物検出装置。
【請求項５】
前記静止人物判定は、人物無しと判定した前記静止領域に対して、前記第１の動体領域を抽出した画像より後の画像から新たに抽出した当該静止領域の情報を用いて人物有りと判定すると、当該静止領域の情報を動体の情報として前記動体履歴記憶部に記憶することを特徴とする請求項４に記載の人物検出装置。
【請求項６】
撮影された画像を用いて人物を検出する人物検出装置の人物検出方法において、
撮影された画像を取得する画像取得ステップと、
該画像取得ステップで取得した画像から抽出した第１の動体領域の位置と、該第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、前記第２の動体領域の動体が静止状態である静止領域と判定する静止領域判定ステップと、
前記静止領域の画像の特徴量の変化量を用いて人物の有無を判定する静止人物判定ステップとを備えたことを特徴とする人物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を用いて人物を検出する装置に関するものである。
【背景技術】
【０００２】
従来から、省エネを目的に人の有無によって機器を制御したいという要求がある。人の有無の判定には、例えば赤外線を利用した人感センサを利用することが多い。しかし、赤外線を利用した人感センサでは、静止した人には反応しない。また、動いている人でも、センサ範囲のどの位置に人が居るのかはわからない。そこで、カメラで撮影した画像を用いて人を検出し、人の位置も検出することが行われている。例えば、（１）画像の特徴量（画像特徴量）の統計的学習による特定オブジェクト検出法、（２）背景画像との差分を利用する背景差分法、（３）前の画像との差分を利用するフレーム間差分法がある。【０００３】
（１）の特定オブジェクト検出法の代表的な方式には、Haar-Like特徴やHOG（Histograms of Oriented Gradients）特徴によるAdaBoostアルゴリズムがあり、主に顔や人の検出に利用されている。しかし、本方式では、画像特徴量の多いオブジェクトには有効であるが、特徴量が少ないオブジェクトの場合は検出が困難である。例えば、天井のカメラで真上から撮影した頭と肩しか映らない画像の場合、顔や人の形状のようなユニークな特徴量を持つ画像とならないため、人を検出できなかったり誤検出が多くなったりする。【０００４】
また、（２）の背景差分法では、人が映っていない画像を背景画像にすれば、人が映っている画像との差分をとることで、人の位置を的確に抽出することができる。しかし、本方式は周辺の照度変化に弱いことが知られている。そのため、背景画像を外部環境に合わせて適度に更新する方法も考えられているが、オフィスや工場など頻繁に人が出入りするような環境、または照明が点灯または消灯するような環境では、最適な背景画像を選択することが困難である。【０００５】
また、（３）のフレーム間差分法では、時系列で前の画像と現画像との差分をとるため、動いている物体を検出することができ、また比較的に周辺の照度変化にも強い。しかし、動かない物体は検出することができないため、静止している人も検出できない。
フレーム間差分法で静止物体を検出する従来手法としては、画像中の動いている物体を追尾して、動きがなくなった位置で物体が静止したと認識するトラッキング法などがある。【０００６】
しかし、このトラッキング法にも課題があり、複数の動く物体（動体）が存在する場合、画像中で動体を追尾できなくなり、静止した位置にまだ物体が存在しているのか分からなくなる。また、動体は人だけではない場合もあり（例えば、キャスター付きの椅子が動いたなど）、静止している人だけを検出することが困難である。
そこで、画像を用いたトラッキング法により静止している人を検出する方法として、予め記憶した静止している物体の画像領域の画像特徴量と、特定の物体の画像特徴量とを比較することで、静止した物体を特定する方法がある。（例えば、特許文献１。）
【先行技術文献】
【特許文献】
【０００７】
特開２０１２−２１２２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、従来のような画像を用いたトラッキング法により静止している人を検出する方法では、人以外の物体の画像特徴量を事前に登録しておき、静止した画像領域の画像特徴量が類似していない場合に人と認識するため、事前に膨大な画像特徴量の収集及び登録が必要であるという問題がある。
また、事前に人の画像特徴量を登録しておき、登録した画像特徴量と類似したときに人と認識する方法も考えられるが、服装や髪形によって特徴量は異なるため、結局は事前に膨大な画像特徴量の収集及び登録が必要となる。
【課題を解決するための手段】
【０００９】
この発明に係る人物検出装置は、撮影された画像を取得する画像取得部と、該画像取得部で取得した画像から抽出した第１の動体領域の位置と、該第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、前記第２の動体領域の動体が静止状態である静止領域と判定する静止領域判定部と、前記静止領域の画像の特徴量の変化量を用いて人物の有無を判定する静止人物判定部とを備えたことを特徴とする。
【発明の効果】
【００１０】
この発明は、画像から抽出した第１の動体領域の位置と、第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、静止領域を判定し、この静止領域の画像の特徴量の変化量を用いて人物の有無を判定するので、膨大な画像特徴量を事前に収集及び登録することなく、静止した人を含めた人物情報で機器を制御することができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態における、人物検出装置１の構成図である。
【図２】この発明の実施の形態における、人物検出装置１の画像取得部３と動体抽出部４の処理を示すフローチャートである。
【図３】この発明の実施の形態における、人物検出装置１の動体追跡部５の処理を示すフローチャートである。
【図４】この発明の実施の形態における、人物検出装置１の静止領域画像保存部７の処理を示すフローチャートである。
【図５】この発明の実施の形態における、人物検出装置１の特徴変化量抽出部９の処理を示すフローチャートである。
【図６】この発明の実施の形態における、人物検出装置１の特徴変化量抽出部１０の処理を示すフローチャートである。
【図７】この発明の実施の形態における、動体抽出部４の処理を説明する画面の図である。
【図８】この発明の実施の形態における、動体追跡部５の処理を説明する画面の図である。
【図９】この発明の実施の形態における、動体追跡部５の静止領域判定部１３の処理を説明する画面の図である。
【図１０】この発明の実施の形態における、動体履歴記憶部６に記憶されている動体データの例である。この発明の実施の形態における、
【図１１】この発明の実施の形態における、静止領域画像記憶部８に記憶されている静止領域の画像データの例である。
【図１２】この発明の実施の形態における、特徴変化量抽出部９の動作を説明する画像の図である。
【図１３】図１３は、この発明の実施の形態における、静止人物判定部１０が静止人物を判定する特徴変化量を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本発明にかかる人物検出装置および人物検出方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１３】
実施の形態．
図１は、この発明の実施の形態における、人物検出装置１の構成図である。
図１において、人物検出装置１は、特定のエリアを撮影するカメラ２から画像データを取得して、特定エリアの人の数や位置を検出し、人物情報として出力する。
本実施の形態では、カメラ２は、天井に設置されているとして説明するが、カメラはどこに設置されていてもよい。また、人物検出装置１とカメラ２は、別構成でも一体化した構成でもよい。例えば、カメラ２を天井に設置して、人物検出装置１をフロア、またはビルの制御室に設置し、カメラ２と人物検出装置１をLAN(Local Area Network)ケーブル、または同軸ケーブルで接続する。そして、人物検出装置１が、複数のカメラ２から画像データを取得して、人物検出を行ってもよい。
【００１４】
人物検出装置１は、画像取得部３、動体抽出部４、動体追跡部５、動体履歴記憶部６、静止領域画像保存部７、静止領域画像記憶部８、特徴変化量抽出部９、静止人物判定部１０、人物情報出力部１１から構成される。また、動体抽出部４は動体領域抽出部１２を含み、動体追跡部５は静止領域判定部１３を含む。
【００１５】
人物検出装置１には、CPU（Central Processing Unit）等の演算装置を搭載し、各処理部（３〜１３）は演算装置上のプログラムとして起動する。また、人物検出装置１にはROM(（Read Only Memory）、RAM（Random Access Memory）、フラッシュメモリ、またはハードディスクなどの記録装置を搭載し、各記憶部（６と８）は、これら記録装置を利用してもよい。
【００１６】
以下、人物検出装置１の各構成について説明する。
画像取得部３は、カメラ２からカメラ２で撮影された画像データを取得する。そして、取得した画像データから最新の１フレームの画像を抽出する。そして、抽出した最新の１フレームの画像データを一次記憶装置（図示せず）に記憶する。
【００１７】
動体抽出部４の動体領域抽出部１３は、一次記憶装置に最新の画像データが入力されると、一次記憶装置に入力された最新の画像データと、一次記憶装置に記憶されている１フレーム前の画像データとの差分を算出する。そして、その差分が、設定された閾値以上の画像ブロックをグループ化して動体領域として抽出する。そして、抽出した動体領域の動体データ（例えば、動体領域の位置と領域の座標）を動体追跡部５に出力する。
【００１８】
動体追跡部５は、動体抽出部４の動体領域抽出部１２から動体データが入力されると、動体履歴記録部６に記録されている動体データの履歴を参照して、１フレーム前のすべての動体領域の位置を前位置として取得する。そして、１フレーム前のすべての動体領域の位置と、動体抽出部４の動体領域抽出部１２から入力された動体領域の位置との距離に基づいて、動体領域の動体を追跡する。そして、動体追跡部５の静止領域判定部１３は、１フレーム前のすべての動体領域の位置と、動体抽出部４の動体領域抽出部１２から入力された動体領域の位置との距離に基づいて、動体領域の動体が静止している静止状態であるとして、この動体領域を静止領域と判定する。そして、動体抽出部４から入力された動体領域の位置（例えば動体領域の中心位置）、動体領域の座標、動体領域の状態（移動状態または静止状態）、および動体を識別する動体ＩＤ（indentification）の情報を最新の動体データとして動体履歴記憶部６に出力して記憶させる。
【００１９】
動体履歴記憶部６には、動体領域の動体データが動体追跡部５から入力され記憶されている。そして、動体履歴記憶部６に記憶された動体データの動体履歴の情報は、動体追跡部５と静止領域画像保存部７と特徴変化量８、および人物情報出力部１１から参照される。また、静止人物判定部１０により、静止領域に人は居ないと判定されると、動体履歴記憶部６の静止領域のデータが削除される。
【００２０】
静止領域画像保存部７は、動体履歴記憶部６に静止領域の情報が入力されると、動体履歴記憶部６に記憶されているすべての静止領域の情報を取得する。そして、一次記憶装置に記憶された最新の画像データを取得し、取得した画像データから静止領域を切り出して、静止領域画像記憶部８に出力して記憶する。
【００２１】
静止領域画像記憶部８には、最新の画像データの静止領域の画像データが静止領域画像保存部７から入力され記憶されている。そして、静止領域画像記憶部８に記憶された静止領域の情報は、特徴変化量抽出部９から参照される。また、静止人物判定部１０により、静止領域に人が居ないと判定されると、静止領域画像記憶部８の静止領域のデータが削除される。
【００２２】
特徴変化量抽出部９は、静止領域画像記憶部８に静止領域の画像データが入力されると、一次記憶装置に記憶された最新の静止領域の画像の特徴量と、静止領域画像記憶部８に記憶された１フレーム前の静止領域の画像の特徴量との変化量（特徴変化量）を抽出する。そして、抽出した画像の特徴変化量を静止人物判定部１０に出力する。
【００２３】
静止人物判定部１０は、特徴変化量抽出部９から画像の特徴変換量が入力されると、入力された画像の特徴変化量が設定された時間後に、設定された範囲内にある場合、静止領域中に人が居ると判定する。また、設定された範囲外である場合、静止領域中に人は居ないと判定する。そして、判定した静止領域に対して静止した人が居るという静止人物データを動体履歴記憶部６に出力して記憶する。また、人が居ないと判定した静止領域については、動体履歴記憶部６から削除する。
尚、静止人物判定部１０に、静止領域画像保存部７または特徴変化量抽出部９の処理を含めてもよい。
【００２４】
人物情報出力部１１は、人として検出した数、位置を含む情報を外部装置に出力する通信部である。人物情報出力部１１は、例えば、所定の時間毎または外部装置からの指示により、動体履歴記録部６のデータを参照して、人として検出した動体領域と静止領域から、人の数と位置を含む人物情報を算出し、人物情報を外部装置に出力する。外部装置は、例えば照明制御装置、空調制御装置、立ち入り警報装置といった人の数や位置に応じてエネルギーを制御する、または警報を上げる装置、またはシステムである。
以上が人物検出装置１の各構成の説明である。
【００２５】
次に、人物検出装置１の動作について説明する。
図２〜６は、この発明の実施の形態における、人物検出装置１の処理を示すフローチャートである。
まず、図２を用いて、画像取得部３と動体抽出部４の処理について説明する。
画像取得部３は、カメラ２で撮影された画像データをカメラ２から取得し、取得した画像データから最新の１フレームの画像を取得する（Ｓ１）。
【００２６】
取得した画像データがアナログ信号であった場合は、アナログ信号から１フレームのデジタル画像に変換する。また、取得した画像データがMotion  JPEG(Joint Photographic Experts Group)またはMPEG(Moving Picture Experts Group)といった圧縮符号化された画像データの場合は、複合化して１フレームのデジタル画像に変換する。また、デジタル画像は、RGB形式またはYUV形式のカラー画像でもよいし、輝度画像（グレースケール画像）でもよい。
【００２７】
そして、取得した最新の１フレームの画像を動体抽出部４に出力する。また、取得した最新の１フレームの画像を一次記憶装置に記憶する（Ｓ２）。
次に、動体抽出部４は、一次記憶装置に記憶されている最新の１フレームの画像から動体領域を抽出する。
図７は、この発明の実施の形態における、動体抽出部４の処理を説明する画像の図である。
図７の画像７０１と画像７０２は、一次記憶装置に記憶されている画像であり、画像７０１は、画像取得部３で取得された最新の画像７０２の１フレーム前の画像である。そして、画像７０１には物体７０３、画像７０２には物体７０４が撮影されている様子を示している。
【００２８】
図２のフローチャートに戻り、動体抽出部４は、最新の画像７０２が一次記憶装置に入力されると、最新の画像７０２と一次記憶装置に記憶された１フレーム前の画像７０１とのフレーム間の差分を算出する（Ｓ３）。
そして、フレーム間の差分が、予め設定された閾値以上の画像ブロック７０５を動きブロック７０６として抽出する（Ｓ４）。
画像ブロック７０５は、画像を均等に分割した領域であり、分割数は画像サイズに応じて予め決めた数である。また、前記閾値は、事前に決めた規定値でもよいし、動的に変更してもよい。
【００２９】
そして、抽出した動きブロック７０６のラベリングにより動きブロック７０６をグループ化する（Ｓ５）。
そして、グループ化した動きブロックを包含する矩形を動体領域７０７とする。このとき、グループ化した動きブロックの数が、予め決められた規定範囲内の場合のみ動体領域としてもよい。そして、動体領域７０７の位置、例えば動体領域の中心位置または重心位置を算出し（Ｓ６）、算出した位置と領域の座標の情報を、動体領域７０７の動体データとして動体追跡部５に出力し記憶する。
【００３０】
次に、図３を用いて、動体追跡部５の処理について説明する。
動体追跡部５は、動体履歴記憶部６に記憶されている過去の動体領域の動体データを用いて、動体抽出部４から入力された最新の動体領域の追跡を行う。
まず、動体追跡部５は、１フレーム前の動体領域の位置と最新の動体領域の位置との最短距離Ｄminに閾値Ｍ、最短距離Ｄminである過去の動体領域の識別番号Minに−１、動体抽出部４から入力される最新の動体領域の識別番号ｉに１、および動体履歴記憶部６に記憶されている過去の動体領域の識別番号ｊに１を設定し初期化する（Ｓ７）。
【００３１】
そして、動体追跡部５は、動体抽出部４から動体データが入力されると、動体履歴記憶部６から動体データの履歴データを取得して以下の処理を行う。
動体履歴記憶部６から取得した１フレーム前の動体領域Ｂ（ｊ）の位置ＰＢ（ｊ）を前位置として取得する（Ｓ８）。
次に、動体抽出部４から入力された最新の動体データである動体領域Ａの動体の位置ＰＡとＰＢ（ｊ）の距離Ｄ（ｊ）を算出する（Ｓ９）。
【００３２】
そして、算出した距離Ｄ（ｊ）が予め設定したＤminよりも小さいか否かを判定する（Ｓ１０）。
算出した距離Ｄ（ｊ）が予め設定したＤminよりも小さければ、算出した距離Ｄ（ｊ）をＤminに設定し、Ｍinに距離を算出した動体領域の識別番号ｊを設定する（Ｓ１１）。
算出した距離Ｄ（ｊ）が予め設定したＤmin以上であれば、Ｓ１２の処理を行う。
ｊ＋１が、動体履歴記憶部６から取得した過去のすべての動体領域の数よりも大きいか否かを判定する（Ｓ１２）。
ｊ＋１が、過去のすべての動体領域の数よりも大きければＳ１３の処理を行う。
ｊ＋１が、過去のすべての動体領域の数以下であれば、ｊにｊ＋１を設定してＳ８の処理に戻り、次の過去の動体の動体領域に対して、最新の動体領域との距離を算出する。
ｊ＋１が、過去のすべての動体領域の数よりも大きければ、Ｄminが閾値Ｍよりも小さいか否かを判定する（Ｓ１３）。
【００３３】
Ｄminが閾値Ｍ以上であれば、動体領域Ａ（ｉ）の位置ＰＡ（ｉ）を新規の動体として、動体履歴記憶部６に出力して記憶させる（Ｓ１４）。
Ｄminが閾値Ａよりも小さければ、ＰＢ（Ｍin）をＰＡ（ｉ）とし動体履歴記憶部６の動体データの位置を更新する（Ｓ１５）。
そして、ｉ＋１が動体抽出部４から入力された最新の動体領域の数よりも大きいか否かを判定し（Ｓ１６）、ｉ＝ｉ＋１としてＳ８の処理に戻る。
【００３４】
次に、ｊ＝１、ｋ＝１（ｋは静止領域の識別番号）として初期化する（Ｓ１７）。
そして、１フレーム前の動体領域の位置ＰＢ（ｊ）が更新されていないかを判定する（Ｓ１８）。
１フレーム前の動体領域の位置ＰＢ（ｊ）が、動体抽出部４から入力された動体領域ＰＡ（ｉ）の位置に更新されていなければ、動体領域Ｂ（ｊ）の動体が静止している状態である静止領域Ｂ（ｋ）として動体履歴記憶部６に記憶する（Ｓ１９）。
１フレーム前の動体領域の位置ＰＢ（ｊ）が、動体抽出部４から入力された動体領域ＰＡ（ｉ）の位置に更新されていれば、Ｓ２１の処理を行う。
【００３５】
このように、動体追跡部５は、動体抽出部４で抽出された動体領域に対して、１フレーム前のすべての動体領域の情報を動体履歴記憶部から取得し、動体抽出部４で抽出された動体領域の位置と１フレーム前の動体領域の位置との距離を算出し、その距離が閾値より小さく、その距離が一番短い１フレーム前の動体領域の動体と、動体抽出部４で抽出された動体領域の動体が同じ動体であるとして追跡する。
【００３６】
更に、動体追跡部５の静止領域判定部１３は、１フレーム前の動体領域の位置が、動体抽出部４の動体領域抽出部１２で抽出された動体領域の位置に更新されていなければ静止領域と判定する。
【００３７】
尚、閾値Ｍは、予め設定されるとして説明したが、規定値でもよく、動的に変更してもよい。また、動体抽出部４で抽出した最新の動体領域が複数存在する場合は、各動体領域に対して、１フレーム前の動体領域の位置との距離を判定して同一の動体であるか否かを判定する。
また、静止領域判定部１３は、動体抽出部４で抽出された動体領域の動体と、１フレーム前の動体領域の動体が同じかどうかを判定した後の処理として説明したが、この動体追跡部５の処理（１フレーム前の動体領域の動体と同じか否かを判定する処理）を行ってもよい。
【００３８】
図８は、この発明の実施の形態における、動体追跡部５の動作を説明する画像の図である。
図８の画像８０１は、一次記憶装置に記憶されている最新の画像の１フレーム前の画像に、動体追跡部５が動体履歴記憶部６から取得した１フレーム前の動体データを示している。また、画像８０２は、一次記憶装置に記憶されている最新の画像に、動体抽出部４から入力された動体データを示している。
【００３９】
また、画像８０１には、動体８０３と動体８０４が撮影されている。また、画像８０２には、動体８０３と動体８０４が撮影されていて、動体抽出部４によって抽出された動体８０３の動体領域８０５と、動体８０４の動体領域８０６を示している。
また、画像８０１には、動体履歴記憶部６に記憶されている動体データから、動体８０４の位置の履歴８０７、８０８、８０９、８１０と、動体８０３の位置８１１を示している。
また、画像８０２には、動体抽出部４から入力された動体８０３の位置８１２と、動体８０４の位置８１３、および動体履歴記憶部６から取得した動体データの動体の位置の履歴８０７、８０８、８０９と１フレーム前の動体の位置８１０、８１１を示している。
【００４０】
そして、動体追跡部５は、動体抽出部４から動体データが入力されると、動体履歴記憶部６から１フレーム前の動体データである、動体８０４の位置８１０と、動体８０３の位置８１１を前位置として取得する。
そして、動体抽出部４から入力された最新の動体データである動体領域８０６の動体８０４の位置８１３と動体履歴記憶部６から取得した動体領域の位置８１０との距離、および動体抽出部４から入力された最新の動体データである動体領域８０６の動体８０４の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１１との距離を算出する。
【００４１】
ここでは、動体抽出部４から入力された動体領域８０６の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１１との距離が閾値より小さかったとする。また、動体抽出部４から入力された動体領域８０６の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１０との距離が閾値よりも小さかったとする。その時、動体抽出部４から入力された動体領域８０６の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１１との距離よりも、動体抽出部４から入力された動体領域８０６の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１０との距離のほうが短いため、動体領域の位置８１０の動体データと、動体抽出部４から入力された動体領域８０６の動体が同じ動体であると判定する。そして、動体抽出部４から入力された動体領域８０６の位置を動体履歴記憶部６に記憶されている同じ動体の位置として記憶する。
【００４２】
次に、動体追跡部５の静止領域判定部１３が、追跡した動体領域の動体が静止した状態であり、静止領域であると判定する処理について説明する。
図９は、この発明の実施の形態における、動体追跡部５の静止領域判定部１３の動作を説明する画像の図である。
図９の画像９０１は、一次記憶装置に記憶された最新の画像の１フレーム前の画像に、動体追跡部５が動体履歴記憶部６から取得した動体データの追跡位置を示している。また、画像９０２は、一次記憶装置に記憶された最新の画像に、動体抽出部４から入力された動体領域を示している。
【００４３】
また、画像９０１は、最新の画像の１フレーム前の画像に撮影された動体９０３ａを示し、画像９０２は、最新の画像に撮影された動体９０３ｂと動体９０４を示している。
また、画像９０１は、動体履歴記憶部６から取得した動体９０３ａを追跡した位置（９０５、９０６、９０７、９０８ａ）と動体９０３ａの動体領域９０９を示している。画像９０２は、動体９０３ｂを追跡した位置（９０５、９０６、９０７、９０８ｂ）と、動体抽出部４から入力された動体領域９１０の位置９１１を示している。
【００４４】
そして、動体追跡部５は、動体抽出部４から動体データが入力されると、動体抽出部４によって抽出された動体領域の位置と動体履歴記憶部６から取得した１フレーム前の動体領域の位置との距離から動体を判定する。そして、１フレーム前の動体と同じ動体と判定すれば、その動体の位置を動体抽出部４によって抽出された動体領域の位置に更新する。
【００４５】
そして、動体追跡部５の静止領域判定部１３は、動体履歴記憶部６から取得した動体９０３ｂの位置９０８ｂが、動体抽出部４で抽出された動体領域の位置に更新されていなければ、動体９０３ｂが静止状態であると判定する。静止状態と判定すると、その動体９０３ｂについて、１フレーム前の画像で動体抽出部４の動体領域抽出部１２によって抽出された動体９０３ａの動体領域９０９を静止領域として、動体履歴記憶部６の動体９０３ｂの状態情報を静止状態にする。
【００４６】
また、動体追跡部５が、動体抽出部４から動体領域９１０の位置９１１を取得すると、位置９１１と１フレーム前の画像９０１の動体領域の位置との距離を算出する。図９では、位置９１１と位置９０８ａ（＝位置９０８ｂ）との距離を算出する。この距離が閾値Ｍ以上であったとすると、動体追跡部５は、動体領域９１０の位置９１１を、新規の動体９０４の動体データの位置として動体履歴記憶部６に出力して記憶する。
【００４７】
図１０は、この発明の実施の形態における、動体履歴記憶部６に記憶されている動体データの例である。
図１０に示すように、動体履歴記憶部６には、例えば、動体を識別する動体ＩＤ、動体領域の位置（中心位置または重心位置）、動体領域の座標、および動体の状態情報（移動状態または静止状態）が記憶されている。
【００４８】
この動体履歴記憶部６には動体追跡部５から動体データが入力されて、入力された動体データを記憶している。そして、動体追跡部５は、動体抽出部４から抽出された動体領域が入力されると、抽出された動体領域の位置と、動体履歴記憶部６に記憶されている動体領域の位置との距離に基づいて、抽出された動体領域の動体が移動状態か静止状態か、または新規の動体であるかを判定する。そして、判定した結果を動体履歴記憶部６に出力して記憶させる。
【００４９】
次に、図４を用いて、静止領域画像保存部７の処理について説明する。
静止領域画像保存手段７は、動体履歴記憶部６に静止領域のデータが入力されると（動体データに静止状態のデータが入力されると）、一次記憶装置に記憶された最新の画像から、静止領域Ｂ（ｋ）の画像を切り出し、静止領域画像記憶部８に出力して、静止領域Ｂ（ｋ）の最新の画像を記憶する（Ｓ２０）。
【００５０】
図１１は、この発明の実施の形態における、静止領域画像記憶部８に記憶されている静止領域の画像データの例である。
静止領域画像記憶部８には、例えば、動体ＩＤ１１０１、画像１１０２、更新回数１１０３が記憶されている。
動体ＩＤ１１０１は、動体履歴記憶部６に記憶された動体ＩＤと同じＩＤが記憶されている。また、画像１１０２は、静止領域だけを切り出した最新の画像である。静止領域画像記憶部８には、同じ動体ＩＤに対する画像は何度更新してもよいため、更新回数１１０３は、同じ動体ＩＤに対する画像を更新した回数を示している。
【００５１】
次に、図５を用いて、特徴変化量抽出部９の処理について説明する。
特徴変化量抽出部９は、静止領域画像記憶部８に静止画像の最新の画像が記憶されると、以下の処理を行う。まず、画像の特徴変化量の初期化（ＦＶ（ｋ）＝０）を行い、静止領域の識別番号を次の識別番号にする（ｋ＝ｋ＋１）（Ｓ２１）。
そして、動体履歴記憶部６に記憶された過去の動体領域の数まで静止領域の画像を取得したか否かを判定する（Ｓ２２）。
過去の動体領域の数まで取得していなければ、Ｓ１８の処理に戻る。
過去の動体領域の数まで取得していれば、以下の処理を行う。
【００５２】
まず、静止領域の識別番号を初期化（ｋ＝１）する（Ｓ２３）。
そして、特徴変化量抽出部９は、動体履歴記憶部６に静止領域の情報が記憶されると（動体データに静止状態の情報が記憶されると）、静止領域画像記憶部８に記憶された静止領域Ｂ（ｋ）の画像と、一次記憶装置に記憶された最新の画像の静止領域の画像との画像の特徴量の差分ＦＤ（ｋ）を算出して（Ｓ２４）、画像の特徴変化量を抽出する。
そして、特徴変化量ＦＶ（ｋ）＝ＦＶ（ｋ）＋ＦＤ（ｋ）として、ＦＶ（ｋ）に特徴変化量を加算して特徴変化量の総和を算出する（Ｓ２５）。
【００５３】
そして、静止領域の識別番号ｋ＋１が、静止領域の数よりも大きいか否かを判定し（Ｓ２６）、すべての静止領域について特徴変化量を抽出するまで特徴量変化量の抽出を行う。
静止領域の数以下であれば、次の静止領域の識別子を設定してＳ２４に戻る。
静止領域の数より大きければ、算出した特徴変化量を静止人物判定部１０に出力し、Ｓ２７以降の静止人物判定手段１０の処理を行う。
【００５４】
ここで、特徴変化量抽出部９の動作を画像例で説明する。
図１２は、この発明の実施の形態における、特徴変化量抽出部９の動作を説明する画像の図である。
図１２では、静止領域画像記憶部８に記憶されている静止領域画像データ１２０１と、画像取得部３が取得して一次記憶装置に記憶されている最新の画像１２０２を示している。そして、静止領域画像データ１２０１には、動体ＩＤ３に対応した静止領域の画像１２０３と、動体ＩＤ４に対応した静止領域の画像１２０４が記憶されていることを示している。
【００５５】
また、特徴変化量抽出部９は、動体ＩＤ３に対応した静止領域の情報（位置と領域座標）を動体履歴記憶部６から取得する。この取得した静止領域に対応した最新の画像１２０２の静止領域１２０５を、最新の画像１２０２に示している。そして、この静止領域１２０５に動体１２０６の画像がある。また、動体ＩＤ４に対応した静止領域の情報を動体履歴記憶部６から取得する。この取得した静止領域に対応した最新の画像１２０２の静止領域１２０７を、最新の画像１２０４に示している。そして、この静止領域１２０７に動体１２０８の画像がある。
【００５６】
そして、特徴変化量抽出部９は、静止領域画像記憶部８に記憶されている静止領域１２０３の画像特徴量と、一次記憶装置から取得した最新の画像から切り出した静止領域１２０５の画像特徴量との差分を算出する。
特徴量の差分の算出は、画像間のテンプレートマッチングによる差分、またはHOG特徴量の差分、または輝度ヒストグラムの差分などを利用する。この差分を画像特徴量の変化量としてもよいし、上記の処理を規定の時間あるいは規定の回数だけ繰り返し特徴量差分の総和を画像特徴量の変化量としてもよい。また、このような処理を繰り返すとき、静止領域画像記録部８の静止領域の画像を最新の画像の静止領域に更新するタイミングは、毎回実施してもよいし、ある条件が成立したときに実施してもよい。例えば、特徴量差分が規定値以上になった場合に最新の画像に更新する。
以上が、特徴変化量抽出部９の動作についての画像例での説明である。
【００５７】
次に、図６を用いて、静止人物判定部１０と人物情報出力部１１の処理について説明する。
静止人物判定部１０は、特徴変化量抽出部９から画像の特徴変化量が入力されると、静止領域中の人の有無を判定し、その結果を動体履歴記憶部６に反映する。
まず、静止人物判定部１０は、規定時間経過したか否かを判定する（Ｓ２７）。
規定時間経過していなければ、Ｓ３０の処理を行う。
規定時間経過していれば、特徴変化量抽出部９で抽出した特徴変化量ＦＶ（ｋ）が、規定の範囲内か否かを判定する（Ｓ２８）。
【００５８】
規定の範囲内でなければ、静止領域Ｂ（ｋ）の動体データを動体履歴記憶部６から削除し、また、静止領域Ｂ（ｋ）の画像を静止領域画像記憶部８から削除し（Ｓ２９）、Ｓ３０の人物情報出力部１１の処理に移行する。
規定の範囲内であれば、静止領域Ｂ（ｋ）に人が居ると判定し、Ｓ３０の処理を行う。
このように、静止人物判定部１０は、特徴変化量抽出部９から入力された静止領域に人が居ないと判定すると、動体履歴記憶部６から静止領域のデータを削除することで、判定した静止している人物のデータを動体履歴記憶部６に反映する。
【００５９】
ここで、静止人物判定部１０によって、特徴変化量によって静止人物を判定する処理について図を用いて説明する。
図１３は、この発明の実施の形態における、静止人物判定部１０が静止人物を判定する特徴変化量を示す図である。
図１３には、特徴変化量１３０１、１３０２、１３０３が示されている。
例えば、特徴変化量１３０２は、規定の時間後に、規定の範囲内にある。この場合、静止人物判定部１０は、特徴変化量１３０２の静止領域に人が居ると判定する。
また、特徴変化量１３０１は、規定の時間前に規定の範囲外になる。この場合、静止人物判定部１０は、特徴変化量１３０１の静止領域に人は居ないと判定する。
【００６０】
また、特徴変化量１３０３は、規定の時間となった時に規定の範囲外である。この場合も、静止人物判定部１０は、特徴変化量１３０３の静止領域に人は居ないと判定する。
以上で説明した処理を繰り返すとき、静止領域画像記憶部８の同じ静止領域の画像を最新の画像の同じ静止領域に更新するタイミングは、毎回実施してもよいし、ある条件が成立したときに実施してもよい。例えば、特徴量差分が規定値以上になった場合に最新の画像に更新してもよい。
尚、図１３では、規定範囲は、特徴変化量がある値以上の範囲であるとして示しているが、規定範囲は、変化量なしの状態を含む変化量ゼロからの範囲を規定範囲としてもよい。
【００６１】
ここで、特徴変化量による人物の判定について説明する。
人が移動する際に、キャスター付きの椅子または机など人以外の物体も移動するケースが多い。このとき、動体抽出部４と動体追跡部５では、人以外の移動した物体も動体として認識してしまう。しかし、動体追跡部５では、移動状態として認識できる程の動きではなくても、人は日常生活の中では静止状態で微細な動きをするものであり、長時間全く動かない人は滅多にいない。
【００６２】
一方、椅子または机などの物体は移動した後は長時間動かない。その差が特徴変化量抽出部９で抽出した画像の特徴変化量に反映される。椅子または机などの物体は、変化量が非常に小さい値になる（例えば、図１３の特徴変化量１３０３）。したがって、変化量が規定値より小さい場合、その静止領域は、人以外の物体であると判定する。
【００６３】
また、人がＴＶまたはパソコンモニタ付近を移動あるいは停止すると、人ではなく、ＴＶやパソコンモニタが静止領域として生成されることがある。このような静止領域では、ＴＶまたはパソコンモニタの画面表示によって、画像の特徴変化量が大きくなる（例えば、図１３の特徴変化量１３０１）。したがって、変化量が規定範囲より大きい場合に、ＴＶまたはパソコンモニタなどの物体であると判定することで、人と誤判定することを防ぐことができる。
【００６４】
尚、ここでは、静止人物判定部１０で人が居ないと判定すると、動体履歴記憶部６と静止領域画像記憶部８から静止領域を削除するとして説明しているが、特徴変化量抽出部９と静止人物判定部１０で特定時間および特定回数、人の有無の判定を繰り返して、人が居ないと判定し続けた場合に、その判定した静止領域を動体履歴記憶部６と静止領域画像記憶部８から削除してもよい。
【００６５】
また、静止人物判定部１０で人が居ないと判定し続けたときに、静止領域画像記憶部８に記憶された静止領域の画像を、改めて最新の画像から切り出した静止領域の画像に更新してもよい。そうすることによって、静止画像で判定された人の近くに、他の人が通りかかり、静止画像に他の人の動体領域の画像が重なって、静止領域に静止した人が居るにもかかわらず、画像特徴量が閾値の範囲外になってしまっても、最新の画像から切り出した静止領域の画像から静止した人を検出することができる。
また、静止人物判定部１０で人が居ないと判定し続けたときに、改めて最新の画像から切り出した複数の静止領域の画像を静止領域画像記憶部８に記憶しておいてもよい。
また、本実施の形態では、人が居ないと判定した静止領域を動体履歴記憶部６から削除するとして説明したが、例えば、静止領域と判定した位置と、動体抽出部４で抽出された次の画像の動体領域の位置との距離が設定された閾値よりも小さい場合、静止領域の動体が動体領域に遷移したと判定し、動体履歴記憶部６の静止領域を動体領域に変更してもよい。
【００６６】
次に、人物情報出力部１１の動作を説明する。
人物情報出力部１１は、所定の時間毎または外部装置からの指示により、動体履歴記憶部６に記憶されている動体領域と静止領域の動体データを取得し、例えばこの動体データの数と位置を人物情報として外部装置に出力する（Ｓ３０）。
そして、人物の検出が終了しているか否かを判定する（Ｓ３１）。
人物の検出が終了していれば、人物の検出処理を終了する。
人物の検出が終了していなければ、Ｓ１の処理に戻る。
【００６７】
人物情報出力部１１が出力する先は、外部装置の制御装置、または外部システムであってもよい。
静止人物判定部１０は、人が居ないと判定した静止領域を動体履歴記憶部６から削除するため、動体履歴記憶部６に記憶されている動体領域と静止領域が人の居る領域となる。人物情報とする人の位置は、例えば動体領域または静止領域の中心位置、あるいは動体領域または静止領域の重心位置とする。
【００６８】
このように生成した人物情報を、例えば照明または空調の制御装置、あるいは機器の管理システムに提供することにより、人の有無、位置、人数に応じて最適な省エネ制御が可能になる。
照明機器の制御では、赤外線を利用した人感センサでは、静止した人には反応しないため、人がいるのに照明機器が消灯してしまうことがある。また、動いている人でも、センサ範囲のどの位置に人が居るのか分からないため、オフィスや工場など多くの照明機器が設置されている場合には、どの照明機器を調光すれば最適な明るさになるのかが分からない。
【００６９】
しかし、画像を用いて抽出した動体領域と１つ前のフレームの動体領域との距離に基づいて静止領域を判定し、この静止領域について画像の特徴量の変化量を用いて、人が静止しているか否かを判定するため、静止している人を含めた人の有無、位置、人数を検出することができる。そのため、静止した人を含めて、照明機器を点灯または消灯することができる。また、オフィス、または工場のような多くの照明機器が設置されている場合でも、人の有無、位置、人数に応じて、適切な照明機器の調光の制御を行うことができる。
【００７０】
また、赤外線を利用した人感センサでは、センサ範囲を絞り、多くのセンサを設置する必要がありコストが高くなってしまうが、画像であれば広範囲の人を検出することができるため、コストを抑えることができる。
また、省エネ以外では、待ち時間を短縮するエレベータを最適に運行、または混雑度や立ち入り禁止検知による防犯・安全管理など、様々な制御システムに適用することができる。
【産業上の利用可能性】
【００７１】
以上のように、本発明にかかる人物検出装置および人物検出方法は、画像から抽出した第１の動体領域の位置と、第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、静止領域を判定する。そして、この静止領域の画像の特徴量の変化量を用いて人物の有無を判定するので、膨大な画像特徴量を事前に収集及び登録することなく、静止した人を含めた人物情報で、例えば照明または空調の制御装置を制御することができる。あるいは、エレベータの待ち時間を短縮する運行、または混雑度や立ち入り禁止検知による防犯・安全管理などの様々な機器の管理システムに適用することができる。
【符号の説明】
【００７２】
１  人物検出装置、２  カメラ、３  画像取得部、４  動体抽出部、５  動体追跡部、６  動体履歴記憶部、７  静止領域保存部、８  静止領域画像記憶部、９  特徴変化量抽出部、１０  静止人物判定部、１１  人物情報出力部、１２  動体領域抽出部、１３  静止領域判定部。
【図１】
2015136828.tif 000003
【図２】
2015136828.tif 000004
【図３】
2015136828.tif 000005
【図４】
2015136828.tif 000006
【図５】
2015136828.tif 000007
【図６】
2015136828.tif 000008
【図７】
2015136828.tif 000009
【図８】
2015136828.tif 000010
【図９】
2015136828.tif 000011
【図１０】
2015136828.tif 000012
【図１１】
2015136828.tif 000013
【図１２】
2015136828.tif 000014
【図１３】
2015136828.tif 000015
【手続補正書】
【提出日】平成28年3月22日(2016.3.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影された画像を取得する画像取得部と、
前記画像取得部で取得した画像から抽出した第１の動体領域の位置と、前記第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、前記第２の動体領域の動体が静止状態である静止領域を判定する静止領域判定部と、
前記静止領域判定部で判定した前記静止領域のうち、それまでに記憶されている前記静止領域の画像の特徴量と、最新の前記静止領域の画像の特徴量との変化量を抽出する特徴変化量抽出部と、
前記特徴変化量抽出部で抽出された前記変化量を用いて人物の有無を判定する際、前記変化量が設定した範囲の場合、静止領域に人が居ると判定する静止人物判定部とを備えたことを特徴とする人物検出装置。
【請求項２】
前記静止領域判定部は、前記第１の動体領域の位置と、前記第２の動体領域の位置との距離が予め設定された閾値よりも大きく、且つ前記第１の動体領域の画像から抽出された他のすべての動体領域の位置と、前記第２の動体領域の位置との距離が予め設定された閾値よりも大きい場合、前記第２の動体領域を静止領域と判定することを特徴とする請求項１記載の人物検出装置。
【請求項３】
前記人物検出装置は、さらに、
前記動体領域の情報を動体の情報として記憶する動体履歴記憶部と、
前記動体履歴記憶部に記憶された動体の情報から人物の情報を外部に出力する人物情報出力部とを備え、
前記静止人物判定部は、人物有りと判定した静止領域の情報を動体の情報として前記動体履歴記憶部に記憶し、
前記人物情報出力部は、前記動体履歴記憶部に記憶された動体の情報から、人の位置と人の数を人物の情報として出力することを特徴とする請求項１または請求項２に記載の人物検出装置。
【請求項４】
前記静止人物判定部は、人物無しと判定した前記静止領域に対して、前記第１の動体領域を抽出した画像より後の画像から新たに抽出した当該静止領域の情報を用いて人物有りと判定すると、当該静止領域の情報を動体の情報として前記動体履歴記憶部に記憶することを特徴とする請求項３に記載の人物検出装置。
【請求項５】
撮影された画像を用いて人物を検出する人物検出装置の人物検出方法において、
撮影された画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像から抽出した第１の動体領域の位置と、前記第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、前記第２の動体領域の動体が静止状態である静止領域を判定する静止領域判定ステップと、
前記静止領域判定ステップで判定した前記静止領域のうち、それまでに記憶されている前記静止領域の画像の特徴量と、最新の前記静止領域の画像の特徴量との変化量を抽出する特徴変化量抽出ステップと、
前記特徴変化量抽出ステップで抽出された前記変化量を用いて人物の有無を判定する際、前記変化量が設定した範囲の場合、静止領域に人が居ると判定する静止人物判定ステップとを備えたことを特徴とする人物検出方法。
【国際調査報告】
2015136828.tif 000016
2015136828.tif 000017