(57)【要約】【課題】背景画像を用いず撮影された画像から人数を検出することができる人数検出装置および人数検出システムを提供する。【解決手段】色検出部は画像から身体の一部の色を表す領域を検出し、身体活動判断部は前記領域毎に前記色の変化に基づいて身体活動を検出し、画像領域分類部は前記色の変化のタイミングに基づいて前記領域を分類する。【選択図】図１
2017033084.tif 000002
【特許請求の範囲】
【請求項１】
画像から身体の一部の色を表す領域を検出する色検出部と、
前記領域毎に前記色の変化に基づいて身体活動を検出する身体活動検出部と、
前記色の変化のタイミングに基づいて前記領域を分類する画像領域分類部と、
を備える人数検出装置。
【請求項２】
前記身体活動検出部は、前記色の変化の周期が所定の身体活動の周期の範囲内であるか否かを判定する請求項１に記載の人数検出装置。
【請求項３】
前記色検出部は、前記画像を構成する領域内の信号値が、前記身体の一部の色を示す信号値の範囲内であるか否かを判定する請求項１または請求項２に記載の人数検出装置。
【請求項４】
前記画像領域分類部は、前記領域における色のピーク時刻のパターンに基づいて前記領域を分類する請求項１から請求項３のいずれか一項に記載の人数検出装置。
【請求項５】
前記分類の数を前記画像に現れる人物の数として計数する人数検出部、をさらに備える請求項１から請求項４のいずれか一項に記載の人数検出装置。
【請求項６】
１個または複数個の身体活動検出装置と、人数管理装置と、を備える人数検出システムであって、
前記身体活動検出装置のそれぞれは、
画像から身体の一部の色を表す領域を検出する色検出部と、
前記領域毎に前記色の変化に基づいて身体活動を検出する身体活動検出部と、を備え
前記人数管理装置は、
前記身体活動検出装置のそれぞれが備える色検出部が検出した前記色の変化のタイミングに基づいて前記領域を分類する画像領域分類部
を備える人数検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人数検出装置および人数検出システム、特に撮影された映像に表される人物の人数を検出する処理に関する。
【背景技術】
【０００２】
従来から、商業施設、展示場、地下街など、各種の建造物や構造物など特定の空間内に所在する人の人数を、撮影された映像を処理して検出する手法について提案されている。例えば、特許文献１に記載の人数検出装置は、人がいない状態の背景画像を更新し、ディジタル画像信号の二値化画像を補正し、補正により得られた画像に、所定のパターンを重ねて相関値を求め、相関値をもとに演算処理を加えた相関値パラメータ、カメラからの画像信号の濃度パラメータ、カメラの設置環境を特徴づける環境パラメータと、を入力する。この構成により、設置場所、設置環境が変化しても人数が検出される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２７２９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の人数検出装置は、人がいない状態を表す背景画像を自動更新する。人通りの多い場所では人がいない状態を表す背景画像が更新されない。そのため、人の検出の基準となる背景画像が得られないことがある。そのため、人数の検出に支障が生ずることがあった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、背景画像を用いずに撮影された画像から人数を検出することができる人数検出装置および人数検出システムを提供する。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像から身体の一部の色を表す領域を検出する色検出部と、前記領域毎に前記色の変化に基づいて身体活動を検出する身体活動検出部と、前記色の変化のタイミングに基づいて前記領域を分類する画像領域分類部と、を備える人数検出装置である。
【発明の効果】
【０００７】
本発明によれば、背景画像を用いずに撮影された画像から人数を検出することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る人数検出装置の機能構成を示すブロック図である。
【図２】第１の実施形態に係る人数検出装置のハードウェア構成を示す構成図である。
【図３】第１の実施形態に係るカメラ部、皮膚色検出部、色変化検出部の動作を示すフローチャートである。
【図４】画像フレーム内の各領域における色変化の例を示す図である。
【図５】第１の実施形態に係る心拍判断部の動作を示すフローチャートである。
【図６】第１の実施形態に係る心拍判断部において検出されたピーク時刻の時系列の例を示す図である。
【図７】第１の実施形態に係る同一心拍判断部及び人数検出部の動作を示すフローチャートである。
【図８】画像フレーム内の各領域に付加されたグループ識別子の一覧の例を示す。
【図９】第２の実施形態に係る人数検出システムの構成を示すブロック図である。
【図１０】第２の実施形態に係る心拍検出装置の構成を示すブロック図である。
【図１１】第２の実施形態に係る人数管理装置の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。本実施形態に係る人数検出装置１００は、撮影された画像を構成する領域毎に人物の身体の一部の色の変化を検出する。身体の一部の色とは、例えば、顔面、上腕部、下肢部などの皮膚色である。人数検出装置１００は、検出した色の変化のタイミングが互いに共通する領域が同一の人物を表す領域であると判定し、各領域における色の変化を人物毎の色の変化パターンに分類する。色の変化は、脈動、つまり心拍による血管内の血流量の変化によって生ずる。人数検出装置１００は、分類された変化パターンの数を計数することにより人数を算出する。以下の説明では、主に身体の一部の色が皮膚色である場合を例にする。
【００１０】
図１は、本実施形態に係る人数検出装置１００の機能構成を示すブロック図である。
人数検出装置１００は、カメラ部１０１と、皮膚色検出部１０２と、色変化検出部１０３と、心拍判断部１０４と、同一心拍検出部１０５と、人数検出部１０６と、を含んで構成される。人数検出装置１００の各部の機能は、図２に示すハードウェア構成を備えることにより実現されてもよい。
【００１１】
図２は、本実施形態に係る人数検出装置１００のハードウェア構成を示す構成図である。人数検出装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１と、入力部２０２と、出力部２０３と、ＲＯＭ（Ｒｅａｄ−ｏｎｌｙ  Ｍｅｍｏｒｙ）１０４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０５と、通信部２０６とを含んで構成される。ＣＰＵ２０１は、ＲＯＭ２０４に予め記憶された制御プログラムを読み出し、読み出した制御プログラムで示される各種の命令で指示される処理を行う。入力部２０２は、人数検出装置１００の外部から各種のデータが入力され、入力されたデータをＣＰＵ２０１に出力する。入力部２０２は、例えば、データ入力インタフェースである。出力部２０３は、ＣＰＵ２０１から入力される各種のデータを人数検出装置１００の外部に出力する。出力部２０３は、例えば、データ出力インタフェースである。出力部２０３は、入力部２０２と一体化して構成されてもよい。ＲＯＭ２０４には、予め制御プログラム、動作パラメータを記憶しておく。ＲＡＭ２０５は、ＣＰＵ２０１が行う処理に要するデータ、当該処理により生成されたデータを記憶する。通信部２０６は、ネットワークに接続し、ネットワークに接続された他の電子機器との間で各種のデータを送受信する。通信部２０６は、例えば、通信インタフェースである。
【００１２】
図１に戻り、各部の機能について説明する。
カメラ部１０１（撮影部）は、周囲の被写体の画像を撮影し、撮影された画像を表す画像データをＲＡＭ２０５（図２）に記憶する。カメラ部１０１は、例えば、所定の時間間隔でフレーム毎に撮影された画像からなる動画を取得するカメラユニットである。カメラ部１０１は、上述の入力部２０２（図２）に相当する。カメラ部１０１は、所定のフレーム周期（例えば、１／３０ｓ）毎に１フレームの画像を表す画像データを取得する。１フレームの画像データは、画素毎の色信号値を表すデータである。１フレームの大きさは、例えば、水平方向６４０画素×垂直方向４８０画素である。
【００１３】
皮膚色検出部１０２（色検出部）は、ＲＡＭ２０５から読み出した画像データが示す各フレームの画像から、表される色が皮膚色である領域を検出する。例えば、画像データが、画素毎のＨＳＶ値で表される場合を仮定する。ＨＳＶ値は、各画素の色をＨＳＶ色空間モデルで表す色信号値であり、Ｈ成分値、Ｓ成分値及びＶ成分値からなる。Ｈ成分値は色相（Ｈｕｅ）を、Ｓ成分値は彩度（Ｓａｔｕｒａｔｉｏｎ）を、Ｖ成分値は明度（Ｖａｌｕｅ）を表す色成分値である。皮膚色検出部１０２は、画素毎のＨ成分値、Ｓ成分値、又はＶ成分値がそれぞれ予め設定されたＨ成分値、Ｓ成分値、又はＶ成分値の範囲内である場合、当該領域で表される色が皮膚色であると判定する。各領域の大きさは、例えば、水平方向２０画素、垂直方向２０画素である。本実施形態では、皮膚色であるか否かの判定に用いられる、Ｈ成分値、Ｓ成分値、及びＶ成分値のいずれか、それらの成分値のうちのいずれか２つの組、全部からなる組のいずれも利用可能である。Ｈ成分値、Ｓ成分値、Ｖ成分値のいずれか、又はこれらの組のうち、いずれを用いるかは予め設定しておく。以下の説明では、Ｈ成分値、Ｓ成分値、Ｖ成分値のいずれか、又はこれらの組を色成分値と総称する。皮膚色検出部１０２は、皮膚色であると検出した領域を示す皮膚色検出領域データを検出対象のフレームの画像データと対応付けてＲＡＭ２０５に記憶する。なお、色信号値は、ＨＳＶ値に限られず、ＲＧＢ値、ＹＣｒＣｂ値など他の色空間モデルに基づく色信号値が用いられてもよい。色平均値の算出単位となる領域の大きさは、２０画素四方に限られず、８画素四方、１６画素四方、など各フレームの大きさよりも十分に小さく、かつ、局所的な色の時間変化の傾向を表すことができる大きさであればよい。
【００１４】
色変化検出部１０３は、ＲＡＭ２０５からフレーム毎の皮膚色検出領域データと画像データを読み出し、読み出した皮膚色検出領域データがその色が皮膚色である領域毎に、複数のフレーム間における色の変化を検出する。色変化検出部１０３は、各領域内に含まれる画素毎の色成分値それぞれの平均値である色平均値を算出する。領域の大きさが、２０画素四方である場合には、領域内の４００画素の色成分値の色平均値が算出される。色変化検出部１０３は、領域毎に算出した色平均値のそれぞれについてフレーム間で統合して領域毎の色の変化を示す色変化データを生成する。色変化検出部１０３は、生成した色変化データをＲＡＭ２０５に記憶する。色変化の具体例については後述する。
【００１５】
心拍判断部１０４（身体活動検出部）は、ＲＡＭ２０５から色変化データを読み出し、読み出した色変化データが示す領域毎の少なくとも１つの成分の平均値の変動周期が心拍の周期であるか否かを判定する。具体的には、心拍判断部１０４は、色変化データが示す領域毎の色平均値のピーク値を検出し、検出したピーク値をとるピーク時刻間の間隔（ピーク間隔）が、予め設定された心拍数に相当する心拍の周期（例えば、４６０ｍｓ〜１０００ｍｓ、１分あたり１３０〜６０拍に相当）の範囲内であるか否かを判定する。なお、心拍周期は、操作入力に応じて設定可能であってもよい。これにより、個々のユーザにより異なりうる心拍周期に適応することができる。心拍判断部１０４は、領域毎にピーク間隔が心拍周期の範囲内であると判定された区間を心拍の変化が表される区間と判定し、当該区間内の心拍のピーク時刻を示す心拍データを生成する。心拍判断部１０４は、生成した心拍データをＲＡＭ２０５に記憶する。心拍の判断例については後述する。
【００１６】
同一心拍判断部１０５（画像領域分類部）は、ＲＡＭ２０５から読み出した心拍データが示す領域から、各領域のピーク時刻の時系列パターンに基づいて同一人物の心拍に伴う色の変化を表す領域を分類する。ここで、同一心拍判断部１０５は、心拍データが示す各領域の時系列パターンについて、一方の時系列パターンに含まれるピーク時刻のそれぞれが、他方の時系列パターンの対応するピーク時刻のそれぞれから所定時間内（例えば、２０ｍｓ）である場合、両方の心拍を示す時系列パターンが同一人物の心拍であると判定する。同一心拍判断部１０５は、ある一の領域と時系列パターンが同一であると判定した他の領域が、同一のグループに属することを示すグループ識別子を一の領域と他の領域のそれぞれに設定（付加）する。
【００１７】
グループ識別子は、同一人物の領域を特定する情報フラグである。即ち、ピーク時刻の時系列パターンが相互に一致もしくは類似する複数の領域が、同一人物の心拍時刻を表す領域として判定されたことを特定する情報フラグである。例えば、同一人物の腕と顔がそれぞれ表される領域においては、色の変化のパターンが一致し、それらの領域に共通のグループ識別子が付加される。付加されたグループ識別子は、それぞれの領域が同一のグループに属することを表す。同一心拍判断部１０５は、領域毎にグループ識別子の有無を表すグループデータを生成し、生成したグループデータをＲＡＭ２０５に記憶する。同一人物の心拍の判断例については、後述する。
【００１８】
人数検出部１０６は、ＲＡＭ２０５からグループデータを読み出し、読み出したグループデータが示すグループの数、即ち時系列パターンの数を画像に現れている人物の数として算出する。ここで、いずれのグループにも属しない独立している領域、つまりグループ識別子の無い領域を１つのグループとみなす。即ち、かかる領域は、１人の人物が表される領域として計数される。人数の検出例については、後述する。
【００１９】
次に、カメラ部１０１と、皮膚色検出部１０２の動作について説明する。
図３は、本実施形態に係るカメラ部１０１、皮膚色検出部１０２、色変化検出部１０３の動作を示すフローチャートである。図３に示す処理は、ステップＳ１０１〜Ｓ１０３を有する。ステップＳ１０１〜Ｓ１０３は、フレーム間隔を１周期として繰り返される。
【００２０】
（ステップＳ１０１）カメラ部１０１は、１フレームの画像を撮影し、撮影した画像を表す画像データを生成する。１フレームの画像は、一般に複数の画素（例えば、６４０画素×４８０画素）からなる。画像データは、画素毎に所定の色信号値、例えば、ＨＳＶ値を有するデータである。その後、ステップＳ１０２に進む。
【００２１】
（ステップＳ１０２）皮膚色検出部１０２は、所定の大きさの領域毎に、ＨＳＶ値に基づいて各領域で表される色が皮膚色であるか否かを判定する。なお、検出された皮膚色は、照明の色温度など周囲環境の影響を受けるが、皮膚色検出部１０２は、各画素の色信号値についてホワイトバランス調整、輝度調整など既知の調整処理を行って皮膚色の検出を行ってもよい。その後、ステップＳ１０３に進む。
【００２２】
（ステップＳ１０３）色変化検出部１０３は、表される色が皮膚色であると判定された領域毎に、複数のフレーム間における色の変化を検出する。色変化検出部１０３は、フレーム内の各領域の色平均値及びその領域の座標を対応付けたデータを色変化データとして累積する。座標は、各領域の位置を代表する座標、例えば、左上座標（１０，４００）、右下座標（３０，３８０）、重心座標（２０，３９０）などである。色変化検出部１０３は、現フレームと次のフレームのそれぞれについて領域毎に色平均値と代表座標のセットが与えられているとき、現フレームでの各領域のセットと、次のフレームでのそれぞれ対応する領域のセットとを統合する。かかる処理をフレーム毎に繰り返すことで皮膚色が同一の領域で追跡され、色の変化が把握される。その後、ステップＳ１０１に戻る。
【００２３】
なお、ステップＳ１０３において、色変化検出部１０３は、フレーム間で色平均値を統合する際、動き補償を行ってもよい。動き補償とは、フレーム間の特定の領域間において現フレームにおいてある注目する領域について、次のフレームにおいて対応する領域を特定する処理である。対応する領域を特定する際、色変化検出部１０３は、例えば、現フレームのある領域について、次フレームの領域のうち、フレーム間の色信号値の差分が所定の色信号値の差分よりも小さく、かつ、代表座標の差分が所定の代表座標の差分よりも小さい領域を対応する領域と判定する。これにより、被写体が動く場合であっても、ある特定の画像の要素が表されている領域が追跡可能となる。
なお、フレーム間で対応する領域を特定する際、色変化検出部１０３は、各フレームに属す領域間でブロックマッチングを行うことで、ある一の領域が表す画像の要素と最も近似する画像の要素を表す領域を探索してもよい。
【００２４】
次に、色変化検出部１０３で検出された色変化の具体例について説明する。
図４は、画像フレーム内の各領域における色変化の例を示す図である。
図４（ａ）は、画像フレームにおける領域１のＨ成分値の平均値の例（色平均値４１１）を示す。色平均値４１１は、周期的に変動し、各周期についてピーク値４１２を有する。そこで、心拍判断部１０４は、例えば、色平均値４１１についてピーク値を検出し、ピーク値をとるピーク時刻間の間隔を周期ｔ１、ｔ２、等と定める。そして、心拍判断部１０４は、定めた周期に基づいて、検出したピーク時刻の時系列が心拍であるか否かを判定する。
【００２５】
図４（ｂ）は、画像フレームにおける領域２のＨ成分値の平均値の例（色平均値４１３）を示す。色平均値４１３は、周期的に変動するが、周期性の度合いが色平均値４１１よりも小さい。図４（ｂ）に示す例では、互いに隣接するピーク値４１４間の周期ｔ３は、周期ｔ１、ｔ２よりも長い。心拍判断部１０４は、領域毎の色平均値について周期性の度合いを示す指標を算出し、算出した指標が予め定めた指標の閾値よりも大きい場合に、心拍か否かを判定してもよい。周期性の度合いを示す指標として、例えば、自己相関関数の最大値、フーリエ係数の最大値、などが利用可能である。
【００２６】
次に、心拍判断部１０４の動作について説明する。
図５は、本実施形態に係る心拍判断部１０４の動作を示すフローチャートである。図５に示す処理は、ステップＳ２０１〜Ｓ２０４を有する。ステップＳ２０１〜Ｓ２０４の処理は、心拍の周期よりも十分長い周期、例えば、５秒毎に行われる。
【００２７】
（ステップＳ２０１）心拍判断部１０４は、領域毎の皮膚色変化を表す少なくとも１つの色平均値の時系列を取得し、そのピーク値を定める。心拍判断部１０４は、定めたピーク値から時間的に隣接するピーク時刻間の時間をピーク間隔として算出する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）心拍判断部１０４は、取得した色平均値の時系列について周期性の有無を判定する。心拍判断部１０４は、周期性があり、かつ、算出したピーク間隔が所定の周期の範囲内（例えば、４６０ｍｓ〜１０００ｍｓ）であるか否かを判定する。周期性がありピーク間隔が所定の周期の範囲内と判定された場合（ステップＳ２０２  ＹＥＳ）、ステップＳ２０３に進む。周期性がない、あるいはピーク間隔が所定の周期の範囲外と判定された場合（ステップＳ２０２  ＮＯ）、ステップＳ２０４に進む。
【００２８】
（ステップＳ２０３）心拍判断部１０４は、当該色平均値の時系列が心拍の変化を示すと判定する。その後、図５に示す処理を終了する。
（ステップＳ２０４）心拍判断部１０４は、当該色平均値の時系列が心拍以外の事象であると判定する。その後、図５に示す処理を終了する。
【００２９】
図６は、本実施形態に係る心拍判断部１０４において検出されたピーク時刻の時系列の例を示す図である。図６において、５つの領域、領域１〜５のそれぞれのピーク時刻が太い線分で表される。領域１〜５は、いずれも平均値の時系列が心拍の変化を示すと判定された領域である。時刻ｔ１１、ｔ２１、ｔ３１、ｔ４１、ｔ５１、ｔ６１は、それぞれ領域１のピーク時刻を示し、時刻ｔ１５、ｔ２５、ｔ３５、ｔ４５、ｔ５５、ｔ６５は、それぞれ領域５のピーク時刻を示す。以下、図６に示すピーク時刻が検出された場合を例にして、同一心拍判断部１０５及び人数検出部１０６の動作について説明する。
【００３０】
図７は、本実施形態に係る同一心拍判断部１０５及び人数検出部１０６の動作を示すフローチャートである。図７に示す処理は、ステップＳ３０１〜Ｓ３０７を有する。
（ステップＳ３０１）同一心拍判断部１０５は、心拍と判定された５個の領域（領域１〜領域５）の変化タイミングとしてピーク時刻を表す心拍データをＲＡＭ２０５から読み出すことにより取得する。その後、ステップＳ３０２に進む。
（ステップＳ３０２）同一心拍判断部１０５は、処理に用いるパラメータＮの初期値としてＮ＝１と設定する。Ｎは、各領域を識別するためのインデックスである。人数検出部１０６は、パラメータＣｏｕｎｔについて初期値としてＣｏｕｎｔ＝０と設定する。Ｃｏｕｎｔは、人数、即ち各領域の分類の数を計数するためのカウント値である。その後、ステップＳ３０３に進む。
（ステップＳ３０３）同一心拍判断部１０５は、領域Ｎにグループ識別子が付加（設定）されているか否かを判定する。付加されていると判定されたとき（ステップＳ３０３  ＹＥＳ）、ステップＳ３０８に進む。付加されていないと判定されたとき（ステップＳ３０３  ＮＯ）、ステップＳ３０４に進む。
【００３１】
（ステップＳ３０４）同一心拍判断部１０５は、領域Ｎとその他の領域のそれぞれについてピーク時刻を比較し、同一のピーク時刻であるか否かを判定する。ここで、同一心拍判断部１０５は、領域Ｎのピーク時刻のそれぞれから所定の時間幅内に含まれている他の領域の対応するピーク時刻について同じピーク時刻であると判定し、所定の時間幅内に含まれていない他の領域の対応するピーク時刻について異なるピーク時刻であると判定する。例えば、同一心拍判断部１０５は、図６に示す領域１のピーク時刻と領域３のピーク時刻が同じピーク時刻であると判定し、領域２のピーク時刻と領域５のピーク時刻が同じピーク時刻であると判定する。その後、ステップＳ３０５に進む。
【００３２】
（ステップＳ３０５）同一心拍判断部１０５は、領域Ｎと同じピーク時刻を有する領域が存在するか否かを判定する。図６について、領域１について、同じピーク時刻を有する領域３が存在すると判定する。存在すると判定するとき（ステップＳ３０５  ＹＥＳ）、ステップＳ３０６に進む。存在しないと判定するとき（ステップＳ３０５  ＮＯ）、ステップＳ３０７に進む。
（ステップＳ３０６）同一心拍判断部１０５は、領域Ｎと同じピーク時刻を有する領域を領域Ｎと同じグループとして分類し、同じピーク時刻を有する領域について、そのグループを示すグループ識別子を付加する。図６に示す例では、同一心拍判断部１０５は、領域３について領域１のグループを示すグループ識別子「Ｇ１」を付加し、領域５について領域２のグループを示すグループ識別子「Ｇ２」を付加する。その後、ステップＳ３０７に進む。
【００３３】
（ステップＳ３０７）人数検出部１０６は、Ｃｏｕｎｔに１を加算する。その後、ステップＳ３０８に進む。
（ステップＳ３０８）同一心拍判断部１０５は、Ｎに１を加算する。その後、ステップＳ３０９に進む。
（ステップＳ３０９）同一心拍判断部１０５は、Ｎが領域の個数である５を超えたか否かを判定する。超えたと判定するとき（ステップＳ３０９  ＹＥＳ）、図７に示す処理を終了する。超えていないと判定するとき（ステップＳ３０９  ＮＯ）、ステップＳ３０３の処理に戻る。
【００３４】
図８は、図７に示す処理を行って各領域に付加されたグループ識別子の一覧の例を示す。
図８は、領域１、３にグループ識別子「Ｇ１」が付加され、領域２、５にグループ識別子「Ｇ２」が付加されることを示す。このことは、領域１、３がグループＧ１に属し、領域２、５がグループＧ２に属することを意味する。また、領域４には、グループ識別子は付加されない。従って、撮影された画像に現れている人物の数は、人数検出部１０６により３人と算出される。
【００３５】
以上に説明したように、人数検出装置１００は、画像から身体の一部の色を表す領域を検出する皮膚色検出部１０２と、領域毎に色の変化に基づいて心拍を検出する心拍判断部１０４とを備える。また、人数検出装置１００は、色の変化のタイミングに基づいて領域を分類する同一心拍検出部１０５を備える。
この構成により、画像に含まれる複数の領域は、個々の人物を表す領域間で共通である心拍に応じた色の変化のタイミングに基づいて分類される。そのため、背景画像などの基準となる画像を用いずに、取得された画像のみを用いて撮影された画像内の領域の分類に基づいて、画像に現れている人物の人数が検出可能となる。
【００３６】
また、心拍判断部１０４は、各領域で表わされる色の変化の周期が所定の心拍の周期の範囲内であるか否かを判定する。この構成により、色の変化の周期として心拍の周期である可能性がある領域が採用され、その可能性が低い領域が棄却される。そのため、同一心拍検出部１０５において画像内の領域を分類する処理の処理量が低減され、処理時間が短縮可能となる。
【００３７】
また、皮膚色検出部１０２は、画像を構成する領域内の色信号値が、人物の身体の一部、例えば、顔面の色を示す色信号値の範囲内であるか否かを判定する。この構成により、表されている色が、人物の身体の一部の色である可能性がある領域が採用され、その可能性が低い領域が棄却される。そのため、同一心拍検出部１０５において画像内の領域を分類する処理の処理量が低減され、処理時間が短縮可能となる。
【００３８】
また、同一心拍検出部１０５は、画像内の領域における色のピーク時刻の時系列パターンに基づいて、それらの領域を分類する。この構成により、色の変化のタイミングを表す情報として、比較的情報量が少ないピーク時刻の時系列パターンを用いることで、色の変化の分類に係る処理の処理量を低減することができる。そのため、同一心拍検出部１０５において画像内の領域を分類する処理の処理量が低減され、処理時間が短縮可能となる。
【００３９】
また、人数検出装置１００は、領域の分類の数を、画像に現れる人物の数として計数する人数検出部１０６をさらに備える。各領域は、色の変化のタイミングは、人物により異なり、同一人物について共通であることを利用して分類されるので、その分類の数を人物の数として簡素な処理により定めることができる。
【００４０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
図９は、本実施形態に係る人数検出システム９００の構成を示すブロック図である。
人数検出システム９００は、１個以上の心拍検出装置９０１〜９０３と、１個以上の人数管理装置９１０とを含んで構成される。心拍検出装置９０１〜９０３と、人数管理装置９１０は、ネットワークＮＷを介して接続され、相互にデータの送受信が可能である。ネットワークＮＷは、例えば、公衆無線ネットワーク、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネット、等のいずれか又は任意の組み合わせであってもよい。なお、図９に示す例では、心拍検出装置の数は３、人数管理装置の数は１であるが、これには限られない。心拍検出装置の数は、２個以下又は４個以上であってもよいし、人数管理装置の数は、２個以上であってもよい。通例、心拍検出装置の数は複数であり、人数管理装置の数よりも多い。
【００４１】
次に、本実施形態に係る心拍検出装置１０００の構成について説明する。心拍検出装置１０００の構成は、心拍検出装置９０１〜９０３（図９）のそれぞれの構成と同様である。
図１０は、本実施形態に係る心拍検出装置１０００の構成を示すブロック図である。
心拍検出装置１０００は、カメラ部１０１と、皮膚色検出部１０２と、色変化検出部１０３と、心拍判断部１０４とを含んで構成される。心拍検出装置１０００は、人数検出装置１００と同様のハードウェア構成（図２）を備え、ＣＰＵ２０１が所定の制御プログラムに記述された命令で指示される処理を行うことにより、カメラ部１０１、皮膚色検出部１０２、色変化検出部１０３、及び心拍判断部１０４の機能を実現してもよい。よって、心拍検出装置１０００は、図３、５に示す処理を実行することができる。本実施形態に係る心拍判断部１０４は、生成した心拍データを、通信部２０６（図２）を用いてネットワークＮＷを介して人数管理装置９１０（図９）に送信する。
【００４２】
次に本実施形態に係る人数管理装置１１００の構成について説明する。
図１１は、本実施形態に係る人数管理装置１１００の構成を示すブロック図である。人数管理装置１１００の構成は、人数管理装置９１０（図９）の構成と同様である。
人数管理装置１１００は、同一心拍検出部１０５と、人数検出部１０６とを含んで構成される。同一心拍検出部１０５は、通信部２０６（図２）を介して心拍検出装置９０１〜９０３のそれぞれから心拍データを受信する。その後、同一心拍検出部１０５と、人数検出部１０６は、心拍検出装置９０１〜９０３のそれぞれからの心拍データについて図７に示す処理を実行する。
【００４３】
なお、人数管理装置１１００において、同一心拍検出部１０５及び人数検出部１０６は、複数の心拍検出装置９０１〜９０３からの心拍データについて一括して図７に示す処理を実行してもよい。そのため、同一心拍検出部１０５は、複数の心拍検出装置９０１〜９０３のそれぞれのカメラ部１０１で個別に撮影された人物の画像について、各画像内の領域で表される人物が同一人物であるか否かを判定することができる。即ち、人数管理装置１１００は、複数の心拍検出装置９０１〜９０３の間で心拍の同期を検出することで、心拍検出装置９０１〜９０３それぞれのカメラ部１０１で撮影された人物を容易に管理することができる。
【００４４】
また、人数検出システム９００は、少なくとも１個の人数管理装置１１００が含まれていればよい。そのため、人数検出システム９００において、人数検出装置１００と同様に、個々の心拍検出装置１０００がカメラ部１０１、皮膚色検出部１０２、色変化検出部１０３、心拍判断部１０４、同一心拍検出部１０５、及び人数検出部１０６の構成を全て備えるよりもハードウェア資源が少なくても済む。そのため、より経済的な実施が可能になる。
【００４５】
（変形例）
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、上述した人数検出装置１００、心拍検出装置１０００は、人物の画像を表す画像データを取得する構成を備えていれば、カメラ部１０１は省略されてもよい。その構成として、例えば、データ入力インタフェース、通信インタフェースが適用可能である。
上述した実施形態では、色検出部が、身体の一部である顔、上腕、下肢などの皮膚色を検出する皮膚色検出部１０２である場合を例にしたが、検出対象は皮膚色に限られない。色検出部は、身体活動による色の変化を検出することができればよい。色検出部は、身体の一部として、その表面がカメラ部１０１に対して露出される部分として、例えば、虹彩、頭髪などの色を検出してもよい。
【００４６】
また、上述した実施形態では、身体活動検出部が心拍による皮膚色の変化を検出する心拍判断部１０４である場合を例にしたが、検出対象は皮膚色の変化に限られない。例えば、歩行などの動作に伴う身体の一部、例えば、下肢部、上腕部などの並進運動を検出してもよい。なお、上記の説明において、心拍とは必ずしも心臓の拍動のみを意味するものではなく、心臓の拍動によって生ずる血管の脈動など、心臓の拍動に起因し色の変化の原因となる身体活動を含む。
【００４７】
また、上述した実施形態では、画像領域分類部が、色の変化のタイミングとして色信号値のピーク時刻の時系列パターンに基づいて、画像内の領域を分類する同一心拍検出部１０５である場合を例にしたが、これには限られない。画像領域分類部は、身体活動検出部によって検出される検出対象のパターンを分類することができればよい。画像領域分類部は、例えば、身体を表す領域の並進運動に伴うフレーム間の動きベクトルの時間変化のパターンを分類してもよい。この分類によっても、人物によって異なり、個々の人物によって共通のパターンが特定される。
【００４８】
なお、上述した実施形態は、次の態様でも実施することができる。
（１）画像から身体の一部の色を表す領域を検出する色検出部と、前記領域毎に前記色の変化に基づいて身体活動を検出する身体活動検出部と、前記色の変化のタイミングに基づいて前記領域を分類する画像領域分類部と、を備える人数検出装置。
【００４９】
（２）前記身体活動検出部は、前記色の変化の周期が所定の身体活動の周期の範囲内であるか否かを判定する（１）の人数検出装置。
【００５０】
（３）前記色検出部は、前記画像を構成する領域内の信号値が、前記身体の一部の色を示す信号値の範囲内であるか否かを判定する（１）または（２）の人数検出装置。
【００５１】
（４）前記画像領域分類部は、前記領域における色のピーク時刻のパターンに基づいて前記領域を分類する（１）から（３）のいずれかの人数検出装置。
【００５２】
（５）前記分類の数を前記画像に現れる人物の数として計数する人数検出部をさらに備える（１）から（４）のいずれかの人数検出装置。
【００５３】
（６）１個または複数個の身体活動検出装置と、人数管理装置とを備える人数検出システムであって、前記身体活動検出装置のそれぞれは、画像から身体の一部の色を表す領域を検出する色検出部と、前記領域毎に前記色の変化に基づいて身体活動を検出する身体活動検出部と、を備え、前記人数管理装置は、前記身体活動検出装置のそれぞれが備える色検出部が検出した前記色の変化のタイミングに基づいて前記領域を分類する画像領域分類部を備える人数検出システム。
【００５４】
（７）画像から身体の一部の色を表す領域を検出する色検出ステップと、前記領域毎に前記色の変化に基づいて身体活動を検出する身体活動検出ステップと、前記色の変化のタイミングに基づいて前記領域を分類する画像領域分類ステップと、を有する人数検出方法。
【００５５】
（８）人数検出装置のコンピュータに、画像から身体の一部の色を表す領域を検出する色検出手順、前記領域毎に前記色の変化に基づいて身体活動を検出する身体活動検出手順、前記色の変化のタイミングに基づいて前記領域を分類する画像領域分類手順、を実行させるための人数検出プログラム。
【００５６】
なお、人数検出装置１００、心拍検出装置１０００、人数管理装置１１００の一部、例えば、皮膚色検出部１０２、色変化検出部１０３、心拍判断部１０４、同一心拍検出部１０５、人数検出部１０６は、コンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
また、上述した実施形態における人数検出装置１００、心拍検出装置１０００、人数管理装置１１００の一部または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。人数検出装置１００、心拍検出装置１０００、人数管理装置１１００の一部、の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【００５７】
１００…人数検出装置、１０１…カメラ部、１０２…皮膚色検出部、１０３…色変化検出部、１０４…心拍判断部、１０５…同一心拍検出部、１０６…人数検出部、２０１…ＣＰＵ、２０２…入力部、２０３…出力部、２０４…ＲＯＭ、２０５…ＲＡＭ、２０６…通信部、９００…人数検出システム、９０１〜９０３、１０００…心拍検出装置、９１０、１１００…人数管理装置
【図１】
2017033084.tif 000003
【図２】
2017033084.tif 000004
【図３】
2017033084.tif 000005
【図４】
2017033084.tif 000006
【図５】
2017033084.tif 000007
【図６】
2017033084.tif 000008
【図７】
2017033084.tif 000009
【図８】
2017033084.tif 000010
【図９】
2017033084.tif 000011
【図１０】
2017033084.tif 000012
【図１１】
2017033084.tif 000013