(57)【要約】【課題】人員の配置を効率的に把握することができる監視システム、監視方法及び監視プログラムを提供する。【解決手段】監視サーバ２０は、作業エリアＳ０を撮影する撮影装置１５に接続された制御部２１を備える。作業エリアＳ０には、役割別に着色された着色特定領域のクリーンキャップを着用した人員Ｗ０が配置されている。制御部２１は、撮影装置１５から、作業エリアＳ０を撮影した撮影画像を取得し、撮影画像に含まれる人体画像を抽出する。制御部２１は、人体画像において、着色特定領域としての頭部エリアのラベル色を特定する。制御部２１は、撮影画像において集計したラベル色別の人数を、表示部２８に表示する。【選択図】図１
2018093445.tif 000002
【特許請求の範囲】
【請求項１】
特定空間を撮影する撮影装置に接続された制御部を備え、前記特定空間を監視する監視システムであって、
前記制御部は、
前記撮影装置から、前記特定空間を撮影した撮影画像を取得し、
前記撮影画像に含まれる人体画像を抽出し、
前記人体画像における着色特定領域を特定し、前記着色特定領域の配色に応じて、人員の配置情報を出力することを特徴とする監視システム。
【請求項２】
前記着色特定領域は、役割に応じた配色によって着色されており、
前記制御部は、前記特定空間において想定される役割別の人数を記憶する作業情報記憶部に接続されており、
前記制御部は、
前記撮影画像において特定した配色に応じて前記人員の役割別の人数を算出し、
前記算出した役割別の人数と、前記作業情報記憶部に記憶された役割別の人数との比較結果を出力することを特徴とする請求項１に記載の監視システム。
【請求項３】
前記制御部は、基準となる基準色を記憶した基準色情報記憶部に接続されており、
前記制御部は、
前記撮影画像において基準色設定領域を特定し、前記基準色設定領域の検知色を取得し、
前記検知色と、前記基準色情報記憶部に記憶している基準色とを比較した結果を用いて、前記着色特定領域の色補正を行なうことを特徴とする請求項１又は２に記載の監視システム。
【請求項４】
前記制御部は、撮影装置に関連付けて色補正情報を記憶した撮影場所補正情報記憶部に接続されており、
前記制御部は、前記撮影画像を撮影した撮影装置を特定し、前記撮影場所補正情報記憶部において前記撮影装置に関連付けられた色補正情報を用いて、前記着色特定領域の色補正を行なうことを特徴とする請求項１〜３の何れか１項に記載の監視システム。
【請求項５】
前記着色特定領域として、前記人体画像における頭部位置を用いることを特徴とする請求項１〜４の何れか１項に記載の監視システム。
【請求項６】
特定空間を撮影する撮影装置に接続された制御部を備えた監視システムを用いて、前記特定空間を監視する監視方法であって、
前記制御部は、
前記撮影装置から、前記特定空間を撮影した撮影画像を取得し、
前記撮影画像に含まれる人体画像を抽出し、
前記人体画像における着色特定領域を特定し、前記着色特定領域の配色に応じて、人員の配置情報を出力することを特徴とする監視方法。
【請求項７】
特定空間を撮影する撮影装置に接続された制御部を備えた監視システムを用いて、前記特定空間を監視する監視プログラムであって、
前記制御部を、
前記撮影装置から、前記特定空間を撮影した撮影画像を取得し、
前記撮影画像に含まれる人体画像を抽出し、
前記人体画像における着色特定領域を特定し、前記着色特定領域の配色に応じて、人員の配置情報を出力する手段として機能させることを特徴とする監視プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定空間における人を監視するための監視システム、監視方法及び監視プログラムに関する。
【背景技術】
【０００２】
データセンタや食品工場等の特定空間においては、セキュリティを確保する必要がある。この場合、特定空間において人物を撮影し、顔認証技術を用いて、撮影した人物が作業員か否かを判定することがある。しかしながら、防塵服やマスク等を着用する場合には、人物の判定が難しい。
【０００３】
そこで、監視カメラと電界通信による認証情報とを用いて人物を照合する監視システムも検討されている（例えば、特許文献１参照。）。この文献に記載の監視システムは、認証コントローラと、画像認識サーバとを備える。認証コントローラは、電界通信により認証用端末から受信した認証用情報に基づいて認証処理を実行する。画像認識サーバは、カメラによって撮影された撮影領域の画像に含まれる人物を認識し、認証用端末の位置情報とカメラの撮影領域の座標情報に基づいて、認識した人物と認証コントローラにより認証された人物とを照合する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−８８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
文献に記載の技術においては、監視カメラ及び電界通信機器等の設備が必要になる。特に、電界通信により認証用端末の位置情報を的確に取得することは容易でない。
本発明は、上記課題に鑑みてなされ、その目的は、人員の配置を効率的に把握することができる監視システム、監視方法及び監視プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
・上記課題を解決する監視システムは、特定空間を撮影する撮影装置に接続された制御部を備え、前記特定空間を監視する監視システムであって、前記制御部は、前記撮影装置から、前記特定空間を撮影した撮影画像を取得し、前記撮影画像に含まれる人体画像を抽出し、前記人体画像における着色特定領域を特定し、前記着色特定領域の配色に応じて、人員の配置情報を出力する。これにより、特定空間に含まれる着色特定領域の配色に応じて人員の配置情報を出力するので、人員の配置を効率的に把握することができる。例えば、元々、撮影装置が配置されている場合、既存の設備を利用しながら、監視することができる。
【０００７】
・上記監視システムにおいて、前記着色特定領域は、役割に応じた配色によって着色されており、前記制御部は、前記特定空間において想定される役割別の人数を記憶する作業情報記憶部に接続されており、前記制御部は、前記撮影画像において特定した配色に応じて前記人員の役割別の人数を算出し、前記算出した役割別の人数と、前記作業情報記憶部に記憶された役割別の人数との比較結果を出力することが好ましい。これにより、本来の人員配置との違いを容易に把握することができる。
【０００８】
・上記監視システムにおいて、前記制御部は、基準となる基準色を記憶した基準色情報記憶部に接続されており、前記制御部は、前記撮影画像において基準色設定領域を特定し、前記基準色設定領域の検知色を取得し、前記検知色と、前記基準色情報記憶部に記憶している基準色とを比較した結果を用いて、前記着色特定領域の色補正を行なうことが好ましい。これにより、状況に応じて着色特定領域の配色が違って見える場合にも、色補正により、的確に配色を特定することができる。
【０００９】
・上記監視システムにおいて、前記制御部は、撮影装置に関連付けて色補正情報を記憶した撮影場所補正情報記憶部に接続されており、前記制御部は、前記撮影画像を撮影した撮影装置を特定し、前記撮影場所補正情報記憶部において前記撮影装置に関連付けられた色補正情報を用いて、前記着色特定領域の色補正を行なうことが好ましい。これにより、予め撮影装置に対応した色補正情報を用いて、的確に配色を特定することができる。
【００１０】
・上記監視システムにおいて、前記着色特定領域として、前記人体画像における頭部位置を用いることが好ましい。これにより、人体画像における特徴部分（端部）により、着色特定領域を的確に特定することができる。
【発明の効果】
【００１１】
本発明によれば、人員の配置を効率的に監視することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における監視システムの構成を説明する説明図。
【図２】本実施形態における監視システムの各記憶部に記憶された情報の構成を説明する説明図であって、（ａ）は作業情報記憶部、（ｂ）は色情報記憶部、（ｃ）は履歴情報記憶部。
【図３】本実施形態における人物の被服を説明する正面図。
【図４】本実施形態における管理処理の処理手順を説明する説明図であって、（ａ）は監視処理の流れ図、（ｂ）は監視処理の各処理を説明する説明図。
【発明を実施するための形態】
【００１３】
以下、図１〜図４を用いて、監視システム、監視方法及び監視プログラムを具体化した一実施形態を説明する。
図１に示すように、本実施形態では、食品工場の作業エリア（特定空間）Ｓ０に居る人員Ｗ０の監視を行なう。
【００１４】
ここで、図３に示すように、各人員Ｗ０は、クリーンスーツ、クリーンキャップ（帽子）及びマスクを着用している。クリーンキャップは、着色特定領域として機能し、人員Ｗ０の役割に応じた色で、頭頂領域や側面領域が着色されている。具体的には、人員Ｗ０が、リーダの役割の場合には、リーダを特定する色（例えば、青色）のクリーンキャップを着用する。更に、人員Ｗ０が、作業者の役割の場合には、作業者を特定する色（例えば、赤色）のクリーンキャップを着用する。
【００１５】
図１に示す監視システム１０は、撮影装置１５と、監視サーバ２０とを備えている。
撮影装置１５は、作業エリアＳ０を撮影して、撮影画像を監視サーバ２０に送信する。本実施形態の撮影装置１５は、特定空間に対して斜め上方向の位置や横方向の位置のように、人員Ｗ０を監視できる位置に配置されている。
更に、撮影装置１５は、生成した撮影画像を監視サーバ２０に送信する。撮影装置１５は、送信元を特定するための撮影装置識別子を記憶している。
【００１６】
監視サーバ２０は、制御部２１、作業情報記憶部２２、色情報記憶部２３及び履歴情報記憶部２５を備えている。更に、この監視サーバ２０は、入力部２７及び表示部２８を備えている。
入力部２７は、キーボードやポインティングデバイスを備え、作業情報記憶部２２や色情報記憶部２３に記憶する情報（データ）を入力する。
表示部２８は、ディスプレイを備え、監視処理の結果を表示する。
【００１７】
制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（監視段階、人体特定段階、色特定段階等の各処理）を行なう。そのために、記憶部に格納された監視プログラムを実行することにより、制御部２１は、監視部２１１及び人体特定部２１２及び色特定部２１３として機能する。
【００１８】
監視部２１１は、撮影画像を用いて、作業エリアにおける役割別の人数を特定し、作業員の状況を監視する処理を実行する。監視部２１１は、撮影装置１５の撮影装置識別子に対応して作業エリアＳ０を特定するための撮影装置管理テーブルを記憶している。
【００１９】
人体特定部２１２は、画像において人体を特定する処理を実行する。本実施形態では、人体特定部２１２は、パターン認識により、人体認識領域を含む矩形の人体画像を特定する。そして、人体特定部２１２は、人体画像のレイアウト（座標）において、着色特定領域のクリーンキャップを含む頭部エリアを特定する着色領域特定プログラムを記憶している。本実施形態では、人体認識領域を含む矩形において、予め定められた割合で特定される領域を頭部エリアとして特定する。
色特定部２１３は、頭部エリアの色を特定する処理を実行する。
【００２０】
図２（ａ）に示すように、作業情報記憶部２２には、特定空間で行なわれる作業工程に関する作業管理情報２２０が記憶されている。作業管理情報２２０は、監視処理を行なう前に予め記憶される。作業管理情報２２０には、作業識別子、作業エリア、作業時間帯及び役割別人数が含まれる。
【００２１】
作業識別子データ領域には、この作業工程を特定するための識別子に関するデータが記憶される。
作業エリアデータ領域には、この作業工程が実行されるエリア（場所）を特定するための情報（例えば識別子等）が記録されている。
【００２２】
作業時間帯データ領域には、この作業エリアで作業工程が行なわれる時間帯（開始日時と終了日時）に関するデータが記憶される。
役割別人数データ領域には、この作業エリアで想定される作業工程に必要な役割毎の人数に関するデータが記憶される。役割別人数データ領域には、役割識別子に関連付けられた人数が記憶される。役割識別子は、各役割を特定するための識別子である。
【００２３】
図２（ｂ）に示すように、色情報記憶部２３には、人物に割り振られた役割を特定するための色に関する色情報２３０が記憶される。この色情報２３０は、監視処理を行なう前に予め記憶されている。この色情報２３０には、役割識別子に関連付けられたラベル色情報が含まれている。
【００２４】
役割識別子データ領域には、役割を特定するための識別子に関するデータが記録される。
ラベル色情報データ領域には、この役割識別子の役割の人員に割り当てられた配色（ラベル色）に関するデータが記録される。本実施形態では、このラベル色情報に関するデータとして、配色名と、この配色のＲＧＢ値とが記憶されている。
【００２５】
図２（ｃ）に示すように、履歴情報記憶部２５には、撮影装置１５が撮影した画像を用いて監視した結果に関する履歴情報２５０が記憶されている。この履歴情報２５０は、監視処理が実行された場合に記録される。履歴情報２５０には、撮影日時、作業エリア、画像、役割別検出人数及び警告の有無に関するデータが含まれる。
【００２６】
撮影日時データ領域には、監視に用いた画像が撮影された年月日及び時刻に関するデータが記録される。
作業エリアデータ領域には、画像が撮影された作業エリア（場所）を特定するための情報（例えば識別子等）が記録されている。
【００２７】
画像データ領域には、監視に用いた画像データが記録される。
役割別検出人数データ領域には、この画像から検出した役割別の人数に関するデータが記録される。
警告の有無データ領域には、この画像を用いて監視した結果、警告を行なったか否かに関するフラグデータが記録される。
【００２８】
＜監視処理＞
次に、図４を用いて、上述した監視システム１０を用いて実行する監視処理について説明する。この監視処理は、定期的に繰り返して実行される。
【００２９】
まず、図４（ａ）に示すように、監視サーバ２０の制御部２１は、画像の読込処理を実行する（ステップＳ１−１）。具体的には、制御部２１の監視部２１１は、定期的に、撮影装置１５から、作業エリアＳ０を撮影した画像を、撮影装置１５の撮影装置識別子とともに取得する。監視部２１１は、撮影装置管理テーブルを用いて、撮影装置識別子に応じた作業エリアを特定し、作業エリア、取得した日時（撮影日時）及び画像を含む履歴情報２５０を生成して、履歴情報記憶部２５に記録する。
【００３０】
次に、監視サーバ２０の制御部２１は、人体検出処理を実行する（ステップＳ１−２）。具体的には、制御部２１の人体特定部２１２は、撮影装置１５から取得した画像に含まれる輪郭形状を特定する。そして、人体特定部２１２は、人体形状のパターン認識（モデルフィッティング技術等）により、人体認識領域を含む矩形画像（図３に示す人体画像Ｒ０）を検出する。
【００３１】
例えば、図４（ｂ）における作業エリアＳ０においては、３つの人体画像を検出する。
そして、監視サーバ２０の制御部２１は、以下の処理を、検出した人体画像毎に繰り返す。
【００３２】
まず、監視サーバ２０の制御部２１は、頭部特定処理を実行する（ステップＳ１−３）。具体的には、制御部２１の人体特定部２１２は、着色領域特定プログラムを用いて、特定した人体画像Ｒ０において、図３に示す頭部エリアＨ０を特定する。
【００３３】
次に、監視サーバ２０の制御部２１は、色情報抽出処理を実行する（ステップＳ１−４）。具体的には、制御部２１の色特定部２１３は、特定した頭部エリアＨ０の画像のヒストグラムを解析し、１６色の代表色を抽出する。
【００３４】
そして、監視サーバ２０の制御部２１は、色判定処理を実行する（ステップＳ１−５）。具体的には、制御部２１の色特定部２１３は、各代表色が頭部エリアＨ０内で占める面積比と、代表色間の類似度とを用いて、頭部エリア内の支配色（ＲＧＢ値において統計上、代表される色）を特定し、この支配色に最も近いラベル色を推定する。この場合、色特定部２１３は、面積比と類似度とから、クリーンスーツの配色（例えば白色や水色）、一般的な髪色（例えば、黒色や茶色）等のノイズ色を除去し、残りの配色により、ラベル色（赤色や青色）を特定する。
以上の処理を、人体画像毎に繰り返して実行する。
【００３５】
次に、監視サーバ２０の制御部２１は、結果表示処理を実行する（ステップＳ１−６）。具体的には、制御部２１の監視部２１１は、人体画像毎に特定したラベル色を、ラベル色別に集計する。そして、監視部２１１は、ラベル色別の人数を、履歴情報２５０に記録し、表示部２８に表示する。
【００３６】
更に、監視部２１１は、読み込んだ画像を撮影した撮影装置１５に対応する作業エリアＳ０を特定し、画像の撮影日時に対応する作業時間帯を特定する。監視部２１１は、特定した作業エリアＳ０と作業時間帯とを含む作業管理情報２２０を作業情報記憶部２２において特定する。監視部２１１は、特定した作業管理情報２２０の役割別人数と、集計したラベル色別の人数とを比較する。
【００３７】
ここで、役割別人数と集計されたラベル色別の人数とが一致していない場合には、制御部２１の監視部２１１は、表示部２８において、ラベル色別の人数に加えて、警告を出力し、警告「有」フラグを履歴情報２５０に記録する。また、役割別人数と集計されたラベル色別の人数とが一致している場合には、監視部２１１は、警告「無」フラグを履歴情報２５０に記録する。
【００３８】
本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、監視サーバ２０の制御部２１は、撮影装置１５から取得した撮影画像に含まれる人体画像Ｒ０を抽出して人体検出処理を実行する（ステップＳ１−２）。制御部２１は、検出した各人体画像Ｒ０において着色特定領域のラベル色を判定する（ステップＳ１−５）。これにより、作業エリアＳ０に居る人物についての人体画像Ｒ０に含まれる頭部エリアＨ０の配色に応じて人員の配置情報を出力するので、人員の配置を効率的に把握することができる。例えば、元々、作業エリアに撮影装置１５が配置されている場合、既存の設備を利用しながら、監視することができる。
【００３９】
（２）本実施形態では、監視サーバ２０の制御部２１は、結果表示処理（ステップＳ１−６）において、作業情報記憶部２２において記憶している役割別人数と、集計されたラベル色別の人数とが一致していない場合には、警告を出力する。これにより、本来の人員配置との違いを容易に把握することができる。
【００４０】
（３）本実施形態では、着色特定領域として、人体画像Ｒ０における頭部エリアＨ０を用いる。これにより、人体画像Ｒ０における特徴部分（端部）により、着色特定領域を的確に特定することができる。
【００４１】
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、監視サーバ２０の制御部２１は、色判定処理（ステップＳ１−５）において、頭部エリア内の支配色に最も近いラベル色を推定する。この色判定処理の前に、画像の色補正を行なってもよい。具体的には、作業エリアＳ０において、壁等に基準色設定領域を配置し、基準色設定領域を含ませた撮影画像を撮影装置１５が撮影してもよい。この場合、監視サーバ２０の制御部２１は、基準となる基準色を記憶した基準色情報記憶部に接続する。そして、制御部２１は、撮影装置１５から取得した画像において撮影された基準色設定領域の色（検知色）を特定する。制御部２１は、検知色と基準色情報記憶部に記憶している基準色とを比較して、記憶している基準色情報が、取得した基準色領域の色となるように、ラベル色として用いられる配色を補正した色補正チャートを生成する。
【００４２】
そして、制御部２１は、生成した色補正チャートの色のうち、頭部エリアＨ０における各代表色が最も近い色を、色補正チャートにおいて特定し、ラベル色を推定する。これにより、状況に応じて着色特定領域の配色が違って見える場合にも、色補正により、的確に配色を特定することができる。
【００４３】
また、色補正を、撮像場所毎や撮影装置毎に行なってもよい。例えば、撮影装置毎に色補正を行なう場合には、監視サーバ２０は、各撮影装置１５の撮影装置識別子に関連付けて色補正情報を記憶した撮影場所補正情報記憶部を備える。この撮影場所補正情報記憶部は、予め、撮影装置１５から取得した基準色に基づいて、この撮影装置１５における色特性に応じて補正した色補正情報が記憶されている。制御部２１は、この撮影場所補正情報記憶部に接続される。制御部２１は、撮影装置から撮影画像を取得した場合、撮影場所補正情報記憶部に記憶された色補正情報を用いて、ラベル色を推定する。これにより、予め撮影装置１５に対応した色補正情報を用いて、的確に配色を特定することができる。なお、この色補正情報とともに、色補正チャートを用いてもよい。
【００４４】
・上記実施形態において、１つの作業エリアに対して１つの撮影装置１５を設けた。撮影装置１５が撮影する作業エリア（特定空間）は、１つに限られず、複数の作業エリアを撮影してもよい。この場合、制御部２１は、撮影装置１５の撮影装置識別子及び撮影方向に対応付けて作業エリアを特定する撮影装置管理テーブルを記憶する。そして、制御部２１は、撮影装置１５から、画像の撮影時の撮影方向を取得し、撮影方向に対応付けて作業エリアを特定するデータを用いて作業エリアを特定する。これにより、撮影装置１５が複数の作業エリアを撮影できる場合には、効率よく人員配置を把握することができる。
【００４５】
・上記実施形態において、監視サーバ２０の制御部２１は、結果表示処理（ステップＳ１−６）において、集計したラベル色別の人数を、表示部２８に表示し、作業情報記憶部２２において記憶している役割別人数と集計されたラベル色別の人数とが一致していない場合には、警告を出力した。結果表示は、これに限らず、画像から特定した人員の配置情報であればよく、例えば、警告を出力したエリアがある場合にのみ、表示部２８に表示したり、管理者にメールを通知したりしてもよい。
【００４６】
・上記実施形態において、監視サーバ２０の制御部２１は、頭部特定処理（ステップＳ１−３）において、人体認識領域を含む矩形の人体画像Ｒ０における頭部エリアＨ０を特定し、この頭部エリアＨ０の色判定処理（ステップＳ１−５）を実行した。着色特定領域の特定方法は、人体画像Ｒ０における座標を用いて特定できれば、上述した方法に限定されない。
【００４７】
・上記実施形態においては、着色特定領域として頭部位置の頭部エリアＨ０を用いた。着色特定領域は、頭部位置に限定されず、他の人体の一部（例えば、肩、胸、背中等）を着色特定領域として用いてもよい。
【符号の説明】
【００４８】
Ｈ０…頭部エリア、Ｒ０…人体画像、Ｓ０…作業エリア、Ｗ０…人員、１０…監視システム、１５…撮影装置、２０…監視サーバ、２１…制御部、２２…作業情報記憶部、２３…色情報記憶部、２５…履歴情報記憶部、２７…入力部、２８…表示部、２１１…監視部、２１２…人体特定部、２１３…色特定部、２２０…作業管理情報、２３０…色情報、２５０…履歴情報。
【図１】
2018093445.tif 000003
【図２】
2018093445.tif 000004
【図３】
2018093445.tif 000005
【図４】
2018093445.tif 000006