(57)【要約】      （修正有）【課題】広範囲が撮像された画像から精度良く人を検出することができる画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラムを提供する。【解決手段】画像センサは撮像部１２と、辞書情報記憶部１３と、人物情報取得部１４とを持つ。撮像部１２は、人を検出する対象の空間を広角撮像する。辞書情報記憶部１３は、人の特徴を示す複数の辞書情報を記憶する。人物情報取得部１４は、撮像部１２によって撮像された画像と複数の辞書情報とに基づいて画像から人を検出する。【選択図】図３
2016171526.tif 000002
【特許請求の範囲】
【請求項１】
人を検出する対象の空間を撮像する撮像部と、
人の特徴を示す複数の辞書情報を記憶する記憶部と、
前記撮像部によって撮像された画像と前記複数の辞書情報とに基づいて前記画像から人を検出する検出部と、
を備える画像センサ。
【請求項２】
前記記憶部は、前記画像が分割された複数の領域ごとに、前記分割された領域に応じた人の特徴を示す複数の辞書情報を記憶し、
前記検出部は、前記撮像部によって撮像された画像と前記複数の辞書情報とに基づいて、前記分割された複数の領域ごとに人を検出する、
請求項１に記載の画像センサ。
【請求項３】
前記記憶部は、人の状態を示す複数の辞書情報を記憶し、
前記複数の辞書情報に基づいて、前記検出部によって検出された人の状態を示す人物情報を取得する人物情報取得部をさらに備える、
請求項１又は２に記載の画像センサ。
【請求項４】
前記記憶部は、人の全身又は体の部位の特徴を示す複数の辞書情報を記憶し、
前記人物情報取得部は、前記複数の辞書情報に基づいて、人の全身又は一部が撮像された画像から前記人物情報を取得する、
請求項２又は３に記載の画像センサ。
【請求項５】
前記人物情報取得部は、前記複数の辞書情報に基づいて複数の人物情報を並列して取得し、前記複数の辞書情報の優先順位又は重みに応じて、前記複数の人物情報から採用すべき人物情報を決定する、
請求項１から４のいずれか一項に記載の画像センサ。
【請求項６】
前記人物情報取得部は、取得された前記人物情報と、前記複数の辞書情報とに基づいて、新たな人物情報を取得する、
請求項１から５のいずれか一項に記載の画像センサ。
【請求項７】
前記撮像部は、広範囲を撮像可能なレンズを用いて前記空間を撮像し、
前記記憶部は、前記レンズによる歪みに応じて前記画像が分割された複数の領域ごとに、前記分割された領域に応じた人の特徴を示す複数の辞書情報を記憶し、
前記人物情報取得部は、前記複数の辞書に基づいて、歪みを伴って撮像された画像から前記人物情報を取得する、
請求項２から６のいずれか一項に記載の画像センサ。
【請求項８】
人を検出する対象の空間を撮像する撮像部と、人の特徴を示す複数の辞書情報を記憶する記憶部と、を備える画像センサが行う人検出方法であって、
前記撮像部によって撮像された画像と前記複数の辞書情報とに基づいて前記画像から人を検出する検出ステップを有する、
人検出方法。
【請求項９】
人を検出する対象の空間を撮像する撮像部と、人の特徴を示す複数の辞書情報を記憶する記憶部と、を備える画像センサが行う人検出方法における、
前記撮像部によって撮像された画像と前記複数の辞書情報とに基づいて前記画像から人を検出する検出ステップを、
コンピュータに実行させるためのコンピュータプログラム。
【請求項１０】
請求項１から７のいずれか一項に記載の画像センサと、
前記画像センサが撮像する空間の状態を示す空間情報を取得する空間情報取得部と、
前記画像センサによって取得される前記空間に存在する人の状態を示す人物情報と、前記空間情報取得部が取得する空間情報とに基づいて、前記空間に関する機器を制御するための制御情報を取得する制御部と、
を備える制御システム。
【請求項１１】
前記制御部は、複数の前記画像センサから取得される人物情報に基づいて、前記制御情報を取得する、
請求項１０に記載の制御システム。
【請求項１２】
検出対象となる人が保持する端末装置と通信し、前記端末装置の位置を示す位置情報を前記端末装置から取得する位置情報取得部をさらに備え、
前記空間情報取得部は、前記空間に関する機器の状態を示す情報を空間情報として取得し、
前記画像センサは、撮像した画像において前記位置情報が示す位置に存在する人の人物情報を取得する、
請求項１１に記載の制御システム。
【請求項１３】
前記画像センサから画像を取得し、取得した画像に基づいて、前記画像センサが人物情報の取得に用いる辞書情報を生成する辞書情報生成部と、
前記画像センサが前記辞書情報生成部によって生成された辞書情報を複数用いて人物情報を取得する際における、前記辞書情報の組み合わせ、優先順位又は重みの推奨値を決定する調整部と、
をさらに備える制御システム。
【請求項１４】
請求項１から７のいずれか一項に記載の画像センサを備える制御システムが行う制御方法であって、
前記画像センサが撮像する空間の状態を示す空間情報を取得する空間情報取得ステップと、
前記画像センサによって取得される前記空間に存在する人の状態を示す人物情報と、前記空間情報取得ステップにおいて取得される空間情報とに基づいて、前記空間に関する機器を制御するための制御情報を取得する制御ステップと、
を有する制御方法。
【請求項１５】
請求項１から７のいずれか一項に記載の画像センサを備える制御システムが行う制御方法における、
前記画像センサが撮像する空間の状態を示す空間情報を取得する空間情報取得ステップと、
前記画像センサによって取得される前記空間に存在する人の状態を示す人物情報と、前記空間情報取得ステップにおいて取得される空間情報とに基づいて、前記空間に関する機器を制御するための制御情報を取得する制御ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
画像から動体を検出する一般的な手法の一つとして、画像の輝度変化に基づいて動体を検出するフレーム間差分法がある。フレーム間差分法は、連続して取得される画像間の差分を取得し、変化があった領域の被写体を動体として検出する手法である。このような動体検出の結果に基づいて、人を検出する技術が提案されている。
しかしながら、オフィスなどにカメラを設置した場合、人の動きだけでなく、外光や照明による空間の明るさの変化によって画像の輝度変化が生じる場合がある。そのため、実際には人が存在しないにも関わらず、人を誤検出する可能性がある。この問題を解決するため、人の代表的な行動や挙動を学習し、動体が人であるか否かを識別する技術が提案されている。
【０００３】
しかしながら、このような従来技術は、人が十分な大きさで撮像されることを前提としている。このような前提では、検出対象の空間の広さによっては多くのカメラが必要となる。これに対して、広範囲の撮像が可能な魚眼レンズや超広角レンズを持つカメラがあるが、広範囲が撮像された画像は、レンズの歪みや被写体との距離に応じて被写体の写り方が大きく異なる。そのため、広範囲が撮像された画像から精度良く人を検出することが困難であった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４３２１８１号公報
【特許文献２】特許第４８５２１５９号公報
【特許文献３】特許第５３４９６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、広範囲が撮像された画像から精度良く人を検出することができる画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の画像センサは、撮像部と、記憶部と、検出部と、を持つ。撮像部は、人を検出する対象の空間を撮像する。記憶部は、人の特徴を示す複数の辞書情報を記憶する。検出部は、前記撮像部によって撮像された画像と前記複数の辞書情報とに基づいて前記画像から人を検出する。
【図面の簡単な説明】
【０００７】
【図１】実施形態の画像センサ１の利用例を示す図。
【図２】実施形態の画像センサ１を用いた機器制御システムの構成を示すシステム構成図。
【図３】実施形態の画像センサ１の機能構成を示す機能ブロック図。
【図４】画像センサ１が人物情報を取得する処理の流れを示すフローチャート。
【図５】画像センサ１が取得する画像の具体例を示す図。
【図６】画像センサ１が取得する画像の具体例を示す図。
【図７】レンズの歪みに応じて分割された画像の具体例を示す図。
【図８】機器制御装置５の機能構成を示す機能ブロック図。
【図９】制御情報生成部５６が制御情報を生成する方法の具体例を示す図。
【図１０】調整用端末７の機能構成を示す機能ブロック図。
【発明を実施するための形態】
【０００８】
以下、実施形態の画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラムを、図面を参照して説明する。
【０００９】
（実施形態）
図１は、実施形態の画像センサ１の利用例を示す図である。
図１は、画像センサ１が、オフィスフロアの機器の制御に用いられた例を示す。図１の例の場合、照明機器２０及び空調機器３０が制御対象の機器である。画像センサ１は、オフィスフロアの天井１０に設置され、オフィスフロアを撮像する。画像センサ１は、撮像した画像から環境情報や人物情報を取得する。環境情報は、撮像対象の空間（以下、「対象空間」という。）の環境に関する情報である。例えば、環境情報は、オフィスの照度や温度などを示す情報である。人物情報は、対象空間における人に関する情報である。例えば、人物情報は、人の在又は不在や人数、人の行動、人の活動量などを示す情報である。人物情報を取得するため、画像センサ１は、取得した画像を解析して人を検出する。画像センサ１は、取得した環境情報や人物情報を、照明機器２０及び空調機器３０を制御する制御装置に送信する。制御装置は、画像センサ１によって取得された環境情報や人物情報に基づいて、照明機器２０及び空調機器３０を制御するための制御情報を生成する。制御装置は、生成した制御情報を照明機器２０及び空調機器３０に送信する。照明機器２０及び空調機器３０が、制御装置から送信された制御情報に基づいて自装置を動作させる。このような制御によって、環境情報や人物情報に基づく機器の制御が実現される。
【００１０】
例えば、人物情報として人の在又は不在を示す情報が取得される場合、制御装置は、人が居るエリアでは空調及び照明をＯＮにし、人が居ないエリアでは空調及び照明をＯＦＦにする、又は出力を下げるように空調及び照明を制御することができる。また、人が存在する場合には、タスク照明をＯＮにするような制御も考えられる。また、デスクや通路など、人が検出された場所に応じてアンビエント照明の調光率を変化させるような制御も考えられる。
【００１１】
また、例えば、人物情報として人の活動量を示す情報が取得される場合、制御装置は、活動量が小さい場合にはデスクワークをしている人が多いと判断して空調の出力を弱め、活動量が大きい場合には人が活発に活動していると判断して空調の出力を強めるように空調を制御することができる。また、例えば、人物情報として人の分布を示す情報が取得される場合、人の分布に応じてフロア内の照明の調光率を変化させるように照明を制御することができる。
【００１２】
近年、上述したような画像センサを始め、様々なセンサのセンシング結果を利用して、機器の省エネルギー化を図る取り組みが行われている。中でも、画像センサは、人感センサや明かりセンサと比較して多種多様な情報を取得できる。さらに、魚眼レンズや超広角レンズなどを備える場合、画像センサは１台で広範囲の情報を取得することができる。このように、広範囲が撮像された画像から人に関する情報を精度良く取得することができれば、省エネルギーと快適性とを両立するきめ細やかな制御が可能となる。実施形態の画像センサ１は、人の代表的な行動や挙動を学習することで、人に関する情報の取得をより精度良く行う。
【００１３】
図２は、実施形態の画像センサ１を用いた機器制御システムの構成を示すシステム構成図である。
図２の機器制御システムは、複数の画像センサ１−１〜１−３を備える。画像センサ１−１〜１−３は、画像から取得した人物情報や環境情報（以下、「検知情報」という。）をネットワークハブ２を介して、ゲートウェイサーバ３に送信する。ゲートウェイサーバ３は、各画像センサ１から送信された人物情報や環境情報を、ＢＥＭＳ（Building Energy Management System）４や機器制御装置５、可視化装置６、調整用端末７などに送信する。
【００１４】
ＢＥＭＳ４は、センサなどから建物の使用エネルギーや室内環境を示す情報を取得し、これを省エネルギーに役立てるための分析や診断を行う。
【００１５】
機器制御装置５は、検知情報に基づいて、制御対象の機器を最適に制御するための制御情報を生成する。機器制御装置５は、生成した制御情報を送信することで、制御対象の機器を制御する。機器制御装置５の制御対象となる機器は、例えば、空調機器や、照明機器、エレベータなどの機器である。
【００１６】
可視化装置６は、機器制御システムの情報を可視化する装置である。例えば、可視化装置６は、ＢＥＭＳ４による分析や診断の結果を取得して、建物の使用エネルギーや室内環境などを可視化する。
【００１７】
調整用端末７は、画像センサ１と通信し、画像センサ１の各種設定や調整を行うための調整プログラムがインストールされた端末である。例えば、調整用端末７は、ＰＣ（Personal Computer）やスマートフォン、タブレットなどの情報端末である。なお、調整プログラムは、画像センサ１と通信可能であれば、調整用端末７以外の他の装置にインストールされてもよい。
【００１８】
ネットワークハブ２及び調整用端末７は機器ネットワーク４０に接続され、ＢＥＭＳ４、機器制御装置５及び可視化装置６は制御ネットワーク５０に接続される。例えば、制御ネットワーク５０はＥｔｈｅｒｎｅｔ（登録商標）などのネットワークであり、制御ネットワーク５０は、ＢＡＣｎｅｔＩＰネットワークである。機器ネットワーク４０に接続された装置と、制御ネットワーク５０に接続された装置との通信は、ゲートウェイサーバ３のプロトコル変換により中継される。
【００１９】
なお、機器ネットワーク４０及び制御ネットワーク５０は、各ネットワーク間の通信が可能であれば、上記と異なるネットワークであってもよい。例えば、機器ネットワーク４０及び制御ネットワーク５０は、特定用途に規格化された産業用Ｅｔｈｅｒｎｅｔ（登録商標）などのネットワークであってもよいし、独自プロトコルのネットワークであってもよい。また、機器ネットワーク４０及び制御ネットワーク５０は、同一のネットワークであってもよい。
【００２０】
図３は、実施形態の画像センサ１の機能構成を示す機能ブロック図である。
画像センサ１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像センサプログラムを実行する。画像センサ１は、画像センサプログラムの実行によって通信部１１、撮像部１２、辞書情報記憶部１３及び人物情報取得部１４を備える装置として機能する。なお、画像センサ１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像センサプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像センサプログラムは、電気通信回線を介して送信されてもよい。
【００２１】
通信部１１は、自装置をネットワークハブ２に接続するための通信インターフェースを用いて構成される。通信部１１は、ネットワークハブ２を介して、機器ネットワーク４０及び制御ネットワーク５０に接続された各種装置と通信する。
【００２２】
撮像部１２は、カメラ等の撮像装置を用いて構成される。撮像部１２は、制御対象の機器についての検知情報が取得可能な位置及び向きに設置される。撮像部１２は、設置位置と向きに応じた空間を撮像し、画像データを取得する。撮像部１２は、取得した画像データを人物情報取得部１４に出力する。
【００２３】
辞書情報記憶部１３は、人物情報の取得に用いられる複数の辞書情報を記憶する。辞書情報とは、画像から抽出された特徴量と、画像の各種特徴との対応を示す情報である。辞書情報は、予め撮像された画像（以下、「事前画像」という。）に基づいて生成され、予め辞書情報記憶部１３に記憶される。以下、この辞書情報の生成及び記憶を学習と呼ぶ。
【００２４】
人物情報取得部１４（検出部及び人物情報取得部）は、撮像部１２から画像データを取得する。人物情報取得部１４は、各種の辞書情報に基づいて、取得した画像データから人物情報を取得する。人物情報取得部１４は、例えば、“歩く”、“話す”、“ＰＣ作業”などの人の動作や、“顔の向き”、“立位”、“座位”などの人の姿勢などを示す情報を人物情報として取得する。人物情報取得部１４は、取得した人物情報を、ＢＥＭＳ４や機器制御装置５、可視化装置６に送信する。
【００２５】
図４は、画像センサ１が人物情報を取得する処理の流れを示すフローチャートである。
まず、撮像部１２が、人を検出する対象の空間を撮像し、画像データを取得する（ステップＳ１０１）。撮像部１２は、取得した画像データを人物情報取得部１４に出力する。
【００２６】
人物情報取得部１４は、撮像部１２から画像データを取得する。人物情報取得部１４は、取得した画像データに基づいて、画像から動体を検出する。例えば、人物情報取得部１４は、フレーム間差分法により画像から動体を検出する。人物情報取得部１４は、検出した動体の領域の画像の特徴量を抽出する（ステップＳ１０２）。ここで抽出する特徴量には、特許文献２に記載された累積差分などの輝度変化に関する特徴量や、特許文献３に記載されたＣｏＨＯＧ（Co-occurrence Histograms of Oriented Gradients）などの輝度分布に関する特徴量が用いられてもよい。
【００２７】
また、人物情報取得部１４は、辞書情報記憶部１３から辞書情報を取得する。人物情報取得部１４は、動体領域の特徴量と辞書情報とに基づいて、動体が人であるか否を判定するとともに、検出した人の動作や姿勢などを識別する（ステップＳ１０３）。人の動作や姿勢などを識別する手法には、ニューラルネットワークやSVM（Support Vector Machine）、k近傍識別器、ベイズ分類などの手法が用いられてもよい。人物情報取得部１４は、判定結果を人物情報としてＢＥＭＳ４や機器制御装置５、可視化装置６に送信する（ステップＳ１０４）。
【００２８】
なお、上記の識別に用いられる辞書情報は、識別対象となる事象が撮像された複数の画像に基づいて予め生成される。辞書情報の生成に用いられる画像は、画像センサ１によって取得された画像であってもよいし、他の撮像装置によって撮像された画像であってもよい。また、辞書情報の生成に用いられる画像は、画像センサ１の設置位置において撮像された画像であってもよいし、他の場所で撮像された画像であってもよい。
【００２９】
また、画像センサ１の検出性能は、辞書情報の質によって左右される。そして、辞書情報の質を高めるためには、大量の事前画像が必要となる。しかしながら、大量の事前画像を取得する作業は、非常に多くの労力を要する作業である。そのため、撮像によって新たな事前画像を取得するのではなく、既に取得された事前画像を加工して新たな事前画像を疑似的に生成してもよい。辞書情報は、このように疑似的に生成された画像に基づいて生成された情報であってもよい。辞書情報をこのような方法で生成することによって、少ない労力で辞書情報の質を高めることができる。事前画像の加工は、例えば、画像の回転、解像度の変更、抽出、抽出位置の変更などの操作である。
【００３０】
また、人物情報取得部１４は、識別対象となる動作や姿勢に応じて、複数の辞書情報を用いてもよい。また、人物情報取得部１４は、識別対象となる動作や姿勢に応じて、識別に用いる辞書情報の種類や組み合わせを変更してもよい。また、複数の辞書情報に基づくそれぞれの識別処理は、並列に処理されてもよいし、直列に処理されてもよい。また、特徴量の抽出や識別処理は、各画素を単位として行われてもよいし、画像から抽出される領域を単位として行われてもよい。この場合、特徴量の抽出や識別処理は、外接矩形など、抽出された領域を包含する領域を単位として行われてもよい。また、複数の辞書情報に応じて、異なる処理単位が用いられてもよい。
【００３１】
図５及び図６は、画像センサ１が取得する画像の具体例を示す図である。
画像内の被写体は、レンズの特性によって歪んで撮像される。画像の歪みは、広範囲を撮像可能なレンズを用いて撮像された画像においてより顕著に表れる。例えば、図５は、魚眼レンズを用いて撮像された画像の例である。図５の画像は、部屋の天井に設置されたカメラが床を見下ろすようにして室内を撮像した画像である。魚眼レンズを用いて撮像した場合、撮像領域の画像は図５のような円形となる。図５の画像から、画像の中心付近は歪みが小さく、画像の中心から離れるにつれ画像の歪みが大きくなっていることが分かる。
【００３２】
また、被写体は、カメラからの距離に応じて異なる大きさで撮像される。カメラに近い被写体ほどより大きく撮像され、カメラから遠い被写体ほどより小さく撮像される。また、図６の例のように、同じ被写体であっても撮像時の位置に応じて画像への映り方が大きく異なる。例えば、図６の画像１００−１は人を正面から撮像した画像である。画像１００−２は人を真上から撮像した画像である。画像１００−３は、人の側面を斜め上方から撮像した画像である。画像１００−４は、人の正面を斜め前方から撮像した画像である。画像１００−５は、人の背面を斜め後方から撮像した画像である。
【００３３】
辞書情報記憶部１３は、このような画像の歪みや大きさ、写り方などの違いを識別するために、複数の辞書情報を記憶する。事前画像から取得される特徴量が、これらの違いに対応する各種特徴と対応づけられることにより、人物情報取得部１４は、検出した人についてのこれらの違いを、複数の辞書情報に基づいて識別することができる。
【００３４】
以下、複数の辞書情報に基づいて人物情報を取得する具体例を説明する。
【００３５】
［第１の具体例］
第１の具体例は、レンズの歪みに応じた形状に画像を分割し、分割した領域ごとの辞書情報に基づいて人物情報を取得する方法である。例えば、図５に示した画像の場合、次の図７のように画像を分割する。
【００３６】
図７は、レンズの歪みに応じて分割された画像の具体例を示す図である。
魚眼レンズを用いて撮像された画像の場合、撮像領域の中心からの距離に応じた領域に分割する。図７の例の場合、画像は、分割領域２０１、２０２、２０３に分割され、辞書情報記憶部１３には、それぞれの分割領域ごとの辞書情報が記憶される。ここでは、分割領域２０１、２０２、２０３に対応する辞書情報を、辞書情報１、辞書情報２、辞書情報３と記載する。
【００３７】
辞書情報１は、分割領域２０１と同様に撮像された人の事前画像に基づいて生成される。このように生成される辞書情報１を用いることによって、人物情報取得部１４は、図６の例のように、人の頭部が大きく映り全身はほとんど映らないような画像から人物情報を取得することができる。
【００３８】
辞書情報２は、分割領域２０２と同様に撮像された人の事前画像に基づいて生成される。このように生成される辞書情報２を用いることによって、人物情報取得部１４は、図６の例のように、人の全身が斜め上方から撮像された画像から人物情報を取得することができる。
【００３９】
辞書情報３は、分割領域２０３と同様に撮像された人の事前画像に基づいて生成される。このように生成される辞書情報３を用いることによって、人物情報取得部１４は、図６の例のように、カメラから遠い人のほぼ正面が撮像された画像から人物情報を取得することができる。
【００４０】
なお、上述したように、レンズの歪みによって、カメラから遠い人ほど小さく撮像されてしまうため、分割領域は、レンズの特性に応じて任意に設定されてよい。また、各分割領域の境界付近に人が検出された場合は、人物情報取得部１４は、隣接する２つの分割領域に対応する辞書情報を用いて人物情報を取得してもよい。この場合、所定の優先順位に基づいて、いずれか一方の辞書情報に基づいて取得された人物情報を採用してもよいし、所定の重みに基づいて、両方の辞書情報に基づいて取得された人物情報を組み合わせて採用してもよい。上記の優先順位や重みは、例えば、人物が検出された領域の面積比に応じて決定されてもよい。この場合、画像の歪みを考慮して人物が検出された領域の面積を補正し、補正後の面積比を用いるようにしてもよい。
【００４１】
［第２の具体例］
画像から人物情報を取得する際の問題として、人の一部が他の物体に隠れて撮像されることが挙げられる。このような場合、人の全身が撮像された画像に基づいて生成された辞書情報（以下、「全身辞書」という。）のみでは精度良く人物情報を取得することができない可能性がある。そのため、第２の具体例では、全身辞書と、体の部位に応じて生成された辞書情報とを組み合わせて人物情報を取得する。
【００４２】
例えば、エレベータホールや廊下、机が少ない打ち合わせスペースなど見通しがよい空間では人の全身が撮像される可能性が高い。これに対して、オフィスなどでは、机やロッカー、椅子、モニタなどのオフィス機器に隠れて撮像される場合がある。そのため、このような場合、例えば、全身辞書に、人の上半身が撮像された画像に基づいて生成された辞書情報（以下、「上半身辞書」という。）や、人の頭部が撮像された画像に基づいて生成された辞書情報（以下、「頭部辞書」という。）など、体の部位に応じて生成された辞書情報を組み合わせることで、人物情報を精度良く取得することができる。
【００４３】
この場合、辞書情報は、人の動作や姿勢などの識別対象となる事象が撮像された複数の画像に、体の各部位（全身、上半身又は頭部）に当たる領域を対応づけることで生成される。画像と体の部位との対応づけは、人手で行ってもよいし、自動で行ってもよい。対応づけを自動で行う場合、例えば、撮像領域におけるレンズ中心と、全身に対応する領域とを設定することで、全身に対応する領域から上半身や頭部を自動的に抽出するようにしてもよい。
【００４４】
このように、体の部位に応じて生成された複数の辞書情報を組み合わせる場合、部位ごとに設定された優先順位や、各辞書情報によって取得された人物情報の類似度などに基づいて、どの人物情報を採用するかを判断してもよい。また、第１の具体例と同様に、各辞書情報の重みに基づいて各人物情報を組み合わせて、最終的に採用する人物情報を生成してもよい。
【００４５】
また、複数の辞書情報に基づいて人物情報を取得する場合、各辞書情報に関する処理を並列に実行し、それぞれの結果に基づいて、最終的に採用する人物情報を総合的に判断してもよいし、各辞書情報に関する処理を直列に実行し、より詳細な人物情報を取得するようにしてもよい。例えば、全身辞書に基づいて人が検出された後に、“立位”、“歩行”“走る”などの行動を識別してもよい。また、例えば、頭部辞書に基づいて人の頭部が検出された後に“顔の向き”を識別してもよい。複数の辞書の組み合わせや優先順位、重みなどを適切に設定することにより、処理量の低減と性能の向上が可能になる。
【００４６】
このように構成された実施形態の画像センサ１は、画像からの人の検出に、人の特徴を示す複数の辞書情報を用いることによって、広範囲が撮像された画像から精度良く人を検出することができる。また、人の検出において、動作や姿勢などの人の状態を示す辞書情報を複数用いることにより、検出した人の状態を示す人物情報を取得することができる。また、人の検出において、人の位置に応じて異なる映り方に応じた辞書情報を複数用いることにより、歪みを伴って広範囲が撮像された画像から、精度良く人を検出することができる。
【００４７】
以下、上記の画像センサ１を用いた機器制御システムの具体例について説明する。
【００４８】
例えば、機器制御システムは、画像センサ１、機器制御装置５及び調整用端末７を備える。
【００４９】
図８は、機器制御装置５の機能構成を示す機能ブロック図である。
機器制御装置５は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、機器制御プログラムを実行する。機器制御装置５は、機器制御プログラムの実行によって通信部５１、人物情報取得部５２、照度情報取得部５３、フロア情報取得部５４、記憶部５５及び制御情報生成部５６を備える装置として機能する。なお、機器制御装置５の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。機器制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。機器制御プログラムは、電気通信回線を介して送信されてもよい。
【００５０】
通信部５１は、自装置を制御ネットワーク５０に接続するための通信インターフェースを用いて構成される。通信部５１は、ネットワークハブ２又はゲートウェイサーバ３を介して、機器ネットワーク４０及び制御ネットワーク５０に接続された各種装置と通信する。
【００５１】
人物情報取得部５２は、画像センサ１から人物情報を取得する。人物情報取得部３１は、取得した人物情報を記憶部５５に保存する。なお、人物情報は、画像センサ１から人物情報を取得する他の装置から取得されてもよい。例えば、人物情報取得部５２は、ＢＥＭＳ４から人物情報を取得してもよい。
【００５２】
照度情報取得部５３（空間情報取得部）は、画像センサ１が撮像する空間の照度を示す照度情報（空間情報）を取得する。照度情報取得部５３は、取得した照度情報を、記憶部５５に保存する。
フロア情報取得部５４は、画像センサ１が撮像する空間のフロア情報を取得する。フロア情報は、オフィスフロアなどのレイアウトを示す情報である。フロア情報取得部５４は、取得したフロア情報を記憶部５５に保存する。例えば、フロア情報取得部５４は、ＢＥＭＳ４からフロア情報を取得する。
【００５３】
記憶部５５は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部５５は、人物情報、照度情報及びフロア情報を記憶する。
【００５４】
制御情報生成部５６（制御部）は、人物情報、照度情報及びフロア情報に基づいて、画像センサ１が撮像する空間に関する機器を制御する制御情報を生成する。制御情報生成部５６は、生成した制御情報を制御対象の機器に送信する。制御対象の機器は、制御情報生成部５６によって生成された制御情報に基づいて動作する。
【００５５】
図９は、制御情報生成部５６が制御情報を生成する方法の具体例を示す図である。
例えば、照明機器の制御において、オフィスで作業する人の快適性を確保するためには、人の後ろではなく、前の照明を点灯する方がよい。この場合、制御情報生成部５６は、図９（ａ）のように、画像センサ１から取得した人物情報に基づいて、人の在又は不在、検出された人の顔の向きのなどを判断する。制御情報生成部５６は、人の顔の向きに基づいて人の前方の照明を点灯させるような制御情報を生成する。
【００５６】
また、例えば、夜間であれば、１つの照明を点灯させるだけでは、手元が暗く作業がしにくい。この場合、制御情報生成部５６は、図９（ｂ）のように、検出された人の周囲の照明を点灯させるような制御情報を生成してもよい。また、制御情報生成部５６は、照度情報に基づいて、空間の明るさを判断し、外光によって過度な明るさとなっている場合、照明の調光率を低下させるような制御情報を生成してもよい。
【００５７】
また、例えば、制御情報生成部５６は、複数の画像センサ１から取得された人物情報とフロア情報とに基づいてフロア全体の状況を判断し、フロア内の照明機器や空調機器がフロア全体として最適化されるように制御情報を生成してもよい。例えば、制御情報生成部５６は、人物情報に基づいてフロア全体における人の分布を判断し、点灯させる照明機器、空調の風向き、空調機器の設定温度などを変更するように制御情報を生成してもよい。
【００５８】
このように、機器制御システムにおいて、画像センサ１と機器制御装置５とを組み合わせることにより、人の状態に応じた柔軟な機器制御が可能となる。機器制御装置５は、照度情報取得部５３が取得する照度情報に限らず、機器制御の判断に関する情報であればどのような情報に基づいて制御情報を生成してもよい。この場合、照度情報取得部５３は、位置情報を取得する位置情報取得部として機能する。例えば、空間の温度を示す温度情報や、検出対象の人が保持する端末装置から位置情報を取得してもよい。機器制御装置５は、位置情報が示す位置に存在する人の人物情報を画像センサ１から取得するようにしてもよい。
【００５９】
図１０は、調整用端末７の機能構成を示す機能ブロック図である。
調整用端末７は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、調整プログラムを実行する。調整用端末は、調整プログラムの実行によって通信部７１、画像収集部７２、記憶部７３、辞書情報生成部７４及びパラメータ調整部７５を備える装置として機能する。なお、調整用端末７の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。調整プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。調整プログラムは、電気通信回線を介して送信されてもよい。
【００６０】
通信部７１は、自装置を機器ネットワーク４０に接続するための通信インターフェースを用いて構成される。通信部７１は、ネットワークハブ２又はゲートウェイサーバ３を介して、機器ネットワーク４０及び制御ネットワーク５０に接続された各種装置と通信する。
【００６１】
画像収集部７２は、辞書情報の作成に必要な事前画像を取得する。画像収集部７２は、画像センサ１から事前画像を取得してもよいし、画像センサ１と異なる他の撮像装置から事前情報を取得してもよい。また、画像収集部７２は、ＣＤ−ＲＯＭやフラッシュメモリ等の記憶媒体から事前画像を取得するように構成されてもよい。この場合、画像収集部７２は、これらの記憶媒体から情報を読み出す情報読み出し装置又は、情報読み出し装置を自装置に接続するインターフェースとして構成されてもよい。画像収集部７２は、取得した画像データを記憶部７３に保存する。
【００６２】
記憶部７３は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部７３は、画像収集部７２によって取得された画像データや、辞書情報生成部７４によって生成された辞書情報を記憶する。
【００６３】
辞書情報生成部７４は、収集された事前画像に基づいて、画像センサ１が人物情報の取得に用いる辞書情報を生成する。なお、画像センサ１が十分な精度で人物情報を取得するためには、画像センサ１は、質の高い辞書情報を学習する必要がある。そのため、辞書情報生成部７４は、大量の事前画像を用いて辞書情報を生成する必要がある。大量の事前画像を取得する作業は、多くの労力を要するため、辞書情報生成部７４は、画像センサ１と通信することによって、事前画像の取得を自動化するような機能を備えてもよい。
【００６４】
例えば、辞書情報生成部７４は、ユーザの入力を受け付ける入力部としての機能を備え、辞書情報の生成に関する各種の設定情報を取得してもよい。例えば、辞書情報生成部７４は、画像センサ１に事前画像の取得を実行させるタイミングに関する設定情報を取得してもよい。この場合、辞書情報生成部７４は、設定情報が示すタイミングで画像センサ１と通信し、画像センサ１に事前画像の取得を指示してもよい。
【００６５】
また、例えば、辞書情報生成部７４は、画像収集部７２に事前画像を収集させるタイミングに関する設定情報を取得してもよい。この場合、辞書情報生成部７４は、設定情報が示すタイミングで、画像収集部７２に事前画像の収集を指示してもよい。
【００６６】
また、例えば、辞書情報生成部７４は、上記のユーザの入力を他の装置との通信によって取得するように構成されてもよい。辞書情報生成部７４がこのような機能を備えることにより、ユーザは、画像センサ１の辞書情報の学習に関する作業を、遠隔制御することが可能となる。例えば、ユーザは、各画像センサ１を目視で確認しつつ、画像センサ１の学習作業を制御することができる。
【００６７】
辞書情報生成部７４が上記機能を備えることにより、事前画像の取得に要する労力を削減することができる。
【００６８】
パラメータ調整部７５は、画像センサ１の人物情報を取得する処理における、複数の辞書情報の組み合わせや優先順位、重みなどの推奨値を決定する。パラメータ調整部７５は、決定した推奨値を画像センサ１に送信する。
【００６９】
調整用端末７が推奨値を決定する方法の具体例を次に示す。例えば、調整用端末７は、機器制御装置５から位置情報を取得し、ＢＥＭＳ４から各機器の運転状態を示す情報を取得する。この場合、パラメータ調整部７５は、位置情報や運転情報に基づいてその日のオフィスの使用状況を判断し、オフィスの使用状況に応じて辞書情報の優先順位を決定してもよい。
【００７０】
例えば、機器のＯＮ又はＯＦＦが多い場合は人の出入りの頻度が多い日であると判断し、人の“歩行”を識別する辞書情報の重みを大きくしてもよい。また、位置情報に基づいて人の分布を判断し、人が分布する領域との距離に応じて辞書情報の優先順位や判定基準を変更するようにしてもよい。
【００７１】
また、例えば、パラメータ調整部７５は、画像センサ１が設置された空間の状態に応じて、推奨値を決定してもよい。例えば、オフィスに設置される机の台数が多い場合や、机が密接している状況であれば、パラメータ調整部７５は、全身辞書よりも頭部辞書の優先順位を上げるように推奨値を決定してもよい。一方、机の数が少ない打合せスペースであれば、パラメータ調整部７５は、全身辞書の優先順位を上げるように推奨値を決定してもよい。あるいは、調整員が目視でオフィスの主な用途を判断し、座る人が多い場合は、パラメータ調整部７５は、姿勢の識別における重みを変更して、“座位”の識別に関する辞書情報の優先順位を高くするように推奨値を決定してもよい。また、パラメータ調整部７５は、カメラの性能限界による、白とびや黒つぶれの発生度合いを数値化し、特徴量の抽出に関するパラメータを変更してもよい。このような推奨値の決定に関する分析に必要となる人に関する情報には、画像センサ１によって生成された人物情報が用いられてもよい。
【００７２】
このように優先順位や重みを決定することにより、例えば、業種や部門による働き方の違いや発生した事象に応じて、辞書情報の使い方を変更することが可能となり、画像センサ１の検出性能を向上させることができる。
【００７３】
このように、画像センサ１と調整用端末７とを組み合わせることにより、画像センサ１の人の検出の精度を向上させることができる。
【００７４】
なお、調整用端末７によって生成される辞書情報は、同様の特徴を持つ他の空間が撮像された画像データに基づいて生成されてもよい。ここでは、このように生成された辞書情報を事前辞書情報と呼ぶ。これに対して、検出対象の空間の画像に基づいて生成された辞書情報を現地辞書情報と呼ぶ。この場合、事前辞書情報と現地辞書情報とを組み合わせて辞書情報を生成することにより、辞書情報の生成にかかる労力を軽減しつつ、辞書情報の品質の低下を抑制することができる。
【００７５】
例えば、ビルなどでは、一般に、学習用の画像の収集はビルに人が入居する前の調整時に調整員によって行われることが想定される。上記のような方法で辞書情報を生成すれば、入居前に生成された辞書情報を用いて運用を開始し、運用中に撮像された画像で辞書情報の品質を向上させていくことができる。
【００７６】
以上説明した少なくともひとつの実施形態によれば、人を検出する対象の空間を撮像する撮像部と、人の特徴を示す複数の辞書情報を記憶する記憶部と、撮像部によって撮像された画像と複数の辞書情報とに基づいて、画像から人を検出し、検出した人の状態を示す人物情報を取得する人物情報取得部と、を持つことにより、広範囲が撮像された画像から精度良く人を検出することができる。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００７８】
１、１−１、１−２、１−３…画像センサ，１１…通信部，１２…撮像部，１３…辞書情報記憶部，１４…人物情報取得部，２…ネットワークハブ，３…ゲートウェイサーバ，４…ＢＥＭＳ（Building Energy Management System），５…機器制御装置，５１…通信部，５２…人物情報取得部，５３…照度情報取得部，５４…フロア情報取得部，５５…記憶部，５６…制御情報生成部，６…可視化装置，７…調整用端末，７１…通信部，７２…画像収集部，７３…記憶部，７４…辞書情報生成部，７５…パラメータ調整部，１０…天井，２０…照明機器，３０…空調機器，４０…機器ネットワーク，５０…制御ネットワーク，１００−１、１００−２、１００−３、１００−４、１００−５…画像，２０１、２０２、２０３…分割領域
【図１】
2016171526.tif 000003
【図２】
2016171526.tif 000004
【図３】
2016171526.tif 000005
【図４】
2016171526.tif 000006
【図５】
2016171526.tif 000007
【図６】
2016171526.tif 000008
【図７】
2016171526.tif 000009
【図８】
2016171526.tif 000010
【図９】
2016171526.tif 000011
【図１０】
2016171526.tif 000012