(57)【要約】【課題】  高い精度で在室者の行動内容を識別することができる画像処理装置、画像処理方法および、この識別した行動内容に基づいて、効率の良い空調制御を実行する空調制御装置を提供する。【解決手段】  カメラ装置１０から制御対象を撮影した画像情報を順次取得する画像情報取得部３２と、取得した画像情報の経時的変化に基づいて、在室者の動きによる所定期間の差分情報を累積して多値の累積差分画像情報を生成する累積差分画像情報生成部３３と、生成された累積差分画像情報の濃度勾配のある領域から、当該累積差分画像情報内の動きの特徴量情報を生成する特徴量情報生成部３４と、生成された特徴量情報から在室者の行動内容を識別する行動内容識別部３５とを備える。【選択図】図１
2011174648.tif 000002
【特許請求の範囲】
【請求項１】
処理対象を撮影するカメラ装置に接続された画像処理装置において、
前記カメラ装置から前記処理対象を撮影した画像情報を順次取得する画像情報取得部と、
前記画像情報取得部で取得した画像情報の経時的変化に基づいて、在室者の動きによる所定期間の差分情報を累積して多値の累積差分画像情報を生成する累積差分画像情報生成部と、
前記累積差分画像情報生成部で生成された累積差分画像情報の濃度勾配のある領域から、当該累積差分画像情報内の特徴量情報を生成する特徴量情報生成部と、
前記特徴量情報生成部で生成された特徴量情報から、在室者の行動内容を識別する行動内容識別部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量情報生成部は、前記累積差分画像情報生成部で生成された累積差分画像情報の、濃度勾配のある領域内の画素またはブロックの周辺領域の輝度変化を数値化した情報と、前記画素またはブロックの当該累積差分画像情報上の位置情報とから、当該累積差分画像情報内の特徴量情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量情報生成部で生成される特徴量情報に利用される前記累積差分画像情報の、濃度勾配のある領域内の画素またはブロックの周辺領域の輝度変化を数値化した情報とは、前記画素またはブロックの周辺領域の所定数方向の列の輝度変化を数値化した情報である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴量情報生成部で生成される特徴量情報に利用される前記累積差分画像情報の、濃度勾配のある領域内の画素またはブロックの周辺領域の輝度変化を数値化した情報とは、前記画素またはブロックの周辺領域の所定数方向の列の輝度変化を数値化した情報を、輝度値の総和が最大の列を先頭として時計回りまたは反時計回りに並べた情報である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記特徴量情報生成部で生成される特徴量情報に利用される前記累積差分画像情報の、濃度勾配のある領域内の画素またはブロックの周辺領域の輝度変化を数値化した情報は、複数の画素またはブロックの周辺領域に関する情報を組み合わせた情報、または複数の時間範囲の累積差分画像情報に基づいて生成された情報を組み合わせた情報である
ことを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
行動内容ごとの識別情報を予め識別モデルとして記憶した識別モデル情報記憶部をさらに有し、
前記行動内容識別部は、前記識別モデル情報記憶部に記憶された識別モデルを利用して、前記特徴量情報生成部で生成された特徴量情報から、在室者の行動内容を識別する
ことを特徴とする請求項１乃至５いずれか１項に記載の画像処理装置。
【請求項７】
前記識別モデル情報記憶部に記憶される識別モデルは、所定の撮影環境で撮影された撮影対象の行動から取得した特徴量情報に基づき推定された、他の撮影環境での特徴量情報を含む
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記行動内容識別部は、予め行動内容ごとに設定された閾値に基づいて、前記特徴量情報生成部で生成された特徴量情報から、在室者の行動内容を識別する
ことを特徴とする請求項１乃至５いずれか１項に記載の画像処理装置。
【請求項９】
前記累積差分画像情報は、フレーム間差分、背景差分、またはオプティカルフロー、物体の移動軌跡、アフィン不変量、射影不変量の差分値のいずれかを利用して生成される
ことを特徴とする請求項１乃至８いずれか１項に記載の画像処理装置。
【請求項１０】
処理対象を撮影するカメラ装置に接続された画像処理装置が、
前記カメラ装置から前記処理対象を撮影した画像情報を順次取得する画像情報取得ステップと、
前記画像情報取得ステップで取得した画像情報の経時的変化に基づいて、在室者の動きによる所定期間の差分情報を累積して多値の累積差分画像情報を生成する累積差分画像情報生成ステップと、
前記累積差分画像情報生成ステップで生成された累積差分画像情報の濃度勾配のある領域から、当該累積差分画像情報内の特徴量情報を生成する特徴量情報生成ステップと、
前記特徴量情報生成ステップで生成された特徴量情報から、在室者の行動内容を識別する行動内容識別ステップと
を有することを特徴とする画像処理方法。
【請求項１１】
空調制御対象の室内に設置されたカメラ装置と、前記空調制御対象の室内の空調を行う空調機とに接続された空調制御装置において、
前記カメラ装置から前記空調制御対象の室内を撮影した画像情報を順次取得する画像情報取得部と、
前記画像情報取得部で取得した画像情報の経時的変化に基づいて、在室者の動きによる所定期間の差分情報を累積して多値の累積差分画像情報を生成する累積差分画像情報生成部と、
前記累積差分画像情報生成部で生成された累積差分画像情報の濃度勾配のある領域から、当該累積差分画像情報内の特徴量情報を生成する特徴量情報生成部と、
前記特徴量情報生成部で生成された特徴量情報から、在室者の行動内容を識別する行動内容識別部と、
前記行動内容識別部で識別された行動内容から、在室者の活動量を算出する活動量算出部と、
前記活動量算出部で算出された活動量に基づいて、前記在室者の現在快適指数値を算出する現在快適指数値算出部と、
前記現在快適指数値算出部で算出された前記在室者の現在快適指数値から前記空調機の動作に関する制御パラメータを算出する制御パラメータ算出部と、
前記制御パラメータ算出部で算出された制御パラメータに基づいて、前記空調機の動作を制御する空調機制御部と
を備えることを特徴とする空調制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および空調制御装置に関する。
【背景技術】
【０００２】
建物の室内空間においては、空調制御により適正な室内環境をできる限り少ないエネルギー消費により確保することが求められている。適正な室内温熱環境を確保するに当たって、人間の感じる暑さ、寒さの温熱感覚を考慮することが重要である。
【０００３】
この温熱感覚は、人間の発熱量（対流による放射量、輻射による放熱量、人からの蒸発熱量、呼吸による放熱量および蓄熱量の合計）の熱平衡が保たれている場合には人体が熱的に中立の状態にあり、暑くも寒くもない快適な状態であるといえる。逆に、熱平衡がくずれた場合には人体が暑さや寒さを感じる。
【０００４】
熱平衡式に基づく人間の温熱感覚指標として、ＰＭＶ(Predicted Mean Vote：予測平均申告)を用い、空調制御の最適化を図る空調制御システムがある。このようなＰＭＶを利用した空調制御システムでは、温熱感覚に影響を与える変数として、空気温度値、相対湿度値、平均輻射温度値、気流速度値、活動状態(人体の内部発熱量)値、着衣状態値の６つを入力してＰＭＶ値を算出している。
【０００５】
この６つの入力変数のうち、精度よく計測が可能なものは、空気温度値、相対湿度値、気流速度値である。活動状態値や着衣量値は直接計測することが困難なため、通常は設定値が用いられるが、これらに関しても精度よく、リアルタイムに計測することが望まれている。
【０００６】
そこで、室内の在室者の活動量を計測するための技術として、特許文献１に記載の人体活動量算出装置がある。
【０００７】
この人体活動量算出装置では撮像手段によって室内の人体を撮影し、その画像情報から人体の頭頂部の形状（弓形）を検出することにより人体部分を検出し、この人体部分の移動速度等に基づいて当該在室者の活動量を算出するため、人体に対して非接触で活動量を得ることができ、これにより精度のよい空調制御を行うことができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平８−１７８３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、上記の特許文献１に記載の人体活動量算出装置では、撮影された画像情報からの頭頂部の検出に失敗すると人体部分を検出することができず、活動量の算出ができない場合があるという問題があった。
【００１０】
本発明は上記事情に鑑みてなされたものであり、高い精度で在室者の行動内容を識別し、この識別した行動内容に基づいて、画像処理装置、画像処理方法および空調制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するための本発明の画像処理装置は、処理対象を撮影するカメラ装置に接続された画像処理装置において、前記カメラ装置から前記処理対象を撮影した画像情報を順次取得する画像情報取得部と、前記画像情報取得部で取得した画像情報の経時的変化に基づいて、在室者の動きによる所定期間の差分情報を累積して多値の累積差分画像情報を生成する累積差分画像情報生成部と、前記累積差分画像情報生成部で生成された累積差分画像情報の濃度勾配のある領域から、当該累積差分画像情報内の特徴量情報を生成する特徴量情報生成部と、前記特徴量情報生成部で生成された特徴量情報から、在室者の行動内容を識別する行動内容識別部とを備えることを特徴とする。
【００１２】
また、この画像処理装置の前記特徴量情報生成部は、前記累積差分画像情報生成部で生成された累積差分画像情報の、濃度勾配のある領域内の画素またはブロックの周辺領域の輝度変化を数値化した情報と、前記画素またはブロックの当該累積差分画像情報上の位置情報とから、当該累積差分画像情報内の特徴量情報を生成するようにしてもよい。
【００１３】
また、この画像処理装置の前記特徴量情報生成部で生成される特徴量情報に利用される前記累積差分画像情報の、濃度勾配のある領域内の画素またはブロックの周辺領域の輝度変化を数値化した情報とは、前記画素またはブロックの周辺領域の所定数方向の列の輝度変化を数値化した情報としてもよい。
【００１４】
また、この画像処理装置の前記特徴量情報生成部で生成される特徴量情報に利用される前記累積差分画像情報の、濃度勾配のある領域内の画素またはブロックの周辺領域の輝度変化を数値化した情報とは、前記画素またはブロックの周辺領域の所定数方向の列の輝度変化を数値化した情報を、輝度値の総和が最大の列を先頭として時計回りまたは反時計回りに並べた情報としてもよい。
【００１５】
また、この画像処理装置の記特徴量情報生成部で生成される特徴量情報に利用される前記累積差分画像情報の、濃度勾配のある領域内の画素またはブロックの周辺領域の輝度変化を数値化した情報は、複数の画素またはブロックの周辺領域に関する情報を組み合わせた情報、または複数の時間範囲の累積差分画像情報に基づいて生成された情報を組み合わせた情報としてもよい。
【００１６】
また、この画像処理装置は、行動内容ごとの識別情報を予め識別モデルとして記憶した識別モデル情報記憶部をさらに有し、前記行動内容識別部は、前記識別モデル情報記憶部に記憶された識別モデルを利用して、前記特徴量情報生成部で生成された特徴量情報から、在室者の行動内容を識別するようにしてもよい。
【００１７】
また、この画像処理装置の前記識別モデル情報記憶部に記憶される識別モデルは、所定の撮影環境で撮影された撮影対象の行動から取得した特徴量情報に基づき推定された、他の撮影環境での特徴量情報を含むようにしてもよい。
【００１８】
また、この画像処理装置の前記行動内容識別部は、予め行動内容ごとに設定された閾値に基づいて、前記特徴量情報生成部で生成された特徴量情報から、在室者の行動内容を識別するようにしてもよい。
【００１９】
また、この画像処理装置の前記累積差分画像情報は、フレーム間差分、背景差分、またはオプティカルフロー、物体の移動軌跡、アフィン不変量、射影不変量の差分値のいずれかを利用して生成されるようにしてもよい。
【００２０】
また、本発明の画像処理方法は、処理対象を撮影するカメラ装置に接続された画像処理装置が、前記カメラ装置から前記処理対象を撮影した画像情報を順次取得する画像情報取得ステップと、前記画像情報取得ステップで取得した画像情報の経時的変化に基づいて、在室者の動きによる所定期間の差分情報を累積して多値の累積差分画像情報を生成する累積差分画像情報生成ステップと、前記累積差分画像情報生成ステップで生成された累積差分画像情報の濃度勾配のある領域から、当該累積差分画像情報内の特徴量情報を生成する特徴量情報生成ステップと、前記特徴量情報生成ステップで生成された特徴量情報から、在室者の行動内容を識別する行動内容識別ステップとを有することを特徴とする。
【００２１】
また、本発明の空調制御装置は、空調制御対象の室内に設置されたカメラ装置と、前記空調制御対象の室内の空調を行う空調機とに接続された空調制御装置において、前記カメラ装置から前記空調制御対象の室内を撮影した画像情報を順次取得する画像情報取得部と、前記画像情報取得部で取得した画像情報の経時的変化に基づいて、在室者の動きによる所定期間の差分情報を累積して多値の累積差分画像情報を生成する累積差分画像情報生成部と、前記累積差分画像情報生成部で生成された累積差分画像情報の濃度勾配のある領域から、当該累積差分画像情報内の特徴量情報を生成する特徴量情報生成部と、前記特徴量情報生成部で生成された特徴量情報から、在室者の行動内容を識別する行動内容識別部と、前記行動内容識別部で識別された行動内容から、在室者の活動量を算出する活動量算出部と、前記活動量算出部で算出された活動量に基づいて、前記在室者の現在快適指数値を算出する現在快適指数値算出部と、前記現在快適指数値算出部で算出された前記在室者の現在快適指数値から前記空調機の動作に関する制御パラメータを算出する制御パラメータ算出部と、前記制御パラメータ算出部で算出された制御パラメータに基づいて、前記空調機の動作を制御する空調機制御部とを備えることを特徴とする。
【発明の効果】
【００２２】
本発明の画像処理装置、画像処理方法および空調制御装置によれば、高い精度で在室者の行動内容を識別することができ、この識別した行動内容に基づいて、効率の良い空調制御を実行させることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態による空調制御装置を利用した空調システムの構成を示すブロック図である。
【図２】本発明の一実施形態による空調制御装置において累積差分画像情報を生成するときの動作を示すフローチャートである。
【図３】本発明の一実施形態による空調制御装置により生成された累積差分画像の例である。
【図４】本発明の一実施形態による空調制御装置により累積差分画像情報が生成されるときのフレーム間の関係を示す説明図である。
【図５】本発明の一実施形態による空調制御装置により生成された、異なる速度で移動する人物の累積差分画像の例である。
【図６】本発明の一実施形態による空調制御装置により生成された累積差分画像情報の一部から特徴量情報が生成されるときの状態を示す説明図である。
【図７】本発明の一実施形態による空調制御装置で取得される画像情報の例である。
【発明を実施するための形態】
【００２４】
本発明の一実施形態として、制御対象の室内（例えばオフィス）をカメラ装置で撮影した画像情報を用いて在室者に非接触で活動量を算出し、この算出した活動量を用いて精度の良い空調制御を行う空調制御システムについて説明する。
【００２５】
〈一実施形態による空調制御装置を利用した空調制御システムの構成〉
本発明の一実施形態による空調制御装置３０を利用した空調制御システム１の構成について、図１を参照して説明する。
【００２６】
本実施形態による空調制御システム１は、空調制御対象の室内ごとに設置され対象となる室内を撮影するカメラ装置１０と、当該室内の空調を行う空調機２０と、カメラ装置１０で撮影した画像情報を取得し、これに基づいて空調機２０の動作を制御する空調制御装置３０とを有する。
【００２７】
本実施形態において利用されるカメラ装置１０の設置位置や設置方法には様々な態様があるが、例えば監視カメラのごとく制御対象の室内の上端部から室内空間を俯瞰する角度で撮影するように設置したり、魚眼レンズや超広角レンズを取り付け、室内の天井の中央部から室内空間を撮影するように設置したりする態様がある。またカメラ装置１０は、可視カメラだけでなく、赤外線カメラなどを利用することも可能である。
【００２８】
空調制御装置３０は、識別モデル情報記憶部３１と、画像情報取得部３２と、累積差分画像情報生成部３３と、特徴量情報生成部３４と、行動内容識別部３５と、活動量算出部３６と、快適指数値算出部としてのＰＭＶ値算出部３７と、空調制御部３８とを有する。この空調制御装置３０のうち、識別モデル情報記憶部３１と、画像情報取得部３２と、累積差分画像情報生成部３３と、特徴量情報生成部３４と、行動内容識別部３５とは、画像処理装置の構成部として機能する。
【００２９】
識別モデル情報記憶部３１は、行動内容ごとの画像情報の特徴量やその閾値を、識別モデルとして予め記憶する。この識別モデルは、予めオフラインで生成してもよいし、特徴量情報生成部３４で抽出された情報をオンラインで取得して解析することにより学習して生成してもよい。
【００３０】
画像情報取得部３２は、接続されたカメラ装置１０で撮影された画像情報を順次取得する。
【００３１】
累積差分画像情報生成部３３は、画像情報取得部３２で時系列に取得された所定期間の画像情報から、複数のフレーム間の差分画像情報を抽出し、抽出した差分画像情報を重ね合わせることで累積した多値の累積差分画像情報を生成する。
【００３２】
特徴量情報生成部３４は、累積差分画像情報生成部３３で生成された累積差分画像情報の濃度勾配のある領域を特徴量情報生成対象部分とし、この部分の画素またはブロックの周辺領域の輝度変化の特徴を数値化するとともに、この部分の画素またはブロックの当該画像上の位置関係を特定することで、当該累積差分画像情報内の特徴量情報を生成する。
【００３３】
行動内容識別部３５は、識別モデル情報記憶部３１に記憶された識別モデルを用いて、特徴量情報生成部３４で生成された特徴量から在室者の行動内容を識別する。
【００３４】
活動量算出部３６は、行動内容識別部３５において当該累積差分画像情報から得られた行動内容の識別結果を統合し、在室者の活動量を算出する。
【００３５】
ＰＭＶ値算出部３７は、活動量算出部３６で算出された在室者の活動量と、外部のセンサ等から取得した空調制御対象の室内の温度、湿度、気流速度、輻射温度、在室者の着衣量とから、当該空調制御対象の室内の快適指数値であるＰＭＶ値を算出する。
【００３６】
空調制御部３８は、ＰＭＶ値算出部３７で算出されたＰＭＶ値に基づいて、空調制御対象の室内の空調を行う空調機２０の制御値を決定し、空調機２０に送信する。
【００３７】
〈一実施形態による空調制御装置を利用した空調制御システムの動作〉
次に、本実施形態による空調制御装置３０を利用した空調制御システム１の動作について、説明する。
【００３８】
本実施形態において、空調制御装置３０の識別モデル情報記憶部３１には、行動内容ごとの画像情報の特徴量やその閾値が、識別モデルとして予め記憶されているものとする。
【００３９】
まず、カメラ装置１０により空調制御対象の室内が撮影されたことにより生成された時系列の画像情報が、空調制御装置の画像情報取得部３２で取得される。画像情報取得部３２で取得された画像情報は累積差分画像情報生成部３３に送出され、累積差分画像情報が生成される。
【００４０】
累積差分画像情報生成部３３において累積差分画像情報が生成されるときの処理について、図２のフローチャートを参照して説明する。
【００４１】
画像情報取得部３２から時系列の画像情報が取得される（Ｓ１）と、必要に応じてノイズ除去のためフィルタ処理が行われる（Ｓ２）。このフィルタ処理には、例えばガウシアンフィルタが適用される。
【００４２】
次に、フィルタ処理が行われた所定期間の時系列の画像情報から、複数のフレーム間で差分画像情報が取得され（Ｓ３）、取得された差分情報が予め設定された閾値を超えるか否かにより２値化処理が行われ（Ｓ４）、この２値化処理が行われた差分２値画像情報が複数毎累積されることにより累積差分画像情報が生成される（Ｓ５）。
【００４３】
このようにして生成された累積差分画像の一例を、図３に示す。
【００４４】
図３（ａ）は過去の画像情報間で生成された差分２値化画像情報から生成された累積差分画像であり、図３（ｂ）は現在（最新）の画像情報と過去の画像情報との間で生成された差分２値化画像情報から生成された累積差分画像である。図３（ａ）のように過去の画像情報間で生成された差分２値化画像情報から生成された累積差分画像では、輝度の高い人物の形状部分の前後に段階的な濃度勾配により残像が現れるように輝度分布が形成され、図３（ｂ）のように現在（最新）の画像情報と過去の画像情報との間で生成された差分２値化画像情報から生成された累積差分画像では、輝度の高い人物の形状部分の後ろに段階的な濃度勾配により残像が現れるように輝度分布が形成される。
【００４５】
例として、過去の画像情報間で差分２値化画像情報が生成され、この生成された２値化画像情報から累積差分画像が生成されるときの処理について図４を参照して説明する。ここでは時系列の画像情報４０として、フレーム４１〜４８が取得されたものとする。また、時系列の複数のフレームから累積差分画像情報を生成するためのパラメータとして、差分２値画像情報を取得するために対比させる２つのフレーム間隔である差分フレーム間隔を３フレーム間隔に設定し、この３フレーム間隔で対比された差分画像情報が生成される間隔である累積フレーム間隔を１フレーム間隔に設定し、累積差分画像情報を生成するための差分２値画像情報の累積フレーム数を３フレームに設定するものとする。
【００４６】
このようにパラメータが設定されたことにより、図４に示すように、フレーム４１とフレーム４４との間で差分情報が取得され２値化処理されて差分２値化画像５１が生成され、フレーム４２とフレーム４５との間で差分情報が取得され２値化処理されて差分２値化画像５２が生成され、フレーム４３とフレーム４６との間で差分情報が取得され２値化処理されて差分２値化画像５３が生成され、フレーム４４とフレーム４７との間で差分情報が取得され２値化処理されて差分２値化画像５４が生成され、フレーム４５とフレーム４８との間で差分情報が取得され２値化処理されて差分２値化画像５５が生成される。
【００４７】
このように２値化処理が行われることにより、人物の服装や背景などの色の違い等が吸収され、人物の動きに関する部分が安定して抽出される。また、この２値化処理により生じる穴や欠け部分を除去するために、膨張、収縮処理を加えるようにしてもよい。
【００４８】
次に、生成された差分２値化画像５１〜５５が、時間軸方向に所定の累積フレーム数分累積されることにより多値の累積差分画像が生成される。本実施形態においては累積フレーム数が３フレームであるため、図４に示すように、差分２値化画像５１〜５３が累積されて累積差分画像６１が生成され、差分２値化画像５２〜５４が累積されて累積差分画像６２が生成され、差分２値化画像５３〜５５が累積されて累積差分画像６３が生成される。
【００４９】
このようにして生成された多値の累積差分画像の段階的な濃度勾配による残像は、人物の移動速度が遅い場合は図５（ａ）に示すように幅が狭く、動きが早くなるほど図５（ｂ）→図５（ｃ）に示すように幅が広くなる。
【００５０】
そこで、上述した差分フレーム間隔、累積フレーム間隔、および累積フレーム数等のパラメータを、活動量の算出対象とする環境や行動内容に応じて可変とすることで、精度良く行動内容を検出することができる。
【００５１】
例えば、オフィスのように人物の動きが少ない室内においては差分フレーム間隔や累積フレーム間隔を大きめにし、デパートのように人物の動きが多い空間においては差分フレーム間隔や累積フレーム間隔を小さめにすることで移動の軌跡を認識し易くし、人物の行動内容や移動速度を精度良く検出することができる。
【００５２】
この累積差分画像情報は、時系列に順次生成してもよいし、同時に複数毎の累積差分画像情報を生成するようにしてもよい。
【００５３】
次に特徴量情報生成部３４において、累積差分画像情報生成部３３において生成された累積差分画像情報から、人物部分の移動速度を示す特徴量が算出されるときの処理について説明する。
【００５４】
上述したように過去の画像情報間で生成された差分２値化画像情報から生成された累積差分画像では輝度の高い人物の形状部分の前後に段階的な濃度勾配により残像が現れ、現在（最新）の画像情報と過去の画像情報との間で生成された差分２値化画像情報から生成された累積差分画像では輝度の高い人物の形状部分の後ろに段階的な濃度勾配により残像が現れる。
【００５５】
そこで特徴量情報生成部３４では、この人物の形状部分の周辺に現れた濃度勾配による残像部分において、ある画素またはブロックの周辺の数値化した輝度分布情報を所定領域ごとに所定数方向の列について検出することにより、当該累積差分画像情報内の特徴量が生成される。この特徴量情報には、中心から周辺に向かって順に記述された各列の輝度値と、各列における隣接画素との輝度変化を示す相対値と、カメラ装置の幾何特性に対応するためのデータとを含むこともできる。このカメラ装置の幾何特性に対応するためのデータとは、当該画素またはブロックのｘ座標やｙ座標、画像中心からの距離などの画像上の位置情報である。また、特徴量情報に対しては、値のばらつきや分布に応じた正規化や重み付けを行うことが可能であり、必要に応じて、識別に有効な輝度情報に対する優先度の向上や、画像上の位置に関する情報の加算や積算などを行うことも可能である。
【００５６】
残像部分の特徴量生成対象とした所定領域の一例を、図６に示す。
【００５７】
この特徴量生成対象の領域７０は、縦横１５ピクセルの正方形の領域であり、中心の画素から８方向（矢印７１〜７８の方向）の列の輝度分布情報が検出される場合を示している。
【００５８】
この領域７０について特徴量が生成される際は、まず輝度分布情報として、各列の中心から周辺に向かって順に輝度値が取得され、さらにこの中心から周辺に向かって隣り合う画素間の輝度変化を示す相対値が取得される。
【００５９】
次に、輝度分布情報に含まれる輝度値から各列の輝度値の総和が算出され、この輝度値の総和が最大の列を先頭に、時計回りまたは反時計回りの順で、輝度分布情報が並べられる。
【００６０】
図６においては８方向の列のうち矢印７１の方向の列の輝度値の総和が最大であると判定され、この矢印７１の列を先頭に時計回り方向に矢印７２、７３・・・７８の順の８列分の輝度分布情報が、輝度分布情報８１、８２・・・８８のように並べられる。
【００６１】
輝度分布情報の輝度値の総和が大きいということは当該方向が輝度の高い人物の形状部分に近づく方向であり、先頭に並べられた矢印７１の方向（輝度値の総和が最大の列の方向）が当該人物の移動方向であると推測される。このように輝度値の総和から人物の移動方向を推測することにより、移動方向に関し依存性を保持せず、あらゆる方向の移動に対する識別が可能になる。
【００６２】
また、人物の移動方向に関する依存性を持たせたい場合には、上述した処理のうち、輝度値の総和による並び替え処理を行わず、各列の輝度値を抽出して、特徴量データとするようにしてもよい。
【００６３】
この画素またはブロックの周辺の数値化した輝度分布情報は、複数の画素またはブロックの周辺領域に関する情報を組み合わせた輝度分布情報、または複数の時間範囲の累積差分画像情報に基づいて生成された輝度分布情報を組み合わせた情報としてもよい。
【００６４】
次に行動内容識別部３５において、識別モデル情報記憶部３１に記憶された識別モデルが用いられ、特徴量算出部で算出された特徴量から、在室者の行動内容（立っている、歩いている、走っている等）が識別される。
【００６５】
識別モデルの一例としては、パターン認識の代表的な手法であるＳＶＭ（Support Vector Machine）や、ニューラルネットワーク、ベイズ分類などを適用して生成される。例えばＳＶＭ（Support Vector Machine）は、1960 年代にVapnik 等が考案したOptimal Separating Hyperplane を起源とし、1990 年代になってカーネル学習法と組み合わせた非線形の識別手法へと拡張された手法である。例えば、ＳＶＭにモデルの複雑さと損失とのトレードオフを制御するパラメータνを導入したνSVMを適用した場合、パラメータとしてν、 γ、カーネルがあり、これらを適切に選択することにより、高精度な識別を実現することができる。
【００６６】
次に、行動内容識別部３５において画素単位またはブロック単位で得られた行動内容の識別結果が活動量算出部３６において統合され、各在室者の活動量または室内の平均活動量が算出される。
【００６７】
ここで各在室者の活動量が算出される場合は、画像情報から人物部分が抽出されてから、その周辺領域の特徴量に基づいて識別された行動内容から活動量が算出されるようにしてもよいし、画像情報から人物部分の抽出は行われずに、室内全体の動きに対する特徴量に基づいて識別された行動内容の分布に対してクラスタリングなどの処理が行われ、人物の位置が推定されてそれぞれの活動量が算出されるようにしてもよい。また、カメラ装置と撮影対象との位置関係により画像上の大きさが異なることを考慮して、活動量の算出対象とする領域を指定するための枠を画像上に設定しておき、この枠内の識別結果に基づいて各材質者の活動量が算出されるようにしてもよい。
【００６８】
また、室内の平均活動量が算出される場合は、上述したように算出された各在室者の活動量を平均したり、人物部分を抽出せずに画像全体から得られた識別結果と撮影エリアとの関係から室内の平均活動量を推定したりすることで算出されるようにしてもよい。この場合、識別結果と、画像情報から得られた室内の人物の分布と、人数と、撮影エリアの空間に関する情報とが統合され、ＰＭＶ値の算出に用いるための最適な活動量が算出される。
【００６９】
次にＰＭＶ値算出部３７において、活動量算出部３６で算出された活動量と、外部のセンサ等から取得した空調制御対象の室内の温度、湿度、気流速度、輻射温度、在室者の着衣量とから、当該空調制御対象の室内の快適指数値であるＰＭＶ値が算出される。
【００７０】
次に空調制御部３８において、ＰＭＶ値算出部３７で算出されたＰＭＶ値に基づいて、空調制御対象の室内の空調を行う空調機２０の制御値が決定されて空調機２０に送信され、空調機２０の動作が制御される。
【００７１】
以上の本実施形態の空調システムによれば、空調制御対象の室内を撮影した所定期間の画像情報から、複数のフレーム間の差分画像情報を抽出して累積した累積差分画像情報を生成し、この累積差分画像情報上に現れる人物部分の残像部分を解析することにより精度の高い活動量を算出し、この活動量に基づいて算出される室内環境の状況に基づいて効率の良い空調を実行することができる。
【００７２】
上記の本実施形態において、累積差分画像情報を生成する際には、フレーム間差分を利用する他、背景差分、オプティカルフロー（物体の速度場）や、物体の移動軌跡、アフィン不変量、射影不変量などの差分値、またはそれらの物理量を利用してもよい。
【００７３】
また、特徴量情報を次のようにすることも考えられる。
【００７４】
撮影された室内の画像情報では、カメラ装置の幾何学特性として、撮影対象がカメラ装置から遠ざかるほど画像情報上における大きさが小さくなり、カメラ装置に近づくほど画像情報上における大きさが大きくなる。そのため、累積差分画像情報に現れる残像の幅は、人物の移動速度だけでなく、人物とカメラ装置との位置関係によっても変化する。
【００７５】
よって、人物の画面上の位置に依存せず、画角内のどの位置においても正しく行動内容を検出するために、カメラの幾何学特性（画面上の位置）情報を特徴量情報に持たせる。
【００７６】
具体的には、カメラ装置が室内の上端部から室内空間を俯瞰する角度で設置されているときには、図７（ａ）に示すように撮影対象がカメラ装置から遠ざかるほど表示画面の上方に表示され、撮影対象がカメラ装置に近づくほど表示画面の下方に表示される。
【００７７】
このように設置されたカメラ装置で撮影された場合、カメラ装置の幾何学特性に対応するためのデータとして、人物のｙ座標を採用する。
【００７８】
また、魚眼レンズや超広角レンズを取り付けられたカメラ装置が室内の天井の中央部から室内空間を撮影するように設置されているときには、図７（ｂ）に示すように撮影対象が画面中央に近いほど大きく表示され、周辺にいくほど小さく表示される。
【００７９】
このように設置されたカメラ装置で撮影された場合、カメラ装置の幾何学特性に対応するためのデータとして、画面中心からの距離を採用する。
【００８０】
そして、識別モデル情報記憶部３１に記憶された識別モデルをカメラ装置の幾何学特性を有する特徴量を用いて生成し、行動内容識別を行う。
【００８１】
例えば、カメラ装置を室内の上端部に設置して室内空間を俯瞰する角度で撮影する場合、あらゆる進行方向の動きに対応するため、例えば、横方向３種類（遠方、中央、近方）、縦方向１種類（中央）の移動シーンで特徴量の学習を行い、識別モデルを生成する。
【００８２】
また、魚眼レンズや超広角レンズを取り付けたカメラ装置を天井の中央部に設置し、直上から人物を撮影する場合は、カメラ装置直下付近およびカメラ装置から遠ざかる位置における移動シーンで特徴量の学習を行い、識別モデルを生成する。
【００８３】
このように、輝度情報とカメラの幾何学特性情報とを有する特徴量情報を用いて、行動内容の識別を行うことにより、人物の位置に依存せず、画角内のどの位置においても正しく行動内容を検出することができる。
【００８４】
更に、識別モデル作成における特徴量の学習に際しては、例えば、カメラの幾何学特性を考慮して、撮影対象の大きさが大きい環境における行動シーンを基に取得した特徴量を基に、その他の状況における特徴量を推定することが可能である。また、撮影対象の大きさが大きい環境における行動シーンを基に、撮影対象の大きさが小さい環境における行動シーンの映像を生成し、その映像を基に学習を行うことが可能である。これらの推定された情報を利用することにより、学習のために撮影する映像の種類を少なくすることができ、学習にかかる工数を削減することができる。
【００８５】
ここで、学習時に特徴量の抽出対象とする画素またはブロックは適宜選択でき、画像の全画素、全ブロックを対象とする必要はない。また、全フレームを学習対象とする必要もなく、移動速度に応じてある間隔で学習対象とするフレームを選択して構わない。
【００８６】
このように学習により識別モデルを更新し、人物の距離に応じた特徴量を学習することにより、撮影した画像情報内での監視範囲の広域化を図ることができる。
【００８７】
また、特徴量情報を次のようにすることも考えられる。
【００８８】
先に述べたように、累積差分画像情報に現れる残像の幅は、人物の移動速度だけでなく、人物とカメラ装置との位置関係によっても変化する。
【００８９】
そこで、特徴量情報に対してカメラの幾何学特性（画面上の位置）情報を考慮して正規化処理を行う。
【００９０】
具体的には、カメラ装置が室内の上端部から室内空間を俯瞰する角度で設置されているときには、カメラ装置の幾何学特性に対応するためのデータとして、人物のｙ座標が利用され、特徴量情報の正規化処理が行われる。
【００９１】
また、魚眼レンズや超広角レンズを取り付けられたカメラ装置が室内の天井の中央部から室内空間を撮影するように設置されているときには、カメラ装置の幾何学特性に対応するためのデータとして、画面中心からの距離が利用され、特徴量情報の正規化処理が行われる。
【００９２】
そして、識別モデル情報記憶部３１に記憶された識別モデルをカメラ装置の幾何学特性を利用し正規化処理が行われた特徴量を用いて生成し、行動内容識別を行う。
【００９３】
これにより、カメラの幾何学特性情報による正規化処理が行われた特徴量情報を用いて、行動内容の識別を行うことにより、人物の位置に依存せず、画角内のどの位置においても正しく行動内容を検出することができる。また、識別モデルの学習においても正規化処理を行うことにより特徴量の推定ができるため、学習にかかる工数を削減することができる。
【００９４】
また、上記の本実施形態において行動内容を識別する際には識別モデルを用いる場合について説明したが、これには限定されず、予め設定されたそれぞれの行動内容（立っている、歩いている、走っている等）を識別するための特徴量の閾値に基づいて、行動内容を識別するようにしてもよい。
【符号の説明】
【００９５】
１…空調制御システム
１０…カメラ装置
２０…空調機
３０…空調制御装置
３１…識別モデル情報記憶部
３２…画像情報取得部
３３…累積差分画像情報生成部
３４…特徴量情報生成部
３５…行動内容識別部
３６…活動量算出部
３７…ＰＭＶ値算出部
３８…空調制御部
【図１】
2011174648.tif 000003
【図２】
2011174648.tif 000004
【図３】
2011174648.tif 000005
【図４】
2011174648.tif 000006
【図５】
2011174648.tif 000007
【図６】
2011174648.tif 000008
【図７】
2011174648.tif 000009