(57)【要約】【課題】撮影画像に背景以外の物体が写っていても背景物の三次元モデルに基づく背景画像の生成を高精度で低負荷に行う。【解決手段】背景モデル記憶手段５０は背景物の三次元モデルであって背景物それぞれの光学的な特徴量又は三次元座標値をモデルパラメータとして含む背景モデルを記憶する。制御信号取得手段３０は背景物に含まれる所定の機器の動作を制御する制御信号を取得する。モデル生成手段６０は制御信号により生じる機器の動作状態に応じて当該機器のモデルパラメータを変更した背景モデルを生成する。背景画像生成手段６１はモデル生成手段６０により生成された背景モデルを、カメラパラメータに基づきレンダリングして背景画像を生成する。【選択図】図３
2018121289.tif 000002
【特許請求の範囲】
【請求項１】
カメラによる所定の空間の撮影に対し、当該空間に存在する背景物の画像であり前記撮影に対応したタイミングでの背景画像を生成する背景画像生成装置であって、
前記背景物の三次元モデルであって背景物それぞれの光学的な特徴量又は三次元座標値をモデルパラメータとして含む背景モデルを記憶している記憶手段と、
前記背景物に含まれる所定の機器の動作を制御する制御信号を取得する制御信号取得手段と、
取得した前記制御信号により生じる前記機器の動作状態に応じて当該機器の前記モデルパラメータを変更した背景モデルを生成するモデル生成手段と、
前記モデル生成手段により生成された前記背景モデルを、前記カメラの撮影面にレンダリングして前記背景画像を生成する背景画像生成手段と、
を備えたことを特徴とする背景画像生成装置。
【請求項２】
前記カメラにより前記空間を撮影した撮影画像を取得する撮影画像取得手段をさらに有し、
前記モデル生成手段は、前記制御信号取得手段が前記制御信号を取得すると、当該制御信号に対して予め想定される前記モデルパラメータの変化範囲にて前記モデルパラメータが異なる複数の前記背景モデルを生成し、
前記背景画像生成手段は、前記複数の背景モデルのそれぞれを前記撮影面にレンダリングして複数のレンダリング画像を生成し、当該レンダリング画像のうち前記撮影画像との相違度が最小のものを用いて前記背景画像を生成すること、
を特徴とする請求項１に記載の背景画像生成装置。
【請求項３】
前記背景画像生成手段は、前記相違度が最小の前記レンダリング画像の画素値を所定限度内で変化させることで当該レンダリング画像を前記撮影画像に近づける補正を行って前記背景画像を生成すること、
を特徴とする請求項２に記載の背景画像生成装置。
【請求項４】
前記制御信号に対する前記モデルパラメータの前記変化範囲は、当該制御信号に対応する目標範囲と当該目標範囲への移行途中の範囲とからなり、
前記モデル生成手段は、所定期間以上続けて、前記背景画像に対応する前記モデルパラメータの変化が所定の閾値以下であり、且つ当該モデルパラメータが前記目標範囲内である場合、新たな前記目標範囲への移行を指示する前記制御信号が取得されるまで、前記変化範囲のうち前記目標範囲のみについて前記モデルパラメータが異なる複数の前記背景モデルを生成すること、
を特徴とする請求項２又は請求項３に記載の背景画像生成装置。
【請求項５】
前記背景画像生成手段は、前記モデル生成手段により生成された前記背景モデルを前記撮影面にレンダリングしたレンダリング画像を生成し、当該レンダリング画像の画素値を所定限度内で変化させることで当該レンダリング画像を前記撮影画像に近づける補正を行って前記背景画像を生成すること、
を特徴とする請求項１に記載の背景画像生成装置。
【請求項６】
請求項１から請求項５のいずれか１つに記載の背景画像生成装置が、前記カメラの撮影タイミングに対応して生成した前記背景画像を、前記カメラが当該撮影タイミングにて前記空間を撮影した撮影画像と比較して、前記背景物以外の物体を前記空間にて検出する物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の空間の背景物の三次元モデルから当該空間の背景画像を生成する背景画像生成装置、および、生成した背景画像を撮影画像と比較することによって当該空間の物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
防犯等の目的で、監視空間を撮影した撮影画像を背景差分処理あるいは背景相関処理して、監視空間に現れた人や不審物などの物体を検出する技術が知られている。これらの処理においては、人や不審物が写っていない背景画像を随時生成する必要がある。
【０００３】
ところが、イベント会場など多くの人が行き交う混雑空間においては人や不審物が写っていないシーンの出現頻度が低いため背景画像の生成が難しい。
【０００４】
そこで、従来、監視空間の背景物の三次元モデル（背景モデル）をレンダリングして背景画像を生成していた。例えば、下記特許文献１，２に記載の物体検出装置においては、まず、背景モデルの照明条件や半固定物を複数通りに変動させてレンダリングし、撮影画像に最も類似するレンダリング画像を背景画像として選出する。あるいは、さらに撮影画像に最も類似するレンダリング画像に対して撮影画像に近づける補正を行って背景画像を生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１９４７７８号公報
【特許文献２】特開２０１６−１９４７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の先行技術においては、撮影画像に写っている背景以外の物体の影響で、生成した背景画像について撮影画像に対する過剰な近似が生じる場合があり、背景画像の誤差が大きくなる要因や物体検出精度が低下する要因となっていた。
【０００７】
例えば、撮影画像に明るい色の服を着た人が多くまたは大きく写っている場合に、照明が点灯していなくてもこれらの人が写ったことによって撮影画像が明るくなり得る。このような場合に、撮影画像に最も類似するレンダリング画像を背景画像として選出する、あるいはさらにレンダリング画像を撮影画像に近づける補正を無制限に行うと、実際の照明条件よりも輝度の高い背景画像が生成されて誤差が大きくなり、人の服の部分が検出されにくくなったり、人以外の部分が検出されやすくなったりする。
【０００８】
また、先行技術においては、照明条件や半固定物の状態を探索する範囲が広かったため、背景画像を生成する処理の負荷が大きかった。
【０００９】
本発明は上記問題を鑑みてなされたものであり、撮影画像に背景以外の物体が写っていても背景物の三次元モデルに基づく背景画像の生成を高精度で低負荷に行うことができる背景画像生成装置、および、生成した背景画像を用いて背景以外の物体を高精度に検出できる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１）本発明に係る背景画像生成装置は、カメラによる所定の空間の撮影に対し、当該空間に存在する背景物の画像であり前記撮影に対応したタイミングでの背景画像を生成する装置であって、前記背景物の三次元モデルであって背景物それぞれの光学的な特徴量又は三次元座標値をモデルパラメータとして含む背景モデルを記憶している記憶手段と、前記背景物に含まれる所定の機器の動作を制御する制御信号を取得する制御信号取得手段と、取得した前記制御信号により生じる前記機器の動作状態に応じて当該機器の前記モデルパラメータを変更した背景モデルを生成するモデル生成手段と、前記モデル生成手段により生成された前記背景モデルを、前記カメラの撮影面にレンダリングして前記背景画像を生成する背景画像生成手段と、を備える。
【００１１】
（２）上記（１）に記載する背景画像生成装置は、前記カメラにより前記空間を撮影した撮影画像を取得する撮影画像取得手段をさらに有し、前記モデル生成手段は、前記制御信号取得手段が前記制御信号を取得すると、当該制御信号に対して予め想定される前記モデルパラメータの変化範囲にて前記モデルパラメータが異なる複数の前記背景モデルを生成し、前記背景画像生成手段は、前記複数の背景モデルのそれぞれを前記撮影面にレンダリングして複数のレンダリング画像を生成し、当該レンダリング画像のうち前記撮影画像との相違度が最小のものを用いて前記背景画像を生成する構成とすることができる。
【００１２】
（３）上記（２）に記載する背景画像生成装置において、前記背景画像生成手段は、前記相違度が最小の前記レンダリング画像の画素値を所定限度内で変化させることで当該レンダリング画像を前記撮影画像に近づける補正を行って前記背景画像を生成する構成とすることができる。
【００１３】
（４）上記（２）および（３）に記載する背景画像生成装置において、前記制御信号に対する前記モデルパラメータの前記変化範囲は、当該制御信号に対応する目標範囲と当該目標範囲への移行途中の範囲とからなり、前記モデル生成手段は、所定期間以上続けて、前記背景画像に対応する前記モデルパラメータの変化が所定の閾値以下であり、且つ当該モデルパラメータが前記目標範囲内である場合、新たな前記目標範囲への移行を指示する前記制御信号が取得されるまで、前記変化範囲のうち前記目標範囲のみについて前記モデルパラメータが異なる複数の前記背景モデルを生成する構成とすることができる。
【００１４】
（５）上記（１）に記載する背景画像生成装置において、前記背景画像生成手段は、前記モデル生成手段により生成された前記背景モデルを前記撮影面にレンダリングしたレンダリング画像を生成し、当該レンダリング画像の画素値を所定限度内で変化させることで当該レンダリング画像を前記撮影画像に近づける補正を行って前記背景画像を生成する構成とすることができる。
【００１５】
（６）本発明に係る物体検出装置は、上記（１）〜（５）に記載する背景画像生成装置が前記カメラの撮影タイミングに対応して生成した前記背景画像を、前記カメラが当該撮影タイミングにて前記空間を撮影した撮影画像と比較して、前記背景物以外の物体を前記空間にて検出する。
【発明の効果】
【００１６】
本発明の背景画像生成装置によれば、撮影画像に背景以外の物体が写っていても高精度で低負荷に背景画像を生成することが可能となる。また本発明の物体検出装置によれば、上記背景画像を用いて背景以外の物体を高精度に検出することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る物体検出装置の概略の構成を示すブロック図である。
【図２】制御信号により動作を制御される機器の構成例を示す概略のブロック図である。
【図３】本発明の実施形態に係る物体検出装置の概略の機能ブロック図である。
【図４】機器が１つの電灯で構成される照明機器である場合のモデル制御情報を説明する模式図である。
【図５】機器が３つの電灯で構成される照明機器である場合のモデル制御情報を説明する模式図である。
【図６】機器が自動ドアである場合のモデル制御情報を説明する模式図である。
【図７】モデル生成手段による背景モデルの生成の例を説明する模式図である。
【図８】本発明の実施形態に係る物体検出装置の概略の動作を示すフロー図である。
【図９】本発明の実施形態に係る物体検出装置の概略の動作を示すフロー図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態（以下、実施形態という）について、図面に基づいて説明する。本発明の実施形態として、監視カメラが撮影した画像から所定の空間（監視空間）に現れた人などの物体（背景物以外の物体）を検出する物体検出装置１の例を説明する。背景物は監視空間を構成する構成物であり、建築構造物や設備などの常設物体である。これに対し、背景物以外の物体は監視空間に一時的に出現する人や車輌などの物体である。
【００１９】
図１は物体検出装置１の概略の構成を示すブロック図である。監視空間を構成する背景物には機器２が含まれる。本実施形態における機器２は背景物のうち制御信号に基づき動作して動作状態が変化するものであり、機器２はその動作により画像に変化を生じさせる。監視空間に背景物として存在する機器２は例えば、照明機器や自動ドアである。一方、機器２以外の背景物は例えば、床、壁、机、手動のドアである。
【００２０】
物体検出装置１は例えば、照明機器による明るさ変化などに適合した背景画像を生成する背景画像生成装置を含み、背景画像を撮影画像と比較することによって物体の出現により変化した領域を検出する。具体的には、物体検出装置１は機器インターフェース部３、カメラ４、記憶部５、画像処理部６およびユーザーインターフェース部７を備える。なお、背景画像は理想的には背景物のみを撮影した画像であり、本発明においては背景物のみを撮影した画像をコンピュータグラフィックスにより模した画像である。
【００２１】
機器２は、物体検出装置１の機器インターフェース部３と接続され、物体検出装置１の画像処理部６は、機器２の動作を制御する制御信号を機器２から機器インターフェース部３を介して取得する。
【００２２】
図２は機器２の構成例を示す概略のブロック図である。図２（ａ）に示す機器２ａは１つのスイッチ２０により１つの電灯２１の点灯／消灯動作を制御する照明機器である。また、図２（ｂ）に示す機器２ｂは１つのスイッチ２０により３つの電灯２１（電灯Ａ〜Ｃ）の点灯／消灯動作を一括して制御する照明機器である。例えば、電灯２１は蛍光灯または白熱灯などである。照明機器である機器２ａ，２ｂは例えば、スイッチ２０がＯＮ状態とされると電灯２１が通電されて点灯し、スイッチがＯＦＦ状態とされると電灯２１への通電が停止されて消灯する。ちなみに、オフィスや工場などの照明機器は機器２ｂのような形態に構成されていることが多い。
【００２３】
スイッチ２０が機械式の場合、電灯２１に印加される電圧／電流が当該電灯２１の点灯／消灯動作を制御する制御信号に相当する。この場合、機器２ａ，２ｂは、電灯２１に印加される電気信号自体を制御信号として物体検出装置１に出力してもよいし、当該電気信号からその印加の有無を表す信号を別途生成して物体検出装置１に出力してもよい。例えば、機器２ａ，２ｂは、スイッチ２０がＯＮ状態であるとき所定の高電圧（ハイレベル）となり、一方、スイッチ２０がＯＦＦ状態であるとき所定の低電圧（ローレベル）となる電気信号を物体検出装置１に出力する。また、スイッチ２０がトランジスタなど電子的にＯＮ／ＯＦＦを切り替える素子で構成される場合には、スイッチ２０のＯＮ／ＯＦＦを切り替える電気信号を制御信号として取り出すことができる。
【００２４】
図２（ｃ）に示す機器２ｃは人感センサ２２の出力に応じてドア２３が開閉するタイプの自動ドアである。すなわち、人感センサ２２のセンサ出力信号が自動ドア２ｃの開閉動作を制御する制御信号である。具体的には人感センサ２２は例えば、人を検知している間はハイレベルの電圧を出力し、一方、人を検知していない間はローレベルの電圧を出力する。このセンサ出力信号のローレベルからハイレベルへの電圧変化がドア２３を開いて閉じる動作指示を表す制御信号として利用される。また、ドア２３の閉状態のときのローレベルの電圧をドア２３の閉状態を維持する動作指示を表す制御信号として利用できる。
【００２５】
画像処理部６は機器２の制御信号の変化から当該機器２の動作が移行する契機、すなわち監視空間の環境（背景）の変化の契機を認識することができる。制御信号の変化は、撮影画像を取得するたびに制御信号を記憶部５に記憶しておき、今回の制御信号を前回の制御信号と比較することで検出できる。あるいは、制御信号の変化は、前回撮影画像を取得してから今回撮影画像を取得するまでの制御信号の波形を微分して閾値処理することにより検出できる。また、画像処理部６は機器２の制御信号から当該機器２の動作の維持を認識することができる。
【００２６】
機器インターフェース部３は、背景物に含まれる所定の機器の動作を制御する制御信号を取得する制御信号取得手段であり、具体的には機器２および画像処理部６と接続され、機器２からの制御信号を取得して画像処理部６に出力する回路である。
【００２７】
カメラ４はいわゆる監視カメラであり、監視空間を所定時間おきに撮影する撮影手段である。具体的にはカメラ４は画像処理部６と接続され、監視空間を撮影して撮影画像を生成し、撮影画像を画像処理部６に出力する。例えば、カメラ４はイベント会場内に設定した各監視空間の天井に当該監視空間を俯瞰する視野に固定された状態で設置され、当該監視空間を５フレーム／秒の間隔で撮影する。なお、本実施形態では、本発明の背景画像生成装置における、空間を撮影した撮影画像を取得する撮影画像取得手段としてカメラ４を備えるが、撮影画像取得手段はカメラ４から撮影画像を取得するインターフェース機能だけを備えるものであってもよい。
【００２８】
記憶部５はＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。記憶部５は、各種プログラムや各種データを記憶し、画像処理部６との間でこれらの情報を入出力する。例えば、記憶部５は背景物の三次元モデルである背景モデルや、カメラ４のカメラパラメータを予め記憶する。
【００２９】
画像処理部６はＣＰＵ(Central Processing Unit)、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置を用いて構成される。画像処理部６は記憶部５と接続され、記憶部５からプログラムを読み出して実行することで後述する各手段として機能する。また、画像処理部６は各種データを記憶部５から読み出し、また各種データを記憶部５に記憶させる。また、画像処理部６は機器２およびカメラ４とも直接的または間接的に接続され、機器２からの制御信号およびカメラ４からの撮影画像を取得して、背景画像の生成、物体の検知などを行う。また、画像処理部６はユーザーインターフェース部７とも接続され、ユーザーインターフェース部７を介して、検知結果などをユーザーに示し、またユーザーからの操作入力を受け付ける。
【００３０】
ユーザーインターフェース部７はキーボード、マウス、ディスプレイ等からなるユーザーインターフェース装置であり、画像処理部６と接続され、画像処理部６から入力されたデータを表示し、ユーザーが入力したデータを画像処理部６に出力する。例えば、ユーザーインターフェース部７は警備員などのユーザーにより使用され、物体検出結果の表示、機器２の不具合の警告表示、機器２の復旧信号の入力などに用いられる。
【００３１】
図３は物体検出装置１の概略の機能ブロック図である。機器インターフェース部３は制御信号取得手段３０として機能し、カメラ４は撮影手段４０として機能し、記憶部５は背景モデル記憶手段５０等として機能する。また、画像処理部６はモデル生成手段６０、背景画像生成手段６１および物体検出手段６２等として機能する。ユーザーインターフェース部７は物体検出手段６２による検出結果を出力する出力手段７０として機能する。
【００３２】
物体検出装置１に用いられる背景画像生成装置は、機器２、制御信号取得手段３０、撮影手段４０、背景モデル記憶手段５０、モデル生成手段６０および背景画像生成手段６１を備える。
【００３３】
背景モデル記憶手段５０は監視空間に存在する背景物の三次元モデルであって背景物それぞれの光学的な特徴量または三次元座標値をモデルパラメータとして含む背景モデルを記憶する。
【００３４】
背景モデルは、背景物で構成された監視空間のコンピュータグラフィックスを生成するために必要な情報からなる。具体的には背景モデルは、監視空間を模したＸＹＺ座標系における各背景物の位置、姿勢、立体形状にて表される三次元座標値および各背景物の表面の色、テクスチャ、反射特性のデータを含み、これらのデータが対応する背景物番号と紐付けて背景モデル記憶手段５０に記憶されている。
【００３５】
なお、背景モデルは精密であるほど良く、例えばドアであればドア板とドアノブ、机であれば天板と脚というように色、テクスチャおよび反射特性が異なるパーツそれぞれを背景物と定義して背景モデルを記憶させておくのが好適である。他方、壁のように大きな背景物は各面の光源からの距離の差が大きくなるため各面を背景物と定義するのが好適である。
【００３６】
背景モデルを構成するモデルパラメータは予め定義され、監視空間の実環境に合わせて適宜更新される。特に、動作により画像に変化を生じる機器２に関し、モデルパラメータは動作状態に応じて適宜、具体的な値を設定され、背景画像にて機器２の動作状態の変化を表現するために用いられる。
【００３７】
光源については、背景モデルは監視空間を模したＸＹＺ座標系における当該光源の位置および当該光源の配光、色温度などで表される照明特性を含む。照明機器は光源でもある。光源には太陽を含めてもよい。背景モデルにて光源について各光源の点消灯状態を設定し、点灯状態が設定された光源の出力を照明特性に演算することにより、監視空間に対する複数の照明条件を模擬できる。
【００３８】
すなわち、背景モデル記憶手段５０は、カメラ４が撮影対象としている所定の空間を構成する構成物である複数の背景物それぞれの三次元座標値と各背景物の光学的な特徴量（色、テクスチャ、反射特性、および該空間を照明する光源の照明特性）とを含んだ背景モデルを記憶している。
【００３９】
ここで、背景モデルは各機器２についてモデルパラメータ以外にもその動作に関する情報を含み、ここでは当該情報を機器２のモデル制御情報と称する。
【００４０】
図４は、機器２が１つの電灯で構成される照明機器である場合のモデル制御情報を説明する模式図であり、モデル制御情報の項目とその値域とが示されている。図４に示す照明機器は図２（ａ）の機器２ａに該当する。
【００４１】
照明強度は照明機器の明るさに相当するものである。照明強度は照明機器についてのモデルパラメータであり、その値域は、スイッチがＯＦＦで光を発しない状態を０％、スイッチがＯＮで最も明るい状態を１００％とする０〜１００％である。ここで、照明機器の１００％に対応する照明強度は実測により定めてもよいし、当該照明機器のカタログスペックなどに基づいて定めてもよい。
【００４２】
照明強度推定レンジ（パラメータレンジ）は、モデル生成手段６０が、制御信号により生じる照明機器の動作状態に応じて当該照明機器のモデルパラメータである照明強度を変更した背景モデルを生成する際に、照明強度を変化させる範囲である。照明強度推定レンジは基本的には照明機器の動作状態に応じて設定される。照明機器については動作状態として、例えば、点灯状態（スイッチがＯＮされ照明強度が目標とする範囲に達して安定した状態）、消灯状態（スイッチがＯＦＦされた状態）、点灯状態への移行中の状態（スイッチがＯＮされた後、照明強度が目標範囲へ向けて変化している状態）を定めることができる。照明強度推定レンジは、例えば、点灯状態に対応する目標範囲として９０％以上１００％以下（９０〜１００％）を設定される。このように目標範囲に幅を持たせているのは、スイッチがＯＮの場合に実際の照明強度が１００％の値になるとは限らず、照明機器の経年劣化などにより実際の照明強度が１００％に達しない場合もあるからである。また、消灯状態については０％、移行中状態については移行途中の範囲と定義する０％以上９０％未満と目標範囲とを合わせた０〜１００％が設定される。
【００４３】
照明強度推定レンジによりモデルパラメータである照明強度の変化範囲を制限することで、後述する照明強度の推定を高速に行うことができることに加え、想定される動作状態に対応する範囲外に誤って照明強度が推定されるといった危険性を回避することができる。そして、照明強度の推定誤りを回避することで、推定照明強度に基づいて生成される背景画像を用いた背景差分処理にて物体の誤抽出を起こりにくくすることができる。
【００４４】
前回照明強度（前回パラメータ）は例えば、動作状態が「移行中」である際に、照明強度が一定になったかどうかを判定するためなどに利用される。具体的には、後述する動作にて撮影画像の取得ごとに繰り返される処理において、直近の推定値が前回照明強度に格納され、次の処理周期にて前回の照明強度の推定値として読み出され利用される。
【００４５】
動作状態は、制御信号に応じて、上述した「点灯」、「消灯」、「移行中」のいずれかの状態を設定される。また、設定には必要に応じて、推定された照明強度が加味される。スイッチがＯＦＦのときは動作状態には「消灯」が格納される。スイッチをＯＮにした直後から推定照明強度が目標範囲に達し安定するまでの期間は、動作状態には「移行中」が格納される。推定された照明強度が目標範囲内にて安定すると、照明機器が十分に点灯し移行完了したとして動作状態には「点灯」が格納される。
【００４６】
安定カウンタは、動作状態を「移行中」から「点灯」とする際の判定に利用するためのカウンタであり、照明強度が安定して推定された回数をカウントし、カウント値が所定値以上になったら動作状態を「点灯」と判定するものである。一方、不安定カウンタは、電灯が一定期間以上安定しない、すなわち電灯がちらついている不具合を判定するためのカウンタである。具体的には、移行中にて新たに推定された照明強度と前回照明強度との差の大きさが所定の閾値以下であると、安定カウンタの値がインクリメントされ、逆に当該差が閾値より大きい場合には不安定カウンタの値がインクリメントされる。
【００４７】
不具合検知フラグは、照明のスイッチをＯＮにした際に、照明が点かない、照明が暗い、照明がちらつくといった不具合が発生した場合にＯＮとし、ユーザーインターフェース部７を通じて器具の管理者等に通知するためのフラグである。
【００４８】
図５は機器２が３つの電灯Ａ〜Ｃで構成される照明機器である場合のモデル制御情報を説明する模式図であり、モデル制御情報の項目とその値域とが示されている。図５に示す照明機器は図２（ｂ）の機器２ｂに該当する。
【００４９】
機器２ｂに関しては例えば、複数の電灯（電灯Ａ〜Ｃ)が全て点灯状態であれば機器２ｂの動作状態は点灯状態とし、逆に全て消灯状態であれば機器２ｂの動作状態は消灯状態とし、いずれかの電灯が移行中であれば機器２ｂの動作状態は移行中状態であると定義することができる。また、機器２ｂに関しては、図４に示したモデル制御情報のうち照明強度、照明強度推定レンジ、前回照明強度、安定カウンタ、不安定カウンタ、不具合検知フラグは、図５に示すように電灯ごとに保持される。このように、電灯ごとにパラメータを保持しているため、個々の電灯で明るさのばらつきがある場合でも最適な照明強度の推定を行うことができ、背景画像生成の精度を高めることができる。また、不具合検知フラグを電灯ごとに保持しているため、不具合発生時の修理・交換箇所を即座に特定することが容易になる。
【００５０】
図６は機器２が自動ドアである場合のモデル制御情報を説明する模式図であり、モデル制御情報の項目とその値域とが示されている。図６に示す自動ドアは図２（ｃ）の機器２ｃに該当する。
【００５１】
開き幅はドア２３が開いている部分の幅である。開き幅は自動ドア２ｃについてのモデルパラメータであり、その値域は、ドア２３が完全に閉まっている状態を０％、完全に開いている状態を１００％とする０〜１００％である。
【００５２】
開き幅推定レンジ（パラメータレンジ）は、モデル生成手段６０が自動ドア２ｃの開き幅を変更した背景モデルを生成する際に、開き幅を変化させる範囲である。開き幅推定レンジは基本的に自動ドア２ｃの動作状態に応じて設定される。自動ドア２ｃについては動作状態として、例えば、閉状態（人感センサ２２が人を検知せずドア２３が閉鎖された状態）、開閉中の状態（人感センサ２２が人を探知してドア２３が開放、閉鎖の順に移行中の状態）を定めることができる。開き幅推定レンジは、例えば、閉状態について０〜１％を設定される。なお、開閉中が移行中状態であるのに対し、閉状態は移行完了状態に当たる。開閉中状態の開き幅推定レンジは、目標範囲とそこに到達するまでの移行途中の範囲とを合わせた範囲に設定される。具体的には、開閉中状態について、移行途中の範囲と定義する１％超１００％以下と目標範囲に当たる０〜１％とを合わせた０〜１００％が設定される。
【００５３】
前回開き幅（前回パラメータ）は例えば、動作状態が「開閉中」である際に、開き幅が一定になったかどうかを判定するためなどに利用される。具体的には、上述した前回照明強度と同様、直近の推定値が前回開き幅に格納され、次の処理周期にて利用される。
【００５４】
動作状態は、推定された開き幅に基づいて、自動ドアの開閉状態が上述した「閉」、「開閉中」のいずれであるかを設定される。
【００５５】
安定カウンタ、不安定カウンタは基本的に上述した照明機器の場合と同様である。具体的には、安定カウンタは開き幅が安定して推定された回数をカウントし、カウント値が所定値以上になったら開閉動作の移行完了が判定され、一方、不安定カウンタは、開き幅が一定期間以上安定しない不具合を判定するために用いられる。
【００５６】
不具合検知フラグは、例えば、人感センサが人を検知しても自動ドアが開かない事象や、人感センサが人を未検知の状態であっても自動ドアが閉まらない事象などの不具合が発生した場合にＯＮとし、ユーザーインターフェース部７を通じて器具の管理者等に通知するためのフラグである。
【００５７】
ここで、不具合検知フラグがＯＮに設定された機器２については、パラメータレンジ（照明強度推定レンジ、開き幅推定レンジ）を上述した動作状態に応じた範囲とは別途の範囲に設定してもよい。例えば、劣化した照明機器の照明強度は、ＯＦＦからＯＮへの制御信号の変化に対し、目標範囲より低い値で飽和し得る。本実施形態では、このように動作状態が移行途中の範囲で安定した機器２について不具合検知フラグをＯＮにするとともに、当該機器のパラメータレンジを例えば、不具合検知までに到達した照明強度または開き幅を中心として±１％を上限／下限とする範囲に設定する。なお、例えば、照明機器が点灯と消灯とを繰り返すちらつきのような機器２の不安定な不具合については、パラメータレンジを０〜１００％に設定することができる。
【００５８】
モデル生成手段６０は、機器２にて制御信号により生じる動作状態に応じて当該機器のモデルパラメータを変更した背景モデルを生成する。これにより、機器２が制御信号により生起される動作状態である場合の空間を模した背景モデルが生成される。モデル生成手段６０は生成した背景モデルを背景画像生成手段６１に出力する。
【００５９】
本実施形態では、モデル生成手段６０は、制御信号取得手段３０が制御信号を取得すると、当該制御信号に対して予め想定されるモデルパラメータの変化範囲にてモデルパラメータが異なる複数の背景モデルを生成する。
【００６０】
機器２が照明機器である場合、モデル生成手段６０は制御信号に応じてモデルパラメータとされた照明機器の照明条件を変更する。ここでは、モデルパラメータは照明強度であり、例えば、モデル生成手段６０は照明強度を１％刻みで変更し背景モデルを生成する。具体的には、動作状態が消灯から点灯へ移行中である場合は、モデル生成手段６０は照明強度を、照明強度推定レンジに設定される０〜１００％の範囲で１％刻みで変更する。この場合に生成される複数の背景モデルを移行中モデルと称する。動作状態が点灯状態である場合は、モデル生成手段６０は照明強度を、照明強度推定レンジに設定される９０〜１００％の範囲で１％刻みで変更する。この場合に生成される複数の背景モデルを移行完了時モデルと称する。動作状態が消灯状態である場合は、モデル生成手段６０は照明強度を０％とした背景モデルを生成する。なお、本実施形態では点灯から消灯への移行中は定義しない。つまり、制御信号から点灯から消灯への変化が検出された場合は移行中を経ずに消灯状態とする。すなわち、制御信号がＯＮからＯＦＦへ変化した場合には、モデル生成手段６０は移行中モデルを生成せず、照明強度を０％とした移行完了時モデルのみを生成する。しかし、点灯から消灯への移行中を消灯から点灯への移行中と同様に定義することとして、例えば、照明強度を０〜１００％の範囲で設定した移行中モデルを生成してもよい。
【００６１】
機器２が自動ドア等の可動機器であれば、モデル生成手段６０は制御信号に応じて可動機器についてモデルパラメータとされた三次元座標値を変更する。例えば、自動ドアについては上述のように開き幅がモデルパラメータとされ、例えば、モデル生成手段６０は開き幅を１％刻みで変更し背景モデルを生成する。具体的には、動作状態が開閉中である場合は、モデル生成手段６０は開き幅を、開き幅推定レンジに設定される０〜１００％の範囲で１％刻みで変更して、移行中モデルを生成する。また、モデル生成手段６０は動作状態が閉状態である場合は、開き幅を０％および１％とした移行完了時モデルを生成する。
【００６２】
ここで、１つの制御信号により複数の機器の動作が制御される場合には、モデル生成手段６０は個々の機器の動作状態の組み合わせについて背景モデルを生成する。例えば、１つのスイッチにより２つの電灯Ａ，Ｂの点灯／消灯動作を一括して制御する照明機器において、両方の電灯の動作状態が点灯の場合は、モデル生成手段６０は、電灯Ａの照明強度について９０〜１００％の範囲で１％刻みで設定される１１通りのモデルパラメータと電灯Ｂの照明強度について同様に設定される１１通りのモデルパラメータとを組み合わせた１２１通りの背景モデルを出力する。
【００６３】
図７はモデル生成手段６０による背景モデルの生成の例を説明する模式図である。図７（ａ）〜（ｃ）はそれぞれ図２（ａ）〜（ｃ）の機器２ａ〜２ｃについてのモデル生成例を示している。図７（ａ）〜（ｃ）はそれぞれ水平方向を時間軸とし、右向きに時間が経過する際の動作状態の変化の例を示している。
【００６４】
図２（ａ）の機器２ａについて、図７（ａ）に示すように、照明機器のスイッチ２０がＯＦＦからＯＮに変わった場合、制御信号取得手段３０が当該照明機器の状態を消灯から点灯に移行させる制御信号を取得し、モデル生成手段６０が当該照明機器のモデルパラメータである照明強度を、移行中状態にて照明強度推定レンジに設定される０〜１００％の範囲で変更し、移行中モデルとなる複数の背景モデルを生成する。
【００６５】
照明強度が上昇し点灯状態になると、モデル生成手段６０は照明強度を照明強度推定レンジに設定される９０〜１００％の範囲で変更し、移行完了時モデルとなる複数の背景モデルを生成する。
【００６６】
照明機器のスイッチがＯＮからＯＦＦに変わった場合は、制御信号取得手段３０が当該照明機器の状態を点灯から消灯に移行させる制御信号を取得し、モデル生成手段６０は当該照明機器の照明強度を０％とした移行完了時モデルを生成する。
【００６７】
図２（ｂ）の機器２ｂについては、図７（ｂ）に示すように、モデル生成手段６０は電灯Ａ〜Ｃそれぞれの照明強度を図７（ａ）の１つの電灯と同様に変更して背景モデルを生成する。
【００６８】
図２（ｃ）の機器２ｃについては、図７（ｃ）に示すように、自動ドアの人感センサの出力が人の未検知状態から検知状態に変わった場合、制御信号取得手段３０が当該自動ドアの状態を開閉中の状態（移行中状態）に移行させる制御信号を取得し、モデル生成手段６０が当該自動ドアのモデルパラメータである開き幅を、移行中状態について開き幅推定レンジに設定される０〜１００％の範囲で変更し、移行中モデルとなる複数の背景モデルを生成する。
【００６９】
つまり、モデル生成手段６０は、制御信号取得手段３０が機器２の状態を移行させる制御信号を取得した場合に、機器２の動作状態に関する当該制御信号に対応する目標範囲とそこへの移行途中の範囲とを合わせたパラメータレンジにてモデルパラメータを設定して、移行中状態での監視空間を模した背景モデルとして移行中モデルを生成する。
【００７０】
また、モデル生成手段６０は、機器２の動作状態の移行が完了した後は、新たな目標範囲への移行を指示する制御信号が取得されるまでの間、移行途中の範囲のモデルパラメータについては背景モデルの生成を省略し、目標範囲のみにてモデルパラメータを設定して、移行完了状態での監視空間を模した背景モデルとして移行完了時モデルを生成する。このようにすることで、モデル生成手段６０は、機器２からの制御信号に応じた範囲に制限した背景モデルを出力できる。
【００７１】
背景画像生成手段６１はモデル生成手段６０により生成された背景モデルを、記憶部５に予め記憶されたカメラパラメータに基づきカメラ４の撮影面に仮想的にレンダリングし背景画像を生成する。ちなみにカメラパラメータはカメラ４の内部パラメータ及び外部パラメータであり、撮影位置姿勢の他に焦点距離、解像度（幅方向画素数、高さ方向画素数）、レンズ歪みなどを含む。背景画像生成手段６１は生成した背景画像を物体検出手段６２に出力する。
【００７２】
具体的には、まず背景画像生成手段６１は、カメラパラメータから背景モデルのＸＹＺ座標系におけるカメラ４の撮影面を導出する。次に背景画像生成手段６１は、背景モデルに含まれる光源についてその位置および照明特性に従った光線データを生成する。その際、光源のうち機器２である照明機器については、背景モデルごとに、設定された照明強度に基づいて光線データの有無や出力を調整する。続いて背景画像生成手段６１は、背景物での反射による光線データの色や出力の変化を背景物の色、テクスチャ、反射特性に従って調整する。そして背景画像生成手段６１は光源から撮影面に到達する直接光、反射光の光線データを撮影面の各画素値に設定して背景画像を生成する。
【００７３】
上述したようにモデル生成手段６０は、機器２の制御信号に応じて或るタイミングの監視空間について複数の背景モデルを生成し得る。カメラ４の或る撮影タイミングに対応して複数の背景モデルが生成された場合、背景画像生成手段６１は複数の背景モデルのそれぞれをカメラパラメータに基づきレンダリングして複数のレンダリング画像を生成する。そして、背景画像生成手段６１は、それらレンダリング画像のうち、カメラ４の当該撮影タイミングの撮影画像との相違度が最小のものを用いて背景画像を生成する。
【００７４】
例えば、背景画像生成手段６１は、撮影画像の画素値の代表特徴量とレンダリング画像の画素値の代表特徴量との差を相違度として算出する。代表特徴量は例えば平均画素値とすることができる。或いは平均画素値および画素値の分散を代表特徴量としてもよい。また、画素値は色でもよく、或いは濃淡値でもよい。
【００７５】
また、代表特徴量は撮影画像において背景物以外が写った領域（人物領域など）を除いて算出することが望ましい。そのため、背景画像生成手段６１は例えば、人が存在し得ない領域として高さ２ｍ以上の位置に予め定めた評価領域内の画素を用いて代表特徴量を算出する。
【００７６】
或いは、背景画像生成手段６１は例えば、レンダリング画像において背景物ごとに当該背景物の領域の画素値の分散を算出し、分散が所定値未満である領域内の画素を用いて代表特徴量を算出する。
【００７７】
さらに、背景画像生成手段６１は、機器２について、相違度が最小のレンダリング画像の画素値を所定限度内で変化させ、これにより当該レンダリング画像に対し撮影画像に近づける補正を施して背景画像を生成する。
【００７８】
この補正を行う理由について説明する。カメラ４が撮影する空間は一般に複数の立体物から構成される複雑な構造となっている。そのため、照明条件の変化に対する背景画像の画素値変化は各背景物の凹凸、各背景物の光源に対する向きや距離、各背景物の材質、背景物間の多重反射などに影響される他、空間に現れた人物など背景物以外の物体にも影響される。
【００７９】
そのため、背景画像の画素値変化は背景画像全体でみると一様ではなく複雑な非線形変化となる。複数の背景物の三次元座標値を保持した背景モデルを基に生成した背景画像を利用すれば、各背景物の凹凸、向き、距離、材質、多重反射の影響を比較的精度よく再現できるが、物体検出処理に要求される精度で再現することは難しい。また、背景物以外の影響を再現することも困難である。
【００８０】
そこで、背景画像生成手段６１は、撮影画像に適合する照明条件のレンダリング画像を選定することによって一次近似を行い、選定したレンダリング画像を撮影画像に近づける補正を行うことによって高精度な背景画像を得る。
【００８１】
背景画像生成手段６１は、相違度最小により選定したレンダリング画像における各画素の画素値を撮影画像の当該画素の画素値に応じて補正する。具体的には、背景画像生成手段６１は画素ごとに、予め設定した補正の限度の範囲内にて、当該画素におけるレンダリング画像の画素値を撮影画像の画素値に近づける。例えば、補正の限度として画素ごとに下限と上限を定め、各画素を下限値以上、上限値以下の画素値の範囲で補正する。例えば、各画素における撮影画像の画素値とレンダリング画像の画素値との差を算出し、当該差を当該画素でのレンダリング画像の画素値に加算して補正画素値を求める。また、当該補正画素値が下限値を下回るときは、下限値で補正画素値を置き換え、上限値を上回るときは、上限値で補正画素値を置き換える。
【００８２】
このとき、撮影画像において背景物以外が写った領域（人物領域など）を除く画素について選択的に補正を行うことによって補正を高精度化できる。そのために、背景画像生成手段６１は相違度最小により選定したレンダリング画像と撮影画像とを局所ごとに比較して相違度が予め定めた閾値Ｔ１以上である相違領域を検出し、背景物の像のうち相違領域以外の部分の画素について補正を行う。
【００８３】
また、背景画像は背景モデルにおけるテクスチャの微小な誤差を含み得る。そのため、背景画像生成手段６１は複数の近傍画素をまとめた小領域単位で比較を行う。小領域は、撮影画像を格子状に区分した各ブロックとすることもできるが、人物等の形状をより高精度に検出するためにスーパーピクセルとすることが望ましい。すなわち、背景画像生成手段６１は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と選定したレンダリング画像の代表特徴量との相違度を算出し、相違度が閾値Ｔ１以上である小領域を相違領域として検出する。この場合の代表特徴量は例えば各小領域の平均画素値および画素値の分散とすることができる。或いは平均画素値を代表特徴量としてもよい。また、画素値は色でもよく、或いは濃淡値でもよい。
【００８４】
上述した補正の下限は、選択したレンダリング画像を生成したときの照明強度よりも１％弱い照明強度（当該照明強度が０％を下回る場合は０％）のレンダリング画像の画素値とし、また上限は、選択したレンダリング画像を生成したときの照明強度よりも１％強い照明強度（当該照明強度が１００％を超える場合は１００％）のレンダリング画像の画素値とすることができる。ここで、補正画素値の下限、上限を与える照明強度のレンダリング画像が、モデル生成手段６０が出力した背景モデルに無い照明強度のものである場合は、改めてモデル生成手段６０に当該照明強度のレンダリング画像を出力させる。
【００８５】
また、選択したレンダリング画像における各画素の画素値に予め設定した割合を乗算して、または予め定めた値を減算、加算して下限と上限を定めてもよい。
【００８６】
複数の照明機器のモデルパラメータ変更が組み合わさったレンダリング画像については、各照明機器の照明強度が、選択したレンダリング画像を生成したときの照明強度よりも１％弱い照明強度のレンダリング画像の画素値を下限に定め、各照明機器の照明強度が、選択したレンダリング画像を生成したときの照明強度よりも１％強い照明強度のレンダリング画像の画素値を上限に定めてもよい。
【００８７】
上述したように、背景モデルの生成に際しモデルパラメータの変化範囲をパラメータレンジで制限することで、背景画像生成手段６１により生成される背景画像は、想定される動作状態に対応する範囲外の状態のものとなる危険性を回避することができる。つまり、モデル生成手段６０により生成される背景モデルが機器２からの制御信号に応じた範囲の変更に制限されているため、撮影画像に写った背景以外の物体の影響で撮影画像に過剰に近い背景画像が生成される不具合を抑制できる。
【００８８】
例えば、照明機器が消灯されている状態で監視空間に白い服を着た人物が複数人同時に入ってきたために撮影画像が明るくなっている場合であっても、背景モデルは照明強度０％に制限される。そのため照明強度０％以外のレンダリング画像が選択されることがない。また照明強度０％から乖離した補正が行われることもない。よって、撮影画像に写った人の影響で実際の照明条件よりも過剰に明るい背景画像を生成してしまう誤りを防ぐことができる。
【００８９】
また、照明機器が点灯している状態で監視空間に黒い服を着た人物が複数人同時に入ってきたために撮影画像が暗くなっている場合であっても、背景モデルは照明強度９０〜１００％に制限される。そのため照明強度９０％未満のレンダリング画像が選択されることがない。また照明強度９０〜１００％の範囲から乖離した補正が行われることもない。よって、撮影画像に写った人の影響で実際の照明条件よりも過剰に暗い背景画像を生成してしまう誤りを防ぐことができる。
【００９０】
また、背景モデルの変更範囲を制限することにより、レンダリング処理等の負荷を減少させることができる。
【００９１】
物体検出手段６２は、カメラの撮影タイミングに対応する背景モデルから背景画像生成手段６１が生成した背景画像を、カメラが当該撮影タイミングにて監視空間を撮影した撮影画像と比較して、背景物以外の物体を監視空間にて検出する。背景物以外の物体とは、監視空間に現れた人など、撮影画像には撮影されているが背景モデルにおいてモデル化されておらず背景画像には現れていない物体である。
【００９２】
上述したように、背景モデルから生成した背景画像は背景モデルにおけるテクスチャの微小な誤差を含み得る。そのため、物体検出手段６２は、複数の近傍画素をまとめた小領域単位で比較を行う。小領域は、撮影画像を格子状に分割した各ブロックとすることもできるが、人物等の形状をより高精度に検出するためにスーパーピクセルとすることが望ましい。
【００９３】
すなわち、物体検出手段６２は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、相違度が予め定めた閾値Ｔ２以上である小領域に背景物以外の物体が存在すると判定する。
【００９４】
代表特徴量は例えば各小領域の平均画素値および画素値の分散とすることができる。この場合、撮影画像と背景画像とのそれぞれから算出した平均画素値どうしの差、画素値の分散どうしの差を予め定めた重みで重みづけて加算した重みづけ和を相違度とすることができる。或いは環境によっては平均画素値のみ、エッジ密度のみを代表特徴量としてもよい。また、画素値は色でもよく、或いは濃淡値でもよい。
【００９５】
ここで、背景物の手前に当該背景物と色が類似する服を着た人物などが存在する場合、画素値の代表特徴量のみでは検出対象物体の一部を検出し損ねる場合がある。そこで物体検出手段６２は、閾値Ｔ２による小領域の検出に加えて、予め定めた閾値Ｔ３以上の有意なエッジ差分が検出された小領域において閾値Ｔ２よりも低く定めた閾値Ｔ４以上である小領域にも背景物以外の物体が存在すると判定する。このように画素値の特徴量とエッジの特徴量の両方を評価することで、背景物の手前に当該背景物と画像の複雑度が類似する検出対象物体や当該背景物と色が類似する検出対象物体が存在しても高精度な検出が可能となる。
【００９６】
次に物体検出装置１の動作について説明する。図８および図９は物体検出装置１の概略の動作を示すフロー図である。
【００９７】
画像処理部６は、カメラ４から撮影画像を取得すると（ステップＳ１）、制御信号取得手段３０である機器インターフェース部３から機器２の制御信号を取得する（ステップＳ２）。すなわち、カメラ４による撮影タイミングと基本的に同期して、機器２の制御信号が取得される。
【００９８】
画像処理部６はモデル生成手段６０として動作し、制御信号が前回の取得時から変化したか否かを判定する（ステップＳ３）。変化したと判定した場合（ステップＳ３にてＹＥＳの場合）、モデル生成手段６０は当該機器２についての動作状態として「移行中」を設定する（ステップＳ４）。具体的には、機器２が照明機器であれば、スイッチ２０がＯＦＦからＯＮに切り替えられる際の制御信号の変化に対して、背景モデル記憶手段５０の当該機器のモデル制御情報における動作状態に「移行中」が設定され、照明強度推定レンジに０〜１００％が設定される。また、機器２が自動ドアであれば、制御信号である人感センサ２２の出力が未検知時のローレベルの電圧から検知時のハイレベルの電圧に変化したときに動作状態に「開閉中」が設定され、開き幅推定レンジに０〜１００％が設定される。また、ステップＳ４における動作状態の「移行中」（または「開閉中」）の設定と併せて、モデル生成手段６０は安定カウンタ、不安定カウンタのカウント値を０にリセットし、また、不具合検知フラグをＯＦＦにセットする。なお、既に述べたように本実施形態では、照明機器のＯＮからＯＦＦへの切り替え時には移行中を定義しないので、この場合は、モデル生成手段６０は動作状態に「消灯」を設定し、照明強度推定レンジに０％を設定する。
【００９９】
一方、制御信号が変化しなかったと判定した場合は（ステップＳ３にてＮＯの場合）、モデル生成手段６０はステップＳ４をスキップする。
【０１００】
背景物の複数の機器２が存在する場合、モデル生成手段６０は各機器についてステップＳ２〜Ｓ４の処理を行う。
【０１０１】
ステップＳ２〜Ｓ４の次に、モデル生成手段６０は記憶部５の背景モデル記憶手段５０から背景モデルを読み出して機器２の状態を確認し（Ｓ５，Ｓ６）、その状態に応じた背景モデルを生成する（Ｓ７，Ｓ８，Ｓ９）。
【０１０２】
具体的には、モデル生成手段６０は機器２の状態に関し例えば、背景モデルに含まれるモデル制御情報のパラメータレンジ、動作状態および不具合検知フラグを読み出す。そして、動作状態が移行中（または開閉中）であり、且つ不具合検知フラグがＯＦＦである機器２に関しては（ステップＳ５にてＹＥＳ、且つステップＳ６にてＮＯの場合）、モデル生成手段６０は当該機器２のモデルパラメータをパラメータレンジ内にて変更して移行中モデルを生成する（ステップＳ７）。
【０１０３】
例えば、機器２が移行中であり且つ不具合がまだ検知されていない照明機器であれば動作状態には移行中、照明強度推定レンジには０〜１００％、不具合検知フラグにはＯＦＦがそれぞれ設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を順次０％，１％，…，１００％と変更して移行中モデルを生成する。
【０１０４】
また、例えば、機器２が移行中であり且つ不具合がまだ検知されていない自動ドアであれば動作状態には移行中、開き幅推定レンジには０〜１００％、不具合検知フラグにはＯＦＦが設定されている。モデル生成手段６０は当該自動ドアに関し、開き幅推定レンジに従い、当該自動ドアの開き幅を順次０％，１％，…，１００％と変更して移行中モデルを生成する。
【０１０５】
動作状態が移行中であり且つ不具合発生中である機器２に関しては（ステップＳ５にてＹＥＳ、且つステップＳ６にてＹＥＳの場合）、モデル生成手段６０は当該機器２のモデルパラメータをパラメータレンジ内にて変更して不具合時モデルを生成する（Ｓ８）。
【０１０６】
例えば、機器２が照明強度８５％で安定した不具合（劣化）が発生中の照明機器であれば動作状態には「移行中」、照明強度推定レンジには８４〜８６％、不具合検知フラグにはＯＮが設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を順次８４％，８５％，８６％と変更して不具合時モデルを生成する。
【０１０７】
また例えば、機器２が照明強度の不安定な不具合（点消灯繰り返し）が発生中の照明機器であれば、動作状態は基本的には「移行中」であり、また、照明強度推定レンジには０〜１００％、不具合検知フラグにはＯＮが設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を順次０％，１％，…，１００％と変更して不具合時モデルを生成する。
【０１０８】
例えば、機器２が開き幅５０％で安定した不具合（停止）が発生中の自動ドアであれば、動作状態には「開閉中」、開き幅推定レンジには４９〜５１％、不具合検知フラグにはＯＮが設定されている。モデル生成手段６０は当該自動ドアに関し、開き幅推定レンジに従い、開き幅を順次４９％，５０％，５１％と変更して不具合時モデルを生成する。
【０１０９】
また例えば、機器２が開き幅の不安定な不具合（開閉繰り返し）が発生中の自動ドアであれば、動作状態は基本的に「開閉中」であり、また、開き幅推定レンジには０〜１００％、不具合検知フラグにはＯＮが設定されている。モデル生成手段６０は当該自動ドアに関し、開き幅推定レンジに従い、開き幅を順次０％，１％，…，１００％と変更して不具合時モデルを生成する。
【０１１０】
機器２の状態が移行中ではない機器２に関しては（ステップＳ５にてＮＯの場合）、モデル生成手段６０は当該機器２のモデルパラメータをパラメータレンジ内にて変更して移行完了時モデルを生成する（ステップＳ９）。
【０１１１】
例えば、機器２が照明強度９９％で点灯状態に移行完了している照明機器であれば、動作状態には「点灯」、照明強度推定レンジには９０〜１００％が設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を順次９０％，９１％，…，１００％と変更して移行完了時モデルを生成する。
【０１１２】
また例えば、機器２が消灯状態に移行完了した照明機器であれば、動作状態には「消灯」、照明強度推定レンジには０％が設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を０％として移行完了時モデルを生成する。
【０１１３】
また例えば、機器２が開き幅１％で閉状態に移行完了している自動ドアであれば、動作状態には「閉」、開き幅推定レンジには０〜１％が設定されている。モデル生成手段６０は当該自動ドアに関し、開き幅推定レンジに従い、開き幅を順次０％，１％に変更して移行完了時モデルを生成する。
【０１１４】
背景物に複数の機器２が存在する場合、モデル生成手段６０は各機器のモデルパラメータを上述のように動作状態等に応じて変更し、複数の機器２のモデルパラメータを組み合わせて背景モデルを生成する。
【０１１５】
上述のようにモデル生成手段６０により、制御信号に対して予め想定されるパラメータレンジ内にてモデルパラメータを設定して背景モデルが生成される。１つの機器２についてモデルパラメータはパラメータレンジにて複数通りに設定され得、背景物には複数の機器２が存在し得るので、基本的には、機器２または機器群の動作状態が異なる複数の背景モデルが生成される。但し、例えば、背景物に閉状態の自動ドアだけが存在する場合などには、背景モデルとして１通りの動作状態のものしか生成されない場合もある。
【０１１６】
背景モデルを生成すると、画像処理部６は背景画像生成手段６１として動作し、モデル生成手段６０により機器２の動作状態等に応じて生成された基本的に複数通りの背景モデルそれぞれを撮影手段４０であるカメラ４の撮影面に対応する座標系にレンダリングしてレンダリング画像を生成する（ステップＳ１０）。
【０１１７】
背景画像生成手段６１は、各レンダリング画像を撮影画像と比較して相違度を算出し、相違度が最小のレンダリング画像を選択する（ステップＳ１１）。選択したレンダリング画像を背景画像とすることもできるが、本実施形態では、当該レンダリング画像に補正処理を施して背景画像を得る（ステップＳ１２，Ｓ１３）。
【０１１８】
具体的には、ステップＳ１２では背景画像生成手段６１は、補正対象となる選択レンダリング画像の基となった背景モデルに対応するモデルパラメータを基準にして、当該レンダリング画像の各画素の補正限度を決定する。そしてステップＳ１３にて、背景画像生成手段６１は、補正限度の範囲内で、選択レンダリング画像の各画素の画素値を撮影画像の対応画素の画素値に近づける補正を行う。
【０１１９】
背景画像が生成されると、画像処理部６は物体検出手段６２として動作し、撮影画像から物体の領域を検出する（ステップＳ１４）。具体的には、物体検出手段６２は、撮影画像とステップＳ１３の補正処理で得られた背景画像との間で背景差分処理を行って変化領域を抽出し、例えば人のサイズとして予め定めた範囲内の大きさを有する変化領域を物体領域として検出する。
【０１２０】
ステップＳ１４にて人など、背景物以外の物体が検出された場合、画像処理部６は例えば、物体領域を単一色で塗りつぶしてプライバシーマスクを生成し、撮影画像にプライバシーマスクを重畳したマスク画像を出力手段７０に出力して該画像を表示させる。他方、物体が検出されなかった場合には、画像処理部６は撮影画像をそのまま表示させる。
【０１２１】
次に、画像処理部６は再びモデル生成手段６０として動作し、機器２の状態の判定および更新を行う（ステップＳ１５〜Ｓ２９）。以下、この処理を説明する。
【０１２２】
モデル生成手段６０は、機器２の動作状態が「移行中」であるか否かを確認する（ステップＳ１５）。移行中ではない場合は（ステップＳ１５にてＮＯの場合）、ステップＳ１６〜Ｓ２６をスキップして処理をステップＳ２７に進める。
【０１２３】
一方、機器２が移行中である場合（ステップＳ１５にてＹＥＳの場合）、モデル生成手段６０は、ステップＳ１１における選択レンダリング画像に対応する移行中モデルのモデルパラメータ（以下、今回パラメータ）と、記憶部５に記憶されている前回の選択レンダリング画像に対応する移行中モデルのモデルパラメータ（以下、前回パラメータ）との差を算出して閾値ＴＤと比較する（ステップＳ１６）。閾値ＴＤは動作状態が安定している時の機器２の画像の変動幅に応じて予め定めておく。例えば、ＴＤは１％とする。
【０１２４】
差の絶対値がＴＤ以下である場合（ステップＳ１６にてＹＥＳの場合）、モデル生成手段６０は、当該機器の安定カウンタのカウント値を１だけ増加させて（ステップＳ１７）、増加後のカウント値を閾値ＴＳと比較する（ステップＳ１８）。閾値ＴＳは機器２の安定／不安定を弁別できる程度の時間長に予め定めておく。例えば、照明機器であれば１秒間相当のフレーム数である５がＴＳとして設定され、自動ドアであれば連続入退場を加味して１０秒間相当のフレーム数である５０がＴＳとして設定される。
【０１２５】
安定カウンタの値がＴＳ以上であった場合（ステップＳ１８にてＹＥＳの場合）、モデル生成手段６０は、ステップＳ１１で選択されたレンダリング画像が移行完了状態の背景モデルに対応するものであるか否かを確認する（ステップＳ１９）。すなわち機器２の今回パラメータが目標範囲にあるか否かを確認する。機器２の今回パラメータが目標範囲であった場合（ステップＳ１９にてＹＥＳの場合）、モデル生成手段６０は当該機器の動作状態を移行完了を示す状態に設定する（ステップＳ２０）。具体的には、照明機器については「点灯」、「消灯」、また自動ドアについては「閉」が設定される。この場合、モデル生成手段６０は当該機器２のパラメータレンジを目標範囲に変更する。例えば、機器２が点灯への遷移が完了した照明機器である場合、照明強度推定レンジは９０〜１００％に設定される。
【０１２６】
一方、機器２の今回パラメータが目標範囲にはなく、移行途中の範囲にある場合は（ステップＳ１９にてＮＯの場合）、上述した照明機器の劣化による照明強度の低下のように、機器２の動作状態が目標範囲に到達する前に定常状態となった場合であるので、モデル生成手段６０は、動作状態が安定している不具合が発生したとして当該機器の不具合検知フラグをＯＮに設定する（ステップＳ２１）。この場合、モデル生成手段６０は、当該機器２のパラメータレンジをステップＳ１１で選択された背景モデルのモデルパラメータを中心として±１％を上限／下限とする範囲に変更する。例えば、機器２が照明機器であり、ステップＳ１１で選出した背景モデルの照明強度が８５％であった場合、照明強度推定レンジに８４〜８６％と設定する。
【０１２７】
モデル生成手段６０は不具合が発生中であることを検知すると、警告手段であるユーザーインターフェース部７にその旨を警告させる（ステップＳ２２）。例えば、機器２が照明機器であれば、当該照明機器の設置面（天井など）を視野に含む仮想の撮影面に空間モデルをレンダリングして、レンダリング画像中にて不具合の発生している電灯の像を強調表示するとともに当該画像に文字列「電灯が劣化しています」を重畳させて警告表示させる。また、機器２が自動ドアであれば例えば、不具合の発生している自動ドアの像を背景画像において強調表示するとともに当該背景画像に文字列「自動ドアが止まっています」を重畳させて警告表示させる。
【０１２８】
安定カウンタの値がＴＳ未満の場合（ステップＳ１８にてＮＯの場合）、ステップＳ１９〜Ｓ２２をスキップして処理をステップＳ２７に進める。
【０１２９】
また、ステップＳ１６にて、機器２の今回パラメータと前回パラメータとの差の大きさがＴＤより大きかった場合（ステップＳ１６にてＮＯの場合）、モデル生成手段６０は、当該機器の不安定カウンタの値を１だけ増加させて（ステップＳ２３）、増加後の不安定カウンタの値を閾値ＴＵと比較する（ステップＳ２４）。閾値ＴＵは機器２が移行に要する程度の時間長に予め定めておく。例えば、照明機器であれば１秒間相当のフレーム数である５がＴＵとして設定され、自動ドアであれば連続入退場を加味して１０秒間相当のフレーム数である５０がＴＵとして設定される。
【０１３０】
機器２の不安定カウンタの値がＴＵ以上であった場合は（ステップＳ２４にてＹＥＳの場合）、例えば、照明機器が点灯と消灯とを繰り返すちらつきのような機器２の不安定な不具合が発生しているといえる。そこで、モデル生成手段６０は、動作状態が不安定である不具合が発生したとして当該機器の不具合検知フラグをＯＮに設定する（ステップＳ２５）。この場合、モデル生成手段６０は、当該機器２のパラメータレンジを移行中モデルのパラメータレンジと同じ設定とすることができ、例えば、０〜１００％とする。
【０１３１】
モデル生成手段６０は不具合が発生中であることを検知すると、警告手段であるユーザーインターフェース部７にその旨を警告させる（ステップＳ２６）。例えば、機器２が照明機器であれば、当該照明機器の設置面（天井など）を視野に含む仮想の撮影面に空間モデルをレンダリングして、レンダリング画像中にて不具合の発生している電灯の像を強調表示するとともに当該画像に文字列「電灯にちらつきが発生しています」を重畳させて警告表示させる。また、機器２が自動ドアであれば例えば、不具合の発生している自動ドアの像を背景画像において強調表示するとともに当該背景画像に文字列「自動ドアが開閉を繰り返しています」を重畳させて警告表示させる。
【０１３２】
機器２の不安定カウンタの値がＴＵ未満であった場合（ステップＳ２４にてＮＯの場合）、ステップＳ２５，Ｓ２６をスキップして処理をステップＳ２７に進める。
【０１３３】
ステップＳ２７ではモデル生成手段６０は、次回に前回パラメータとして参照するために今回パラメータを記憶部５に記憶させる。
【０１３４】
ステップＳ２２，Ｓ２６での不具合警告を受けて、ユーザーである機器管理者は不具合発生中の機器２の修理・交換といった対処を行うことができる。当該対処により不具合が解消された場合、ユーザーはユーザーインターフェース部７を操作して復旧信号を入力する。モデル生成手段６０は、復旧信号の入力を確認し（ステップＳ２８）、復旧信号が入力されている場合（ステップＳ２８にてＹＥＳの場合）、機器２の動作状態を「移行中」に設定する（ステップＳ２９）。一方、復旧信号が入力されていない場合は（ステップＳ２８にてＮＯの場合）、ステップＳ２９はスキップされる。
【０１３５】
背景物に複数の機器２が存在する場合、モデル生成手段６０は各機器についてステップＳ１５〜Ｓ２９を実行する。
【０１３６】
モデルパラメータの記録処理Ｓ２７および復旧処理への対応処理Ｓ２８，Ｓ２９を終えると、画像処理部６は処理をステップＳ１に戻し、次の撮影画像に対する処理を開始する。
【０１３７】
なお、ステップＳ１８の判定にて安定カウンタの値が閾値以上であったことが、今回パラメータと前回パラメータとの差の大きさが閾値ＴＤ以下である状態が所定期間以上継続したことを保証するために、ステップＳ１６にて今回パラメータと前回パラメータとの差の大きさが閾値ＴＤを超えた場合には安定カウンタの値を０にリセットしてもよい。すなわち、これにより、所定期間以上続けて、モデルパラメータの変化が閾値ＴＤ以下であり、且つモデルパラメータが目標範囲内である場合、新たな目標範囲への移行を指示する制御信号が取得されるまで、モデル生成手段６０は、目標範囲のみについて動作状態を変更する移行完了時モデルを生成する。
【０１３８】
［変形例］
（１）上記実施形態においては、背景画像生成手段６１が、複数のレンダリング画像の中から撮像画像との相違度が最も低いレンダリング画像を選択し、さらに選択したレンダリング画像の画素値を撮像画像の対応する画素値に近づける補正を行って背景画像を生成する例を示した。その変形例においては、背景画像生成手段６１は、補正を省略し、複数のレンダリング画像のうち撮像画像との相違度が最も低いレンダリング画像を背景画像とすることもできる。このような変形例は、例えば、背景画像上で机のエッジパターンを探索することにより監視空間内の机の移動を検出するような、画素値の高精度化よりも処理負荷の軽減を優先させたい用途において好適である。この変形例においても、撮影画像の過剰な近似を防止でき、撮影画像に背景以外の物体が写っていても背景モデルに基づき高精度で低負荷に背景画像を生成することが可能となる。
【０１３９】
（２）上記実施形態および変形例においては、複数通りの背景モデルに変更する場合、モデル生成手段６０が一度に複数通りに背景モデルを生成する例を示したが、モデル生成手段６０が背景画像生成手段６１と連携して探索的に背景モデルを変更してもよい。例えば、移行中の照明機器に関しモデルパラメータである照明強度を０〜１００％の範囲で１％刻みで設定する場合、まずモデル生成手段６０が照明強度を５０％に設定した背景モデルを出力し背景画像生成手段６１がそのレンダリング画像と撮影画像との明るさの差を算出する。次に、当該差が正である（レンダリング画像の方が明るい）場合は、モデル生成手段６０が照明強度を４９％に変更した背景モデルを出力し、差が負である（レンダリング画像の方が暗い）場合は、モデル生成手段６０が照明強度を５１％に変更した背景モデルを出力する、というように差が０に近づく方向に照明強度を変更する。そして、背景画像生成手段６１は、差の正負が変わったときまたは差の正負が変わらないまま範囲の下限または上限に達したときのレンダリング画像を用いて背景画像を生成する。このようにすることでさらに処理負荷を軽減できる。
【符号の説明】
【０１４０】
１  物体検出装置、２  機器、３  機器インターフェース部、４  カメラ、５  記憶部、６  画像処理部、７  ユーザーインターフェース部、２０  スイッチ、２１  電灯、２２  人感センサ、２３  自動ドア、３０  制御信号取得手段、４０  撮影手段、５０  背景モデル記憶手段、６０  モデル生成手段、６１  背景画像生成手段、６２  物体検出手段。
【図１】
2018121289.tif 000003
【図２】
2018121289.tif 000004
【図３】
2018121289.tif 000005
【図４】
2018121289.tif 000006
【図５】
2018121289.tif 000007
【図６】
2018121289.tif 000008
【図７】
2018121289.tif 000009
【図８】
2018121289.tif 000010
【図９】
2018121289.tif 000011