(57)【特許請求の範囲】
【請求項１】
監視空間内を撮像した入力画像を順次入力され、前記入力画像にプライバシー保護のためのマスク処理を施す画像処理装置であって、
前記監視空間に置かれた配置物を含む背景が撮像された前記監視空間の背景画像を記憶する記憶部と、
前記背景画像と前記入力画像との間における変化領域を求める変化領域抽出部と、
前記変化領域内の前記入力画像に前記マスク処理を施すマスク処理部と、
前記背景画像と前記入力画像との間にて互いに画像特徴が類似する対応点を検出して当該対応点間の移動量を算出し、当該移動量が所定値以上である前記対応点の位置から、前記変化領域のうち前記配置物の移動により生じた配置物由来領域を求める配置変化領域特定部と、
を備え、
前記マスク処理部は、前記配置物由来領域を前記マスク処理の対象から除外すること、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記配置変化領域特定部は、前記入力画像側の前記対応点の位置から前記配置物の移動先に生じた前記配置物由来領域を検出すること、を特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記配置変化領域特定部は、前記背景画像側の前記対応点の位置から前記配置物の移動元に生じた前記配置物由来領域を検出すること、を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記配置変化領域特定部は、前記移動元に生じた前記配置物由来領域の前記背景画像を前記配置物のテンプレートとして登録し、当該登録後にて当該テンプレートを用いたマッチング処理により前記入力画像における前記配置物由来領域を検出すること、を特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視画像にプライバシー保護処理を施す画像処理装置に関する。
【背景技術】
【０００２】
監視画像中において人物等をプライバシー保護加工して表示するために、画像中の人物領域を抽出する必要がある。従来、背景画像と入力画像との差分処理によって変化領域を抽出し、当該変化領域を人物領域としてプライバシー保護加工を施していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２２５３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、人が椅子や台車など監視空間内にもともと存在していた配置物を動かすと、人と配置物とがひとかたまりの変化領域として検出されてしまう。そのため変化領域を一律にプライバシー加工すると人や台車の形状が視認しづらく、監視員が不審行動の有無などの状況を把握しづらい問題があった。この場合、監視員が状況を把握するためには加工前の監視画像を確認するための手続きをとる必要が生じ、監視性が低下していた。また、この場合、加工前の監視画像の確認によりプライバシーを損ねるおそれがあった。また、配置物は監視空間ごとに異なるため、配置物の領域を検出するために事前に配置物の情報を記憶させておくことも困難であった。
【０００５】
本発明は、上記問題を鑑みてなされたものであり、プライバシー保護と監視性とを両立できる監視画像が得られる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、監視空間内を撮像した入力画像を順次入力され、前記入力画像にプライバシー保護のためのマスク処理を施すものであって、前記監視空間に置かれた配置物を含む背景が撮像された前記監視空間の背景画像を記憶する記憶部と、前記背景画像と前記入力画像との間における変化領域を求める変化領域抽出部と、前記変化領域内の前記入力画像に前記マスク処理を施すマスク処理部と、前記背景画像と前記入力画像とを照合して、前記変化領域のうち前記配置物の移動により生じた配置物由来領域を求める配置変化領域特定部と、を備え、前記マスク処理部は、前記配置物由来領域を前記マスク処理の対象から除外する。
【０００７】
他の本発明に係る画像処理装置においては、前記配置変化領域特定部は、前記背景画像と前記入力画像との間にて互いに画像特徴が類似する対応点を検出して当該対応点間の移動量を算出し、当該移動量が所定値以上である前記対応点の位置から前記配置物由来領域を検出する。
【０００８】
また、前記配置変化領域特定部は、前記配置変化領域特定部は、前記入力画像側の前記対応点の位置から前記配置物の移動先に生じた前記配置物由来領域を検出する構成とすることができる。
【０００９】
さらに、前記配置変化領域特定部は、前記背景画像側の前記対応点の位置から前記配置物の移動元に生じた前記配置物由来領域を検出する構成とすることができる。
【００１０】
さらに、前記配置変化領域特定部は、前記移動元に生じた前記配置物由来領域の前記背景画像を前記配置物のテンプレートとして登録し、当該登録後にて当該テンプレートを用いたマッチング処理により前記入力画像における前記配置物由来領域を検出するものとすることもできる。
【発明の効果】
【００１１】
本発明によれば、監視空間内の人物が配置物を動かしたときも当該人物のプライバシーを保護しつつ監視空間の状況を把握しやすい監視画像が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。
【図２】背景フロー検出部の処理を説明する模式図である。
【図３】本発明の実施形態に係る画像監視装置の概略の動作を示すフロー図である。
【図４】背景フロー検出処理の概略のフロー図である。
【図５】移動元の変化領域と移動先の変化領域とが同一の場合及び異なる場合の例を示す模式的な画像である。
【図６】追跡中の配置物の変化領域が写る連続する３時刻における入力画像及び当該画像に対応して抽出される変化領域の例の模式図である。
【図７】本発明の実施形態に係る画像監視装置によりマスク画像が生成される過程を具体例を用いて説明する模式図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態（以下実施形態という）である画像監視装置１について、図面に基づいて説明する。
【００１４】
監視空間には、人が出入りするほか、予め配置され人により動かされ得る物品（以下、配置物と称する）が存在する。例えば、監視空間は部屋であり、また配置物は監視空間の備品や設備、或いは一時置きされた物品であり、一例として椅子や台車などが配置物となる。
【００１５】
配置物は通常時は静止して監視空間の背景の一部を成しており、通常時は配置物による変化領域は抽出されない。しかし配置物が人により動かされると配置物と人とが一体化した変化領域が抽出されてしまう。画像監視装置１は、このような変化領域の中から配置物の動きにより生じた配置物由来領域を分離検出することで、監視及びプライバシー保護に適した画像加工処理を行う。
【００１６】
［画像監視装置１の構成］
図１は、画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は撮像部２、記憶部３、制御部４及び出力部５を含んで構成される。このうち制御部４が本発明に係る画像処理装置であり、撮像部２、記憶部３及び出力部５は制御部４に接続される。
【００１７】
撮像部２は監視カメラであり、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像（入力画像）は順次、制御部４に入力される。背景画像を用いて配置物や人の位置、移動を把握するため、撮像部２はこれらを俯瞰撮影可能な高さに視野を固定して設置される。例えば、本実施形態では撮像部２は部屋の天井部に固定設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称し、最新の時刻を現時刻、現時刻の入力画像を現画像、現時刻より一時刻前の入力画像を直前画像と呼ぶ。
【００１８】
記憶部３はＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部３は各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。各種データには背景画像３０、直前画像３１、配置物情報３２及び領域情報３３が含まれる。
【００１９】
背景画像３０は監視空間の背景の像のみが含まれ、人の像が含まれていない画像である。背景画像３０はマスク画像の生成処理に先立って生成され、記憶部３に格納される。具体的には人などの移動物体が監視空間内に存在しない状態で撮像された入力画像を背景画像３０とすることができ、この背景画像３０には配置物の像が含まれ得る。また、背景画像３０はマスク画像の生成処理の途中にて適宜更新される。
【００２０】
直前画像３１は現時刻の一時刻前の入力画像であり、各時刻に入力される現画像が次時刻における直前画像３１として記憶部３に書き込まれる。
【００２１】
配置物情報３２は各配置物の識別番号、配置物の状態（配置物状態）、監視画像における当該配置物の位置と領域、及び当該配置物の画像特徴を含む。配置物が動かされて当該配置物が検知されると、当該配置物の配置物情報３２が作成される。配置物の移動中において画像監視装置１は当該配置物の位置を追跡し、配置物情報３２として位置の履歴が記憶される。配置物状態を示す属性として追跡中と移動完了とが定義される。画像特徴には、配置物の像全体の特徴を表す色ヒストグラムなどの他、配置物の像の中で特徴的な一部を表す特徴点が含まれる。
【００２２】
領域情報３３は各変化領域の識別番号、及び当該変化領域が配置物を含むか否かの別を示す情報を含む。
【００２３】
制御部４は、監視空間内を撮像した入力画像を順次入力され、後述するようにマスク処理による隠蔽部分を含む画像を生成する画像処理装置として機能する。制御部４はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部３からプログラムを読み出して実行し、変化領域抽出部４０、背景フロー検出部４１、配置変化検知部４２、背景画像生成部４３及びマスク画像生成部４４等として機能する。
【００２４】
変化領域抽出部４０は入力画像と背景画像とを比較してそれらの間での変化領域を抽出し、抽出された変化領域の情報を背景フロー検出部４１及び配置変化検知部４２へ出力する。変化領域の抽出は公知の背景差分処理又は背景相関処理により行うことができる。すなわち、入力画像と背景画像との間における同一座標の画素の値の相違度（差又は相関値）を算出し、相違度がしきい値を超える画素を変化画素として検出する。そして、互いに隣接する変化画素をまとめ、まとめた領域を変化領域として抽出する。検出のしきい値は事前実験等に基づいて予め設定される。なお、１〜数画素程度の領域はノイズであるとして抽出対象から除外する。
【００２５】
抽出される変化領域には、配置物の配置変化により生じる変化領域、人の存在及び移動により生じる変化領域が含まれる。人による配置物の配置変化の進行中には、配置物と人とが一体化した変化領域が抽出される。また、配置物の移動に由来する変化領域（配置物由来領域）として、現画像にて配置物が存在する領域（移動先領域）の他、背景画像３０にて配置物が存在した領域（移動元領域）が抽出される。以下、この配置物由来の変化領域のうち配置物の像の痕跡である移動元領域をゴーストと称する。ここで、配置変化の初期には配置物と人とゴーストとが一体化した変化領域が抽出され得る。
【００２６】
背景フロー検出部４１及び配置変化検知部４２は背景画像と現画像とを照合して、変化領域抽出部４０より抽出された変化領域のうち配置物由来領域を特定する配置変化領域特定部として機能する。本実施形態においては、照合は画像特徴が互いに類似する対応点を検出することにより行われる。
【００２７】
背景フロー検出部４１は背景画像３０と現画像とで互いに画像特徴が類似する対応点を検出し、当該対応点間の動きベクトルである背景フローを検出する。背景画像３０及び現画像には共に配置物の像が含まれており、配置物が移動すると背景画像３０と現画像の対応点間に配置物の移動に応じた移動量（動きベクトル）が算出される。このとき現画像には配置物を動かしている人物の像が含まれるが、背景画像３０は当該人物の像を含んでいないため基本的に人の背景フローは検出されない。よって、背景フロー検出部４１が求める移動量を用いれば高精度に配置変化の有無を判定でき、対応点の位置から配置物由来領域が特定できる。なお、配置変化が生じていないときは０又は０とみなせる誤差程度の移動量しか算出されない。
【００２８】
入力画像間で算出する動きベクトルは一般にオプティカルフローと呼ばれるが、背景フローは背景画像３０と入力画像との間で算出する点で一般的なオプティカルフローとは異なる。以下、背景フローと区別して、直前画像３１と現画像との間で算出する一般的なオプティカルフローを入力フローと呼ぶ。
【００２９】
具体的には、背景フロー検出部４１は、背景画像３０及び現画像のうち一方の画像（基準画像）上に複数の注目点を設定すると共に他方の画像（比較画像）において各注目点と画像特徴が最も類似する最類似点を検出し、注目点と最類似点とを結ぶベクトル（動きベクトル）を算出する。画像特徴としては注目点及び最類似点の候補のそれぞれを中心とする所定サイズ（例えば５×５画素）のブロックを設定して、ブロック内の色分布、輝度勾配又は濃淡分布などを用いることができる。ちなみに、背景画像３０側の対応点が当該動きベクトルの始端、現画像側の対応点が終端である。
【００３０】
なお、配置変化領域特定部の目的を鑑みて、注目点を設定する範囲は、画像全体ではなく画像変化が生じた部分、すなわち変化領域抽出部４０によって得られる変化領域の内側とするのがよい。これにより、配置物以外の背景フローを誤検出する誤りが減少し、処理量も削減できる。
【００３１】
背景フロー検出部４１は撮像部２から現画像が入力されるたびに背景フローを算出して配置変化検知部４２へ出力する。
【００３２】
配置物由来領域の形状を詳細に特定するためには各画素を注目点に設定して空間的に高密度な背景フロー（密背景フロー）を検出するのが望ましいが、全ての時刻において画素単位で検出すると処理の負荷が大きくなる。形状を詳細に特定するのは配置変化が生じているときだけで十分であり、配置変化の有無は画素単位よりも低密度な背景フロー（疎背景フロー）でも検知できる。疎背景フローは、基準画像上の特徴点を注目点に設定して検出することができる。
【００３３】
すなわち、背景フロー検出部４１は、配置変化検知のために、各時刻において基準画像から特徴点を抽出して当該特徴点を注目点に設定することにより疎背景フローを検出し、配置物由来領域の特定のために、配置変化が検知されたときに各画素を注目点に設定して密背景フローを検出する。これにより配置変化が検知されていない時刻において対応点検出の処理負荷が軽減される。なお、特徴点としてはブロッブ（blob）を利用することができ、他にもコーナー（corner）、サブピクセルコーナー（subpixel corner）などの各種特徴点が利用可能である。
【００３４】
背景フロー検出部４１は、比較画像上で探索処理を行って最類似点を検出する構成とすることができる。この探索にはルーカス・カナデ（Lucas-Kanade）法などの最急降下法など種々の探索方法が適用可能である。
【００３５】
ここで、前述したように配置物移動時の入力画像には人の像が含まれており、入力画像上の人の像が背景画像３０の一部に類似した特徴を有していると、背景の一部と人との間に背景フローが誤検出され得る。
【００３６】
一方、配置物の移動開始時の現画像及びその直前画像３１は共に同一人物の像を含んでおり、同一人物の像同士は当該人物と背景よりも類似することが期待できる。そのため、背景フローと比較して入力フローでは人物と背景との間に動きベクトルが誤検出されにくい。
【００３７】
この性質に着目し、本実施形態の背景フロー検出部４１は入力フローを検出する入力フロー検出部４１０と、入力フローと一致する背景フローを選定する背景フロー選定部４１１とを備え、選定した背景フローを出力することで人の影響による背景フローの誤検出を低減する。以下、これらについて説明する。
【００３８】
入力フロー検出部４１０は相前後する入力画像である直前画像３１（先行入力画像）と現画像（後続入力画像）とで互いに画像特徴の類似する対応点を検出する。具体的には、現画像及び直前画像３１のうち、一方の画像上に複数の注目点を設定すると共に他方の画像において各注目点に特徴が最も類似する最類似点を検出し、注目点と最類似点とを結ぶ動きベクトルを算出し入力フローとする。ちなみに、直前画像３１側の対応点が当該動きベクトルの始端、現画像側の対応点が終端である。算出した入力フローは背景フロー選定部４１１へ出力される。
【００３９】
なお、注目点の設定及び最類似点の検出は上述した背景フローの検出における処理と同様に行うことができる。すなわち、入力フロー検出部４１０は、配置変化検知に供する低密度な入力フロー（疎入力フロー）を検出するために、各時刻において一方の画像から特徴点を抽出して当該特徴点を注目点に設定し、配置物由来領域の特定に供する高密度な入力フロー（密入力フロー）を検出するために配置変化が検知されたときに各画素を注目点に設定する。また、このとき入力フロー検出部４１０は、処理量を削減するために、変化領域抽出部４０によって得られる変化領域の内側にのみ注目点を設定することができる。そして、入力フロー検出部４１０は、他方の画像上で探索処理を行って最類似点を検出する。
【００４０】
背景フロー選定部４１１は入力フロー検出部４１０により検出された動きベクトル（入力フロー）と一致する背景フローを選定する。
【００４１】
ここで、入力フローの検出とは独立して背景フローの検出を別途行い、それにより得られた背景フローと入力フローとの一致判定を行なうこともできるが、この方法では背景フローを検出するために処理量の多い類似点探索処理を行わなくてはならない。
【００４２】
そこで、検出すべき背景フローは入力フローに包含されること、並びに背景フロー及び入力フローの元データのうち現画像は共通であることに着目して、本実施形態の背景フロー選定部４１１では背景フロー選定の処理方法を工夫し処理負荷の軽減を図っている。具体的には、背景フロー選定部４１１は、入力フロー検出部４１０により検出された各入力フローの始端の位置での直前画像３１の画像特徴と、当該位置での背景画像３０の画像特徴とが一致するか否かを判定し、一致すると判定された入力フローに相当する動きベクトルを背景フローと定める。すなわち、入力フローの始端・終端に基づいて背景フローの始端・終端を定義する。なお、直前画像３１と背景画像３０との間には照明変動やノイズによる微小変化が生じ得ることを考慮して始端の微小なずれ（例えば１画素分）は許容して一致判定を行なう。
【００４３】
配置変化検知部４２は、背景フロー検出部４１が検出した背景フロー又は入力フローに基づいて配置物移動開始の検知、配置物由来領域の検出、及び配置物の追跡を行う。
【００４４】
配置変化検知部４２は移動量、すなわちベクトルの大きさが予め設定した動き検出しきい値Ｔｓ以上の疎背景フローが検出されたときに配置物が移動開始した、つまり配置変化が生じたと判定する。この判定は各時刻において行われる。ここでＴｓは微小な照明変動により検出される誤差程度の背景フローを除外するための値であり、例えば２，３画素相当の大きさとすることができる。また、検知精度を上げるために、方向、数、位置の条件を加えて、同一変化領域から移動量がＴｓ以上で同一方向の疎背景フローが所定数Ｔｎ（例えば１０）以上検出されたときに配置物が移動開始したと判定してもよい。
【００４５】
配置変化検知部４２は配置物の移動開始が検知されたとき、背景フロー検出部４１が検出した密背景フローを参照して、移動量が動き検出しきい値Ｔｓ以上の対応点の位置を配置物由来領域として検出する。動き検出しきい値Ｔｓには上述したように誤差程度の背景フローを除外できる値が予め設定される。またさらに配置変化検知部４２は、配置物の追跡中に、背景フロー検出部４１が検出した密入力フローを参照して、その対応点の位置を配置物由来領域として検出する。これらのために、配置変化検知部４２は、配置物由来領域のうち配置物領域（移動先領域）を検出する配置物領域検出部４２０と、配置物由来領域のうちゴースト（移動元領域）を検出するゴースト検出部４２１とを備える。
【００４６】
配置物領域検出部４２０は、配置物の移動開始が検知されたとき、移動量が動き検出しきい値Ｔｓ以上である密背景フローの現画像側の対応点の位置、つまり終端の位置を配置物の移動先領域である配置物領域として検出する。上述したように対応点は変化領域内にて検出されている。よって、変化領域の一部分であり、密背景フローの終端の画素の集まりが配置物移動開始時の配置物領域として検出される。また、配置物が手前に移動したときなど画像上の大きさや向きが変わると終端間に隙間が生じるため配置物領域検出部４２０は終端の画素の集まりに穴埋め処理（膨張処理してさらに収縮処理）を施す。そして、検出した配置物領域に新しい識別番号と、配置物状態として「追跡中」の属性とを付与して配置物情報３２に登録する。
【００４７】
また、配置物領域検出部４２０は配置物を追跡中のとき、背景フロー検出部４１から得られる密入力フローのうち直前画像にて検出されている配置物領域内に始端があるものを抽出し、この抽出した密入力フローについて現画像における変化領域内にて検出される終端の集合を現時刻の配置物領域として検出する。なお、その際、停止中の配置物の領域も検出するためにゼロベクトルの密入力フローも検出に用い、また終端間の隙間を排除するために終端の集まりに穴埋め処理を施す。
【００４８】
以上により、配置物領域と人物領域とが一体化した変化領域から配置物領域及び人物領域を分離して検出できる。
【００４９】
ゴースト検出部４２１は背景フローの背景画像側の対応点の位置に基づいてゴーストを検出する。ゴースト検出部４２１の処理はゴーストが配置物領域及び人物領域と一体化した混合状態のときの処理と、ゴーストが配置物領域及び人物領域から分離した分離状態のときの処理の２種類がある。
【００５０】
疎背景フローの始端及び終端が同一変化領域にある場合は、ゴーストが混合状態である。この場合、ゴースト検出部４２１は移動量が動き検出しきい値Ｔｓ以上である密背景フローの背景画像側の対応点の位置、つまり始端の位置をゴーストとして検出する。また始端間の隙間を排除するために始端の集まりに穴埋め処理を施す。これにより、ゴーストが配置物領域や人物領域と一体化した変化領域の中からゴーストだけを分離して検出できる。
【００５１】
一方、背景フローの始端及び終端が異なる変化領域に分離して存在する場合は、ゴーストが分離状態である。この場合、ゴースト検出部４２１は移動量が動き検出しきい値Ｔｓ以上である疎背景フローの背景画像側の対応点の位置、つまり始端が検出された変化領域をゴーストとして検出する。つまり、分離状態であれば密背景フローを用いるまでもなく、疎背景フローのみで負荷をかけずにゴーストが検出できる。
【００５２】
配置物追跡部４２２は直前画像から検出された配置物領域と現画像から検出された変化領域とが疎入力フローで結ばれていれば同一配置物を含む領域として対応付ける。なお、停止中の配置物についても対応付けるためにゼロベクトルの疎入力フローも対応付けに用いる。
【００５３】
また、配置物追跡部４２２は、同一配置物を含む変化領域同士で位置・形状を比較し、ほぼ同一の位置・形状のときに当該配置物が視野内にて移動完了したと判定する。この場合には、配置物情報３２の配置物状態として「視野内にて移動完了」の属性が付与され、その配置物は追跡対象から外れる。同一の位置・形状か否かは例えば、両変化領域の重複度に基づいて判定でき、当該重複度をしきい値処理し、重複度が高い場合を同一位置・形状とすることができる。
【００５４】
一方、直前画像から検出された配置物領域と対応付く配置物領域が現画像から検出されない場合は、配置物追跡部４２２は当該配置物が視野外へ移動完了したと判定する。この場合には、配置物状態として「視野外に移動完了」の属性が付与され、追跡対象から外れる。なお、この場合には、持ち出しの旨を表す異常信号を出力部５に出力してもよい。
【００５５】
図２は背景フロー検出部４１及び配置変化検知部４２の処理を説明する模式図であり、背景画像２００、直前画像２１０及び現画像２２０の具体例に基づいて背景フロー及び配置物由来領域の検出処理を示している。
【００５６】
背景画像２００には配置物として椅子２０１（像２０１ａ）が存在し、また、当該背景画像２００は誤検出の原因となり得る背景物２０２（像２０２ａ）を含んでいる。
【００５７】
直前画像２１０及び現画像２２０には、椅子２０１及び背景物２０２に加えて、人２０３が写っている。当該人２０３には背景物２０２に類似する色を有した部分が存在する。直前画像２１０では、まだ配置変化は生じておらず、椅子２０１（像２０１ｂ）の位置は背景画像２００と同一であり、人２０３（像２０３ｂ）は椅子２０１にまだ接していない。一方、現画像２２０は人２０３（像２０３ｃ）が椅子２０１に接した状態であり、椅子２０１（像２０１ｃ）が配置変化を開始している。背景物２０２（像２０２ｃ）は元の位置に留まっている。
【００５８】
模式的な画像２３０，２４０はそれぞれ背景フロー、入力フローを矢印で示している。画像２３０，２４０には、現画像２２０及び直前画像２１０それぞれと背景画像２００との間での変化領域の輪郭を示している。具体的には、変化領域として、現画像２２０から椅子２０１と人２０３とが一体化した変化領域２３１が抽出され、背景画像２００から椅子２０１のゴースト２３２が抽出される。また直前画像２１０からは人２０３の変化領域２３３が抽出される。
【００５９】
画像２３０に示される背景フローには、椅子２０１の動きによる背景フロー２３４の他に、椅子２０１と人２０３との間に誤った背景フロー２３５が検出され、背景物２０２と人２０３との間に誤った背景フロー２３６が検出されている。
【００６０】
画像２４０に示される入力フローでは、椅子２０１の動きによる入力フロー２４１と人２０３の動きによる入力フロー２４２とが検出される。ここで、椅子２０１と人２０３との類似度合いよりも人２０３同士の類似度合いの方が高いために、誤った背景フロー２３５に対応する入力フローは検出されない。また、背景物２０２と人２０３との類似度合いよりも人２０３同士の類似度合いの方が高いために、誤った背景フロー２３６に対応する入力フローも検出されない。
【００６１】
ちなみに、椅子２０１の入力フロー２４１と人２０３の入力フロー２４２とは、互いに近い位置でほぼ同じ向き及び大きさで検出される。そのため、配置物の入力フローを人の入力フローと識別するのは困難である。よって、入力フローのみから配置物由来領域を特定するのは困難である。
【００６２】
模式的な画像２５０は、画像２３０に示す背景フローのうち画像２４０に示す入力フローと一致するものを示しており、当該背景フローが背景フロー検出部４１により検出される。つまり、画像２３０に示す背景フローのうち椅子２０１の動きによる背景フロー２３４が、画像２４０に示す椅子２０１の動きによる入力フロー２４１と共通し、これが背景フロー２５１として選定される。一方、画像２３０に示す誤った背景フロー２３５，２３６は画像２４０の入力フローと共通しないので除外される。
【００６３】
こうして選定された背景フロー２５１の終端の位置から配置物領域が特定され、始端の位置からゴーストが特定される。
【００６４】
なお、上述したように背景フローと入力フローとを別々に生成して、それらの共通するものを背景フローとして選ぶ構成とすることもできるが、本実施形態の背景フロー選定部４１１は入力フローのうち、始端が背景画像２００の同一位置と同じ画像特徴を有するものを背景フローとして選定する構成として、背景フロー検出に伴う処理負荷の軽減を図っている。当該構成では背景フロー２３４を求める処理負荷が軽減されると共に、入力フローには生じない動きベクトルである誤った背景フロー２３５，２３６を検出する無駄が省かれる。
【００６５】
また、ここでは背景物２０２は位置や輝度を変えず変化領域を生じないとしているので、背景フローと入力フローとを別々に生成して共通するものを背景フローとする構成においても、注目点又は類似点の探索範囲を変化領域に限定する上述の処理とすれば、誤った背景フロー２３６の検出は防止できる。
【００６６】
背景画像生成部４３は、画像監視装置１の起動時等の初期化処理として、無人時の入力画像を背景画像３０として登録する。また背景画像生成部４３は画像監視装置１の動作中にて、入力画像を用いて適宜、背景画像３０を更新する背景画像更新部として機能する。具体的には、現画像と背景画像３０との間の変化領域以外の領域について、背景画像３０を現画像で置換したり、背景画像３０と現画像とを加重平均して更新したりすることができる。
【００６７】
さらに、背景画像更新部として背景画像生成部４３は、背景画像３０における配置物領域のうち現画像では配置物が不在となっているゴースト領域を現画像により更新する。具体的には、配置物の移動完了が検知されたときに、背景画像３０における配置物領域を現画像で置換して更新する。これにより移動完了した後、当該配置物領域を変化領域として抽出されなくすることができる。また、ゴースト領域が現画像において分離状態であると判定された時点で、背景画像３０におけるゴースト領域を現画像で置換して更新し、それ以降、当該領域が変化領域として抽出されないようにできる。
【００６８】
なお、上述の配置物領域に関する背景画像３０の更新処理では、背景画像３０に配置物の像が含まれなくなり得るが、一旦、配置変化が検知されれば配置物の像は背景から弁別され、その位置・形状が把握されるので、その情報を用いて以降の配置変化の検知や配置物領域の検出等の処理を続行することができる。一方、移動先の配置物の像を背景画像３０に含める更新を行ってもよく、この場合には初期化処理後と同様にして配置変化の検知や配置物領域の検出等の処理が継続される。
【００６９】
マスク画像生成部４４は入力画像に写る人のプライバシー保護を目的として、現画像のうち配置物領域及びゴースト（すなわち配置物由来領域）を除いた変化領域（加工対象領域）をマスク処理（フィルタ処理を含む）する加工を施した画像（マスク画像）を生成して出力部５へ出力するマスク処理部である。ちなみに、画像中の人物はその像を隠蔽する加工が施されることで誰であるか特定できないが、その隠蔽部分の形状及び動きが分かれば、監視員はそれに基づいて不審行動を把握することができる。
【００７０】
ここで、その行動把握に際して、配置物由来領域を除く前の変化領域は人と配置物とが一体化して人の形状及び動きを視認しづらい状況が発生し得る。そのため、監視員は不審行動の有無を把握するために、加工前の入力画像を確認する手続きが必要になるなど、監視性が低下し、被写体のプライバシーも損なわれる。
【００７１】
一方、配置物は元々監視空間に存在したものであるため、配置物由来領域はプライバシー保護の加工処理をしなくてよいことが明白であり、むしろ配置物由来領域をプライバシー保護処理してしまうと状況把握がしづらくなる。
【００７２】
この点、マスク画像生成部４４は配置物由来領域を除いた変化領域を加工対象領域とするので、マスク画像にて上述のように人の形状及び動きを視認でき、また配置物の様子も視認できる。よって、監視員はマスク画像のみで状況を把握でき、プライバシー保護と監視性とを両立できる。
【００７３】
マスク処理は、加工対象領域と同形状である単色画像と、加工対象領域の背景画像３０とを透過合成した合成画像を生成して、当該合成画像で現画像における加工対象領域を置換することにより行なう。また、背景画像を透過合成する代わりに、現画像における加工対象領域を単色で塗りつぶす、テクスチャで塗りつぶす、或いは現画像における加工対象領域にぼかし処理を施すなどの加工処理とすることもできる。
【００７４】
ここで、配置物の像の縁部では画素による量子化の影響を受け、配置物の色と背景の色とが混じった画素やノイズ画素や配置物の影の画素が生じ、これらの画素が変化領域の一部として抽出されがちであるため、変化領域は少し広めに抽出されることが多い。そこで変化領域から配置物由来領域を除いた領域に、収縮処理を所定回数施してからこれと同回数の膨張処理を施して加工対象領域を生成するのがよい。収縮処理及び膨張処理の回数は１回ないし数回程度に設定すればよく、本実施形態では２回とする。
【００７５】
出力部５は異常信号に応じて警告音を出力するスピーカー又はブザー等の音響出力手段、プライバシー加工された合成画像を表示する液晶ディスプレイ又はＣＲＴ等の表示手段などを含んでなる。
【００７６】
［画像監視装置１の動作］
図３は画像監視装置１の概略の動作を示すフロー図である。
【００７７】
画像監視装置１は監視空間に人がいない状態にて起動され、撮像部２が所定時間おきに監視空間を撮像する動作を開始する。背景画像生成部４３は予め設定した初期化期間に撮像される入力画像から人が写っていない画像を取得又は生成して、当該画像で記憶部３の背景画像３０を初期化する（Ｓ１）。例えば、背景画像生成部４３は、初期化期間の複数時刻の入力画像を平均処理して背景画像３０を生成する。
【００７８】
初期化期間経過後、制御部４は撮像部２から取得する入力画像を用いた監視動作を開始する。制御部４は入力画像（以下、現画像）を順次入力され（Ｓ２）、当該画像を入力されるたびにステップＳ２〜Ｓ１６の処理を繰り返す。
【００７９】
変化領域抽出部４０は順次入力される現画像を背景画像３０と比較し、現画像における変化領域を抽出する（Ｓ３）。制御部４は変化領域が抽出されたか否かを判定し（Ｓ４）、変化領域が抽出されなければ（Ｓ４にて「ＮＯ」の場合）、制御部４はステップＳ５〜Ｓ１４を省略して処理をステップＳ１５へ進める。この場合、背景画像生成部４３は背景画像３０全体を現画像と加重平均することにより更新し（Ｓ１５）、制御部４は現画像そのままを出力部５へ出力し、出力部５は現画像そのままを表示する（Ｓ１６）。
【００８０】
一方、変化領域が抽出された場合（Ｓ４にて「ＹＥＳ」の場合）、制御部４は処理をステップＳ５へ進め、配置変化検知処理を行う（Ｓ５）。
【００８１】
背景フロー検出部４１は、入力フロー検出部４１０により疎入力フローを検出し、背景フロー選定部４１１によりその始端において背景画像３０の画像特徴が直前画像３１の画像特徴と一致する疎入力フローを疎背景フローとして検出する。配置変化検知部４２は疎背景フローを参照して、同一変化領域から移動量がＴｓ以上で同一方向の疎背景フローがＴｎ以上検出されるか調べ、検出されると配置変化を検知したと判定すると共に、当該疎背景フローのグループの始端側、終端側の変化領域をそれぞれ配置物の移動元、移動先に設定する。
【００８２】
配置変化検知部４２は配置変化検知処理Ｓ５にて新たな配置物の移動が検知された、又は追跡中の配置物（前時刻までに移動が検知されて追跡終了していない配置物）がある場合は配置変化中であると判定する（Ｓ６にて「ＹＥＳ」の場合）。
【００８３】
ここで、配置変化中の配置物が存在しなければ（Ｓ６にて「ＮＯ」の場合）、制御部４はステップＳ７〜Ｓ１３を省略してステップＳ１４〜Ｓ１６の処理を行う。この場合、全ての変化領域は人物領域として処理される。すなわち、マスク画像生成部４４は全ての変化領域をマスク処理し、背景画像生成部４３は変化領域以外の背景画像３０を現画像と加重平均することにより更新し、制御部４はマスク処理された画像を出力部５へ出力し、出力部５はマスク処理された画像を表示する。
【００８４】
ステップＳ６にて配置変化中の配置物が検知された場合は、配置物追跡部４２２が当該配置物の中に追跡中のものがあるか否かを調べ（Ｓ７）、追跡中の配置物がある場合は（Ｓ７にて「ＹＥＳ」の場合）、当該配置物を追跡して現在位置に対応する変化領域を検出する（Ｓ８）。一方、追跡中の配置物がない場合は（Ｓ７にて「ＮＯ」の場合）、ステップＳ８の処理は省略される。なお、ステップＳ５にて移動開始が検知された配置物は次時刻以降に追跡中となり、現時刻においては追跡処理Ｓ８の対象とはされない。
【００８５】
次に、変化領域中の配置物由来領域を特定するために、背景フロー検出部４１によって背景フロー検出処理Ｓ９が行われる。図４は背景フロー検出処理Ｓ９の概略のフロー図であり、以下、図４に基づいて背景フロー検出処理を説明する。背景フロー検出部４１の入力フロー検出部４１０は領域情報３３として記憶されている直前時刻の変化領域及びステップＳ３で抽出された現時刻の変化領域を参照し、直前時刻の変化領域内または現時刻の変化領域内である直前画像３１の各画素を注目点に設定する（Ｓ１０１）。
【００８６】
入力フロー検出部４１０は、現画像において、直前画像３１にて設定した注目点の画像特徴と最も類似した画像特徴を有する最類似点を探索する（Ｓ１０３）。そして、注目点を始端とし最類似点を終端とするベクトルを密入力フローとして検出する（Ｓ１０４）。なお、密入力フローとしてゼロベクトルも検出しておく。また、ステップＳ１０３にて類似度が閾値以下の最類似点しか見つからない場合は、当該注目点に対応する密入力フローは検出されないとすることができる。
【００８７】
背景フロー選定部４１１は密入力フローと一致する密背景フローを選定する。具体的には、ステップＳ１０４にて検出された各密入力フローの始端座標を中心に所定のずれ許容範囲を設定し（Ｓ１０５）、当該ずれ許容範囲にて背景画像３０にて直前画像３１の注目点との一致点の検出を試みる（Ｓ１０６）。ずれ許容範囲は例えば、３×３画素に設定することができ、これにより１画素内のずれが許容されることになる。
【００８８】
背景フロー選定部４１１はステップＳ１０６にて背景画像に一致点が検出された場合、当該一致点を始端とし対応する最類似点を終端とするベクトルを密背景フローとして検出する（Ｓ１０７）。一方、注目点がずれ許容範囲内の背景画像に一致しない場合は、当該注目点を始点とする密入力フローに対応する密背景フローは選定されない。なお、現時刻において移動開始が検知されていない場合はステップＳ１０４〜Ｓ１０７を省略できる。
【００８９】
上述の背景フロー検出処理Ｓ９により移動開始が検知された配置物について密背景フローが検出されると、配置変化検知部４２の配置物領域検出部４２０は移動量がＴｓ以上の密背景フローの終端として検出した最類似点の集まりを現時刻の配置物領域として検出する（Ｓ１０）。また、追跡中の配置物については、配置物領域検出部４２０は当該配置物の配置物情報３２から直前時刻の配置物領域を読み出し、ステップＳ１０４にて検出された密入力フローのうち当該領域の画素を始端とする密入力フローの終端の集まりを現時刻の配置物領域として検出する（Ｓ１０）。
【００９０】
配置変化検知部４２は現画像における配置物の変化領域について人の変化領域やゴーストとの分離・混合を判定する（Ｓ１１）。現時刻において移動開始が検知された配置物について、配置変化検知部４２はステップＳ２０４で設定した移動元の変化領域とステップＳ２０５で設定した移動先の変化領域とが同一か異なるかを確認し、その結果に基づいて分離・混合判定を行う。
【００９１】
図５は移動元の変化領域と移動先の変化領域とが同一の場合及び異なる場合の例を示す模式的な画像である。図５（ａ）は移動元領域５００と移動先領域５０１ａとが同一変化領域の場合を示しており、移動開始が検知された配置物の移動量が小さく現画像における人及び配置物（移動先領域５０１ａ）とゴースト（移動元領域５００）とが一体化した変化領域が抽出されている。配置変化検知部４２は、この場合の配置物の変化領域を「人との混合領域」かつ「ゴーストとの混合領域」と判定する。
【００９２】
一方、図５（ｂ）は移動元領域５００と移動先領域５０１ｂとが異なる変化領域である場合を示しており、現画像における人及び配置物（移動先領域５０１ｂ）とゴースト（移動元領域５００）とが分離した変化領域として抽出されている。配置変化検知部４２はこの場合の配置物の変化領域を「人との混合領域」かつ「ゴーストとの分離領域」と判定する。
【００９３】
また、追跡中の配置物については、配置変化検知部４２はステップＳ８で対応付けられた直前時刻の変化領域と現時刻の変化領域との形状が一致するか否かを確認し、その結果に基づいて分離・混合判定を行う。
【００９４】
図６は追跡中の配置物の変化領域が写る、連続する３時刻における入力画像、及び当該画像にて配置物に対応付けられた変化領域の例の模式図であり、同図（ａ）〜（ｃ）の順に時刻が進み、また同図（ａ）〜（ｃ）それぞれにおいて左側が入力画像、右側が変化領域を示す画像である。配置物に対応付けられた変化領域の形状が直前時刻と現時刻とで一致しない場合は、例えば、図６（ａ）に示す人と配置物とが一体の状態から図６（ｂ）に示す人と配置物とが分離した状態に移行した直後である。この場合、配置変化検知部４２は即座に分離を判定せず、当該配置物の変化領域についての判定を「人との混合領域」のまま維持する。一方、配置物に対応付けられた変化領域の形状が直前時刻と現時刻とで一致する場合は、例えば、図６（ｂ）に示す状態から図６（ｃ）に示す状態に移行した場合のように直前時刻及び現時刻のいずれにおいても人と配置物とが分離した状態であり、安定的な分離状態といえる。この場合は、配置変化検知部４２は当該配置物に対応付けられた変化領域について「人との分離領域」と判定する。
【００９５】
ゴースト検出部４２１は、現時刻において移動開始が検知された配置物、及び追跡中であってゴーストの分離が判定されていない配置物を対象にして、上述したゴースト領域を検出する処理を行う（Ｓ１２）。ゴースト検出部４２１は、現時刻において配置物の移動開始が検知されたのであれば、ステップＳ１０で検出した密背景フローを参照してその注目点の集まりをゴーストとして検出する。
【００９６】
配置変化検知部４２は、ステップＳ７にて配置変化中と判定された場合に上述のステップＳ８〜Ｓ１２の処理を行い、その結果に基づいて配置物情報３２及び領域情報３３を更新する（Ｓ１３）。具体的には、ステップＳ１０にて、現時刻において新たに検出した配置物領域を、新しい識別番号及び追跡中の属性と共に配置物情報３２に登録する。また、追跡中の配置物の配置物情報３２における配置物領域の情報を、現時刻において検出した当該配置物の配置物領域で更新する。Ｓ９において視野外への移動完了が検出された配置物については配置物情報３２の配置物状態を「視野外に移動完了」という属性に変更する。また、該当する配置物の配置物情報３２の分離・混合情報をステップＳ１２の分離・混合判定結果で更新すると共に、ステップＳ１２にて「人との分離領域」が判定された配置物の属性を「視野内にて移動完了」に変更する。
【００９７】
以上の処理により変化領域における配置物領域及びゴーストが検出されると、マスク画像生成部４４は変化領域から配置物領域及びゴーストを除外し、次に除外後の領域に収縮処理を２回施し、さらに膨張処理を２回施して加工対象領域を生成する。続いて加工対象領域と同形状である単色画像と、加工対象領域の背景画像３０とを透過合成して合成画像を生成し、現画像における加工対象領域を当該合成画像で置換してマスク画像を生成する（Ｓ１４）。なお、配置物領域が検出されていない場合は配置物領域を除外する処理は省略される。また、ゴーストが検出されていない場合はゴーストを除外する処理は省略される。
【００９８】
変化領域が抽出された現画像についてマスク画像の生成まで完了すると、背景画像生成部４３は変化領域から、分離が判定されたゴースト及び移動完了が検知された配置物の配置物領域を除外して更新対象領域を算出し、背景画像３０の更新対象領域の部分を当該更新対象領域における現画像で置換する（Ｓ１５）。なお、移動完了が検知された配置物がない場合は配置物領域を除外する処理は省略される。また、分離が判定されたゴーストがない場合はゴーストを除外する処理は省略される。
【００９９】
また、背景画像生成部４３は変化領域以外の背景画像３０を現画像と加重平均することにより更新する。
【０１００】
制御部４はマスク画像生成部４４にてマスク画像が生成されたときは、マスク画像を出力部５へ出力し、マスク画像が生成されなかったときは現画像を出力部５へ出力する。出力部５は制御部４から入力された画像をモニタに表示する（Ｓ１６）。
【０１０１】
現画像について以上の処理Ｓ２〜Ｓ１６を終えると、制御部４は、現画像で直前画像３１を置換するとともに、ステップＳ３で抽出された変化領域の情報で領域情報３３を置換して、処理をステップＳ２に戻す。
【０１０２】
図７は画像監視装置１によりマスク画像が生成される過程を具体例を用いて説明する模式図である。図７（ａ）は現画像６００を示しており、人６０１が椅子６０２を動かした直後の状態を撮像した画像である。図７（ｂ）に示す画像６１０は現画像６００から抽出された変化領域を示す画像である。図７（ａ）の現画像に示した現時刻に人６０１が存在する領域及び椅子６０２が存在する領域と、椅子６０２のゴーストとの３種類の領域が一体化した変化領域６１１として抽出されている。この変化領域６１１そのままの形状をマスク処理すると人６０１が椅子６０２を動かしていることが視認しづらい。なお、像の境界部は量子化の影響で椅子６０２や人６０１が背景と混じった画素となるため、また椅子６０２や人６０１の下方に影が生じるため、変化領域６１１は少し広めに抽出される。
【０１０３】
図７（ｃ）に示す画像６２０には変化領域６１１の中から検出されたゴースト６２１（斜線部）と配置物領域６２２（縦線部）とが示されている。図７（ｄ）はマスク画像６３０を模式的に示しており、当該画像６３０は、変化領域６１１からゴースト６２１及び配置物領域６２２を除外した領域に形成されたマスク６３１により現画像６００をプライバシー保護した画像である。変化領域６１１が少し広めに抽出されて椅子６０２の周りに細く残る領域（図７（ｃ）参照）は収縮処理と膨張処理により図７（ｄ）では除去されている。椅子６０２の領域には現画像が露出し、人６０１の形状が視認しやすく、椅子６０２と人６０１の関係も視認しやすくなっている。その上で人６０１の像はマスク処理されてプライバシーが保護されている。
【０１０４】
［変形例］
以上、本願発明の実施形態を説明したが、当該実施形態を改変して本願発明の他の実施形態とすることもできる。以下、その例について説明する。
【０１０５】
配置変化検知部４２は配置物情報３２に登録された配置物領域（移動先領域）を登録抹消せずにテンプレートとして保持し、または背景画像のゴースト部分（移動元領域）を配置物のテンプレートとして配置物情報３２に登録し、登録以降、一度検出された配置物については配置物領域検出部４２０にて当該テンプレートを用いたマッチング処理により入力画像における配置物の移動先領域を検出することができる。
【０１０６】
また、人物追跡に配置変化の検知結果を利用することが可能である。例えば、配置物由来領域以外の変化領域を人物領域として追跡することができる。また、配置物を含むことが判定された変化領域を人と配置物との分離が検出されるまでの間、当該変化領域の特徴量（人と配置物が混在した特徴量）により追跡し、この間、人物単独の特徴量は退避しておき、分離が検出されれば人物単独の特徴量による追跡に切り換えるという手法もある。
【符号の説明】
【０１０７】
１  画像監視装置、２  撮像部、３  記憶部、４  制御部、５  出力部、３０  背景画像、３１  直前画像、３２  配置物情報、３３  領域情報、４０  変化領域抽出部、４１  背景フロー検出部、４２  配置変化検知部、４３  背景画像生成部、４４  マスク画像生成部、４１０  入力フロー検出部、４１１  背景フロー選定部、４２０  配置物領域検出部、４２１  ゴースト検出部、４２２  配置物追跡部。
【図１】
0005865710.tif 000002
【図２】
0005865710.tif 000003
【図３】
0005865710.tif 000004
【図４】
0005865710.tif 000005
【図５】
0005865710.tif 000006
【図６】
0005865710.tif 000007
【図７】
0005865710.tif 000008