(57)【特許請求の範囲】
【請求項１】
光学的に取得された動画データ上で動体と背景とを識別する為の画像処理方法において、
固定カメラの受光素子から採取した前記動画のフレームを構成する画素それぞれのピクセル値について最新フレームと直前フレーム間の前後差を求め、最新フレームを構成する各画素それぞれのピクセル値に対し当該前後差の絶対値に反比例した重み付けを施して得た評価値を、最新フレームのピクセル値から減じて動体成分値を導出し、得られた動体成分値を所定の閾値と比較して動体構成画素として抽出し、その位置座標に基づいて一個のフレーム上に配置した仮想フレームをメモリー内に表現する動体検出処理（２）を演算手段（１）により実行するコンピュータによる画像処理方法。
【請求項２】
光学的に取得された動画データ上で動体と背景とを識別する為の画像処理方法において、
固定カメラの受光素子から採取した前記動画のフレームを構成する画素それぞれのピクセル値について最新フレームと直前フレーム間の前後差を求め、下記式（α），及び式（β）を用い、最新フレームを構成する各画素それぞれのピクセル値に対し当該前後差の絶対値に反比例した重み付けを施して得た評価値を、最新フレームのピクセル値から減じて動体成分値を導出し、得られた動体成分値を所定の閾値と比較して動体構成画素として抽出し、その位置座標に基づいて一個のフレーム上に配置した仮想フレームをメモリー内に表現する動体検出処理（２）を演算手段（１）により実行するコンピュータによる画像処理方法。
ｗ＝ｒ＊｜Ｐ１−Ｐ０｜                ・・・・（α）
Ｔ１＝（ｗ＊Ｔ０＋Ｐ１）／（ｗ＋１）  ・・・・（β）
ここで
ｒは、前記重み付けを行う際の比例定数（平均重み）、
Ｐ０は、直前フレームの座標（ｘ、ｙ）に存在する画素のピクセル値、
Ｐ１は、最新フレームの座標（ｘ、ｙ）に存在する画素のピクセル値、
Ｔ０は、直前フレームにおける座標（ｘ、ｙ）に存在する画素の評価値、
Ｔ１は、最新フレームにおける座標（ｘ、ｙ）に存在する画素の評価値、
ｘは、フレームの横軸、
ｙは、フレームの縦軸、
である。
【請求項３】
フレームを構成する画素毎に前記評価値の累積平均値及び制限時間内の最大変化量Ｄを最新フレームを取得する毎に導出し、最新フレームにおける各画素の評価値と前記累積平均値との差の絶対値たる累積平均格差が、前記最大変化量Ｄに基づく基準値を上回る画素を、前記動体構成画素として擬制する環境的フィルタリング処理（３）を演算手段（１）により実行する前記請求項１又は請求項２のいずれかに記載のコンピュータによる画像処理方法。
【請求項４】
前記累積平均格差が前記最大変化量Ｄに基づく基準値を下回る場合には、最大変化量Ｄを減少させる形で更新し、逆に前記累積平均格差が前記最大変化量Ｄに基づく基準値を上回る場合には、最大変化量Ｄを増加させる形で更新する学習処理を含んだ環境的フィルタリング処理（３）を演算手段（１）により実行する前記請求項３に記載のコンピュータによる画像処理方法。
【請求項５】
ＰＡＬ光学系（４）により撮像位置周辺３６０°に亘る三次元空間を環状画像（５）として結像させる固定カメラと、当該固定カメラから取得したビデオ画像中から、前記請求項１乃至請求項４のいずれかのコンピュータによる画像処理方法によって動体を検出する為の演算手段（１）を含む固定画像制御装置（１３）と、当該固定画像制御装置（１３）により認識した精査すべき動体の存在方向を向く単一指向性のズーム光学系スキャンカメラ（７）と、当該スキャンカメラ（７）で取得したビデオ画像の保存を行うコンピュータシステムを含む捕捉画像制御装置（１４）を具備した画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、光学的に取得された動画データ上で動体と背景とを識別する為の画像処理方法と画像処理装置に関する。
【０００２】
【従来の技術】
ビデオ連続画像は、ビデオフレーム（以下、フレームと記す。）と呼ばれる連続した静止画像から成り立っている。時間軸で前後するフレームは、互いによく似通っているものの僅かな相違点（前後差）が存在し、当該相違点の連続によって被写体の動きが表現される。
【０００３】
画像処理装置の一態様である監視システムの主目的は、監視中の空間に侵入する動体を全て検知することにあり、監視システムの根幹たる動体捕捉では、この様なビデオ連続画像のリアルタイムでの動作分析が基本となる。例えば、パノラマ画像ブロック（以下、ＰＡＬと記す。）を用いて取得した環状画像による全方向監視システムなど固定カメラを用いた監視システムでは、原則として背景自体が連続画像上で動作せず、動体として検知する対象は、風や光による外乱或いは動きを伴う機械・器具等を除けば、外部からの侵入物だけである。この様に、固定カメラ式の監視システムは、リアルタイムの動作分析におけるコスト面や設備面で有利であることに着眼し、固定カメラ式の監視システムに適した動体検出処理の開発を図ることとした。
【０００４】
従来から用いられている第一の動体検出処理として、単純にビデオ画像の連続する二つのフレームの引き算をするものが挙げられる。この方法は、視野内に存在する動体を検出するには良い方法であるが、検出対象たる動体はもとより照明ノイズ、自然光の変化、電気的ノイズなど不必要な変化をも全て捉えてしまう。また、照度の違いは検出できても色彩的に背景に埋もれた動体は検出できず、たとえ色彩的に背景に埋もれる事が無いとしても色彩的な変化を多く含む周辺部以外が検出できない。
【０００５】
その結果、例えば、図１０（イ）の如く、単一の色調の服を着た人物が画像中を左から右へ移動する場合、上記動体検出処理では、図１０（ロ）の如く、当該人物の右側だけを検出し、左側の背景の一部は検出できても残りは前のフレーム内の人物の左側で隠されてしまいフレーム毎の背景認識ができない。当該移動体検出処理は、上記不正確さにより商用の物体追跡用途には応用できないが、比較的遅いコンピュータでもフレームレートで処理できることから、単純に動きだけを検出する用途には理想的と言える。
【０００６】
フレーム毎の背景認識を可能とする第２の動体検出処理として、ある画面の背景だけを基準背景画像として何らかの方法で記録し、その後各フレームから当該基準背景画像を差し引く方法が挙げられる。この方法を用いれば一様な動体をみつけたり小さなノイズを除去するのも容易となる。ところが、差し引かれる対象の背景自体は、明るさや色彩が刻々と変化する動画であるために、時間の経過に従って新たに取得した最新画像の背景と予め取得した基本背景画像の背景との差が増大し、次第にノイズが増加するという欠点もある。
【０００７】
この問題を解消すべく、時間の経過と共に背景画像を動的に更新する方法、具体的には、連続するビデオ画像中で、各画素につき最新フレームから過去に向かう幾つかのフレームのピクセル値の平均をとって背景を造る平均背景抽出法を採用し、アナログのＶＬＳＩハードウエアを併用する事によって実用的なフレームレートで高速に且つ簡単に行える方法を試みた。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の如く動体検出処理に用いる基本背景画像としていくつかのフレームの平均値をとるとすると、平均値の性格上、各フレームは当該平均の結果として得られる基本背景画像が背景と動体との合成画像（図１２（イ））となってゴースト効果（図１２（ロ）の当該合成画像と最新フレーム画像との閾値差による画像参照）が生じるという問題が残る。
【０００９】
本発明は、この様な実情に鑑みてなされたもので、変化する環境に対して正確に適応し、動体と背景とを低コストで正確に且つ高速に識別し得るコンピュータによる画像処理方法と画像処理装置の提供を目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するために成された本発明によるコンピュータによる画像処理方法は、光学的に取得された動画データ上で動体と背景とを識別する為の画像処理方法において、前記動画のフレームを構成する画素それぞれのピクセル値について最新フレームと直前フレーム間の前後差を求め、最新フレームを構成する各画素に対し当該前後差の絶対値に反比例した重み付けを施して得た評価値より導出した動体成分値から、所定の閾値に基づいて動体構成画素を認定する動体検出処理を演算手段により実行することを特徴とする。
【００１１】
尚、動画のフレームとは、ＣＣＤ等の撮像素子から入力した時点のフレームでも良いし、受像器のディスプレイに表示される時点のフレームでも良い。ピクセル値とは、１出力画素の値で、輝度や色彩等の情報を数値化したものである。また、重み付けとは、例えば、前記前後差の絶対値に反比例させると言う様な計算式等の一定の規則に照らしてウエイトの大小を前記評価値に反映させることを意味する。閾値に基づいて動体構成画素を認定するとは、例えば、前記ピクセル値から評価値を差し引いた動体成分値について、閾値より高い値の画素については動体の一部を構成する動体構成画素と認定し、閾値より低い値の部分については背景成分画素として判断することを意味する。
【００１２】
光の外乱による不具合を回避すべく、フレームを構成する画素毎に前記評価値の累積平均値及び制限時間内の最大変化量Ｄを最新フレームを取得する毎に導出し、最新フレームにおける各画素の評価値と前記累積平均値との差の絶対値たる累積平均格差が、前記最大変化量Ｄに基づく基準値を上回る画素を、前記動体構成画素として擬制する環境的フィルタリング処理を演算手段により実行する場合もある。尚、前記最大変化量Ｄに基づく基準値とは、当該最大変化量に対して一定の割合を増減させた値のことである。
【００１３】
前記環境的フィルタリング処理については前記最新フレームにおける各画素のピクセル値と前記累積平均値との差の絶対値が、前記最大変化量Ｄに基づく基準値を下回る場合には、例えば、基準値を下回った量に相当する分だけ最大変化量Ｄを減少させる形で更新し、逆に前記最新フレームにおける各画素のピクセル値と前記累積平均値との差の絶対値が、前記最大変化量Ｄを上回る場合には、例えば、基準値を上回った量に相当する分だけ最大変化量Ｄを増加させる形で更新する学習処理を含む場合もある。
【００１４】
又、前記動画のフレーム上において捕捉した相分離する動体間の距離が所定の近接距離未満の場合にそれら動体を相連結した一個の動体として認定すると共に、当該相連結した動体の大きさを算出し、所定の閾値を下回る大きさの動体を検出対象から除外する処理を含んだ物体的フィルタリング処理を演算手段により実行する場合もある。
【００１５】
更に、前記動画のフレーム上において捕捉した動体に形状及び大きさが最も近似した動体を、その直前のフレーム上で検索し、当該動体の移動方向が当該画像処理の目的とは無関係な方向である動体を前記特定フレームにおける検出対象から除外する処理を含む物体的フィルタリング処理を演算手段により実行する場合もある。また更に、前記動画のフレーム上において捕捉した動体に形状及び大きさが最も近似した動体を、その直前のフレーム上で検索し、当該動体の移動速度が当該画像処理の目的とは無関係な移動速度である動体を前記特定フレームにおける検出対象から除外する処理を含む物体的フィルタリング処理を演算手段により実行する場合もある。
【００１６】
上記課題を解決するために成された本発明によるコンピュータによる画像処理装置は、ＰＡＬ光学系により撮像位置周辺３６０°に亘る三次元空間を環状画像として結像させる固定カメラと、当該固定カメラから取得したビデオ画像中から、上記いずれかのコンピュータによる画像処理方法によって動体を検出する為の演算手段を含む固定画像制御装置と、当該固定画像制御装置により認識した精査すべき動体の存在方向を向く単一指向性のズーム光学系スキャンカメラと、当該スキャンカメラで取得したビデオ画像の保存を行うコンピュータシステムを含む捕捉画像制御装置を具備したことを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明によるコンピュータによる画像処理方法（以下、画像処理方法と記す。）の実施の形態を画像処理装置たる監視システムの一例を示しつつ図１のブロック図に基づき説明する。
【００１８】
当該例では、図８に示すＰＡＬ光学系４により撮像位置周辺３６０°に亘る三次元空間を環状画像５として結像させる固定カメラ（以下、プレスキャンカメラと６記す。）と、当該プレスキャンカメラ６で取得したビデオ画像を表示する固定画像受像器８（図７参照）、及び当該プレスキャンカメラ６から取得したビデオ画像中から動体を検出する為のコンピュータシステムによる演算手段１を含む固定画像制御装置１３と、当該固定画像制御装置１３により認識した精査すべき動体の存在方向を向く単一指向性ではあるが画像分解能が高いズーム光学系で当該動体を自動的に拡大撮影するＰＺＴスキャンカメラ（以下、スキャンカメラ７と記す。）と、当該スキャンカメラ７で取得したビデオ画像を表示する受像器（図示省略）、及び当該ビデオ画像の保存及び処理を行うコンピュータシステムを含む捕捉画像制御装置１４を具備して構成される（図２及び図９参照）。当該構成によってＣＣＤカメラによる分解能の制約というＰＡＬシステムの問題点が解消される。
【００１９】
ＰＡＬ光学系４は、垂直方向の視野角が約５０度から７０度程度に限定されるものの、水平視野が大きいため広範囲を撮影するに際して複数のカメラを設置したり、カメラを機械的に動かす必要がなく、例え小さなサイズのＰＡＬであっても鮮明な広角画像が得られるという利点がある。この様なＰＡＬの特性から侵入者の検知を目的とした監視システムに広く用いられているところである。尚、パノラマ画像ブロック９とは、前面中央の前遮光面ａと、前面周縁部の前透光面ｂと、後面周縁部の後遮光面ｃと、後面中央部の後透光面ｄを具備した光透過性素材より成る回転体であって、前記後遮光面ｃは、前透光面ｂからの入射光を当該回転体を通過して前遮光面ａへ集め得る反射鏡とされ、前遮光面ａは、後遮光面ｃからの反射光を当該回転体内を通過して後透光面ｄへ集め得る反射鏡とされたものである（図８参照）。
【００２０】
ＰＡＬで三次元空間を二次元平面に投影すると、距離情報はすべて失われるため、ＰＡＬ光学系４によるプレスキャンカメラ６の視野だけから物体の正確な位置を特定することはできないが、環状画像５を結んだ受光素子１０のピクセルの位置から、その平面的な入射角度だけは特定できる。即ち、前記プレスキャンカメラ６のＰＡＬ光学系４の採光部とスキャンカメラ７を出来る限り近づけて設置する事でＰＡＬ光学系４により検知した動体の方向へ正確にスキャンカメラ７を向ける事が出来る。
【００２１】
経験上、動体がスキャンカメラ７や、プレスキャンカメラ６のＰＡＬ光学系４の採光部から４ｍ以上離れている場合には、図４の如く前記スキャンカメラ７と、プレスキャンカメラ６のＰＡＬ光学系４とが４０ｃｍ程度離れていても実用上問題は無いが、動体の捕捉精度は、相互の距離が近ければ近いほどが高まるので、理想的には、図５の如くスキャンカメラ７の上に、当該スキャンカメラ７の旋回軸をＰＡＬ光学系４の光軸ｅとして配置することでスキャンカメラ７はＰＡＬ光学系４によるプレスキャンカメラ６の視野に入らず、又、環状画像５上の方位をそのままスキャンカメラ７の方位として用いることができ、前記動体検出処理２の効率を悪化させることもない。
【００２２】
上記の如く適正な配設を行った上でシステムの初期設定を行う。初期設定としては、スキャンカメラ７の原点角度とＰＡＬの０度位相との角度差（図６参照。理想的には０度）を測定して固定画像制御装置１３及び捕捉画像制御装置１４に登録する。尚、ＰＡＬ光学系に換えて通常レンズによる光学系を使用した場合にあっても（図３参照）、狭い視野角による動体の検出という点及び直角座標系の水平軸を角度換算する点が異なるだけでほぼ同様のシステム構成が可能となる。この様な構成を採った場合には、マスキング処理を行ったと同様に処理効率の向上が望めることとなる。
【００２３】
以下、上記監視システムに採用するものとして以下に例示する画像処理方法は、ビデオ画像を対象とした統計的な変化検知をおこなって変化のある部分を抽出する動体検出処理（見方を変えれば背景検出処理として見る事もできる。）２と、当該結果から照明の変化や各種ノイズによる影響を除去する環境的フィルタリング処理３と、更に、予定しない大きさや動作特性を持った対象を除去する物体的フィルタリング処理１１とで構成された画像処理方法である（図１参照）。
【００２４】
当該画像処理方法における動体検出処理２は、背景の一部に生じた外乱によるピクセル値の変化は動体の一部のピクセル値の変化に比べて頻度も大きさも小さいという経験上の事実に基づき、結果として背景上で動きの少ない部分に大きな重みを与え、フレーム毎に変化する動きの激しい部分に小さい重みを与えて動体検出処理を行うものである。
【００２５】
具体的には、先ず、前記プレスキャンカメラ６で撮影した画像の各フレームにおける各画素のピクセル値Ｐ１を、当該プレスキャンカメラ６の受光素子（ＣＣＤ等）１０からＡ／Ｄコンバータ等の物理量検出インターフェース１２（図９参照）を介して採取し、演算手段１によって当該最新フレームのピクセル値Ｐ１と直前フレームのピクセル値Ｐ０の前後差の絶対値｜Ｐ１−Ｐ０｜を画素毎に求め、最新フレームを構成する各画素について、当該前後差の絶対値｜Ｐ１−Ｐ０｜に、フレーム毎の変化の反映度を決める平均ウエイトｒを次式（α）の如く掛け合わせて動体に対するウエイトｗを得る。そして、画素毎に、そのウエイトｗを含んだ次式（β）を演算手段１により実行し、最新フレームのピクセル値Ｐ１に対して当該前後差の絶対値｜Ｐ１−Ｐ０｜に反比例した重み付けが施された評価値Ｔ１を得る。
【００２６】
ｗ＝ｒ＊｜Ｐ１−Ｐ０｜    ・・・・・・・・・（α）
Ｔ１＝（ｗ＊Ｔ０＋Ｐ１）／（ｗ＋１）    ・・（β）
ここで
ｒは、前記重み付けを行う際の比例定数（平均重み）、
Ｐ０は、直前フレームの座標（ｘ、ｙ）に存在する画素のピクセル値、
Ｐ１は、最新フレームの座標（ｘ、ｙ）に存在する画素のピクセル値、
Ｔ０は、直前フレームにおける座標（ｘ、ｙ）に存在する画素の評価値、
Ｔ１は、最新フレームにおける座標（ｘ、ｙ）に存在する画素の評価値、
ｘは、フレームの横軸、
ｙは、フレームの縦軸、
である。
【００２７】
【表１】
0003616355.tif 000002
【００２８】
新規フレームを取得する毎に直前のフレームにおける重み付けの更新が行われる（表の上段から下段へ）上記演算を演算手段１を以て実行すれば、重み付けを受けたことにより、動きの頻繁な部分と動きの希薄な実質的背景部分との格差が高められた評価値Ｔ１が最新フレームを取得する毎に各画素について与えられる。そこで、演算手段１を以て最新フレームのピクセル値Ｐ１から当該評価値Ｔ１を減じてその絶対値を取ることにより、背景成分のほとんどが除去された前記最新フレームの動体成分値Ｅ１を画素毎に得ることができる。そして、得られた動体成分値Ｅ１を所定の閾値と比較し（表１、図１４参照）、それより大きい画素を動体構成画素１６として抽出し、その位置座標に基づいて一個のフレーム上に配置した状態を模擬した仮想フレームを演算手段１のメモリー１５内に表現し、当該仮想フレームにおける動体ブロック（それぞれの位置座標に基づく前記動体構成画素の集合により構成されたブロック）の座標計算を演算装置１により行うことによって動体のみの位置及び大きさを割り出すことができる。
【００２９】
この様に動作の頻度に応じた重み付けを行う上記方法によれば、動体が背景と同化することによって生じるゴーストの影響（図１２（イ）（ロ））を排除することができるのみならず、従来の動体検出処理では検出できなかった物体、即ち、暫くの間動かなくなった物体やゆっくり動く物体であっても、静止時間を予め設定し当該設定時間に適したフレームサンプリング時間に設定しておくことで、動作の頻度に応じた重み付けが行われ、動体を問題なく検出することができることとなる。
【００３０】
上記適正な設定時間による動体検出処理が行われ、適正な閾値が設定されると、前記動体成分Ｅ１によって抽出される一塊りの動体ブロックは一単位の物体として認識され、処理過程においても一単位の物体として処理されることとなる。そして、動体検出に係る処理時間の短縮を阻害する背景成分のほとんどが除去された前記動体成分値Ｅ１を用いることによって、処理対象が整理され処理効率と実用性が大きく高められることとなる。
【００３１】
次に、当該例に用いたフィルタリング処理のうち、我々の周囲に存在する照度の変化（局地的輝度変化）に起因したノイズを除去する環境的フィルタリング処理３について説明する。当該処理は、例えば、直前の複数フレームの背景の平均輝度と最新フレームの背景の輝度とをフレーム上の画素毎に比較し、それらの輝度差が所定の閾値を超えるか否かで当該領域で物理的に重大な変化が生じたか否かを検出するものである。一日の照度変化の遷移函数はほぼ線形であるので、前記動体検出処理２等で抽出されるなどして得られた平均的輝度に基づき顕著な変化に対する閾値を適正に定めることは可能である。
【００３２】
具体的には、ビデオ画像におけるフレーム取得開始から最新フレーム取得に至るまでの、各フレームを構成する全画素について、評価値Ｔ１に関する累積値（表２では累積評価値）、平均値（表２では平均評価値ＴＡ）、前後フレームの変化量（表２では直前変化量）、及びその間の最大変化量（表２では評価値最大変化量Ｄ）を演算手段１で導き出し、当該システムの記録手段１７に保存する。
【００３３】
そこで、演算手段１では、最新フレームの評価値Ｔ１と、当該最新フレームを含む平均評価値ＴＡとの差の絶対値（表中では平均評価値格差）が、予め設定された検知感度ｓ％を前記評価値最大変化量Ｄに割増した割増変化量ＴＳ以内であれば、当該画素は、物理的に重大な変化を含む動体の一部である蓋然性が高い画素（擬制画素）には当たらないとして、純然たる背景成分として動体検出に係る処理対象から省くと共に、もし、当該平均評価値格差が前記割増変化量ＴＳより大きい場合には、その時の変化がそれまでのフレーム取得履歴で得た評価値最大変化量Ｄよりも格段に大きいと判断して、動体の一部である蓋然性が高い擬制画素としてマークする（表２、図１５参照）。
【００３４】
【表２】
0003616355.tif 000003
【００３５】
擬制画素としてマークされた全ての画素は、演算手段１のメモリー１５内に設定された仮想フレームに基づく動体ブロックの座標計算の際、同じフレームにおいて前記動体検出処理２により一塊りの動体ブロックとして認識された画素と共に、動体を構成する画素として取り扱われ、相分離する物体や擬制画素相互の間隔が所定の距離（設定調整可能）未満の場合に、それらの検出領域に対しぬりつぶし法や二進形態閉塞法等の連結・一体化処理を演算手段１で施すことにより、一塊りの繋がった動体ブロックとして取り扱われることとなる。
【００３６】
上記環境的フィルタリング処理３に際し、演算手段１は、もし前記評価値Ｔ１についての前記平均評価値格差（｜Ｔ１−ＴＡ｜）がそれまでの評価値最大変化量Ｄより大きい場合には、当該最大変化量Ｄを、予め設定された感度係数（当該例においては“１”）に最大変化量Ｄの増加分を乗じた値だけ増加させて更新するという学習処理を行い、もし前記平均評価値格差の絶対値が前記最大変化量Ｄよりも小さい場合には、当該最大変化量Ｄを、予め設定された感度係数に最大変化量Ｄの増加分を乗じた値だけ減少させて更新するという学習処理（当該例においては、単位時間に一定の割合（或いは量）だけ減少させるといった定期的な処理として行われている。）を行う。当該最大変化量Ｄを増加或いは減少させるスピードは、前記感度係数を増減することにより適正なものに調整することができ、当該最大変化量Ｄを増加させるか否かの判断を生じさせる感度は、前記検知感度ｓ％を適宜増減することによって調整することができる（表２及び図１５参照）。
【００３７】
上記環境的フィルタリング処理３は、動体成分値Ｅ１についても行うことが出来る。その場合、演算手段１は、もし前記動体成分値Ｅ１と平均動体成分値ＥＡの差たる平均動体成分値格差（｜Ｅ１−ＥＡ｜）がそれまでの動体成分値最大変化量Ｌより大きい場合には、当該最大変化量Ｌを、予め設定された感度係数（当該例においては“１”）に最大変化量Ｌの増加分を乗じた値だけ増加させて更新するという学習処理を行い、もし前記平均動体成分値格差（｜Ｅ１−ＥＡ｜）が前記最大変化量Ｌよりも小さい場合には、当該最大変化量Ｌを、予め設定された感度係数に最大変化量Ｌの減少分を乗じた値だけ減少させて更新するという学習処理を行う。この場合も、当該最大変化量Ｌを増加或いは減少させるスピードは、前記感度係数を増減することにより適正なものに調整することができ、当該最大変化量Ｌを増加させるか否かの判断を生じさせる感度は、前記検知感度ｓ％を適宜増減することによって調整することができる（表３及び図１６参照）。
【００３８】
【表３】
0003616355.tif 000004
【００３９】
この様な環境フィルタリング処理３をフレームを構成する全画素に対して行い、擬制画素としてマークされなかった画素から成る領域の照度変化等をノイズであると判断して動体ブロックを構成する画素としての認識対象から除外することによって、処理内容の合理化を図ることが出来る。また、上記学習処理によってＤ又はＬが自動的に実際の状況に即した値に設定され、常に適正な基準値が与えられて正確なノイズ除去が可能となる。
【００４０】
この実施の形態では、当該物体の持つ空間的、或いは時間的特性により、更に幾つかの物体的フィルタリング処理が演算手段１によって行われる。
【００４１】
前記演算手段１のメモリー１５内に設定した仮想フレームで、動体ブロックの拾い出し１８を行い、動体ブロックの座標計算による連結・一体化処理２０を施した後、当該座標計算によって一つの物体の大きさを算出し、更に、基準以下の小さな物体は動体ブロックを構成する画素としての認識対象から除外する大きさフィルタ１９を含んだ物体的フィルタリング処理１１を当該演算手段１によって行う。当該物体的フィルタリング処理１１によって、小さな動物や遠方の物体がフレームを横切るという場合であっても、検出対象たる物体より極端に小さい物体を動体検出処理２の対象から除くことができる。
【００４２】
上記演算手段１による座標計算によって一旦動体ブロックを認識すると、その進行方向を導き運動の軌跡を予測することができるが、同動体ブロックについては進行方向の導出に間に合うようにその存在を検出して追跡しなければならない。そこで、当該例においては、直前のフレームで得られた動体成分値Ｅ０を所定の閾値と比較して（図１４参考）それより大きい画素を抽出し、一個のフレームとして配置した仮想フレームを演算手段１のメモリー１５内に設定し、ブロックマッチング（二値相関、パターン・マッチング或いはテンプレートマッチングと呼ばれる場合もある。）を行って進行方向導出の対象となる動体ブロックに最も近似した動体ブロックを、最新のフレーム上で探し出し、前後の位置座標の変化に基づく同演算手段１による座標計算を以て動体ブロックの移動ベクトルを算出し、当該画像処理の目的（監視システム等）とは無関係（無効）な方向（例えば、右が有効な方向であれば左が無効な方向）へ進む物体を検出対象から除く方向フィルタ２２を含んだ処理が当該演算手段１によって行われる。
【００４３】
上記の如く動体の移動方向が判明すると、当該動体ブロックの相対速度を導出することができる。よって、当該速度に基づき検出対象の速度として予測される速度から大きく外れる動作対象を除去する速度フィルタ２３を含んだ物体的フィルタリング処理１１を演算手段１により行うことが可能となる。尚、表１、表２、表３は、フレーム取得開始から５０フレーム分の値を関係処理毎に分けて示したものである。
【００４４】
当該画像処理においては、前記演算手段１により、上記フィルタリング処理に加えてカメラの視野に係るフレーム全体のうちの特定領域だけを検出の関心領域（ＲＯＩ）とするマスキング処理を行うことによってより効率の良い画像処理が可能となる。
【００４５】
【発明の効果】
上記の如く構成されたコンピュータによる画像処理方法と画像処理装置によれば、最新フレームを構成する各画素に対し当該前後差の絶対値に反比例した重み付けを施して得た評価値より導出した動体成分値から、所定の閾値に基づいて動体構成画素を認定する処理を演算手段を以て行うことにより、背景自体の明るさや色彩が刻々と変化する野外であっても、時間の経過に従って背景成分が評価値として更新されるので、経時的ノイズが増加するという欠点が解消されると共に、動体検出処理に用いる基本背景画像としていくつかのフレームの平均値をとるという手法で問題となっていたゴースト効果も解消される。
【００４６】
また、フレームを構成する画素毎に前記評価値の累積平均値及び制限時間内の最大変化量Ｄを最新フレームを取得する毎に導出し、最新フレームにおける各画素の評価値と前記累積平均値との差の絶対値たる累積平均格差が、前記最大変化量Ｄに基づく基準値を上回る画素を、前記動体構成画素として擬制する環境的フィルタリング処理を演算手段を以て実行することで、影や雲の動きなどの影響で光が徐々に変化する状態、或いは屋外においては揺れた木を、屋内においてはモニタ画面のちらつきやカーテンの揺れなどを侵入者と明確に区別でき、その結果として動体と背景とを正確に識別し誤報を回避することができる低コストなシステムを提供することができる（図１３参照）。
【００４７】
又、前記自動的に閾値を学習する環境的フィルタリング処理を実行することによって、常に現場でのパラメータを実際の状況に合わせた環境的フィルタリングが可能となり、更に、前記種々の物体的フィルタリング処理を実行することによってより実状に即した効果的な画像処理が可能となる。そして、これらの具体的な効果を以て、変化する環境に対して正確に適応し、動体と背景とを低コストで正確に且つ高速に識別し得るコンピュータによる画像処理方法の提供が可能となる。
【図面の簡単な説明】
【図１】本発明によるコンピュータによる画像処理方法の処理手続きの一例を示すブロック図である。
【図２】本発明によるコンピュータによる画像処理方法を採用した監視システムの一例を示す概略説明図である。
【図３】本発明によるコンピュータによる画像処理方法を採用した監視システムの一例を示す概略説明図である。
【図４】本発明によるコンピュータによる画像処理方法を採用した監視システムのスキャンカメラとプレスキャンカメラの配設例を示す説明図である。
【図５】本発明によるコンピュータによる画像処理方法を採用した監視システムのスキャンカメラとプレスキャンカメラの配設例を示す説明図である。
【図６】本発明によるコンピュータによる画像処理方法を採用した監視システムのスキャンカメラとプレスキャンカメラの初期設定の一例を示す説明図である。
【図７】本発明によるコンピュータによる画像処理方法を採用した監視システムのプレスキャンカメラから取得した画像を映す受像器の一例を示す説明図である。
【図８】パノラマ画像ブロック光学系により撮像位置周辺の三次元空間を環状画像として結像させる一例を示した説明図である。
【図９】本発明によるコンピュータによる画像処理方法を実現するハードウェア構成の一例を示すブロック図である。
【図１０】（イ）（ロ）従来のコンピュータによる画像処理方法の問題点の一例を示す最新原画像及び直前原画像との閾値差を表現した画像である。
【図１１】（イ）（ロ）従来のコンピュータによる画像処理方法である背景減算法による最新原画像及び直前原画像との閾値差を表現した画像である。
【図１２】（イ）（ロ）従来のコンピュータによる画像処理方法である背景減算法による直前の複数フレームを平均して得たゴースト効果を含む背景画像、及び当該背景画像と図１１（イ）の最新原画像との閾値差を表現した画像である。
【図１３】（イ）（ロ）（ハ）本発明によるコンピュータによる画像処理方法で採用された環境的フィルタリング処理の効果を示す最新原画像、動体の全てを検出したフィルタリング前の画像及びフィルタリング後の画像の一例を示したものである。
【図１４】本発明によるコンピュータによる画像処理方法の動体検出処理の一例を説明するグラフである。
【図１５】本発明によるコンピュータによる画像処理方法の学習処理の一例を説明するグラフである。
【図１６】本発明によるコンピュータによる画像処理方法の学習処理の一例を説明するグラフである。
【符号の説明】
１  演算手段，２  動体検出処理，３  環境的フィルタリング処理，
４  パノラマ画像ブロック光学系，５  環状画像，
６  プレスキャンカメラ，７  スキャンカメラ，８  受像器，
９  パノラマ画像ブロック，１０  受光素子，
１１  物体的フィルタリング処理，１２  物理量検出インターフェース，
１３  固定画像制御装置，１４  捕捉画像制御装置，１５  メモリー，
１６  動体構成画素，１７  記録手段，１８  動体ブロックの拾い出し，
１９  連結・一体化処理，２０  大きさフィルタ，
２１  動きの方向と速度の演算，２２  方向フィルタ，２３  速度フィルタ，
【図１】
0003616355.tif 000005
【図２】
0003616355.tif 000006
【図３】
0003616355.tif 000007
【図４】
0003616355.tif 000008
【図５】
0003616355.tif 000009
【図６】
0003616355.tif 000010
【図７】
0003616355.tif 000011
【図８】
0003616355.tif 000012
【図９】
0003616355.tif 000013
【図１０】
0003616355.tif 000014
【図１１】
0003616355.tif 000015
【図１２】
0003616355.tif 000016
【図１３】
0003616355.tif 000017
【図１４】
0003616355.tif 000018
【図１５】
0003616355.tif 000019
【図１６】
0003616355.tif 000020