(57)【要約】【課題】撮影環境に影響されることなく、常に安定した背景画像の検知を可能にして、停止物の検知性能をより向上できる画像処理装置および背景画像検知処理プログラムを提供する。【解決手段】背景画像作成処理部１４は、キャプチャ１２より入力した時系列の複数の画像から画素毎の標準偏差を求める自動閾値処理の結果（輝度分散値または標準偏差）を利用して、低輝度値の変動の無い画素を特定し、その画素の平均輝度を利用して背景画像を作成するとともに、最新背景輝度と差分処理を実施して背景変化画素を抽出する。【選択図】    図１
2010206286.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置において、
前記停止物検知処理手段は、
前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、
前記背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出する背景変化画素抽出手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
前記背景画像作成手段は、前記作成した背景画像を時系列に貯える複数の背景輝度バッファと、この背景輝度バッファに貯えられた背景画像の画素毎のリフレッシュタイミングを管理するバッファ管理手段とを具備したことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記バッファ管理手段は、前記背景輝度バッファに対する背景画像の更新制御を行う更新制御手段を具備したことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記背景変化画素抽出手段は、２値の閾値を用いてヒステリシスをもった背景画素の差分処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置としてコンピュータを機能させるための背景画像検知処理プログラムであって、
前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成機能を前記コンピュータに実現させるための背景画像検知処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置および停止物検知処理機能を実現する背景画像検知処理プログラムに関する。
【背景技術】
【０００２】
単眼カメラ（一つのカメラ）で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、現在画像と過去画像から停止物を検知する停止物検知処理機能を付加することにより、停止物と動物体の区別を実施し、画面上に表示することが可能となる。また停止物が存在する状態を外部装置に対し通知することが可能となる。この停止物検知処理機能を実現する停止物検知機能ロジックの開発において、平均画像を入力として差分処理を実施する実験を試みたが、動物体が画面内に存在する場合、平均画像はその動物体の輝度の影響を受け、動物体の平均輝度が平均画像に混入されるため、その影響で、停止していない対象も停止物として検知してしまうという結果に至った。この種の画像処理技術として、従来では、背景輝度画像と現在の輝度画像から輝度差分画像を生成し、その輝度差分画像から物体領域を抽出する物体領域抽出手段を備えた物体検出装置（特許文献１）、背景輝度画像と現在の輝度画像から輝度差分画像を生成し、その輝度差分画像から物体領域を抽出する物体領域抽出手段を備えた監視装置（特許文献２）、入力画像のうち、所定期間変化しない画像を背景画像として設定する背景画像設定手段と、設定された背景画像及び順次入力される入力画像を比較演算して差分画像を出力する差分演算手段と、差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得る画像抽出手段とを備えた画像処理装置（特許文献３）などが存在した。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３００５３１号公報
【特許文献２】特開２００５−１４３０５２号公報
【特許文献３】特開２０００−２８５２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置を構築する際、動物体の影響により停止していない対象も停止物として検知してしまうという問題があった。
【０００５】
本発明は上記問題を解消して、動物体が画面内に存在する撮影環境に影響されることなく、常に安定した背景画像の検知を可能にし、これにより停止物の検知性能をより向上できる画像処理装置および背景画像検知処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置において、前記停止物検知処理手段は、前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、前記背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備したことを特徴とする。
【０００７】
また、本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置としてコンピュータを機能させるための背景画像検知処理プログラムであって、前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成機能を前記コンピュータに実現させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動物体が画面内に存在する撮影環境に影響されることなく、常に安定した背景画像の検知を可能にし、これにより停止物の検知性能をより向上できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】上記実施形態に係る画像処理装置の背景画像作成用バッファ構成を示す図。
【図３】上記実施形態に係る画像処理装置の背景画像作成処理部の機能ブロック図。
【図４】上記実施形態に係る画像処理装置の背景画像作成処理部の動作概念を示す図。
【図５】上記実施形態に係る画像処理装置の停止物検知処理の手順を示すフローチャート。
【図６】上記実施形態に係る画像処理装置の背景画像作成処理の手順を示すフローチャート。
【図７】上記実施形態に係る画像処理装置の背景画像更新処理の手順を示すフローチャート。
【図８】上記実施形態に係る画像処理装置の背景画像更新処理の手順を示すフローチャート。
【図９】上記実施形態に係る画像処理装置の背景画像更新処理における背景画素更新処理の手順を示すフローチャート。
【図１０】上記実施形態に係る画像処理装置の背景画像更新処理における背景画素更新処理の手順を示すフローチャート。
【図１１】上記実施形態に係る画像処理装置の第１の停止物検知処理手段を説明するための差分処理イメージ図。
【図１２】上記実施形態に係る画像処理装置の第１の停止物検知処理手段を説明するための差分画素処理ロジックの説明図。
【図１３】上記実施形態に係る画像処理装置の第１の停止物検知処理手段を説明するための処理手順を示すフローチャート。
【図１４】上記実施形態に係る画像処理装置の第２の停止物検知処理手段を説明するための差分処理イメージ図。
【図１５】上記実施形態に係る画像処理装置の第２の停止物検知処理手段を説明するための抽出処理ロジックの説明図。
【図１６】上記実施形態に係る画像処理装置の第３の停止物検知処理手段を説明するための差分処理イメージ図。
【図１７】上記実施形態に係る画像処理装置の第３の停止物検知処理手段を説明するための抽出論理ロジックを示す図。
【図１８】上記実施形態に係る画像処理装置の第４の停止物検知処理手段を説明するための差分処理イメージ図。
【図１９】上記実施形態に係る画像処理装置の第４の停止物検知処理手段を説明するための抽出論理ロジックの説明図。
【発明を実施するための形態】
【００１０】
以下図面を参照して本発明の実施形態を説明する。  
本発明は、カメラで撮影した時系列の複数の画像から、変化画素を含む領域を抽出する動物体の検知機能（短期的な画面上の動きを検知する機能）に対して、長時間に亘り静止している停止物の検知機能（変動のない画素（背景）の変化を検知する機能）を実現している。
【００１１】
本発明は、動きの多い画像の画素は輝度値のバラツキ（分散）が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。
【００１２】
本発明に係る停止物検知機能の概要概念は、画面変動のない画素＝背景画素と定義し、背景画素の平均画像と最新背景画素との差分をとり、背景変化画素を抽出する機能である。具体例を挙げると、画面の一部の背景画素集合の変化を捉えることで停止物を検知することにより、画面の大部分で背景変化が発生した場合は、画角ズレ等の監視環境変化が発生したことを検知することが可能となる。また、変動のない画素＝背景画素と判断し、背景画素の輝度値を登録して背景画像を作成する。作成した背景画像と現在背景と思われる最新輝度との差分を実施し、背景変化画素の抽出を行う。抽出した背景変化画素は、動物体の検知と同様に、領域化処理を実施し、動物体追跡機能を利用して追跡を可能とする。必要に応じて本機能に必要な設定値は、外部パラメータにより変更可能とする。この停止物検知機能により、停止物と動物体の区別を実施し、画面上に表示することが可能となる。また停止物の存在時に外部装置に対し通知することが可能となる。
【００１３】
本発明の実施形態に係る画像処理装置全体の構成を図１に示す。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００１４】
本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理部１３と、表示部１９とを具備して構成される。
【００１５】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。
【００１６】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１３の処理対象画像（入力画像）として取り込み、後述する背景画像作成用バッファ（背景画像処理用バッファ）１５に保持する処理機能をもつ。
【００１７】
画像処理部１３は、背景画像作成処理部１４と、背景画像作成用バッファ１５と、停止物画素抽出処理部１６と、領域化処理部１７と、追跡処理部１８とを具備して構成される。
【００１８】
背景画像作成処理部１４は、背景画像作成用バッファ１５をリード（Ｒ）、ライト（Ｗ）アクセスして、背景画像作成用バッファ１５に格納された各種の情報をもとに、キャプチャ１２より入力した時系列の複数の画像から画素毎の標準偏差を求める自動閾値処理の結果（輝度分散値または標準偏差）を利用して、低輝度値の変動の無い画素を特定し、その画素の平均輝度を利用して背景画像を作成するとともに、最新背景輝度と差分処理を実施して背景変化画素を抽出する処理機能を有する。
【００１９】
背景画像作成処理部１４は、カメラ１１で撮影した画像をキャプチャ部１２を介して順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更
新する背景変化画素抽出手段とを具備して構成される。この背景画像作成処理部１４の処理については図面（図３および図４と図６乃至図１０）を参照して後述する。
【００２０】
背景画像作成用バッファ１５は背景画像作成処理部１４の背景画像作成処理に供される各種の記憶領域を提供する作業用のバッファであり、代表的な背景画像作成用のバッファ構造を図２に示している。この背景画像作成用バッファ１５には、背景輝度総和（ΣＢｉ）を貯えるバッファ１５１、複数の背景画素の平均輝度である背景輝度（Ａｖｅ＿Ｂｉ）を貯えるバッファ１５５、３０画面分の画像の背景画像＝背景輝度（Ｂ０〜Ｂ２９）画素単位でを貯えるバッファ１５３、背景輝度バッファ番号（ＢｕｆＮｕｍ）を画素毎に貯えるバッファ１５４、背景輝度登録数（ＥｎｔｒｙＮｕｍ）を画素毎に貯えるバッファ１５５、背景輝度登録フレームカウンタ情報（ＥｎｔｒｙＦｒｍＣｔｒ）を画素毎に貯えるバッファ１５６等の各領域が設けられる。さらに、背景画像作成用バッファ１５には、キャプチャ部１２から入力された１画面単位の画像データ（カラー）を貯える画像バッファメモリ、作成した背景画像を貯える背景画像バッファメモリ、背景画像作成用のデータを貯えるバッファ（図３に示す符号２１，２６，２７参照）の各領域を含む、入出力データ、演算途中の各種データ、内部パラメータ等を貯える領域、外部パラメータを貯える領域等が設けられる。
【００２１】
本発明の実施形態では複数枚の背景画素（平均輝度）の平均輝度を背景輝度として算出し利用するものとする（画素によって背景輝度の更新タイミングが異なるようになる）。この背景画像（平均輝度の平均）（Ａｖｅ＿Ｂｉ）と、背景輝度総和（ΣＢｉ）に加え、画素によって背景更新タイミングが異なることから、画素毎に背景輝度（Ｂ０〜２９）を作成するためのバッファ（３０枚）１５３と、背景輝度バッファ番号を貯えるバッファ１５４、背景輝度登録数（最大２９）を貯えるバッファ１５５、背景輝度登録フレームカウンタ情報（フレームカウント値）を貯えるバッファ１５をそれぞれ準備する。
【００２２】
この背景輝度（Ｂ０〜２９）を作成するためのバッファ１５３には、背景画像作成処理部１４で抽出処理した低輝度の安定画素がバッファ番号、フレームカウンタ情報等の指定に従い１画素単位で登録され、画素集合による背景画像が生成される。
【００２３】
図１に示す画像処理部１３において、停止物画素抽出処理部１６は、背景画像作成処理部１４で作成した、低輝度の安定画素の集合による背景画像を利用して停止物（停止物と見做した画素）の検知処理を実施する。この停止物の検知処理については図面（図５と図１１乃至図１９）を参照して後述する。
【００２４】
領域化処理部１７は、停止物画素抽出処理部１６で処理した、停止物と見做した画素をもとに停止物の領域化処理を実施する。
【００２５】
追跡処理部１８は、領域化処理部１７で領域化された停止物の領域を追跡する追跡処理を実施する。この領域化処理部１７および追跡処理部１８は既知の技術により構築可能であることから、ここでは、その説明を省略する。
【００２６】
背景画像作成処理部１４の機能ブロックを図３に示している。背景画像作成処理部１４は、キャプチャ部１２から入力した画像を貯える画像バッファメモリ２１と、標準偏差を用いた自動閾値算出機能をもつ変動画素抽出部２２と、背景画素の更新処理を実施する背景画像更新部２３と、背景画像更新部２３の更新処理を制御する背景画像更新管理部２４と、間隔の開いた背景画素をリフレッシュ処理する背景画像リフレッシュ部２５と、背景画像作成用のデータを貯えるバッファ２６と、作成した背景画像を貯える背景画像バッファメモリ２７とを具備して構成される。画像バッファメモリ２１、背景画像作成用データバッファ２６、背景画像バッファメモリ２７等は図１に示す背景画像作成用バッファ１５に置かれる。変動画素抽出部２２には、低輝度の安定画素を抽出するための最低閾値（上下限値）、利用フレーム数等が外部パラメータとして入力される。
【００２７】
変動画素抽出部２２は、画像バッファメモリ２１から複数画面分の画像をリード（Ｒ）して、画素毎に、輝度平均、輝度分散、標準偏差の各値を算出する。背景画像更新管理部２４は、現在フレームカウンタ情報に基づき、画素単位で、前回更新からの経過時間をチェックし、長時間にわたり更新されずに残っている画素について、背景画像リフレッシュ部２５にリフレッシュを指示する。背景画像リフレッシュ部２５はこの指示に従い、該当する背景画素をリフレッシュ処理する。一方、背景画像更新部２３は、変動画素抽出部２２から背景画素およびその輝度値と、輝度分散値若しくは標準偏差をリードし、当該背景画素（注目画素）の輝度分散値若しくは標準偏差が低輝度の安定画素であるか否かを判定し、低輝度の安定画素であると判定したとき、当該画素を背景画素と判定し、平均画像データを利用して、背景画像作成データの更新を実施し、更新処理した背景画像を背景画像バッファメモリ２７に登録する。この背景画像バッファメモリ２７への背景画像のバッファリングは、パラメータにより指定された間隔で実施される。
【００２８】
上記背景画像作成処理部１４における動作概念を図４に示している。本願の発明者により実現された自動閾値設定技術は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を変化画素を抽出するための、対応する画素の閾値に設定している（特開２００８−２５０８９２参照）。この自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素＝背景と思われる画素においては、低く安定した閾値を設定する。この特性を利用し、自動閾値が低い状態＝背景の変動がない＝背景画素と判断し、そのときの平均輝度を背景輝度として利用し、その集合にて平均画像を作成し、背景画像とする。そして、最新の登録背景輝度と現在の背景画像との差分処理を実施し、背景変化画素を抽出することを基本とする。この動作概念を図４に示している。この考え方により、動きのある画像中でも機能し、動物体検知している場所と同じ場所での停止物を高い認識率で認識可能にしている。一方、輝度の変動時間が長い画素は、背景画素として判定された状態から更新されない期間が長い状態となり、現状との乖離が発生している可能性が考えられるため、その場合は、背景画像をリフレッシュする機能を具備する。なお、図中の符号Ｔａは最低閾値、ＳＡは最低閾値（Ｔａ）以下の低輝度安定範囲である。背景画像作成処理部１４は、注目画素が最低閾値（Ｔａ）以下の低輝度安定範囲（ＳＡ）にあるか否かを判定し、最低閾値（Ｔａ）以下であるときに、背景画素の更新処理を実施する。この更新処理については図面（図７乃至図１０）を参照して後述する。
【００２９】
上記図１に示した画像処理装置の画像処理部１３における停止物検知処理の手順を図５に示している。この停止物検知処理では、背景画像作成処理部１４において、カメラ１１で撮影した画像を順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する（図５ステップＳ１）。この背景画素が作成されると、停止物画素抽出処理部１６において、背景画像作成処理部１４で作成した、低輝度の安定画素の集合による背景画像を利用して、停止物（停止物と見做した画素）の検知処理を実施する（図５ステップＳ２）。停止物（停止物の画素集合）が生成されると、領域化処理部１７において、停止物画素抽出処理部１６で処理した、停止物と見做した画素をもとに停止物の領域化処理を実施し（図５ステップＳ３）、追跡処理部１８において、領域化処理部１７で領域化された停止物の領域を追跡する追跡処理を実施する（図５ステップＳ３）。
【００３０】
上記図５ステップＳ１における背景画像作成処理の処理手順を図６にフローチャートで示している。この背景画像作成処理は、パラメータの設定による背景画像作成タイミングに従い実施される。
【００３１】
この背景画像作成処理部１４における背景画像作成処理では、入力された最新の画像（モノクロ／カラーの画像データ）をセットし、現在のフレームカウンタ情報を取得する（図６ステップＳ１１）。上記入力画像について、上記した画素毎の自動閾値の算出処理を実施する（図６ステップＳ１２）。この算出処理で算出された画素毎の輝度分散値若しくは標準偏差を利用して背景画素の作成並びに更新処理を実施する（図６ステップＳ１３）。この背景画像の作成処理では、入力された画像を全画面分走査し、自動閾値の小さい（低輝度で安定している）画素（＝最低閾値と同じ画素）を背景画素と判断する（閾値算出のタイミングに合わせる）。最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報を比較し、フレームカウンタ値の乖離が大きい場合は、背景画像、背景輝度総和を０クリアし、背景輝度登録数を０で初期化、バッファカウンタ等も初期化する。最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報を比較し、フレームカウンタ値の乖離が大きい場合は、背景画像、背景輝度総和を０クリアし、背景輝度登録数を０で初期化、バッファカウンタ等も初期化する（リフレッシュ処理）。背景輝度総和、最古背景輝度値、１フレーム前背景輝度を利用して、背景画像総和の更新、背景画像の更新、背景輝度バッファの更新を行う。なお、背景登録数が所定数（３０フレーム）に達していない場合は、総和への足し込みのみを実行し、インクリメントする。この先入先出処理は［背景輝度（平均）＝背景画素総和（２９枚分）−最古背景輝度＋１フレーム前の背景輝度／２９］で表すことができる。また、現在平均輝度をバッファへ登録し、背景バッファカウンタのインクリメントを実施し、現在フレームカウンタ情報を背景画素更新フレームカウンタに格納する。背景画像は、最大３０枚を、成熟／未成熟画像とセットでバッファリングするものとし、バッファリング周期（保存周期）は外部パラメータにて指定可能とする。また、現在バッファ番号＋ｎ秒前の背景画像、成熟／未成熟画像の取得関数を準備し、取得可能とする。なお、未成熟画像は、背景画像を作成可能な状態に至らない（背景輝度バッファ１５３に所定数の背景画像が登録されていない状態にある）背景輝度バッファ１５３上の背景画像であり、成熟画像は、背景画像を作成可能な状態にある（背景輝度バッファ１５３に所定数の背景画像が登録された状態にある）背景輝度バッファ１５３上の背景画像である。
【００３２】
上記した背景画像更新処理の処理手順を図７および図８にフローチャートで示している。  
この背景画像更新処理では、背景画像の更新対象画素数、および背景画像の更新画素数を初期化し（図７ステップＳ２１）、画像サイズ分ループして（図７ステップＳ２２〜図８ステップＳ３５）以下の処理を実施する。
【００３３】
このループ処理では、処理対象となる注目画素の画素番号の取得し（図７ステップＳ２４）、その注目画素がマスク対象画素であるか否かを判定する（図７ステップＳ２５）。ここで、注目画素がマスク対象画素でない（更新対象画素である）とき、背景画像更新対象画素数をインクリメントし（図７ステップＳ２６）、その画素が所定の時間を経過した（リフレッシュ未更新間隔時間を超過した）リフレッシュ対象画素であるか否かを判定する（図７ステップＳ２７〜図８ステップＳ２９）。リフレッシュ対象画素でないとき、注目画素の背景画素更新処理を実施する（図８ステップＳ３１）。この注目画素の背景画素更新処理については図９および図１０に示すフローチャートを参照して後述する。この注目画素の背景画素更新処理が正常終了したことを確認して（図８ステップＳ３２）、背景画像の更新画素数をインクリメントする（図８ステップＳ３３）。また、注目画素がマスク対象画素であるときは上記ループ内の各処理をスキップする。またリフレッシュ対象画素であるときは注目画素に対する背景情報の初期化処理を実施し（図８ステップＳ３０）、注目画素の背景画素更新処理を実施する（図８ステップＳ３１）。この背景情報の初期化処理では、背景画像輝度バッファの初期化、背景画像輝度現在バッファ番号の初期化、背景輝度登録数の初期化、背景輝度登録フレームカウンタの初期化、現在背景画像データの当該画素を初期化、最新登録背景画像データの当該画素を初期化、背景更新画像の当該画素を初期化、背景セットアップ画像の当該画素を初期化等が行われる。また、注目画素の背景画素更新処理が正常終了しないときは注目画素の背景画素更新処理を終了する。上記ループ処理（図７ステップＳ２２〜図８ステップＳ３５）の後、背景画像の更新画素割合を算出し、その算出割合を画像処理バッファ１５に格納する（図８ステップＳ３６）。
【００３４】
上記した背景画像更新処理における注目画素の背景画素更新処理を図９および図１０にフローチャートで示している。
【００３５】
この注目画素の背景画素更新処理では、戻り値として返す更新フラグを未更新（戻り値＝FALSE）で初期化し（図９ステップＳ４１）、注目画素位置が画面内にあることを確認して（図９ステップＳ４２）、注目画素（カラー）の位置情報をセットする（図９ステップＳ４３）。
【００３６】
そして注目画素の閾値が低輝度値に設定した最低閾値以下であるか否か（注目画素が図４に示す最低閾値（Ｔａ）以下の低輝度安定範囲（ＳＡ）にあるか否か）をチェックする（図９ステップＳ４３）。
【００３７】
ここで、最低閾値以下であるときは、以下の背景画素の更新処理を実施し（図９ステップＳ４５〜図１０ステップＳ６３）、最低閾値以下でないときは背景更新画像の注目画素位置に該当する画素を未更新（FALSE）にして背景画素の更新処理を終了する。背景画素の更新処理では、入力背景輝度値（tempImg、tempImg_R、tempImg_G、tempImg_B）を取得する。（tempImg）は入力した背景の平均輝度値、（tempImg_R、tempImg_G、tempImg_B）は入力した背景のＲ，Ｇ，Ｂの各平均輝度値。さらに、現在の背景輝度登録数、格納バッファ番号をそれぞれ取得し（図９ステップＳ４７，Ｓ４８）、輝度登録数が利用数を超過しているか（３０に達しているか）否かをチェックする。
【００３８】
ここで、輝度登録数が利用数を超過しているときは、先入先出法による画素の更新（最古の画素を棄て最新の画素を取り込む画素の差し替え処理）を実施する（図９ステップＳ５０〜Ｓ５３）。ここでは、背景輝度総和バッファ１５１に格納されている背景輝度の総和から現在の背景輝度（平均）を求め（図９ステップＳ５０）、入力背景輝度値を使って総和を算出し（図９ステップＳ５１）、最古の画素に代わって入力画素をセットアップ画素にし（図９ステップＳ５２）、更新フラグを更新（戻り値＝TRUE）にして（図９ステップＳ５３）、図１０に示すバッファへのデータ格納処理を実施する。。また、輝度登録数が利用数を超過していないときは、入力背景輝度値を使って総和を算出し（図９ステップＳ５４）、背景登録数をインクリメントして図１０に示す処理に移行する。このバッファへのデータ格納処理では、入力背景輝度値をバッファに格納し（図１０ステップＳ５６）、入力背景輝度値を最新登録背景画像へ格納して（図１０ステップＳ５７）、背景更新画像の当該画素を更新にし（図１０ステップＳ５８）、更新したフレームカウンタを格納する（図１０ステップＳ５９）。さらに、バッファ番号をインクリメントし（図１０ステップＳ６０）、バッファ番号が利用数（この例では３０）を超過しているか否かをチェックして（図１０ステップＳ６１）、利用数を超過していない場合は、バッファ番号をインクリメントして格納し（図１０ステップＳ６２）、超過している場合は、バッファ番号を「０」に初期化（リセット）し（図１０ステップＳ６３）、更新フラグを戻り値として返す。
【００３９】
上記図５に示した停止物検知処理の処理例（４例）を図面（図１１乃至図１９）を参照して説明する。
【００４０】
第１の停止物検知処理手段（登録背景差分手法による）を図１１乃至図１３を参照して説明する。図１１は差分処理イメージ図、図１２は差分画素処理ロジックの説明図、図１３は停止物画素抽出処理手順を示すフローチャートである。
【００４１】
この処理は、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度が、背景画像登録数が３０に達しているいか否か（３０に達していない画素を未成熟背景画像段階と呼ぶ）を判断する（図１３ステップＳ７１〜Ｓ７３）。
【００４２】
背景未更新画素の場合、又は未成熟背景画像段階の場合は、背景差分処理を実施しない（図１３ステップＳ７３・No）。未成熟背景画像段階でない場合（成熟背景画像段階にあるとき）は、現在バッファ番号背景輝度と背景画像（平均画像）を利用して図１１に示す背景差分処理を実施する（図１３ステップＳ７４）。なお、背景画像（平均画像）は、参照遅延時間を別途指定可能とする（何秒前に作成された背景画像と差分を実施するかを指定可能とする）。また、差分閾値は、外部パラメータにて設定された固定閾値／自動閾値の切り替えを可能とし、自動閾値は、背景輝度の変動を考慮した閾値設定とする（動物体検知の自動閾値のロジックに準拠する）。
【００４３】
停止物は動かないことから、同一地点に連続的に差分結果が抽出されるはずであるため、差分処理を実施した結果を蓄積し、差分アリの時＋１、差分無しの時は−１を行う累積差分二値化画像を作成し、閾値を超過した場合は、差分画素とする（図１３ステップＳ７６〜Ｓ８１）。ここでの閾値は、図１２に示すように、上限、下限の２値を有し、ヒステリシスをもった判定を行うようにする。
【００４４】
第２の停止物検知処理手段（背景時間差分手法による）を図１４および図１５を参照して説明する。図１４は差分処理イメージ図、図１５は抽出処理ロジックの説明図である。なお、処理手順は図１３に示した処理手順と同様である。
【００４５】
この処理は、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度、過去背景輝度が、背景画像登録数が３０に達しているいか否か（３０に達していない画素を未成熟背景画像段階と呼ぶ）を判断する。未成熟背景画像段階の場合は、差分処理を実施しない。そうでない場合は、注目背景輝度と、過去背景輝度を利用して差分を実施する。差分閾値は、外部パラメータにて設定された固定閾値／自動閾値の切り替えを可能とし、自動閾値は、背景輝度の変動を考慮した閾値設定とする（動物体検知の自動閾値のロジックに準拠する）。停止物は動かないことから、同一地点に連続的に差分結果が抽出されるはずであるため、差分処理を実施した結果を蓄積し、差分アリの時＋１、差分無しの時は−１を行う累積差分二値化画像を作成し、閾値を超過した場合は、差分画素とする。ここでの閾値は、上限、下限の２値を有し、ヒステリシスをもった判定を行うようにする（手法１参照）。
【００４６】
第３の停止物検知処理手段（背景不均等時間差分論理和手法による）を図１６および図１７を参照して説明する。図１６は差分処理イメージ図、図１７は抽出論理ロジック（時間の小さい差と大きく離れた時間との差の排他的論理和）の説明図である。なお、処理手順は図１３に示した処理手順と同様である。
【００４７】
この処理は、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度、遅延時間の異なる背景輝度が、双方の背景画像登録数が３０に達しているいか否か（３０に達していない画素を未成熟背景画像段階と呼ぶ）を判断する。未成熟背景画像段階の場合は、差分処理を実施しない。そうでない場合は、注目背景輝度と、過去背景輝度を利用して差分を実施する。
【００４８】
第４の停止物検知処理手段（背景時間差分、登録差分の論理積手法による）を図１８および図１９を参照して説明する。図１８は差分処理イメージ図、図１９は抽出論理ロジックの説明図である。なお、処理手順は図１３に示した処理手順と同様である。
【００４９】
この処理では、現在背景画像と時間の異なる過去背景画像２枚を利用した時間差分と登録背景画像と過去画像の差分処理の論理積にて停止物画素の抽出を行う。
【００５０】
背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度、遅延時間の異なる背景輝度が、双方の背景画像登録数が３０に達しているいか否か（３０に達していない画素を未成熟背景画像段階と呼ぶ）を判断する。背景未更新画素の場合又は未成熟背景画像段階の場合は、差分処理を実施しない。そうでない場合は、注目背景輝度と、過去背景輝度を利用して差分を実施する。
【００５１】
上記した本発明の実施形態により、動物体が画面内に存在する撮影環境に影響されることなく、常に安定した背景画像の検知を可能にし、これにより停止物の検知性能をより向上できる。なお上記した実施形態では、標準偏差または標準偏差を求める過程で求まる輝度分散値を利用して背景画像（背景画素の集合）を作成したが、例えば標準偏差（σ）の２倍（２σ）、または３倍（３σ）等を利用することで、輝度変動の大きい画素と輝度変動の小さい画素との差別化（識別）がより容易になる。
【符号の説明】
【００５２】
１１…カメラ、１２…キャプチャ部、１３…画像処理部、１４…背景画像作成処理部、１５…背景画像作成用バッファ、１６…停止物画素抽出処理部、１７…領域化処理部、１８…追跡処理部、１９…表示部、２１…画像バッファメモリ、２２…変動画素抽出部、２３…背景画像更新部、２４…背景画像更新管理部、２５…背景画像リフレッシュ部、２６…背景画像作成用データバッファ、２７…背景画像バッファメモリ、Ｔａ…最低閾値、ＳＡ…低輝度安定範囲。
【図１】
2010206286.tif 000003
【図２】
2010206286.tif 000004
【図３】
2010206286.tif 000005
【図４】
2010206286.tif 000006
【図５】
2010206286.tif 000007
【図６】
2010206286.tif 000008
【図７】
2010206286.tif 000009
【図８】
2010206286.tif 000010
【図９】
2010206286.tif 000011
【図１０】
2010206286.tif 000012
【図１１】
2010206286.tif 000013
【図１２】
2010206286.tif 000014
【図１３】
2010206286.tif 000015
【図１４】
2010206286.tif 000016
【図１５】
2010206286.tif 000017
【図１６】
2010206286.tif 000018
【図１７】
2010206286.tif 000019
【図１８】
2010206286.tif 000020
【図１９】
2010206286.tif 000021