(57)【要約】  画像処理方法及び装置が提供される。画像処理方法は、入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；及び、該入力画像中の各画素に対して処理を行い、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。画像処理装置は、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
2019531552.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算する第一計算ユニットであって、前記鮮明さが第一所定範囲内にあるときに、前記感度は、前記鮮明さと負の相関関係を有する第一計算ユニット；及び
前記入力画像中の各画素に対して処理を行い、前記入力画像の前景画像を検出する第一処理ユニットであって、１つの画素に対して処理を行うときに、前記１つの画素と、前記背景モデル中で前記１つの画素に対応する背景サンプル集のうちの各サンプル点と間の距離を計算し、前記１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、前記１つの画素を前記入力画像中の背景画素と確定し、そうでない場合、前景画素と確定する第一処理ユニット、或いは
前記入力画像中の各画素に対して処理を行い、前記背景モデルを更新する第一処理ユニットであって、１つの画素に対して処理を行うときに、前記１つの画素と、前記背景モデル中で前記１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、前記１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、前記１つの画素を１つのサンプル点に取り替えて前記背景モデルを更新する第一処理ユニットを含み、
前記第一閾値は、前記感度に基づいて確定され、前記感度は、前記第一閾値と負の線形相関関係を有する、装置。
【請求項２】
請求項1に記載の装置であって、
少なくとも１つのフレームシーケンスから前記入力画像を選択する第一選択ユニットをさらに含み、
前記第一選択ユニットは、第二所定数量個のフレームおきに、１つのフレームを前記入力画像として選択する、装置。
【請求項３】
請求項1に記載の装置であって、
前記入力画像の検出領域の鮮明さを計算し、前記検出領域中の画素の勾配の大きさの平均値を前記鮮明さとする第二計算ユニットをさらに含む、装置。
【請求項４】
請求項3に記載の装置であって、
前記第二計算ユニットは、前記入力画像の検出領域中の各画素の勾配の大きさの和と、前記入力画像の検出領域中の画素数との比を計算し、前記比を前記鮮明さとする第二計算ユニットをさらに含む、装置。
【請求項５】
請求項3に記載の装置であって、
前記第二算ユニットは、
【数１】
2019531552.tif 000015
に基づいて前記鮮明さを計算し、
ここで、wは、前記入力画像の検出領域の幅を示し、hは、前記入力画像の検出領域の高さを示し、pixel_numは、前記入力画像の検出領域中の画素数を示し、Iは、画素値を示し、i及びjは、画素点の横縦座標を示す、装置。
【請求項６】
請求項1に記載の装置であって、
前記入力画像中の関心領域を選択し、前記関心領域を前記検出領域とする第二選択ユニットをさらに含む、装置。
【請求項７】
請求項1に記載の装置であって、
前記第一閾値と前記感度との負の線形相関関係は、
【数２】
2019531552.tif 000016
であり、
ここで、Rは、前記第一閾値を示し、Sは、前記感度を示し、前記第一閾値の数値範囲は、[a、b]である、装置。
【請求項８】
請求項1に記載の装置であって、
前記第一処理ユニットが前記入力画像の前景画像を検出するときに、前記装置は、前記背景モデルを更新する更新ユニットをさらに含み、
前記第一処理ユニットが前記背景モデルを更新するときに、前記装置は、更新後の背景モデルに基づいて前記入力画像から前景画像を抽出する抽出ユニットをさらに含む、装置。
【請求項９】
請求項8に記載の装置であって、
前記更新ユニットは、前記第一処理ユニットの処理結果に基づいて前記背景モデルを更新し、及び／又は、前記第一処理ユニットの処理結果に基づいて前記第一閾値を更新する、装置。
【請求項１０】
画像処理方法であって、
入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、前記鮮明さが第一所定範囲内にあるときに、前記感度は、前記鮮明さと負の相関関係を有し；及び
前記入力画像中の各画素に対して処理を行い、前記入力画像の前景画像を検出し、１つの画素に対して処理を行うときに、前記１つの画素と、前記背景モデル中で前記１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、前記１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、前記１つの画素を前記入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し、
或いは、前記入力画像中の各画素に対して処理を行い、前記背景モデルを更新し、１つの画素に対して処理を行うときに、前記１つの画素と、前記背景モデル中で前記１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、前記１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、前記１つの画素を１つのサンプル点に取り替えて前記背景モデルを更新することを含み、
前記第一閾値は、前記感度に基づいて確定され、前記感度は、前記第一閾値と負の線形相関関係がある、方法。
【請求項１１】
請求項10に記載の方法であって、
少なくとも１つのフレームシーケンスから前記入力画像を選択することであって、第二所定数量個のフレームおきに、１つのフレームを前記入力画像として選択することをさらに含む、方法。
【請求項１２】
請求項10に記載の方法であって、
前記入力画像の検出領域の鮮明さを計算し、前記検出領域中の画素の勾配の大きさの平均値を前記鮮明さとすることをさらに含む、方法。
【請求項１３】
請求項12に記載の方法であって、
前記入力画像の検出領域中の各画素の勾配の大きさの和と、前記入力画像の検出領域中の画素数との比を計算し、前記比を前記鮮明さとする、方法。
【請求項１４】
請求項12に記載の方法であって、
【数３】
2019531552.tif 000017
に基づいて前記鮮明さを計算し、
ここで、wは、前記入力画像の検出領域の幅を示し、hは、前記入力画像の検出領域の高さを示し、pixel_numは、前記入力画像の検出領域中の画素数を示し、Iは、画素値示し、i及びjは、画素点の横縦座標を示す、方法。
【請求項１５】
請求項10に記載の方法であって、
前記入力画像中の関心領域を選択し、前記関心領域を前記検出領域とすることをさらに含む、方法。
【請求項１６】
請求項10に記載の方法であって、
前記第一閾値と前記感度との負の線形相関関係は、
【数４】
2019531552.tif 000018
であり、
ここで、Rは、前記第一閾値を示し、Sは、前記感度を示し、前記第一閾値の数値範囲は、[a、b]である、方法。
【請求項１７】
請求項10に記載の方法であって、
前記入力画像中の各画素に対して処理を行い、前記入力画像の前景画像を検出するときに、前記方法は、前記背景モデルを更新することをさらに含み、
前記入力画像中の各画素に対して処理を行い、前記背景モデルを更新するときに、前記方法は、更新後の背景モデルに基づいて前記入力画像から前景画像を抽出することをさらに含む、方法。
【請求項１８】
請求項17に記載の方法であって、
前記入力画像に対しての処理結果に基づいて前記背景モデルを更新し、及び／又は、前記入力画像に対して処理結果に基づいて前記第一閾値を更新する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術分野に関し、特に、画像処理方法及び装置に関する。
【背景技術】
【０００２】
ビデオ監視分野では、大部分のインテリジェント画像分析システムが特定のシーンに依存し、即ち、特定のシーンの場合にのみ、パフォーマンスのニーズを満たし得る。しかし、実際応用時に、シーンは、複雑多様なものであり、特に屋外のシーンの場合である。また、画像中の背景モデルが多くの要因の影響、例えば、ノイズ、背景干渉、照明変化などを受けやすいので、タイムリー且つ正確な背景モデルの構築は、困難である。近年、背景モデルの構築及び前景画像の検出は、国内外でビデオ監視分野における研究の難点及び注目の話題の１つになっている。
【０００３】
今のところ、幾つかのよく用いられる画素レベルの前景画像検出方法、例えば、フレーム差分法（Frame  differencing）、混合ガウスモデル（Mixture  of  Gaussian  Model）、単一ガウスモデル（single  Gaussian  Model）、コードブック（CodeBook）アルゴリズムなどがある。
【０００４】
フレーム差分法を採用して検出を行うときに、画像シーケンスの隣接する２つのフレームの間において画素に基づく時間差分を用いて、閾値よりも大きいかを判断することで背景と前景を区別することができるが、そのアルゴリズムは、実現が簡単であり、照明変化に敏感でないが、複雑なシーンを処理することができない。
【０００５】
単一ガウスモデル及び混合ガウスモデルを採用して検出を行うときに、画像中の各画素点のためにそれ相応のガウス分布モデルを構築し、モデルにより得られた値が閾値よりも大きいかを判断することで背景と前景を区別することができるが、単一ガウスモデルは、シーンにノイズの干渉があるときに、抽出の正確度が比較的低く、また、混合ガウスモデルの場合は、計算量が比較的大きく、且つ照明変化に敏感である。
【０００６】
CodeBookアルゴリズムを採用して検出を行うときに、現在の画像中の各画素のために１つのCodeBook構造を生成し、各CodeBook構造は、複数のコードワード（CodeWord）からなり、画像中の各画素について、対応する背景モデルCodeBook中の各CodeWordをチェックし、画素に所定の条件を満足させることができるCodeWordが存在するかに基づいて背景と前景を区別することができるが、このようなアルゴリズムは、大量のメモリを消費することがある。
【０００７】
なお、上述の背景技術についての紹介は、本発明の技術案を明確且つ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈すべきではない。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の既存の検出方法は、全て、画素間の関係を無視し、単一画素の分析によるものである。今のところ、よく用いられる背景モデルの構築及び前景画像の抽出方法は、さらにビジュアル背景抽出（Visual  background  extractor，VIBE）アルゴリズムを含み、それは、単一フレーム画像を用いて背景モデルを初期化し、１つの画素点について、隣接する画素の有する近い画素値空間分布特性を利用することで、その隣接領域の画素点の画素値を背景モデルサンプル値としてランダムに選択し、また、該アルゴリズムと、他の既存のアルゴリズムとの主な相違点は、背景モデルの更新ポリシーにあり、即ち、取り替えられる必要のある画素のサンプルをランダムに選択し、隣接領域の画素をランダムに選択して背景モデルの更新を行うことにあり、該アルゴリズムは、計算速度が速く、計算量が小さく、且つノイズに対してある程度のロバスト性があるが、リアルタイムシーンに、例えば、雨降り、濃霧又は曇りなどのシーンの変化が生じた場合、画像が不鮮明になり、このときに、完全な前景画像を抽出することができない。
【０００９】
本発明の実施例は、画像処理方法及び装置を提供し、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さ（sharpness）に基づいて該感度を調整することで、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
【課題を解決するための手段】
【００１０】
本発明の実施例の上述の目的は、以下のような技術案により実現される。
【００１１】
本発明の実施例の第一側面によれば、画像処理装置が提供され、該装置は、
入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算する第一計算ユニットであって、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係がある第一計算ユニットと、
該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出する第一処理ユニットであって、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定することを含む第一処理ユニット、
或いは、該入力画像中の各画素に対して処理を行い、該背景モデルを更新する第一処理ユニットであって、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新する第一処理ユニットと、を含み、
そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【００１２】
本発明の実施例の第二側面によれば、画像処理方法が提供され、該方法は、
入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；及び
該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定することを含み、
或いは、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新することを含むこと、を含み
そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【００１３】
本発明の実施例の有益な効果は、本実施例の画像処理方法及び装置により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
【００１４】
後述の説明及び図面を参照することで、本発明の特定の実施形態を詳しく開示し、本発明の原理を採用し得る態様を示す。なお、本発明の実施形態は、範囲上ではこれらによって限定されない。添付した特許請求の範囲内であれば、本発明の実施形態は、様々な変更、修正及び代替によるものを含んでも良い。
【００１５】
また、１つの実施方式について説明した及び／又は示した特徴は、同じ又は類似した方式で１つ又は複数の他の実施形態に用い、他の実施形態中の特徴と組み合わせ、又は、他の実施形態中の特徴を置換することもできる。
【００１６】
なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在又は付加を排除しないということも指す。
【図面の簡単な説明】
【００１７】
本発明の１つの図面又は１つの実施形態に記載の要素及び特徴は、１つ又は複数の他の図面又は実施形態に示した要素及び特徴と組み合わせることができる。また、図面では、類似した符号は、幾つの図面中の対応する部品を示し、複数の実施形態に用いる対応部品を示すためにも用いられる。
【図１】本実施例1における画像処理方法のフローチャートである。
【図２】本実施例2における画像処理方法のフローチャートである。
【図３】本実施例3における画像処理方法のフローチャートである。
【図４Ａ】本実施例3において用いられる画像を示す図である。
【図４Ｂ】本実施例3において用いられる画像を示す図である。
【図４Ｃ】本実施例3において用いられる画像を示す図である。
【図４Ｄ】本実施例3において用いられる画像を示す図である。
【図５Ａ】本実施例3において検出された前景画像を示す図である。
【図５Ｂ】本実施例3において検出された前景画像を示す図である。
【図５Ｃ】本実施例3において検出された前景画像を示す図である。
【図６】本実施例2におけるステップ305の処理のフローチャートである。
【図７】本実施例3における画像処理方法のフローチャートである。
【図８】本実施例3におけるステップ705の処理のフローチャートである。
【図９】本実施例4における画像処理装置の構成図である。
【図１０】本実施例4における画像処理装置の構成図である。
【図１１】本実施例4における画像処理装置のハードウェア構成図である。
【図１２】本実施例4における画像処理装置の構成図である。
【図１３】本実施例4における画像処理装置のハードウェア構成図である。
【発明を実施するための形態】
【００１８】
添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では、本発明の特定の実施形態を開示しているが、それは、本発明の原理を採用し得る一部のみの実施形態を示し、理解すべきは、本発明は、記載されている実施形態に限定されず、即ち、本発明は、添付した特許請求の範囲内での全ての変更、変形及び代替によるものも含むということである。
【００１９】
以下、図面に基づいて本発明の実施例について説明する。
【実施例１】
【００２０】
本実施例1は、画像処理方法を提供し、図1は、該画像処理方法のフローチャートであり、図1に示すように、該方法は、以下のステップを含む。
【００２１】
ステップ101：入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；
ステップ102：該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定することを含み、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【００２２】
本実施例では、画像中の静止の又は移動が非常に遅い物体の画素により背景画像を構成し、移動の物体の画素により前景画像を構成する。前景画像の検出は、１つの分類問題に相当し、つまり、画像中の各画素が背景画素かそれとも前景画素に属するかを確定することである。本実施例のVIBEモデルでは、背景モデルは、各画素に対応する背景サンプル集を含み、そのうち、単一フレーム画像を用いて背景モデルを初期化することができる。具体的には、１つの画素について、隣接する画素の有する近い画素値空間分布特性を利用することで、その隣接領域における画素点の画素値を背景サンプル集としてランダムに選択し、その後、各画素値と、その対応する背景サンプル集との比較を行うことで、それが背景画素に属するかを判断する。該背景サンプル集のうちのサンプル点の数は、所定数量（N）である。例えば、v(x)が画素xの画素値を表し；M(x)={V1，V2，…，VN}が画素xに対応する背景サンプル集であり；SR(v(x))が、xを中心とし、且つ第一閾値Rを半径とする領域を表すとすれば、#[{SR(v(x))∩{V1，V2，…，VN}}]が第一所定数量#min以上であれば、画素xは、背景画素に属する。
【００２３】
従来技術では、第一閾値Rは、通常、デフォルト値20を取る。よって、画像が不鮮明になるときに、該第一閾値Rが不変に保たれると、完全な前景画像を抽出できないことを来すことがある。
【００２４】
本実施例では、上述のステップ101〜102により、VIBEアルゴリズム中の背景モデルのために感度を定義し、画像の鮮明さに基づいて該感度を調整し、そして、感度の値に基づいて背景モデル中の第一閾値Rを調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
【００２５】
ステップ101では、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり、即ち、入力画像の検出領域の鮮明さが高いほど、感度が低く、逆に、入力画像の検出領域の鮮明さが低いほど、感度が高い。そのうち、鮮明さが第五閾値dよりも大きいときに、画像がとても鮮明であることを表し、このときに、感度を最も低い設定値に設定しても良く、鮮明さが第六閾値cよりも小さいときに、画像がとても鮮明であることを表し、このときに、感度を最も高い設定値に設定しても良く、鮮明さが第一所定範囲（[c，d]）内にあるときに、該感度は、該鮮明さと負の相関関係がある。
【００２６】
例えば、0〜100(%)を用いて感度の数値範囲を表し、数値の大小により感度の高低を示すことができ、例えば、0は、感度が低いことを表し、100(%)は、感度が高いことを表す。
【００２７】
該感度と該鮮明さと負の相関関係は、
【数１】
2019531552.tif 000003
である。そのうち、Cは、該鮮明さを表し、Sは、該感度を示し、該第一所定範囲は、[c、d]である。なお、該感度と該鮮明さとの負の相関関係は、他の負の相関関数であっても良く、本実施例は、これに限定されない。
【００２８】
ステップ102では、該入力画像中の各画素に対して処理を行い、各画素が前景画素かそれとも背景画素に属するかを確定し、そして、前景画素に属すると確定した画素からなる画像を前景画像と確定する。背景モデル中の該第一閾値は、該感度に応じて確定されても良く、該感度は、該第一閾値と負の相関関係があり、即ち、感度が高いほど、第一閾値が小さく、感度が低いほど、第一閾値が大きい。よって、入力画像が不鮮明であればあるほど、第一閾値が小さく、逆に、入力画像が鮮明であればあるほど、第一閾値が大きい。
【００２９】
ステップ102では、該感度は、該第一閾値と負の線形相関関係があり、例えば、0〜100(%)を用いて感度の数値範囲を表すと、第一閾値及び感度の負の線形相関関係は、
【数２】
2019531552.tif 000004
である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]であ。例えば、第一閾値Rの数値範囲が[5，35]の場合、第一閾値Rと感度Sとの負の線形相関関係は、
【数３】
2019531552.tif 000005
である。なお、ここで、R及びSの数値範囲を例示的に説明したが、本実施例は、これに限定されない。
【００３０】
本実施例では、該方法は、さらに、以下のステップを含んでも良い。
【００３１】
ステップ100（オプション）：該入力画像の検出領域の鮮明さを計算する。
【００３２】
そのうち、検出領域中の画素の勾配の大きさ（gradient  magnitude）の平均値を以て該鮮明さを表すことができる。例えば、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとすることができる。
【００３３】
例えば、ステップ100では、以下の式（1）により鮮明さを計算することができる。
【数４】
2019531552.tif 000006
【００３４】
そのうち、wは、該入力画像の検出領域の幅を示し、hは、該入力画像の検出領域の高さを表し、pixel_numは、該入力画像の検出領域中の画素点の個数を示し、Iは、画素値であり、i及びjは、画素点の横縦座標を示す。上述の方法で鮮明さを計算するときに、鮮明さが25よりも大きい場合、画像がとても鮮明であることを表し、鮮明さが5よりも小さい場合、画像がとても不鮮明であることを表す。このときに、次のような方法で鮮明さに基づいて感度を確定することができ、即ち、0〜100(%)を以て感度の数値範囲を表すと、鮮明さが25よりも大きいときに、該感度を0に設定し、鮮明さが5よりも小さいときに、該感度を100に設定し、鮮明さが[5、25]範囲内にあるときに、該感度と該鮮明さとは、負の線形相関関係、即ち、S＝-5C+125を有する。なお、これは、例示に過ぎず、本実施例は、これに限定されない。
【００３５】
本実施例では、冗長な計算量を避けるために、ステップ100において該入力画像中の関心領域（Region  of  Interest、ROI）を選択し、該関心領域を該検出領域とすることができる。例えば、ROIはバイナリで示され、そのうち、ROI中の画素の画素値は、1であり、他の画素の画素値は、0である。なお、これは、例示に過ぎず、本実施例は、これに限定されない。例えば、ROIは、車道領域などを選択しても良く、該ROIは、予め選択されたものであっても良く、入力画像に対して処理を行う度に選択されても良いが、本実施例は、これについて限定しない。
【００３６】
本実施例では、シーンの変化は、通常、突然生じることがなく、即ち、隣接する画像フレームの鮮明さが近いため、冗長な計算量を避けるために、所定時間おきに画像の鮮明さを再計算し、そして、更新後の鮮明さに応じて背景モデルの感度を更新することができる。よって、本実施例では、該方法は、さらに、以下のこと（図示せず）を含んでも良い。
【００３７】
少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
【００３８】
本実施例では、照明の変化、背景画像の変化などが原因で、該方法は、さらに、該背景モデルを更新すること（図示せず）を含んでも良い。
【００３９】
本実施例では、該背景モデルの更新は、背景モデル中の背景サンプル集のうちのサンプル点の更新、及び／又は、上述のステップ101で得られた背景モデルの感度に基づく該第一閾値の更新などを含む。
【００４０】
そのうち、背景モデル中の背景サンプル集のうちのサンプル点の更新は、従来技術中のVIBEアルゴリズムの背景モデル更新ポリシーを採用しても良く、例えば、記憶無し更新ポリシー、時間サンプリング更新ポリシー、空間隣接領域更新ポリシーなどである。そのうち、ステップ102では、該１つの画素が背景画素であると確定したときに、該画素をランダムにその対応する背景サンプル集のうちの１つのサンプル点に取り替えることで、該背景モデルを更新することができる。なお、本実施例は、これに限定されず、例えば、従来技術を用いて、画像シーケンス中の、入力画像として選択されたもの以外の他の画像に対して処理を行うことで背景モデルを更新しても良い。具体的には、従来技術を参照することができる。
【００４１】
よって、該入力画像を処理した後に、該背景モデルを更新し、次の１つのフレームの処理待ちの画像について、更新後の背景モデルにより前景画像を抽出することができる。
【００４２】
本実施例では、該入力画像は、従来の方法で得ることができる。例えば、該入力画像は、監視ビデオ中の現在のフレームであっても良い。該監視ビデオは、監視を行う必要のある領域の上方に設けられるカメラにより取得することができる。
【００４３】
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
【実施例２】
【００４４】
本実施例2は、画像処理方法を提供し、該方法と実施例1との相違点は、本実施例では、該入力画像中の各画素に対して処理を行い、該背景モデルを更新することにある。なお、実施例1の内容と同じである重複説明は、省略される。図2は、該画像処理方法フローチャートであり、図2に示すように、該方法は、以下のステップを含む。
【００４５】
ステップ201：入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；
ステップ202：該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新することを含み、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【００４６】
本実施例では、ステップ201の具体的な実施方式は、実施例1中のステップ101を参照することができ、ここでは、その詳しい説明を省略する。
【００４７】
本実施例では、ステップ202中の第一閾値の確定方式は、実施例1を参照することができ、ここでは、その詳しい説明を省略する。
【００４８】
本実施例では、該方法は、さらに、以下のステップを含んでも良い。
【００４９】
ステップ200（オプション）：入力画像の検出領域の鮮明さを計算する。なお、その実施方式は、実施例1におけるステップ100と同じであり、ここでは、その詳細な説明を省略する。
【００５０】
以下、ステップ202中の実施例1と相違点について説明する。
【００５１】
ステップ202では、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、各画素値と、その対応する背景サンプル集との比較を行うことで、それが背景画素に属するかを判断する。該背景サンプル集の中のサンプル点の数は、所定数量Nである。例えば、v(x)が画素xの画素値を示し；M(x)={V1，V2，…，VN}が画素xの対応する背景サンプル集であり；SR(v(x))が、xを中心とし、第一閾値Rを半径とする領域を表すとすると、#[{SR(v(x))∩{  V1，V2，…，VN  }}]が第一所定数量#min以上であれば、画素xを１つのサンプル点に取り替えて該背景モデルを更新し、そのうち、該画素xをランダムにその対応する背景サンプル集のうちの１つのサンプル点に取り替えることで、該背景モデルを更新し、また、該第一閾値を更新することができる。
【００５２】
本実施例では、該方法は、さらに、以下のステップを含んでも良い。
【００５３】
ステップ203：更新後の背景モデルに基づいて該入力画像から前景画像を抽出する。
【００５４】
そのうち、従来技術を用いて該ステップ203を実現することができるが、本実施例は、これに限定されない。
【００５５】
本実施例では、シーンの変化は、通常、突然起こることがなく、即ち、隣接する画像フレームの鮮明さが近いため、冗長な計算量を避けるために、所定時間おきに画像の鮮明さを再計算し、そして、更新後の鮮明さに基づいて背景モデルの感度を更新することができる。よって、本実施例では、該方法は、さらに、下記のこと（図示せず）を含んでも良い。
【００５６】
少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
【００５７】
そのうち、次の１つのフレームの処理待ちの画像について、ステップ202で更新された背景モデルを用いて、再び背景モデルを更新し、そして、再び更新された背景モデルに基づいて、次の１つのフレームの処理待ちの画像中の前景画像を抽出する。
【００５８】
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
【実施例３】
【００５９】
本実施例3は、画像処理方法を提供し、図3は、該画像処理方法のフローチャートである。監視ビデオ（画像シーケンス）について、図3に示すように、該方法は、以下のステップを含む。
【００６０】
ステップ301：現在の画像を確定し；
そのうち、現在の画像は、該画像シーケンス中の第i個目のフレームである。
【００６１】
ステップ302：検出領域を確定し；
そのうち、現在の画像の全ての画素からなる領域を検出領域としても良く、ユーザ設定の関心領域（Region  of  Interest、ROI）を該検出領域としても良い。
【００６２】
ステップ302では、さらに該関心領域を変える必要があるかを確定することができ、必要な場合、再び関心領域を確定して検出領域とし、そして、ステップ303を行い、そうでない場合、ステップ303を直接行う。
【００６３】
ステップ303：該検出領域の鮮明さを計算し；
そのうち、該鮮明さの具体的な計算方法は、ステップ100を参照することができ、ここでは、その詳細な説明を省略する。
【００６４】
図4A〜4Dは、異なる鮮明さの画像を示す図である。図4A〜4Dに示すように、実施例1中の式（1）で算出された図4A、4B、4C、4Dの鮮明さは、それぞれ、20.036、20.857、8.06、12.895であり、即ち、鮮明さの値が高いほど、画像が鮮明であり、逆に、鮮明さの値が小さいほど、画像が不鮮明である。図4C及び図4Dは、天気及び照明の影響を受けているから、鮮明さが比較的低い。
【００６５】
ステップ304：該鮮明さに基づいて背景モデルの感度を計算し；
その具体的な計算方法は、ステップ101を参照することができ、ここでは、その詳細な説明を省略する。
【００６６】
ステップ305：該入力画像中の各画素に対して処理を行い、該入力画像中の前景画像を検出し；
該ステップ305の具体的な実施方式は、図6を参照することでき、ここでは、その説明を割愛する。
【００６７】
図5A〜5Cは、異なる感度に応じて検出された前景画像を示す図である。図5A〜5Cに示すように、図5Aは、入力画像であり、図5Bは、従来技術R=20（感度が50(%)であることに相当する）を採用した場合の前景画像の検出結果であり、図5Cは、鮮明さに基づいて感度を調整した後（例えば、感度が80(%)であり、R=11である）の場合の前景画像の検出結果である。よって、明らかのように、本実施例中の方法で抽出された前景画像の正確度は、より高い。
【００６８】
ステップ306：該背景モデルを更新する。
【００６９】
その具体的な更新方法は、実施例1を参照することができ、ここでは、その詳細な説明を省略する。
【００７０】
ステップ307：画像シーケンスが第二所定数量j個のフレームの画像を経過したかを判断し、「はい」の場合、ステップ301に戻り、i=i+jとし、「いいえ」の場合、ステップ306に戻り、画像シーケンス中の、該入力画像として選択されたもの以外の画像について従来技術を用いて背景モデルを更新し、また、画像シーケンスが終了したかを判断し、「はい」の場合、操作が終了する。
【００７１】
図6は、ステップ305の方法のフローチャートである。図6に示すように、該方法は、以下のステップを含む。
【００７２】
ステップ601：入力画像の検出領域から１つの画素を選択し；
そのうち、画素の左から右へ、上から下への順序で該１つの画素を選択しても良い。
【００７３】
例えば、検出領域の高及び幅がそれぞれH及びWであり、即ち、計H×W個の画素があり、mを画素の索引として設定する場合、mが0のときに、左上隅に位置する画素を表し、m=H×Wのときに、右下隅に位置する画素を表す。
【００７４】
ステップ602：該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し、そして、各画素が前景画素かそれとも背景画素に属するかを確定し、前景画素に属すると確定した画素からなる画像を前景画像と確定する。そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【００７５】
該ステップ602の具体的な実施方式は、ステップ102を参照することができ、ここでは、その詳しい説明を省略する。
【００７６】
ステップ603：検出領域内の全ての画素点に対してステップ602を行ったかを判断し、判断結果が「はい」のときに、処理が終了し、「いいえ」の場合、ステップ601に戻り、且つm=m+1とする。
【００７７】
図7は、該画像処理方法フのローチャートであり、監視ビデオ（画像シーケンス）について、図7に示すように、該方法は、以下のステップを含む。
【００７８】
ステップ701：現在の画像を確定し；
ステップ702：検出領域を確定し；
ステップ703：該検出領域の鮮明さを計算し；
ステップ704：該鮮明さに基づいて背景モデルの感度を計算し；
そのうち、ステップ701〜704の具体的な実施方式は、ステップ601〜604と同じであり、ここでは、その詳細な説明を省略する。
【００７９】
ステップ705：入力画像中の各画素に対して処理を行い、該背景モデルを更新し；
ステップ706：更新後の背景モデルに基づいて該入力画像から前景画像を抽出し；
その具体的な抽出方法は、実施例2を参照することができ、ここでは、その説明を割愛する。
【００８０】
ステップ707：画像シーケンスが第二所定数量j個のフレームの画像を経過したかを判断し、「はい」の場合、ステップ701に戻り、且つi=i+jとし、「いいえ」（図示せず）の場合、画像シーケンス中の、該入力画像として選択されたもの以外の画像について、従来技術を用いて背景モデルを更新し、また、画像シーケンスが終了したかを判断し、「はい」の場合、処理が終了する。
【００８１】
図8は、ステップ706の方法のフローチャートであり、図8に示すように、該方法は、下記のステップを含む。
【００８２】
ステップ801：入力画像の検出領域から１つの画素を選択し；
そのうち、画素の左から右へ、上から下への順序で該１つの画素を選択しても良い。
【００８３】
例えば、検出領域の高及び幅がそれぞれH及びWであり、即ち、計H×W個の画素があり、mを画素の索引として設定する場合、mが0のときに、左上隅に位置する画素を表し、m=H×Wのときに、右下隅に位置する画素を表す。
【００８４】
ステップ802：該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新する。
【００８５】
該ステップ802の具体的な実施方式は、ステップ202を参照することができ、ここでは、その詳しい説明を省略する。
【００８６】
ステップ803：検出領域内の全ての画素点に対してステップ802を行ったかを判断し、判断結果が「はい」の場合、処理が終了し、「いいえ」の場合、ステップ801に戻り、且つm=m+1とする。
【００８７】
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
【実施例４】
【００８８】
本実施例4は、さらに、画像処理装置を提供し、該装置が問題を解決する原理が実施例1〜3中の方法に類似しているので、その具体的な実施は、実施例1〜3中の方法の実施を参照することができ、内容が同じである重複説明は、省略される。
【００８９】
図9は、本実施例4中の画像処理装置の構成図であり、図9に示すように、画像処理装置900は、以下のものを含む。
【００９０】
第一計算ユニット901：入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；
第一処理ユニット902：該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し；或いは、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【００９１】
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
【００９２】
図10は、本実施例4中の画像処理装置の構成図であり、図10に示すように、画像処理装置1000は、以下のものを含む。
【００９３】
第一計算ユニット1001：入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；
第一処理ユニット1002：該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【００９４】
そのうち、第一計算ユニット1001及び第一処理ユニット1002の具体的な実施方式は、実施例1中のステップ101〜102を参照することができ、ここでは、その詳細な説明を省略する。
【００９５】
本実施例では、該第一閾値と該感度との負の線形相関関は、
【数５】
2019531552.tif 000007
である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]である。
【００９６】
本実施例では、該装置1000は、さらに、第二計算ユニット1003を含んでも良く、それは、該入力画像の検出領域の鮮明さを計算し、該検出領域中の画素の勾配の大きさの平均値を該鮮明さとする。
【００９７】
本実施例では、第二計算ユニット1003は、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとし、或いは、第二算ユニット1003は、以下の式で該鮮明さを計算する。
【数６】
2019531552.tif 000008
【００９８】
そのうち、wは、該入力画像の検出領域の幅を表し、hは、該入力画像の検出領域の高さを示し、pixel_numは、該入力画像の検出領域中の画素数を示し、Iは、画素値を表し、i及びjは、画素点の横縦座標を示す。
【００９９】
本実施例では、シーンの変化は、通常、突然起こることがなく、即ち、隣接する画像フレームの鮮明さが近いため、冗長な計算量を避けるために、該装置1000は、さらに、以下のものを含んでも良い。
【０１００】
第一選択ユニット1004：少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、該第一選択ユニット1004は、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
【０１０１】
本実施例では、冗長な計算量を避けるために、該装置は、さらに、以下のものを含んでも良い。
【０１０２】
第二選択ユニット1005：該入力画像中の関心領域を選択し、該関心領域を該検出領域とする。
【０１０３】
本実施例では、該装置1000は、さらに、更新ユニット1006を含んでも良く、それは、該背景モデルを更新し、そのうち、更新ユニット1006は、該第一処理ユニット1002の処理結果に基づいて該背景モデルを更新し、及び／又は、該第一処理ユニット1002の処理結果に基づいて該第一閾値を更新することができ、その具体的な実施方式は、実施例1を参照することができ、ここでは、その詳細な説明を省略する。
【０１０４】
図11は、本発明の実施例の画像処理装置のハードウェア構成図である。図11に示すように、画像処理装置1100は、１つのインターフェース（図示せず）、中央処理装置（CPU）1120、記憶器1110、及び送受信器1140を含んでも良く、記憶器1110は、中央処理装置1120に接続される。そのうち、記憶器1110は、各種のデータを記憶することができ、また、さらに画像処理用のプログラムを記憶することができ、且つ中央処理装置1120の制御下で該プログラムを実行し、各種の所定の値及び所定の条件などを記憶することができる。
【０１０５】
１つの実施方式では、画像処理装置1100の機能は、中央処理装置1120に統合することができる。そのうち、中央処理装置1120は、次のように構成されても良く、即ち、入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり、該入力画像中の各画素に対して処理を行い該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【０１０６】
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、該第一選択ユニットは、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
【０１０７】
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、該入力画像の検出領域の鮮明さを計算し、該検出領域中の画素の勾配の大きさの平均値を該鮮明さとする。
【０１０８】
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとする。
【０１０９】
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、以下の式で該鮮明さを計算する。
【数７】
2019531552.tif 000009
【０１１０】
そのうち、wは、該入力画像の検出領域の幅を示し、hは、該入力画像の検出領域の高さを表し、pixel_numは、該入力画像の検出領域中の画素点の個数を示し、Iは、画素値を表し、i及びjは、画素点の横縦座標を示す。
【０１１１】
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、該入力画像中の関心領域を選択し、該関心領域を該検出領域とする。
【０１１２】
該第一閾値と該感度との負の線形相関関係は、
【数８】
2019531552.tif 000010
である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]である。
【０１１３】
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、該背景モデルを更新し、該入力画像に対しての処理結果に基づいて該背景モデルを更新し、及び／又は、該入力画像に対しての処理結果に基づいて該第一閾値を更新する。
【０１１４】
中央処理装置1120の具体的な実施方式は、実施例1を参照することができ、ここでは、その詳しい説明を省略する。
【０１１５】
もう１つの実施方式では、上述の画像処理装置1100は、中央処理装置1120に接続されるチップ（図示せず）に構成され、中央処理装置1120の制御下で画像処理装置1100の機能を実現しても良い。
【０１１６】
なお、画像処理装置1100は、必ずしも図11に示す全ての部品を含む必要がない。また、該画像処理装置1100は、さらに、図11に無い部品を含んでも良く、これについては、考従来技術を参照することができる。
【０１１７】
図12は、本実施例4における画像処理装置の構成図である。図12に示すように、画像処理装置1200は、第一計算ユニット1201を含み、それは、入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり、また、さらに第一処理ユニット1202を含み、それは、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【０１１８】
そのうち、第一計算ユニット1201及び第一処理ユニット1202の具体的な実施方式は、実施例2中のステップ201〜202を参照することができ、ここでは、その詳細な説明を省略する。
【０１１９】
本実施例では、該第一閾値と該感度との負の線形相関関係は、
【数９】
2019531552.tif 000011
である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]である。
【０１２０】
本実施例では、該装置1200は、さらに第二計算ユニット1203を含んでも良く、それは、該入力画像の検出領域の鮮明さを計算し、該検出領域中の画素の勾配の大きさの平均値を該鮮明さとする。
【０１２１】
本実施例では、第二計算ユニット1203は、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとし、或いは、第二算ユニット1203は、以下の式で該鮮明さを計算する。
【数１０】
2019531552.tif 000012
【０１２２】
そのうち、wは、該入力画像の検出領域の幅を示し、hは、該入力画像の検出領域の高さを表し、pixel_numは、該入力画像の検出領域中の画素数を示し、Iは、画素値を表し、i及びjは、画素点の横縦座標を示す。
【０１２３】
本実施例では、シーンの変化は、通常、突然生じることがなく、即ち、隣接する画像フレームの鮮明さが近いので、冗長な計算量を避けるために、該装置1200は、さらに、以下のものを含んでも良い。
【０１２４】
第一選択ユニット1204：少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、該第一選択ユニット1204は、第二所定数量のフレームおき１つのフレーム画像を該入力画像として選択する。
【０１２５】
本実施例では、冗長な計算量を避けるために、該装置1200は、さらに、以下のものを含んでも良い。
【０１２６】
第二選択ユニット1205：該入力画像中の関心領域を選択し、該関心領域を該検出領域とする。
【０１２７】
本実施例では、該装置1200は、さらに抽出ユニット1206を含み、それは、更新後の背景モデルに基づいて該入力画像から前景画像を抽出する。その具体的な実施方式は、実施例2を参照することができ、ここでは、その詳細な説明を省略する。
【０１２８】
図13は、本発明の実施例における画像処理装置のハードウェア構成図である。図13に示すように、画像処理装置1300は、１つのインターフェース（図示せず）、中央処理装置（CPU）1320、記憶器1310及び送受信器1340を含み、記憶器1310は、中央処理装置1320に接続される。そのうち、記憶器1310は、各種のデータを記憶することができ、また、さらに画像処理用のプログラムを記憶することができ、且つ中央処理装置1320の制御下で該プログラムを実行し、各種の所定の値及び所定の条件などを記憶することができる。
【０１２９】
１つの実施方式では、画像処理装置1300の機能は、中央処理装置1320に集積することができる。そのうち、中央処理装置1320は、次のように構成されても良く、即ち、入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
【０１３０】
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、該第一選択ユニットは、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
【０１３１】
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、該入力画像の検出領域の鮮明さを計算し、該検出領域中画素の勾配の大きさの平均値を該鮮明さとする。
【０１３２】
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとする。
【０１３３】
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、以下の式で該鮮明さを計算する。
【数１１】
2019531552.tif 000013
【０１３４】
そのうち、wは、該入力画像の検出領域の幅を示し、hは、該入力画像の検出領域の高さを表し、pixel_numは、該入力画像の検出領域中の画素点の個数を示し、Iは、画素値を表し、i及びjは、画素点の横縦座標を示す。
【０１３５】
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、該入力画像中の関心領域を選択し、将該関心領域を該検出領域とする。
【０１３６】
該第一閾値と該感度との負の線形相関関係は、
【数１２】
2019531552.tif 000014
である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]である。
【０１３７】
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、更新後の背景モデルに基づいて該入力画像から前景画像を抽出する。
【０１３８】
中央処理装置1320の具体的な実施方式は、実施例2を参照することができ、ここでは、その詳しい説明を省略する。
【０１３９】
もう１つの実施方式では、上述の画像処理装置1300は、中央処理装置1320に接続されるチップ（図未せず）に構成され、中央処理装置1320の制御下で画像処理装置1300の機能を実現することもできる。
【０１４０】
なお、画像処理装置1300は、必ずしも図13に示す全ての部品を含む必要がない。また、該画像処理装置1300は、さらに図13に無い部品を含んでも良く、これについては、従来技術を参照することができる。
【０１４１】
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
【０１４２】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像処理装置中で該プログラムを実行するときに、該プログラムは、コンピュータに、該画像処理装置中で実施例1、2又は3中の画像処理方法を実行させる。
【０１４３】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、コンピュータに、画像処理装置中で実施例1、2又は3中の画像処理方法を実行させる。
【０１４４】
以上のユーザ装置及び方法は、ソフトウェア又はハードウェアにより実現されても良く、ハードウェアとソフトウェアとの組み合わせにより実現されても良い。本発明は、さらに、次のようなコンピュータ読み取り可能なプログラムに関し、即ち、該プログラムは、ロジック部品により実行されるときに、該ロジック部品に、上述のユーザ装置又は構造部品を実現させ、又は、該ロジック部品に、上述の各種の方法又はステップを実現させる。ロジック部品は、例えば、FPGA（Field  Programmable  Gate  Array）、マイクロプロセッサ、コンピュータに用いる処理器などであっても良い。本発明は、さらに、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ハードディスク、DVD、フラッシュメモリなどにも関する。
【０１４５】
また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、本願に記載の機能を実行するための汎用処理器、デジタル信号処理器（DSP）、専用集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組む合わせとして実現されても良い。また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、さらに、計算装置の組み合わせ、例えば、DSP及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPと通信により接続される１つ又は複数のマイクロプロセッサ又は他の任意のこのような構成として構成されても良い。
【０１４６】
以上、本発明の好ましい実施形態を説明したが、本発明はこのような実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2019531552.tif 000019
【図２】
2019531552.tif 000020
【図３】
2019531552.tif 000021
【図４Ａ】
2019531552.tif 000022
【図４Ｂ】
2019531552.tif 000023
【図４Ｃ】
2019531552.tif 000024
【図４Ｄ】
2019531552.tif 000025
【図５Ａ】
2019531552.tif 000026
【図５Ｂ】
2019531552.tif 000027
【図５Ｃ】
2019531552.tif 000028
【図６】
2019531552.tif 000029
【図７】
2019531552.tif 000030
【図８】
2019531552.tif 000031
【図９】
2019531552.tif 000032
【図１０】
2019531552.tif 000033
【図１１】
2019531552.tif 000034
【図１２】
2019531552.tif 000035
【図１３】
2019531552.tif 000036
【国際調査報告】
2019531552.tif 000037
2019531552.tif 000038
2019531552.tif 000039
2019531552.tif 000040