(57)【要約】【課題】本発明は、画像処理装置及び方法、電子機器を提供する。【解決手段】画像処理装置は、背景モデルに基づいて入力ビデオの現在のフレームの前景マスクを抽出し、前景マスクに基づいて第一前景領域を確定する第一前景検出ユニット；オプティカル・フロー・マッチングに基づいて現在のフレーム全体の振れベクトル及び現在のフレーム中の各局所の振れベクトルを検出する振れ検出ユニット；現在のフレーム全体の振れベクトルと、各局所の振れベクトルとの差を計算する計算ユニット；現在のフレーム全体の振れベクトルに基づいて現在のフレームに対して全域振れ補償を行う振れ補償ユニット；前記差に基づいて第一前景領域中のピクセルに対してオフセット・マッチングを行うオフセットマッチングユニット；及び、オフセット・マッチングの結果に基づいて前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定する第二前景検出ユニットを含む。【選択図】図１
2019021297.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定するための第一前景検出ユニット；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出するための振れ検出ユニット；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算するための計算ユニット；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行うための振れ補償ユニット；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行うためのオフセットマッチングユニット；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定するための第二前景検出ユニットを含む、装置。
【請求項２】
請求項1に記載の装置であって、
前記振れ検出ユニットは、
前記現在のフレームの画像のうちから複数の特徴点を抽出するための抽出ユニット；
各前記特徴点の重みを確定するための確定ユニット；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得るためのクラスタリングユニットを含む、装置。
【請求項３】
請求項2に記載の装置であって、
前記確定ユニットは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレーム画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計するための統計ユニット；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定するための第一確定ユニットを含む、装置。
【請求項４】
請求項3に記載の装置であって、
前記第一確定ユニットは、
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が30%〜70%、背景ポイントと検出された割合が30%〜70%のとき、前記特徴点の重みを3と確定するための第二確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が70%〜100%、背景ポイントと検出された割合が0%〜30%のとき、前記特徴点の重みを2と確定するための第三確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が0%〜30%、背景ポイントと検出された割合が70%〜100%のとき、前記特徴点の重みを1と確定するための第四確定ユニット；及び
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定するための第五確定ユニットを含む、装置。
【請求項５】
請求項1に記載の装置であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新するための更新ユニットをさらに含む、装置。
【請求項６】
請求項5に記載の装置であって、
前記更新ユニットは、
各背景ポイントの背景モデルについて、第一確率で該背景モデルを前記現在のフレームの画像の前記背景ポイントの所在位置の背景モデル又は前記背景ポイントのオフセット後の所在位置の背景モデルに更新するための第一更新ユニット；及び
前記第一前景領域に含まれるが、前記第二前景領域に含まれない各ピクセルの背景モデルについて、第二確率で該背景モデルを前記現在のフレームの画像の前記ピクセルのオフセット後の所在位置の背景モデルに更新するための第二更新ユニットを含む、装置。
【請求項７】
請求項1〜6のうちの任意の１項に記載の装置を含む、電子機器。
【請求項８】
画像処理方法であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定し；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出し；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算し；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行い；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行い；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定することを含む、方法。
【請求項９】
請求項8に記載の方法であって、
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出することは、
前記現在のフレームの画像のうちから複数の特徴点を抽出し；
各前記特徴点の重みを確定し；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得ることを含む、方法。
【請求項１０】
請求項9に記載の方法であって、
各前記特徴点の重みを確定することは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレームの画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計し；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定することを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術分野に関し、特に、画像処理装置及び方法、電子機器に関する。
【背景技術】
【０００２】
近年、前景検出が、目標追跡、目標検出、道路監視及びその他の多くの分野に幅広く用いられている。しかし、カメラ撮影時の各種の不安定要因のせいで、従来のアルゴリズムを利用して前景検出を行う時に、撮影により得られたビデオ中の振れ（shaking）により、多くの背景領域が前景領域と誤って検出される場合がある。例えば、VIBE（Visual  background  extractor）アルゴリズムでは、１つのピクセル（画素点）について、隣接するピクセルが近いピクセル値の空間分布特性を有すると仮定し、その隣接する領域におけるピクセルのピクセル値を背景モデルのサンプル値としてランダムに選択する。該方法は、１つのピクセルの振れによる影響のみを防止することできる。実際には、振れに伴って生成したディストーションや局所運動を消去することができない。このような誤検出は、ビデオ画像の各領域に現れる可能性があり、幾つかの誤った前景領域は、検出結果に大きな影響を与えることがある。
【０００３】
従来のビデオ・スタビライゼーション（video  stabilization）方法、例えば、画像をスタビライゼーションさせるためのブロックマッチング又は特徴抽出の方法は、すべて、局所（local）運動を計算することで全域（global）運動を推定する。このような方法は、振れの範囲を小さくし、比較的大きな振れを消去することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発明者は、次のようなことを発見した。即ち、上述の従来のビデオ・スタビライゼーション方法を用いてビデオを処理する時に、局所運動の距離が全域運動の距離に等しくないため、画像にディストーションが生じることがよくある。また、補償を行っても、ビデオ画像フレームには、依然として、幾つかの未解決の局所振れ、例えば、木の葉の揺れが存在する。小さい振れであっても、背景領域のエッジが前景領域と誤って検出されることを来す可能性がある。
【０００５】
本発明の実施例は、画像処理装置及び方法、電子機器を提供し、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、オプティカル・フロー（optical  flow）マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを除去することができ、これにより、正確な前景検出結果を得ることができる。
【課題を解決するための手段】
【０００６】
本発明の実施例の第一側面によれば、画像処理装置が提供され、前記装置は、第一前景検出ユニットであって、背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして、前記前景マスクに基づいて第一前景領域を確定するためのもの；振れ検出ユニットであって、オプティカル・フロー・マッチングに基づいて、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出するためのもの；計算ユニットであって、前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算するためのもの；振れ補償ユニットであって、前記現在のフレームの画像全体の振れベクトルに基づいて、前記現在のフレームの画像に対して全域振れ補償を行うためのもの；オフセットマッチングユニットであって、前記差に基づいて、前記第一前景領域中のピクセルに対してオフセット・マッチングを行うためのもの；及び、第二前景検出ユニットであって、前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定するためのものを含む。
【０００７】
本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は、本発明の実施例の第一側面に記載の装置を含む。
【０００８】
本発明の実施例の第三側面によれば、画像処理方法が提供され、前記方法は、背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして、前記前景マスクに基づいて第一前景領域を確定し；オプティカル・フロー・マッチングに基づいて、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出し；前記現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；前記現在のフレームの画像全体の振れベクトルに基づいて、前記現在のフレームの画像に対して全域振れ補償を行い；前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行い；及び、前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定することを含む。
【０００９】
本発明の有益な効果は、次の通りであり、即ち、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、オプティカル・フロー・マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを消去することができ、これにより、正確な前景検出結果を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例1における画像処理装置を示す図である。
【図２】本発明の実施例1における現在のフレームの画像を示す図である。
【図３】本発明の実施例1における第一前景検出ユニットが得た前景マスクを示す図である。
【図４】本発明の実施例1における振れ検出ユニットを示す図である。
【図５】本発明の実施例1における確定ユニット401を示す図である。
【図６】本発明の実施例1における第一確定ユニット502を示す図である。
【図７】本発明の実施例1における第二前景検出ユニットが得た前景マスクを示す図である。
【図８】本発明の実施例1における更新ユニット107を示す図である。
【図９】本発明の実施例2における電子機器を示す図である。
【図１０】本発明の実施例2における電子機器のシステム構成を示す図である。
【図１１】本発明の実施例3における画像処理方法を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
【実施例１】
【００１２】
本発明の実施例は、画像処理装置を提供し、図1は、本発明の実施例1の画像処理装置を示す図である。図1に示すように、画像処理装置100は、次のようなものを含む。
【００１３】
第一前景検出ユニット101：背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして、該前景マスクに基づいて第一前景領域を確定し；
振れ検出ユニット102：オプティカル・フロー・マッチングに基づいて該現在のフレームの画像全体の振れベクトル及び該現在のフレームの画像中の各局所の振れベクトルを検出し；
計算ユニット103：該現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；
振れ補償ユニット104：該現在のフレームの画像全体の振れベクトルの検出結果に基づいて、該現在のフレームの画像に対して全域振れ補償を行い；
オフセットマッチングユニット105：該差に基づいて第一前景領域中のピクセルに対してオフセット・マッチングを行い；
第二前景検出ユニット106：オフセット・マッチングの結果に基づいて該前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定する。
【００１４】
上述の実施例から分かるように、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、振れのせいで前景ポイントと誤って検出された背景ポイントを有効に除去することができ、これにより、振れによる前景検出への影響を無くし、正確な前景検出結果を得ることができる。
【００１５】
本実施例では、該入力ビデオは、前景検出を行う必要があるビデオであり、例えば、該入力ビデオは、監視カメラにより得られたビデオであっても良い。
【００１６】
本実施例では、該入力ビデオは、複数のフレームの画像を有しても良く、該複数のフレームの画像は、時間順に従ってフレームごとに配列されている。
【００１７】
本実施例では、第一前景検出ユニット101は、背景モデルに基づいて入力ビデオの該現在のフレームの画像の前景マスクを抽出し、そして、該前景マスクに基づいて第一前景領域を確定する。
【００１８】
本実施例では、背景モデルに基づいて前景マスクを抽出する具体的な方法は、従来の方法を参照することができ、例えば、現在の背景モデルのマッチングにより現在のフレームの画像の背景画像を取得し、背景画像と現在のフレームの画像とを比較することで、明らかに異なるピクセルのピクセル値を1と設定し、残りのピクセルのピクセル値を0に設定すれば、ピクセル値が1のピクセルは前景ポイントであり、処理後に得られたのは２値化前景マスクである。
【００１９】
図2は、本発明の実施例1の現在のフレームの画像を示す図である。図3は、本発明の実施例1の第一前景検出ユニットが得た前景マスクを示す図である。図2に示す現在のフレームの画像が第一前景検出ユニット101により処理された後に、図3に示すような前景マスクを取得し、それは２値化画像であり、そのうち、ピクセル値が1のピクセルからなる領域（図3中の白色領域）は、第一前景領域である。
【００２０】
本実施例では、該背景モデルは、従来の背景モデルを採用しても良く、例えば、該背景モデルは、平均背景法を用いて作られたモデル又は混合ガウスモデルなどであっても良い。
【００２１】
本実施例では、振れ検出ユニット102は、オプティカル・フロー・マッチングに基づいて、現在のフレームの画像全体の振れベクトル及び現在のフレームの画像中の各局所の振れベクトルを検出する。そのうち、オプティカル・フロー・マッチングに基づいて振れベクトルを検出する具体的な方法は、従来の技術を参照することができる。以下、本実施例の振れ検出ユニット102の構成及び振れベクトルの検出方法について詳細に説明する。
【００２２】
図4は、本発明の実施例1の振れ検出ユニットを示す図である。図4に示すように、振れ検出ユニット102は、次のようなものを含む。
【００２３】
抽出ユニット401：現在のフレームの画像のうちから複数の特徴点を抽出し；
確定ユニット402：各特徴点の重み（weight）を確定し；
クラスタリングユニット403：オプティカル・フロー・マッチング及び各特徴点の重みに基づいてクラスタリング（clustering）を行い、現在のフレームの画像全体の振れベクトル及び現在のフレームの画像中の各局所の振れベクトルを得る。
【００２４】
本実施例では、抽出ユニット401は、従来の方法により特徴点を得ることができる。例えば、まず、現在のフレームの画像の解像度に基づいて画像を分割し、例えば、現在のフレームの画像の解像度が1920×1080の場合、該画像を10×10の画像ブロックに分割し、そして、各画像ブロックのうちから3〜5個のHarrisコーナー（Harris  corner  points）を見つけて特徴点とすることができる。
【００２５】
以下、確定ユニット402の構成及び重みの確定方法について詳しく説明する。
【００２６】
図5は、本発明の実施例1の確定ユニット402を示す図である。図5に示すように、確定ユニット402は、次のようなものを含む。
【００２７】
統計ユニット501：各特徴点の所在位置のピクセルが、現在のフレームの画像の前の所定数量のフレームの画像において前景ポイント又は背景ポイント又はマッチング錯誤（マッチングが誤ったこと）と検出された割合を統計し；
第一確定ユニット502：該割合に基づいて、現在のフレームの画像中での各特徴点の重みを確定する。
【００２８】
このように、各特徴点の所在位置のピクセルの以前の前景検出結果を統計することで、各特徴点の重みを確定することにより、振れ検出の正確度を有効に向上させることができる。
【００２９】
本実施例では、実際のニーズに応じて、統計する必要があるフレームの数量を確定しても良い。例えば、該所定数量は、50〜100であっても良い。
【００３０】
本実施例では、該所定数量のフレームの画像のうちの第１個目のフレームの画像を処理する時に初期（initial）背景モデルを作成することができ、例えば、18〜23個の画像行列（matrix）を作成し、これらの画像行列は、第１個目のフレームの画像のグレースケール画像又は54〜69個のRGBチャンネルと分離し、且つ同じサイズを有し、第１個目のフレームの画像の初期グレースケール画像又は分離チャンネルのグレーレベルを格納し、これにより、初期の単チャンネル又は３チャンネルの背景モデルを形成することができる。
【００３１】
また、本実施例では、如何に該割合に基づいて重みを確定するかは、実際のニーズに応じて設定されても良く、以下、例示的に説明する。
【００３２】
図6は、本発明の実施例1の第一確定ユニット502を示す図である。図6に示すように、第一確定ユニット502は、次のようなものを含む。
【００３３】
第二確定ユニット601：該特徴点の所在位置のピクセルが、所定数量のフレームの画像において前景ポイントと検出された割合が30%〜70%であり、背景ポイントと検出された割合が30%〜70%である時に、該特徴点の重みを3と確定し；
第三確定ユニット602：該特徴点の所在位置のピクセルが、所定数量のフレームの画像において前景ポイントと検出された割合が70%〜100%であり、背景ポイントと検出された割合が0%〜30%である時に、該特徴点の重みを2と確定し；
第四確定ユニット603：該特徴点の所在位置のピクセルが、所定数量のフレームの画像において前景ポイントと検出された割合が0%〜30%であり、背景ポイントと検出された割合が70%〜100%である時に、該特徴点の重みを1と確定し；
第五確定ユニット604：該特徴点の所在位置のピクセルが、所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きい時に、特徴点の重みを0と確定する。
【００３４】
本実施例では、例えば、マッチング錯誤とは、ある特徴点がマッチングできず、又は、マッチング後に計算された変位が所定閾値を超えたことである。
【００３５】
以上、確定ユニット402の構成及び前景マスク中での各特徴点の重みの確定方法について説明した。各特徴点の重みを確定した後に、クラスタリングユニット403は、オプティカル・フロー・マッチングに基づいて、また、各特徴点の重みに基づいて、クラスタリングを行い、現在のフレームの画像全体の振れベクトル及び現在のフレームの画像中の各局所の振れベクトルを取得することができる。例えば、重みをクラスタリングにおいて該特徴点を計算する回数として、クラスタリングを行う方法は、従来の方法を採用しても良い。
【００３６】
例えば、次のような公式（1）、（2）を用いて、振れベクトルを計算することができる。
【数１】
2019021297.tif 000003
【００３７】
そのうち、Xは、振れベクトル距離の分散（variance）を表し、Yは、振れベクトル角度の分散（variance）を表し、Nは、検出された、加重（weighting）後のオプティカル・フロー・マッチング・ベクトルの数量を表し、Diは、第i個目の特徴点ベクトル長さを示し、Dcenterは、全域ベクトル長さ平均値を表し、Aiは、第i個目の特徴点のベクトル方向を表し、Acenterは、全域ベクトル方向平均値を表し、Wiは、第i個目の特徴点の重みを表し、kは、特徴点の数量を表し、k及びiは、正の整数である。
【００３８】
本実施例では、従来のクラスタリング方法、例えば、K-meansクラスタリング法を用いても良い。
【００３９】
例えば、３つの特徴点のオプティカル・フロー・マッチング・ベクトルをクラスタの中心としてランダムに選択し、また、最小のクラスタを除去し、それから、残りの２つのクラスのベクトルの長さ及び方向に対して平均値の計算を行い、振れベクトルの計算結果を得ることができる。
【００４０】
本実施例では、クラスタリングユニット403は、現在のフレームの画像全体においてクラスタリングを行い、これにより、現在のフレームの画像全体の振れベクトルを取得し、また、各局所においてクラスタリングをそれぞれ行い、これにより、各局所の振れベクトルを取得する。
【００４１】
本実施例では、実際のニーズに応じてフレーム画像を分割して局部としても良い。例えば、現在のフレームの画像全体を上、中、下という３つの局所領域に分割しても良い。
【００４２】
本実施例では、計算ユニット103は、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算する。
【００４３】
本実施例では、振れ補償ユニット104は、現在のフレームの画像全体の振れベクトルに基づいて、現在のフレームの画像に対して全域振れ補償を行い、それは、従来の方法を用いて全域振れ補償を行っても良く、例えば、振れベクトルに基づいて画像に対して平行移動を行っても良い。このように、平均特徴点サンプリング、重みマッチング、及びベクトルク・ラスタリングを経た後に、全域振れ補償を行うことにより、従来のオプティカル・フロー・マッチング法に比べて、より安定な全域イメージ・スタビライゼーション（image  stabilization）効果を得ることができ、これにより、より安定な画像を得ることができる。
【００４４】
例えば、次のような公式（3）に基づいて平行移動を行うことができる。
【数２】
2019021297.tif 000004
【００４５】
そのうち、x、yは、各ピクセルの平行移動前の座標を表し、xi、yiは、各ピクセルの平行移動前の座標を表し、Mは、振れベクトルの距離を表し、θは、振れベクトルの角度を表す。
【００４６】
本実施例では、オフセットマッチングユニット105は、計算ユニット103が計算した差に基づいて、第一前景領域中のピクセルに対してオフセット・マッチングを行う。例えば、第一前景領域中でのピクセルに対して該差に基づいてオフセットを行った後に、再び現在の背景モデルを用いてマッチングを行う。
【００４７】
本実施例では、該差は、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの距離の差（即ち、距離オフセット）及び角度の差（即ち、角度オフセット）を含む。
【００４８】
本実施例では、オフセット・マッチングを行う時に、マッチング待ちピクセルの所在の局所位置に基づいて、それに対してマッチングを行う時に使用される差を確定し、例えば、上、中、下という３つの局所のうちの上方の局所に位置する第一前景領域中のピクセルの場合、現在のフレームの画像全体の振れベクトルと、上方の局所の振れベクトルとの差を用いて、オフセット・マッチングを行い、上、中、下という３つの局所のうちの中間の局所に位置する第一前景領域中のピクセルの場合、現在のフレームの画像全体の振れベクトルと、中間の局所の振れベクトルとの差を用いて、オフセット・マッチングを行い、上、中、下という３つの局所のうちの下方の局所に位置する第一前景領域中のピクセルの場合、現在のフレームの画像全体の振れベクトルと、下方の局所の振れベクトルとの差を用いて、オフセット・マッチングを行う。
【００４９】
例えば、次のような公式（4）に基づいてオフセット・マッチングを行うことができる。
【数３】
2019021297.tif 000005
【００５０】
そのうち、distは、現在のフレーム中のピクセル(i,j)と、背景モデル中のマッチング待ちピクセルとの差を表し、reference_frame.at<ucha>は、背景モデル中のマッチング待ちピクセルを表し、current_frame.at<ucha>は、現在のフレーム中のマッチング待ちピクセルを表し、Dは、距離オフセットを表し、round()は、整数を取る演算を表し、θは、角度オフセットを表し、abs()は、絶対値を取る演算を表す。
【００５１】
本実施例では、オフセットマッチングユニット105がオフセット・マッチングを行った後に、第二前景検出ユニット106は、オフセット・マッチングの結果に基づいて該前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定する。例えば、第一前景領域中の、背景ポイントとオフセット・マッチングされた前景ポイントを除去し、更新後の前景マスクを取得し、この場合、更新後の前景マスク中の、残りの前景ポイントからなる領域は、第二前景領域である。
【００５２】
図7は、本発明の実施例1の第二前景検出ユニットが得た前景マスクを示す図である。図7に示すように、図2に示す前景マスクに比べ、前景ポイントと誤って検出された背景ポイントが除去され、検出結果の正確性は、大幅に向上している。
【００５３】
本実施例では、該装置100は、さらに、次のようなものを含んでも良い。
【００５４】
更新ユニット107；オフセット・マッチングの結果に基づいて該背景モデルを更新し、更新後のものは、現在のフレームの次の１つのフレームの画像を処理するために用いられる。
【００５５】
図8は、本発明の実施例1の更新ユニット107を示す図である。如図8に示すように、更新ユニット107は、次のようなものを含む。
【００５６】
第一更新ユニット801：各背景ポイントの背景モデルについて、第一確率で該背景モデルを、該現在のフレームの画像の該背景ポイントの所在位置の背景モデル又は該背景ポイントのオフセット後の所在位置の背景モデルに更新し；
第二更新ユニット802：第一前景領域に含まれるが、第二前景領域に含まれない各ピクセルの背景モデルについて、即ち、前景ポイントと誤って検出された背景ポイントの背景モデルについて、第二確率で該背景モデルを、該現在のフレームの画像の該ピクセルのオフセット後の所在位置の背景モデルに更新する。
【００５７】
このように、オフセット・マッチングの結果に基づいて背景モデルを更新することで、該背景モデルをさらに最適化することができ、これにより、振れを有するビデオ画像の前景検出結果の正確性をさらに向上させることができる。
【００５８】
例えば、次のような公式（5）、（6）に基づいて背景モデルを更新することができる。
【数４】
2019021297.tif 000006
【００５９】
そのうち、B(rng.uniform(0,i))j=R(x,y)は、第j個目の背景モデルがR(x,y)により置換される確率が1/iであるを表し、R(x,y)は、前景ポイントと誤って検出された背景ポイントが選択されて更新される場合、同じ位置のピクセルP(x,y)又はオフセット後の位置のピクセルP(xd,yd)においてランダムに更新を行うことを表し、rng.uniform(0,1)は、0〜1の間の１つの乱数（random  number）を表し、元の位置又はオフセット後の位置をランダムに採用して更新を行うことを表す。
【００６０】
本実施例では、第一確率及び第二確率は、同じであっても良く、異なっても良く、その具体的な数値は、実際のニーズに応じて設定されても良い。例えば、第一確率及び第二確率は、1/90〜1/120であっても良い。
【００６１】
例えば、各背景ポイントの背景モデルについて、1/90〜1/120の確率を用いて、それを、現在のフレームの画像の該背景ポイントの所在位置の背景モデル又は該背景ポイントのオフセット後の所在位置の背景モデルに更新し、そのうち、更新すると確定した時に、現在のフレームの画像の該背景ポイントの所在位置の背景モデル、及び該背景ポイントのオフセット後の所在位置の背景モデルに更新する確率は、それぞれ、1/2である。前景ポイントと誤って検出された背景ポイントの背景モデルについて、1/90〜1/120の確率を用いて、それを、現在のフレームの画像の該背景ポイントのオフセット後の所在位置の背景モデルに更新する。
【００６２】
上述の実施例から分かるように、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行い、オプティカル・フロー・マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを除去することができ、これにより、正確な前景検出結果を得ることができる。
【実施例２】
【００６３】
本発明の実施例は、さらに、電子機器を提供する。図9は、本発明の実施例2の電子機器を示す図である。図9に示すように、電子機器900は、画像処理装置901を含み、画像処理装置901の構成及び機能は、実施例1中の記載と同じであるため、ここでは詳しい説明を省略する。
【００６４】
図10は、本発明の実施例2の電子機器のシステム構成を示す図である。図10に示すように、電子機器1000は、中央処理装置1001及び記憶器1002を含んでも良く、記憶器1002は、中央処理装置1001に接続される。なお、この図は、例示に過ぎず、さらに他の類型の構造を以てこの構造に対して補充又は代替を行うことで、電気通信機能又は他の機能を実現することができる。
【００６５】
図10に示すように、該電子機器1000は、さらに、入力ユニット1003、表示器1004及び電源1005を含む。
【００６６】
１つの実施方式では、実施例1に記載の画像処理装置の機能は、中央処理装置1001に統合しても良い。そのうち、中央処理装置1001は、次のように構成されても良く、即ち、背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして、前記前景マスクに基づいて第一前景領域を確定し；オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出し；前記現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行い；前記差に基づいて、前記第一前景領域中のピクセルに対してオフセット・マッチングを行い；及び、オフセット・マッチングの結果に基づいて前記前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定する。
【００６７】
例えば、オプティカル・フロー・マッチングに基づいて現在のフレームの画像全体の振れベクトルを検出することは、現在のフレームの画像のうちから複数の特徴点を抽出し；各特徴点の重みを確定し；オプティカル・フロー・マッチング及び各特徴点の重みに基づいてクラスタリングを行い、現在のフレームの画像全体の振れベクトル及び現在のフレームの画像中の各局所の振れベクトルを得ることを含む。
【００６８】
例えば、各特徴点の重みを確定することは、各特徴点の所在位置のピクセルが、現在のフレームの画像の前の所定数量のフレームの画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計し；前記割合に基づいて現在のフレームの画像中の各特徴点の重みを確定することを含む。
【００６９】
例えば、前記割合に基づいて現在のフレームの画像中の各特徴点の重みを確定することは、前記特徴点の所在位置のピクセルの、前記所定数量のフレームの画像中で前景ポイントと検出された割合が30%〜70%、背景ポイントと検出された割合が30%〜70%のとき、前記特徴点の重みを3と確定し；前記特徴点の所在位置のピクセルの、前記所定数量のフレームの画像中で前景ポイントと検出された割合が70%〜100%、背景ポイントと検出された割合が0%〜30%のとき、前記特徴点の重みを2と確定し；前記特徴点の所在位置のピクセルの、前記所定数量のフレームの画像中で前景ポイントと検出された割合が0%〜30%、背景ポイントと検出された割合が70%〜100%のとき、前記特徴点の重みを1と確定し；前記特徴点の所在位置のピクセルの、前記所定数量のフレームの画像中でマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定する。
【００７０】
例えば、中央処理装置1001は、さらに、次のように構成されても良く、即ち、オフセット・マッチングの結果に基づいて、前記背景モデルを更新する。
【００７１】
例えば、前記オフセット・マッチングの結果に基づいて前記背景モデルを更新することは、各背景ポイントの背景モデルについて、第一確率を以て前記背景モデルを、現在のフレームの画像の前記背景ポイントの所在位置の背景モデル又は前記背景ポイントのオフセット後の所在位置の背景モデルに更新し；前記第一前景領域に含まれるが、前記第二前景領域に含まれない各前景ポイントの背景モデルについて、第二確率を以て前記背景モデルを、現在のフレームの画像の前記前景ポイントのオフセット後の所在位置の背景モデルに更新する。
【００７２】
もう１つの実施方式では、実施例1に記載の画像処理装置は、中央処理装置1001と別々で構成されても良く、例えば、画像処理装置を、中央処理装置1001に接続されるチップとして構成し、中央処理装置1001の制御で画像処理装置の機能を実現しても良い。
【００７３】
本実施例では、電子機器1000は、必ずしも図10中の全ての部品を含む必要がない。
【００７４】
図10に示すように、中央処理装置1001は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ又は他の処理器装置及び／又は論理装置を含んでも良く、中央処理装置1001は、入力を受信し、電子機器1000の各部品の操作を制御することができる。
【００７５】
記憶器1002は、例えば、バッファ、フレッシュメモリ、HDD、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの１つ又は複数を含んでも良い。中央処理装置1001は、該記憶器1002に記憶のプログラムを実行することで、情報の記憶又は処理などを実現しても良く。なお、他の部品の機能は、従来に類似したので、ここでは詳しい説明を省略する。電子機器1000の各部品は、専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良いが、これらは、すべて、本発明の範囲に属する。
【００７６】
上述の実施例から分かるように、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、オプティカル・フロー・マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを除去することができ、これにより、正確な前景検出結果を得ることができる。
【実施例３】
【００７７】
本発明の実施例は、さらに、画像処理方法を提供し、それは、実施例1の画像処理装置に対応する。図11は、本発明の実施例3の画像処理方法を示す図である。図11に示すように、該方法は、次のようなステップを含む。
【００７８】
ステップ1101：背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして該前景マスクに基づいて第一前景領域を確定し；
ステップ1102：オプティカル・フロー・マッチングに基づいて該現在のフレームの画像全体の振れベクトル及び該現在のフレームの画像中の各局所の振れベクトルを検出し；
ステップ1103：該現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；
ステップ1104：該現在のフレームの画像全体の振れベクトルに基づいて該現在のフレームの画像に対して全域振れ補償を行い；
ステップ1105：該差に基づいて該第一前景領域中のピクセルに対してオフセット・マッチングを行い；
ステップ1106：オフセット・マッチングの結果に基づいて該前景マスクを更新し、そして更新後の前景マスクに基づいて第二前景領域を確定し；
ステップ1107：オフセット・マッチングの結果に基づいて該背景モデルを更新する。
【００７９】
本実施例では、ステップ1103及びステップ1104は、同時に実行することができ、又は、先後に従って実行することができ、本発明の実施例は、ステップ1103及びステップ1104の実行順序について限定しない。
【００８０】
本実施例では、上述の各ステップの具体的な実現方法は、実施例1中の記載と同じであり、ここでは重複説明を省略する。
【００８１】
上述の実施例から分かるように、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、オプティカル・フロー・マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを除去することができ、これにより、正確な前景検出結果を得ることができる。
【００８２】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像処理装置又は電子機器中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、前記画像処理装置又は電子機器中で実施例3に記載の画像処理方法を実行させる。
【００８３】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、画像処理装置又は電子機器中執で実施例3に記載の画像処理方法を実行させる。
【００８４】
また、本発明の実施例による装置及び方法は、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【００８５】
また、上述の各実施例に関し、さらに次のような付記を開示する。
【００８６】
（付記1）
画像処理装置であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定するための第一前景検出ユニット；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出するための振れ検出ユニット；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算するための計算ユニット；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行うための振れ補償ユニット；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行うためのオフセットマッチングユニット；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定するための第二前景検出ユニットを含む、装置。
【００８７】
（付記2）
付記1に記載の装置であって、
前記振れ検出ユニットは、
前記現在のフレームの画像のうちから複数の特徴点を抽出するための抽出ユニット；
各前記特徴点の重みを確定するための確定ユニット；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得るためのクラスタリングユニットを含む、装置。
【００８８】
（付記3）
付記2に記載の装置であって、
前記確定ユニットは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレーム画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計するための統計ユニット；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定するための第一確定ユニットを含む、装置。
【００８９】
（付記4）
付記3に記載の装置であって、
前記第一確定ユニットは、
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が30%〜70%、背景ポイントと検出された割合が30%〜70%のとき、前記特徴点の重みを3と確定するための第二確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が70%〜100%、背景ポイントと検出された割合が0%〜30%のとき、前記特徴点の重みを2と確定するための第三確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が0%〜30%、背景ポイントと検出された割合が70%〜100%のとき、前記特徴点の重みを1と確定するための第四確定ユニット；及び
前記特徴点の所在位置のピクセルが前記所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定するための第五確定ユニットを含む、装置。
【００９０】
（付記5）
付記1に記載の装置であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新するための更新ユニットをさらに含む、装置。
【００９１】
（付記6）
付記5に記載の装置であって、
前記更新ユニットは、
各背景ポイントの背景モデルについて、第一確率で該背景モデルを前記現在のフレームの画像の前記背景ポイントの所在位置の背景モデル及び前記背景ポイントのオフセット後の所在位置の背景モデルに更新するための第一更新ユニット；及び
前記第一前景領域に含まれるが、前記第二前景領域に含まれない各ピクセルの背景モデルについて、第二確率で該背景モデルを前記現在のフレームの画像の前記ピクセルのオフセット後の所在位置の背景モデルに更新するための第二更新ユニットを含む、装置。
【００９２】
（付記7）
付記1〜6のうちの任意の１項に記載の装置を含む、電子機器。
【００９３】
（付記8）
画像処理方法であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定し；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出し；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算し；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行い；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行い；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定することを含む、方法。
【００９４】
（付記9）
付記8に記載の方法であって、
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトルを検出することは、
前記現在のフレームの画像のうちから複数の特徴点を抽出し；
各前記特徴点の重みを確定し；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得ることを含む、方法。
【００９５】
（付記10）
付記9に記載の方法であって、
各前記特徴点の重みを確定することは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレームの画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計し；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定することを含む、方法。
【００９６】
（付記11）
付記10に記載の方法であって、
前記割合に基づいて前記現在のフレームの画像中の各特徴点の重みを確定することは、
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が30%〜70%、背景ポイントと検出された割合が30%〜70%のとき、前記特徴点の重みを3と確定し；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が70%〜100%、背景ポイントと検出された割合が0%〜30%のとき、前記特徴点の重みを2と確定し；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が0%〜30%、背景ポイントと検出された割合が70%〜100%のとき、前記特徴点の重みを1と確定し；及び
前記特徴点の所在位置のピクセルが前記所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定することを含む、方法。
【００９７】
（付記12）
付記8に記載の方法であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新することをさらに含む、方法。
【００９８】
（付記13）
付記12に記載の方法であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新することは、
各背景ポイントの背景モデルについて、第一確率で該背景モデルを前記現在のフレームの画像の前記背景ポイントの所在位置の背景モデル及び／又は該背景ポイントのオフセット後の所在位置の背景モデルに更新し；及び
前記第一前景領域に含まれるが、前記第二前景領域に含まれない各前景ポイントの背景モデルについて、第二確率で該背景モデルを前記現在のフレームの画像の前記前景ポイントのオフセット後の所在位置の背景モデルに更新することを含む、方法。
【００９９】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2019021297.tif 000007
【図２】
2019021297.tif 000008
【図３】
2019021297.tif 000009
【図４】
2019021297.tif 000010
【図５】
2019021297.tif 000011
【図６】
2019021297.tif 000012
【図７】
2019021297.tif 000013
【図８】
2019021297.tif 000014
【図９】
2019021297.tif 000015
【図１０】
2019021297.tif 000016
【図１１】
2019021297.tif 000017