(57)【要約】【課題】画像処理方法及び装置を提供する。【解決手段】本発明の実施形態は、画像処理方法及び装置を提供し、前記方法は、第１画像における第１エリアの混合ガウスモデルを判定するステップであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、ステップと、第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するステップと、前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するステップを含む。本発明の実施形態において、画像の前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定できる。【選択図】図１
2016095854.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
第１画像における第１エリアの混合ガウスモデルを判定するステップであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、ステップと、
第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するステップと、
前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するステップと、
を具備することを特徴とする画像処理方法。
【請求項２】
前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するステップと、
前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップと、
をさらに具備することを特徴とする請求項１に記載の方法。
【請求項３】
前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定するステップと、
前記予想ベクトルに従って、直交座標空間を判定するステップであって、前記予想ベクトルの方向は、前記直交座標空間の一方向である、ステップと、
前記第２画像における第２ピクセルの前記直交座標空間における投影を判定するステップであって、前記投影は、第１の値、第２の値、及び第３の値を具備し、前記第１の値は、前記予想ベクトルの前記方向における前記第２ピクセルの投影である、ステップと、
前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップと、
をさらに具備することを特徴とする請求項１に記載の方法。
【請求項４】
前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定され、
前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定される
ことをさらに具備することを特徴とする請求項２に記載の方法。
【請求項５】
前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定され、
前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定される
ことを特徴とする請求項３に記載の方法。
【請求項６】
前記第２画像の前記ペンディングエリアにおける第４ピクセルを取得するステップと、
ｋ近傍法を使用することにより、前記第４ピクセルが前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するステップと、
をさらに具備することを特徴とする請求項４又は５に記載の方法。
【請求項７】
前記ｋ近傍法を使用することにより、前記第４ピクセルが前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定する前記ステップは、
前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトル、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離を計算するステップであって、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を具備する、ステップと、
前記第４ピクセルに最も近いｋ個のピクセルを判定するステップであって、ｋは、正の整数である、ステップと、
ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、前記第４ピクセルは、前記第２画像の前記前景エリアに属していると判定するステップ、又は、
前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、前記第４ピクセルは、前記第２画像の前記背景エリアに属していると判定するステップと、
を具備することを特徴とする請求項６に記載の方法。
【請求項８】
前記第１ピクセルから前記混合ガウスモデルへの前記距離は、
【数５５】
2016095854.tif 000057
で示され、ここで、(wm, μm, Σm)は、前記混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σmは、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示しており、
【数５６】
2016095854.tif 000058
は、前記第１ピクセルの特徴ベクトルを示していることを特徴とする請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記第１エリアは、ユーザによる指示入力に従って判定されることを特徴とする請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記第２画像は、前記ビデオにおける画像の任意のフレームであることを特徴とする請求項１から９のいずれか一項に記載の方法。
【請求項１１】
画像処理装置であって、
第１画像における第１エリアの混合ガウスモデルを判定するように構成された第１判定ユニットであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、第１判定ユニットを具備し、
前記第１判定ユニットは、第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するようにさらに構成され、
前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するように構成されている第２判定ユニットを具備することを特徴とする画像処理装置。
【請求項１２】
前記第１判定ユニットは、前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するようにさらに構成されており、
前記第２判定ユニットは、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されていることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定し、前記予想ベクトルに従って、直交座標空間を判定し、前記予想ベクトルの方向は、前記直交座標空間の一方向であり、前記直交座標空間における前記第２画像における第２ピクセルの投影を判定し、前記投影は、第１の値、第２の値、及び第３の値を具備し、前記第１の値は、前記第２ピクセルの前記予想ベクトルの前記方向における投影であるように構成された第３判定ユニットをさらに具備し、
前記第２判定ユニットは、前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されていることを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
第２判定ユニットは、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成されていることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記第２判定ユニットは、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成されていることを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記第２画像のペンディングエリアにおける第４ピクセルを取得するように構成されている取得ユニットをさらに具備し、
前記第２判定ユニットは、ｋ近傍法を使用することにより、前記第４ピクセルが、前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するようにさらに構成されていることを特徴とする請求項１４又は１５に記載の画像処理装置。
【請求項１７】
前記第２判定ユニットは、
前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトルと、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離とを計算し、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を具備し、
前記第４ピクセルに最も近いｋ個のピクセルを判定し、ｋは、正の整数であり、
ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、 前記第４ピクセルは、前記第２画像の前記前景エリアに属していると判定するか、又は、
前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、前記第４ピクセルは、前記第２画像の前記背景エリアに属していると判定するように特に構成されていることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記第１ピクセルから前記混合ガウスモデルへの前記距離は、
【数５７】
2016095854.tif 000059
で示され、ここで、(wm, μm, Σm)は、前記混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示しており、
【数５８】
2016095854.tif 000060
は、前記第１特徴ベクトルを示していることを特徴とする請求項１１から１７のいずれか一項に記載の画像処理装置。
【請求項１９】
前記第１エリアは、ユーザによる指示入力に従って判定されることを特徴とする請求項１１から１８のいずれか一項に記載の画像処理装置。
【請求項２０】
前記第２画像は、前記ビデオにおける画像の任意のフレームであることを特徴とする請求項１１から１９のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術の分野に関連し、具体的には、画像処理方法及び装置に関する。
【背景技術】
【０００２】
単色背景ビデオに基づく、洗練された前景セグメンテーション(画像マッティング)技術が、映画やテレビ産業、仮想場面のシミュレーションなどのアプリケーションにおいて広く応用されており、拡張現実やビデオ会議などの新生のインタラクション方法の発展にますます重要な役割を果たしている。したがって、画像前景セグメンテーションの現在の要求を満たすために、高効率の画像処理方法を提供することが必要である。
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の実施形態は、画像前景セグメンテーションが効果的に遂行することができるように、ピクセルからガウスモデルへの距離に従って直接背景ピクセルを判定できる画像処理方法を提供する。 
【０００４】
第１の態様によれば、画像処理方法が提供され、前記方法は、第１画像における第１エリアの混合ガウスモデルを判定するステップであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、ステップと、第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するステップと、前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するステップとを含む。
【０００５】
第１の態様に関連して、第１の可能な実装方法において、前記方法は、前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するステップと、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップとをさらに含む。
【０００６】
第１の態様に関連して、第２の可能な実装方法において、前記方法は、前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定するステップと、前記予想ベクトルに従って、直交座標空間を判定するステップであって、前記予想ベクトルの方向は、前記直交座標空間の一方向である、ステップと、前記第２画像における第２ピクセルの前記直交座標空間における投影を判定するステップであって、前記投影は、第１の値、第２の値、及び第３の値を具備し、前記第１の値は、前記予想ベクトルの前記方向における前記第２ピクセルの投影である、ステップと、前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップとをさらに含む。
【０００７】
第１の可能な実装方法に関連して、第３の可能な実装方法において、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定され、前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定される。
【０００８】
第２の可能な実装方法に関連して、第４の可能な実装方法において、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定され、
前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定される。
【０００９】
第３又は第４の可能な実装方法に関連して、第５の可能な実装方法において、前記方法は、前記第２画像の前記ペンディングエリアにおける第４ピクセルを取得するステップと、ｋ近傍法を使用することにより、前記第４ピクセルが前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するステップと、をさらに含む。
【００１０】
第５の可能な実装方法に関連して、第６の可能な実装方法において、前記ｋ近傍法を使用することにより、前記第４ピクセルが前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するステップは、前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトル、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離を計算するステップであって、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を含む、ステップと、前記第４ピクセルに最も近いｋ個のピクセルを判定するステップであって、ｋは、正の整数である、ステップと、ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、前記第４ピクセルは、前記第２画像の前記前景エリアに属していると判定するステップ、又は前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、前記第４ピクセルは、前記第２画像の前記背景エリアに属していると判定するステップとを含む。
【００１１】
第１の態様又は第１から第６の可能な実装方法のいずれかの可能な実装方法に関連して、第７の可能な実装方法において、前記第１ピクセルから前記混合ガウスモデルへの前記距離は、
【００１２】
【数１】
2016095854.tif 000003
【００１３】
で示され、ここで、(wm, μm, Σm)は、前記混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示しており、
【００１４】
【数２】
2016095854.tif 000004
【００１５】
は、前記第１ピクセルの特徴ベクトルを示している。
【００１６】
第１の態様、又は第１から第７の可能な実装方法のいずれかの可能な実装方法に関連して、第８の可能な実装方法において、前記第１エリアは、ユーザによる指示入力に従って判定される。
【００１７】
第１の態様、又は第１から第８の可能な実装方法のいずれかの可能な実装方法に関連して、第９の可能な実装方法において、前記第２画像は、前記ビデオにおける画像の任意のフレームである。
【００１８】
第２の態様によれば、画像処理装置が提供され、前記装置は、第１画像における第１エリアの混合ガウスモデルを判定するように構成された第１判定ユニットであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、第１判定ユニットを含み、前記第１判定ユニットは、第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するようにさらに構成され、前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するように構成されている第２判定ユニットを具備する。
【００１９】
第２の態様に関連して、第２の態様の第１の可能な実装方法において、前記第１判定ユニットは、前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するようにさらに構成されており、前記第２判定ユニットは、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されている。 
【００２０】
第２の態様に関連して、第２の態様の第２の可能な実装方法において、前記装置は、前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定し、前記予想ベクトルに従って、直交座標空間を判定し、前記予想ベクトルの方向は、前記直交座標空間の一方向であり、前記直交座標空間における前記第２画像における第２ピクセルの投影を判定し、前記投影は、第１の値、第２の値、及び第３の値を含み、前記第１の値は、前記第２ピクセルの前記予想ベクトルの前記方向における投影であるように構成されている第３判定ユニットをさらに具備し、前記第２判定ユニットは、前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されている。
【００２１】
第２の態様の第１の可能な実装方法に関連して、第２の態様の第３の可能な実装方法において、前記第２判定ユニットは、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成されている。
【００２２】
第２の態様の第２の可能な実装方法に関連して、第２の態様の第４の可能な実装方法において、前記第２判定ユニットは、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成されている。
【００２３】
第２の態様の第３又は第４の可能な実装方法に関連して、第２の態様の第５の可能な実装方法において、前記装置は、前記第２画像のペンディングエリアにおける第４ピクセルを取得するように構成されている取得ユニットをさらに具備し、前記第２判定ユニットは、ｋ近傍法を使用することにより、前記第４ピクセルが、前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するようにさらに構成されている。
【００２４】
第２の態様の第５の可能な実装方法に関連して、第２の態様の第６の可能な実装方法において、前記第２判定ユニットは、前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトルと、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離とを計算し、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を含み、前記第４ピクセルに最も近いｋ個のピクセルを判定し、ｋは、正の整数であり、ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、前記第４ピクセルは、前記第２画像の前記前景エリアに属していると判定するか、又は、前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、前記第４ピクセルは、前記第２画像の前記背景エリアに属していると判定するように特に構成されている。
【００２５】
第２の態様、又は第２の態様の第１から第６の可能な実装方法のいずれかの可能な実装方法に関連して、第７の可能な実装方法において、前記第１ピクセルから前記混合ガウスモデルへの前記距離は、
【００２６】
【数３】
2016095854.tif 000005
【００２７】
で示され、ここで、(wm, μm, Σm)は、前記混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示しており、
【００２８】
【数４】
2016095854.tif 000006
【００２９】
は、前記第１ピクセルの特徴ベクトルを示している。
【００３０】
第２の態様、又は第２の態様の第１から第７の可能な実装方法のいずれかの可能な実装方法に関連して、第８の可能な実装方法において、前記第１エリアは、ユーザによる指示入力に従って判定される。
【００３１】
第２の態様、又は第２の態様の第１から第８の可能な実装方法のいずれかの可能な実装方法に関連して、第９の可能な実装方法において、前記第２画像は、前記ビデオにおける画像の任意のフレームである。
【００３２】
前述の技術的ソリューションに基づき、画像のピクセルから、背景エリアのガウスモデルへの距離が判定され、該距離がプリセットしきい値以下の場合には、前記ピクセルは、背景エリアの属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、前記ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定できる。
【００３３】
本発明の実施形態における技術的ソリューションを、より明確に説明するために、以下では、本発明の実施形態を説明するために必要とされる添付の図面を簡単に説明する。明らかに、以下で説明される添付の図面は単にいくつかの本発明の実施形態を示しているにすぎず、当業者は、創作的努力無しに、これらの添付の図面から他の図面を導き出すことができる。
【図面の簡単な説明】
【００３４】
【図１】図１は、本発明の一実施形態による画像処理方法の概略フローチャートである。
【図２】図２は、本発明の一実施形態による画像処理方法の開始画像の概略図である。
【図３】図３は、本発明の他の実施形態による画像処理方法の概略フローチャートである。
【図４】図４は、本発明の他の実施形態による画像処理方法を使用して得られた準備トライマップ(trimap)の概略図である。
【図５】図５は、本発明の他の実施形態による画像処理方法の概略フローチャートである。
【図６】図６は、本発明の他の実施形態による画像処理方法を使用して得られた最終トライマップの概略図である。
【図７】図７は、本発明の一実施形態による画像処理装置の概略ブロック図である。
【図８】図８は、本発明の他の実施形態による画像処理装置の概略ブロック図である。
【図９】図９は、本発明の他の実施形態による画像処理装置の概略ブロック図である。
【図１０】図１０は、本発明の他の実施形態による画像処理装置の概略ブロック図である。
【発明を実施するための形態】
【００３５】
本発明の実施形態における添付の図面を参照しながら、本発明の実施形態における技術的ソリューションについて以下で明確かつ完全に説明する。説明する実施形態は、本発明の実施形態のすべてではなく、一部にすぎないことは明らかである。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られるすべての他の実施形態は、本発明の保護範囲内に入るものである。
【００３６】
図１は、本発明の一実施形態による画像処理方法100の概略フローチャートである。方法100は、画像処理装置により実行され得る。図１に示されるように、方法100は、以下のコンテンツを含んでいる。
【００３７】
101:  第１画像における第１エリアの混合ガウスモデルを判定する。前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである。
【００３８】
第１エリアが、第１画像の初期化の処理において、ユーザによる指示入力に従って、判定される。例えば、背景エリアは、ビデオにおける画像の第１フレームにおいて、ユーザによる指示命令に従って判定され得る。ユーザは、前記画像における背景エリアの範囲を定める(delimit)ことができ、図２に示されている点線の箱が、ユーザにより範囲が定められた背景エリアである。好適には、ユーザにより範囲が定められた背景エリアは、できるだけ多くの背景情報と、しわの部分、影（shadow）の部分、及び陰影(light and shade)の修正(alteration)エリアなどのいくつかの特別な情報を含むべきである。
【００３９】
102:  第２画像における第１ピクセルから混合ガウスモデルへの距離を判定する。
【００４０】
第２画像は、ビデオにおける画像の任意のフレームであり得ることを理解すべきである。 
【００４１】
103:  前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定する。
【００４２】
加えて、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、第１ピクセルは、第２画像のペンディングエリアに属していると判定され得る。
【００４３】
本発明のこの実施形態において、混合ガウスモデルにおける第ｍガウスモデルは、(wm, μm, Σm)と示すことができ、ここで、
【００４４】
【数５】
2016095854.tif 000007
【００４５】
であり、Mは、正の整数、例えばM = 3である。wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示している。ステップ102において、第１ピクセルから混合ガウスモデルへの距離は、第１ピクセルからMのガウスモデルへの距離のうちの最小距離を意味する。本発明のこの実施形態において限定されないが、μm は、第ｍガウスモデルの平均値を示しうることに留意すべきである。
【００４６】
背景モデルは、単純なガウスモデル(すなわち、M = 1)を使用することにより推定され得ることを理解すべきである。この場合において、背景の陰影及び背景のカラーが明確に変化しない場合に、理想的な効果も達成され得る。
【００４７】
第１しきい値が、前景を備えた画像の任意のフレームを参照することにより選択され得る。前記第１しきい値は、範囲が定められた背景エリアは、画像におけるすべての背景エリアを含まなくてよいが、範囲を定めること(delimitation)を通じて得られた背景ピクセルにエラーがない、ということを満たすべきである。
【００４８】
現在のフレームのピクセルが誤って背景として設定されなかったならば、第１しきい値は、画像の次のフレームにおいて適切に増加されるべきである。第１しきい値が増加するにつれて、増加するピクセルの数が誤って判定され得る。 伝統的に、しきい値の選択は：しきい値は、誤ってピクセルが判定されない場合に到達可能な最大しきい値の半分又は３分の２である、を満たし得る。 
【００４９】
したがって、本発明のこの実施形態における画像処理方法において、画像におけるピクセルから背景エリアの混合ガウスモデルへの距離が判定され、該距離がプリセットしきい値以下の場合には、ピクセルは、背景エリアに属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定されることができる。
【００５０】
本発明のこの実施形態において、第２画像がビデオにおける画像の第１フレーム以外の画像である場合には、ビデオにおける画像の第１フレームのためのガウスモデルが第２画像のためにさらに使用される。これは、本発明のこの実施形態において、ユーザは、ビデオにおける画像の第１フレームに情報を入力することを補助する必要があるだけであり、全ての引き続く処理は、画像の第１フレームのガウスモデルに従って、画像処理装置により、自動的に遂行されることを意味している。これは、手動による入力補助を減らすことができ、少ない作業負荷にし、高効率及び普遍性を達成する。
【００５１】
しかし、従来技術において、単色背景ビデオに基づく前景セグメンテーション技術は、大量の手動入力補助を必要としている。例えば、１つのキーフレーム(key frame)は、複数のフレーム間隔（例えば、10フレーム）で抽出され、正確な画像マッティングマスクが各キーフレームに対し手動で生成され、その後、画像マッティングが、キーフレームの画像マッティング結果を使用して残りのフレーム上で実行されるが、大量の手動入力補助を必要とし、大きな作業負荷であるとともに抵抗率であり、普遍性を欠いている。
【００５２】
本発明のこの実施形態において、方法100は、前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するステップと、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップと、をさらに含み得る。
【００５３】
加えて、第１ピクセルから混合ガウスモデルへの距離が第２しきい値より小さい場合には、第１ピクセルは、第２画像のペンディングエリアに属していると判定され得る。
【００５４】
本発明のこの実施形態において、画像におけるピクセルから混合ガウスモデルへの距離に従って、画像におけるピクセルが属するエリアが効果的に判定され得る。
【００５５】
具体的には、本発明のこの実施形態において、ステップ120において、第１ピクセルから混合ガウスモデルへの距離は、マハラノビス距離に従って判定され得る。第１ピクセルから混合ガウスモデルへの距離は、
【００５６】
【数６】
2016095854.tif 000008
【００５７】
と示すことができ、ここで、(wm, μm, Σm)は、混合ガウスモデルを示しており、wm, μm, 及び Σm は、それぞれ第ｍガウスモデルの重み、中央値、分散行列を示しており、
【００５８】
【数７】
2016095854.tif 000009
【００５９】
は、前記第１ピクセルの特徴ベクトル(character vector)を示しており、
【００６０】
【数８】
2016095854.tif 000010
【００６１】
は、各ガウスモデルの重み、及び、混合ガウスモデルにおけるガウス形状のインパクトを示しており、
【００６２】
【数９】
2016095854.tif 000011
【００６３】
は、マハラノビス距離を示しており、
【００６４】
【数１０】
2016095854.tif 000012
【００６５】
であり、ここで、Pr, Pg, 及びPb は、第１ピクセルの赤、緑、青成分のピクセル値をそれぞれ示している。
【００６６】
任意のピクセル、即ち第ｉピクセルに対し、第ｉピクセルから混合ガウスモデルへの距離は、
【００６７】
【数１１】
2016095854.tif 000013
【００６８】
と示すことができることを理解すべきである。
【００６９】
当業者は、第１ピクセルから混合ガウスモデルへの距離を本発明のこの実施形態に限定されない他の方法を使用することによりさらに判定し得ることに留意すべきである。
【００７０】
本発明のこの実施形態において、マハラノビス距離を使用しての第１ピクセルから混合ガウスモデルへの距離の計算は、他の方法を使用する計算よりも正確であり、背景エリアの範囲を定めることがより正確にでき、これにより、より正確なトライマップが得られる。 
【００７１】
図３は、本発明の他の実施形態による画像処理方法100の概略フローチャートである。図３に示されているように、ステップ103の後に、方法100は、さらに以下を含む。
【００７２】
104:  前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定する。
【００７３】
第１画像の背景エリアにおけるピクセルの特徴ベクトルは、
【００７４】
【数１２】
2016095854.tif 000014
【００７５】
と示すことができ、ここでｉは、ピクセルを示しており、Pri, Pgi, 及びPbi は、それぞれ第ｉピクセルのRGB(red green blue)成分のピクセル値を示している。
【００７６】
予想ベクトルは、
【００７７】
【数１３】
2016095854.tif 000015
【００７８】
と示すことができ、予想ベクトル
【００７９】
【数１４】
2016095854.tif 000016
【００８０】
に対応するカラーは、画像における単色背景のカラー値とほぼ等しい。
【００８１】
105:  前記予想ベクトルに従って、直交座標空間を判定する。前記予想ベクトルの方向は、前記直交座標空間の一方向である。
【００８２】
具体的には、予想ベクトルに対応する第１単位ベクトル
【００８３】
【数１５】
2016095854.tif 000017
【００８４】
が最初に判定され、第１単位ベクトルは、
【００８５】
【数１６】
2016095854.tif 000018
【００８６】
と示すことができる。
【００８７】
その後、第１単位ベクトルに直交する
【００８８】
【数１７】
2016095854.tif 000019
【００８９】
が決定される。第２単位ベクトル及び第３単位ベクトルは、互いに直交する。
【００９０】
【数１８】
2016095854.tif 000020
【００９１】
は、新たな直交座標空間を形成し得る。
【００９２】
【数１９】
2016095854.tif 000021
【００９３】
の選択は、特に説明しないが、選択された単位ベクトルが 
【００９４】
【数２０】
2016095854.tif 000022
【００９５】
を満たすことが提供されている
【００９６】
【数２１】
2016095854.tif 000023
【００９７】
の多数の可能な選択肢がある。行列
【００９８】
【数２２】
2016095854.tif 000024
【００９９】
は、ユニタリ行列であり、以下の性質を満たし得る。
【０１００】
【数２３】
2016095854.tif 000025
【０１０１】
106:  前記直交座標空間における前記第２画像における第２ピクセルの投影を判定する。投影は、第１の値、第２の値、及び第３の値を含み、前記第１の値は、前記第２ピクセルの前記予想ベクトルの前記方向における投影である。
【０１０２】
ベクトル
【０１０３】
【数２４】
2016095854.tif 000026
【０１０４】
は、
【０１０５】
【数２５】
2016095854.tif 000027
【０１０６】
により構成される新たな座標空間への投影であり、新たな直交座標空間の３つの単位ベクトル
【０１０７】
【数２６】
2016095854.tif 000028
【０１０８】
は、それぞれオリジナルの赤緑青座標空間の３つのカラーに対応する。 
【０１０９】
107:  前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定する。
【０１１０】
すなわち、第ｉピクセルに対し、
【０１１１】
【数２７】
2016095854.tif 000029
【０１１２】
は、背景色を示しており、
【０１１３】
【数２８】
2016095854.tif 000030
【０１１４】
であるならば、第ｉピクセルは、第２画像の背景エリアに属していないことを示しており、第ｉピクセルは、前景集合に割り当てられる：
【０１１５】
【数２９】
2016095854.tif 000031
【０１１６】
本発明のこの実施形態において、新たな直交座標空間が決定され、前景に属しているピクセルは、画像におけるピクセルの特徴ベクトルの投影に従って、新たな直交座標空間において判定され、したがって、方法100は、異なる単色背景において広く使用されることができる。
【０１１７】
先述の実施形態において、準備トライマップを得ることが可能である。図４に示されているように、トライマップにおける黒色は背景エリアを示しており、白色は前景エリアを示しており、グレイ色は、ペンディングエリアを示している。次に、ペンディングエリアのサイズをさらに減少するために、最尤法(ML)、最大事後確率推定法(Maximum a Posteriori, MAP)、又はｋ近傍法(K-Nearest-Neighbor, KNN)などの機械学習法を使用して実行してさらなる最適化が必要である。以下では、図５を参照しながら、一例としてｋ近傍法の実を用いた最適化処理を説明する。
【０１１８】
図５は、本発明の他の実施形態による画像処理方法100の概略フローチャートである。図５に示されているように、ステップ103又はステップ107の後に、方法100は以下をさらに含む。
【０１１９】
108:  第２画像のペンディングエリアにおける第４ピクセルを取得する。
【０１２０】
109:  ｋ近傍法を使用することにより、前記第４ピクセルが、前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定する。
【０１２１】
具体的には、ステップ109は、前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトルと、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離とをまず計算するステップであって、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を含む、ステップを含み得る。
【０１２２】
ピクセルのRGBカラー情報は、ピクセルの赤、緑、青成分のピクセル値であり得、第iピクセルの特徴ベクトルは、
【０１２３】
【数３０】
2016095854.tif 000032
【０１２４】
と示すことができ、ここで、
【数３１】
2016095854.tif 000033
【０１２５】
は、それぞれ第ｉピクセルの赤、青、緑成分のピクセル値を示しており、xi, yi は、それぞれ画像における第iピクセルの水平及び垂直座標を示し、
【０１２６】
【数３２】
2016095854.tif 000034
【０１２７】
は、それぞれ画像における第ｉピクセルの水平及び垂直座標の方向勾配である。
【０１２８】
【数３３】
2016095854.tif 000035
【０１２９】
は、グレイスケール画像に基づいており、x/y 方向導関数が解かれる前に、ビデオにおける第ｎフレームのオリジナルカラー画像が、最初にグレイスケールに変換される必要があることに留意すべきである。カラー画像がグレイスケールに変換されない場合には、方向導関数
【０１３０】
【数３４】
2016095854.tif 000036
【０１３１】
は、３つの部分、すなわち、赤部分、緑部分、青部分に対し別々に解かれる必要があり、最終的な影響は、望ましくない。第ｎフレームにおける第ｉピクセルはniと示され、グレイスケール値は、以下の式に従って解くことができる：
【０１３２】
【数３５】
2016095854.tif 000037
【０１３３】
ピクセルが配置されているフレームの位置ｎと、ピクセルの水平及び垂直座標x及びyが判定された後、ピクセルのインデックス値ｉが一意に決定され、即ち、(ni ,xi ,yi)とiは１対１対応である。x方向における一次導関数
【０１３４】
【数３６】
2016095854.tif 000038
【０１３５】
を得ることができ、同様に、y方向における一次導関数
【０１３６】
【数３７】
2016095854.tif 000039
【０１３７】
を得ることができる。
【０１３８】
代わりに、第４ピクセルの特徴ベクトルに対応する固有空間、第２画像の背景エリアに属するピクセルの特徴ベクトル、及び第２画像の前景エリアに属するピクセルの特徴ベクトルは、ビデオにおける、ピクセルが配置されている画像の相対位置に関する情報、例えば、基準フレーム(例えば、第１フレーム)に対する第２画像の位置に関する情報、をさらに含むことができる。例えば、ビデオにおける第１フレームが基準フレームである場合に、ビデオにおける第２画像の相対位置に関する情報は、現在フレームのフレーム番号Indexframeであり得、即ち、第ｉピクセルの特徴ベクトルは、
【０１３９】
【数３８】
2016095854.tif 000040
【０１４０】
と示すことができる。
【０１４１】
その後、第４ピクセルに最も近いｋ個のピクセルが判定され、ｋは、正の整数である。
【０１４２】
ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、第４ピクセルは、第２画像の前景エリアに属していると判定されるか、又は、前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、第４ピクセルは、第２画像の背景エリアに属していると判定される。
【０１４３】
すなわち、ペンディングピクセルiunが、前景又は背景に属しているかどうか不明である各ペンディングピクセルiunに対し、ピクセルの特徴ベクトル
【０１４４】
【数３９】
2016095854.tif 000041
【０１４５】
から、画像のこのフレームにおけるすべての他の判定された前景ピクセル及び背景ピクセルの特徴ベクトル
【０１４６】
【数４０】
2016095854.tif 000042
【０１４７】
への距離が計算される：
【０１４８】
【数４１】
2016095854.tif 000043
【０１４９】
すべての前景又は背景ピクセルの特徴ベクトルがトラバースされた後、ペンディングピクセルiun に最も近いｋ個のピクセルが選択される。ｋ個のピクセルがすべて前景又は背景に属している場合には、ピクセルiunが前景又は背景に属している不明であるピクセルiunは、前景エリア又は背景エリアに割り当てられる。
【０１５０】
最も近いｋ個のピクセルのすべてが第２画像の前景又は背景エリアに属していないならば、演算は実行されなくてもよいことに留意すべきである。
【０１５１】
すべてのペンディングピクセルiunがトラバースされた後、図６に示されているように、最終トライマップが取得されることができる。
【０１５２】
最終画像マッティングマスク及びマット画像が、トライマップ及び複数の存在する成熟した画像マッティングアルゴリズムを使用することにより得ることができるように、ビデオの画像の各フレーム上で前述のステップが実行されることにより、非常に正確なトライマップが取得される。
【０１５３】
本発明のこの実施形態において、ピクセルを具体化させる３次元固有空間が 多次元固有空間にグレードアップされ、すなわち、ピクセル特徴ベクトルがオリジナルの
【０１５４】
【数４２】
2016095854.tif 000044
【０１５５】
から
【０１５６】
【数４３】
2016095854.tif 000045
【０１５７】
へアップグレードされ、その後、より高精度な画像前景セグメンテーションが実装できるように、ペンディングエリアのサイズは、KNNアルゴリズムを使用することによりさらに減少される。
【０１５８】
先述の処理のシーケンス番号は、実行順序を意味するものではないことを理解すべきである。処理の実行順序は、機能及び処理の内部ロジックによって定められ、本発明の実施形態の実装処理上の任意の制限として解釈すべきでない。
【０１５９】
ここまで、図１から図６を参照しつつ本発明の実施形態による画像処理方法を詳細に説明しているが、以下では図７から図１０を参照しつつ本発明の実施形態による画像処理装置を詳細に説明する。
【０１６０】
図７は、本発明の一実施形態による画像処理装置700の概略ブロック図である。図７に示されているように、装置700は、第１判定ユニット710と、第２判定ユニット720とを具備している。
【０１６１】
第１判定ユニット710は、第１画像における第１エリアの混合ガウスモデルを判定するように構成されており、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである。
【０１６２】
第１エリアは、ユーザによる指示入力に従って決定され得る。
【０１６３】
第１判定ユニット710は、第２画像における第１ピクセルから混合ガウスモデルへの距離を判定するようにさらに構成されている。
【０１６４】
混合ガウスモデルにおける第ｍガウスモデルは、(wm, μm, Σm)と示すことができ、ここで、
【０１６５】
【数４４】
2016095854.tif 000046
【０１６６】
であり、Mは、正の整数、例えばM=3であり、wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示している。
【０１６７】
第２判定ユニット720は、前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するように構成されている。
【０１６８】
したがって、本発明のこの実施形態による画像処理装置において、画像のピクセルから背景エリアの混合ガウスモデルへの距離が判定され、距離がプリセットしきい値以下である場合には、ピクセルは、背景エリアに属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアがピクセルから混合ガウスモデルへの距離に従って直接判定されることができる。
【０１６９】
本発明のこの実施形態において、第２画像がビデオにおける画像の第１フレーム以外の画像である場合には、ビデオにおける画像の第１フレームの背景エリアのためのガウスモデルは、第２画像のためにさらに使用される。これは、本発明のこの実施形態において、ユーザは、ビデオにおける画像の第１フレームに情報を入力することを補助する必要があるだけであり、すべての引き続く処理は、画像の第１フレームのガウスモデルに従って、画像処理装置により、自動的に遂行されることを意味している。これは、手動による入力補助を減らすことができ、少ない作業負荷にし、高効率及び普遍性を達成する。
【０１７０】
第１ピクセルから混合ガウスモデルへの距離は、
【０１７１】
【数４５】
2016095854.tif 000047
【０１７２】
と示すことができ、ここで、(wm, μm, Σm)は、混合ガウスモデルにおける第ｍガウスモデルを表しており、 wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける第ｍガウスモデルの重み、中央値、分散行列を示しており、
【０１７３】
【数４６】
2016095854.tif 000048
【０１７４】
は、第１特徴ベクトルを示しており、
【０１７５】
【数４７】
2016095854.tif 000049
【０１７６】
は、各ガウスモデルの重み、及び、混合ガウスモデルにおけるガウス形状のインパクトを示しており、
【０１７７】
【数４８】
2016095854.tif 000050
【０１７８】
は、マハラノビス距離を示しており、
【０１７９】
【数４９】
2016095854.tif 000051
【０１８０】
であり、ここで、Pr, Pg, 及びPb は、第１ピクセルの赤、緑、青成分のピクセル値をそれぞれ示している。
【０１８１】
任意のピクセル、即ち第ｉピクセルに対し、第ｉピクセルから混合ガウスモデルへの距離は、
【０１８２】
【数５０】
2016095854.tif 000052
【０１８３】
と示すことができることを理解すべきである。
【０１８４】
当業者は、第１ピクセルから混合ガウスモデルへの距離を本発明のこの実施形態に限定されない他の方法を使用することによりさらに判定し得ることに留意すべきである。
【０１８５】
本発明のこの実施形態において、マハラノビス距離を使用しての第１ピクセルから混合ガウスモデルへの距離の計算は、他の方法を使用する計算よりも正確であり、背景エリアの範囲を定めることがより正確にでき、これにより、より正確なトライマップが得られる。
【０１８６】
代わりに、本発明の他の実施形態において、第１判定ユニット710は、第２画像における第２ピクセルから混合ガウスモデルへの距離を判定するようにさらに構成されている。第２判定ユニット720は、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されている。
【０１８７】
第２判定ユニット720は、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
【０１８８】
代わりに、本発明の他の実施形態において、図８に示されているように、装置700は、前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定し、前記予想ベクトルに従って、直交座標空間を判定し、前記予想ベクトルの方向は、前記直交座標空間の一方向であり、前記直交座標空間における前記第２画像における第２ピクセルの投影を判定し、投影は、第１の値、第２の値、及び第３の値を含み、前記第１の値は、前記第２ピクセルの前記予想ベクトルの前記方向における投影であるように構成されている第３判定ユニット730をさらに具備し得る。第２判定ユニット720は、前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されている。
【０１８９】
第２判定ユニット720は、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
【０１９０】
本発明のこの実施形態において、新たな直交座標空間が決定され、前景に属しているピクセルは、画像におけるピクセルの特徴ベクトルの投影に従って、新たな直交座標空間において判定され、したがって、方法100は、異なる単色背景において広く使用されることができる。
【０１９１】
代わりに、本発明の他の実施形態において、図９に示されているように、装置700は、第２画像のペンディングエリアにおいて第４ピクセルを取得するように構成された取得ユニット740をさらに具備し得る。第２判定ユニット720は、ｋ近傍法を使用することにより、前記第４ピクセルが、前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するようにさらに構成されている。
【０１９２】
第２判定ユニット720は、前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトルと、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離を計算し、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を含み、前記第４ピクセルに最も近いｋ個のピクセルを判定し、ｋは、正の整数であり、ｋ個のピクセルのすべてが第２画像の前景エリアに属する場合には、第４ピクセルは、第２画像の前景エリアに属していると判定するか、又は、ｋ個のピクセルのすべてが第２画像の背景エリアに属している場合には、前記第４ピクセルは、第２画像の背景エリアに属していると判定するように特に構成され得る。
【０１９３】
本発明のこの実施形態において、ピクセルを具体化させる３次元固有空間が 多次元固有空間にグレードアップされ、すなわち、ピクセル特徴ベクトルがオリジナルの
【０１９４】
【数５１】
2016095854.tif 000053
【０１９５】
から
【０１９６】
【数５２】
2016095854.tif 000054
【０１９７】
へアップグレードされ、その後、より高精度な画像前景セグメンテーションが実装できるように、ペンディングエリアのサイズは、KNNアルゴリズムを使用することによりさらに減少される。
【０１９８】
本発明のこの実施形態による画像処理装置700は、本発明の実施形態による画像処理方法100における画像処理装置に対応し得、装置700における上記及び他の動作及び／又はモジュールの機能は、図１から図６における方法100の対応する手順を実施するために別々に使用されることは理解すべきである。簡単な説明のために、詳細はここでは再度説明しない。
【０１９９】
図１０は、本発明の他の実施形態による画像処理装置 1000の概略ブロック図である。図１０に示されているように、装置1000は、プロセッサ1010、メモリ1020、及びバスシステム1030を具備している。プロセッサ1010及びメモリ1020は、バスシステム1030を使用することにより接続されており、メモリ1020は、命令を格納するように構成され、プロセッサ1010は、メモリ1020において格納されている命令を実行するように構成されている。
【０２００】
プロセッサ1010は、第１画像における第１エリアの混合ガウスモデルを判定し、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームであり、第２画像における第１ピクセルから混合ガウスモデルへの距離を判定し、第１ピクセルから混合ガウスモデルへの距離が第１プリセットしきい値以下の場合には、第１ピクセルは、第２画像の背景エリアに属していると判定するように構成されている。
【０２０１】
したがって、本発明のこの実施形態による画像処理装置において、ピクセルから背景エリアの混合ガウスモデルへの距離が判定され、距離がプリセットしきい値以下の場合には、ピクセルは、背景エリアに属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定されることができる。
【０２０２】
本発明のこの実施形態において、プロセッサ1010は、中央演算処理装置(Central Processing Unit, CPU)であってよく、プロセッサ1010は、他の汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は他のプログラマブルロジックデバイス、独立したゲート又はトランジスタロジックデバイス、独立ハードウェア構成要素などであってもよいことを理解すべきである。汎用プロセッサは、マイクロプロセッサであってよく、又は、プロセッサは、任意の一般的なプロセッサであってもよい。
【０２０３】
メモリ1020は、読み取り専用メモリ及びランダムアクセスメモリを具備し、プロセッサ1010のために命令及びデータを提供する。メモリ1020の一部は、不揮発性ランダムアクセスメモリをさらに具備してもよい。例えば、メモリ1020は、デバイスタイプに関する情報をさらに格納してもよい。
【０２０４】
バスシステム1030は、データバスを含むほかに、パワーバス、制御バス、ステータス信号バスなどをさらに具備し得る。しかし、明瞭な説明のために、すべてのバスは、図においてバスシステム1030としてマークされている。
【０２０５】
実装処理において、方法の各ステップは、プロセッサ1010におけるハードウェアの集積回路、又はソフトウェアの形式の命令を使用することにより遂行されることができる。本発明の実施形態を参照しながら開示された方法のステップは、ハードウェアプロセッサにより、又はプロセッサにおけるハードウェアとソフトウェアモジュールの組み合わせにより実行されるものとして直接具体化され得る。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル・読み取り専用メモリ、EEP(electronically erasable programmable)メモリ、又はレジスタなどの当該技術分野において成熟したストレージメディアに配置され得る。ストレージメディアは、メモリ1020において配置されており、プロセッサ1010は、メモリ1020における情報を読み取り、ハードウェアなどと組み合わせて方法のステップを遂行する。繰り返しを避けるため、詳細は、ここでは再び説明しない。
【０２０６】
本発明のこの実施形態において、第１エリアは、ユーザによる指示入力に従って決定されうる。第２画像は、ビデオにおける画像の任意のフレームであり得る。
【０２０７】
具体的には、プロセッサ1010は、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
【０２０８】
第１ピクセルから混合ガウスモデルへの距離は、
【０２０９】
【数５３】
2016095854.tif 000055
【０２１０】
と示すことができ、ここで、(wm, μm, Σm)は、混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σm は、それぞれ混合ガウスモデルにおける第ｍガウスモデルの重み、中央値、分散行列を示しており、
【０２１１】
【数５４】
2016095854.tif 000056
【０２１２】
は、第１ピクセルの特徴ベクトルを示している。
【０２１３】
代わりに、本発明の他の実施形態において、プロセッサ1010は、第２画像における第２ピクセルから混合ガウスモデルへの距離を判定し、第２ピクセルから混合ガウスモデルへの距離が第２プリセットしきい値より大きい場合には、第２ピクセルは、第２画像の前景エリアに属していると判定するようにさらに構成され得る。
【０２１４】
プロセッサ1010は、第２ピクセルから混合ガウスモデルへの距離が第２しきい値以下である場合には、第２ピクセルは、第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
【０２１５】
代わりに、本発明の他の実施形態において、プロセッサ1010は、前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定し、予想ベクトルに従って、直交座標空間を判定し、前記予想ベクトルの方向は、前記直交座標空間の一方向であり、直交座標空間における第２画像における第２ピクセルの投影を判定し、投影は、第１の値、第２の値、及び第３の値を具備し、第１の値は、第２ピクセルの予想ベクトルの方向における投影であり、第１の値が第２の値より小さいか、又は第１の値が第３の値より小さい場合には、第２ピクセルは、第２画像の前景エリアに属していると判定するようにさらに構成され得る。
【０２１６】
プロセッサ1010は、第１の値が、第２の値より大きく、かつ、第１の値が、第３の値より大きい場合には、第２ピクセルは、第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
【０２１７】
代わりに、本発明の他の実施形態において、プロセッサ1010は、第２画像のペンディングエリアにおける第４ピクセルを取得し、ｋ近傍法を使用することにより、第４ピクセルが、第２画像の前景エリア又は背景エリアに属しているかどうかを判定するようにさらに構成され得る。
【０２１８】
プロセッサ1010は、第４ピクセルの特徴ベクトルに従って、第２画像の背景エリアに属するピクセルの特徴ベクトル、及び第２画像の前景エリアに属するピクセルの特徴ベクトルと、第４ピクセルと第２画像の背景エリアに属するピクセルとの間の距離、及び第４ピクセルと第２画像の前景エリアに属するピクセルとの間の距離とを計算し、第４ピクセルの特徴ベクトル、第２画像の背景エリアに属するピクセルの特徴ベクトル、及び第２画像の前景エリアに属するピクセルの特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を具備し、第４ピクセルに最も近いｋ個のピクセルを判定し、ｋは、正の整数であり、ｋ個のピクセルのすべてが第２画像の前景エリアに属する場合には、第４ピクセルは、第２画像の前景エリアに属していると判定するか、又は、ｋ個のピクセルのすべてが第２画像の背景エリアに属している場合には、第４ピクセルは、第２画像の背景エリアに属していると判定するように特に構成され得る。
【０２１９】
本発明のこの実施形態による画像処理装置1000は、本発明の実施形態による画像処理方法100及び画像処理装置700における画像処理装置に対応可能であり、装置1000における上記及び他の動作及び／又はモジュールの機能は、図１から図６における方法100の対応する手順を実施するために別々に使用されることは理解すべきである。簡単な説明のために、詳細はここでは再度説明しない。
【０２２０】
したがって、本発明のこの実施形態による画像処理装置において、ピクセルから背景エリアの混合ガウスモデルへの距離が判定され、距離がプリセットしきい値以下の場合には、ピクセルは、背景エリアに属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定されることができる。
【０２２１】
当業者は、この明細書において開示された実施形態において説明された実施例を組み合わせて、ユニット及びアルゴリズムステップは、電子的ハードウェア又はコンピュータソフトウェアと電子的ハードウェアの組み合わせにより実施され得るということに気づき得る。機能が、ハードウェア又はソフトウェアにより実行されるかどうかは、特定のアプリケーション及び設計の技術的ソリューションの拘束条件に依存する。当業者は、各特定のアプリケーションに対して説明した機能を実施するために異なる方法を使用可能であるが、これはその実施が本発明の範囲を超えているものとみなすべきではない。
【０２２２】
便利で簡単な説明の目的のため、前述のシステム、装置、及びユニットの詳細な作業工程に対しては、上述の方法の実施形態における対応する処理を参照し、ここでは再び説明されていないことは、当業者であれば明確に理解し得る。
【０２２３】
本明細書において提供されているいくつかの実施形態において、開示されているシステム、装置、及び方法は、他の方法において実施されてもよいことは理解されるべきである。例えば、説明された装置の実施形態は、単なる例示である。例えば、ユニットの区分は、単に論理機能による区分であり、実際の実装において他の区分であってよい。例えば、複数のユニット又は構成要素は、組み合わされるか、又は他のシステムに統合されてよく、又はいくつかの機能は無視又は実施されなくてもよい。加えて、示された、又は論じられた相互結合又は直接結合又は通信接続は、いくつかのインターフェースを通じて実施され得る。装置又はユニット間の間接結合又は通信接続は、電子的、機械的、又は他の形状により実施されてよい。
【０２２４】
別個の部分として説明されたユニットは、物理的に別個であってもなくてもよく、ユニットとして示された部分は、物理的なユニットであってもなくてもよく、一か所において配置されることも、又は複数のネットワークユニット上に分配されてもよい。ユニットのいくつか又はすべては、実施形態のソリューションの目的を達成するための実際の必要性に従って選択され得る。
【０２２５】
加えて、本発明の実施形態による機能ユニットは、１つの処理ユニットに統合されることができ、又はユニットのそれぞれが、物理的に単体で存在してよく、又は２つ以上のユニットが１つのユニットに統合されてもよい。
【０２２６】
機能がソフトウェア機能ユニットの形において実装されるとともに独立した製品として販売又は使用される場合には、機能は、コンピュータ可読記録媒体に格納されてよい。このような理解に基づいて、本発明の技術的ソリューションは本質的に、又は、従来技術に寄与する部分、又は技術的ソリューションのいくつかは、ソフトウェア製品の形において実施され得る。ソフトウェア製品は、ストレージメディアにおいて格納され、本発明の実施形態において説明された方法のステップの全て又はいくつかを実行するためにコンピュータデバイスに命令するためのいくつかの命令を備えている。前述のストレージメディアは、USBフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ(ROM, Read-Only Memory)、ランダムアクセスメモリ(RAM, Random Access Memory)、磁気ディスク、又は光ディスクなどのプログラムコードを格納可能な任意のメディアを含む。
【０２２７】
上記の説明は本発明の例示的な特定の実施方法にすぎないが、本発明の保護範囲を限定するものではない。本発明において開示された技術的範囲内において当業者によって行われるいかなる変形または置換も、本発明の保護範囲内に入るものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
【符号の説明】
【０２２８】
７００  画像処理装置
７１０  第１判定ユニット
７２０  第２判定ユニット
７３０  第３判定ユニット
７４０  取得ユニット
１０００  画像処理装置
１０１０  プロセッサ
１０２０  メモリ
１０３０  バスシステム
【図１】
2016095854.tif 000061
【図２】
2016095854.tif 000062
【図３】
2016095854.tif 000063
【図５】
2016095854.tif 000064
【図７】
2016095854.tif 000065
【図８】
2016095854.tif 000066
【図９】
2016095854.tif 000067
【図１０】
2016095854.tif 000068
【図４】
2016095854.tif 000069
【図６】
2016095854.tif 000070
【外国語明細書】
2016095854000001.pdf