(57)【要約】【課題】本発明の実施例は、画像処理方法及び装置を開示した。【解決手段】該方法は、ビデオの各フレームの画像に対して輝度調整を行うことと、輝度調整された各フレームの画像に対してオフセット補償を行うことと、オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うこととを含む。該実施例の解決手段によれば、ビデオに存在する輝度又は色揺れを効果的に解消する。【選択図】図１
2020031422.tif 000002
【特許請求の範囲】
【請求項１】
ビデオの各フレームの画像に対して輝度調整を行うことと、
輝度調整された各フレームの画像に対してオフセット補償を行うことと、
オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うこととを含む画像処理方法。
【請求項２】
前記ビデオの各フレームの画像に対して輝度調整を行うことは、
前記各フレームの画像に対して、
赤色Ｒチャネル、緑色Ｇチャネル及び青色Ｂチャネルの３つの色チャネルの色平均値をそれぞれ統計する処理と、
予め設定された第１のフィルタリングスキームを採用して、それぞれ各色チャネルの色平均値に基づいて対応する色チャネルに対して第１の時間領域フィルタリングを行う処理とをそれぞれ行うことを含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記輝度調整された各フレームの画像に対してオフセット補償を行うことは、予め設定されたオフセット補償アルゴリズムを採用して、輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得し、前記オフセットを補償することにより、前記ビデオの任意の隣接する２つのフレームの画像の同じ画像座標での画像コンテンツを一致させることを含むことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うことは、予め設定された第２のフィルタリングスキームを採用して、各フレームのビデオ画像における各画素に対して第２の時間領域フィルタリングを行うことにより、現フレームの画像と現フレームより前のフレームの画像との線形重畳を行うことを含むことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
輝度調整された各フレームの画像に対してオフセット補償を行った後、画像に移動物体が含まれるか否かを判断することをさらに含むことを特徴とする請求項３に記載の画像処理方法。
【請求項６】
前記画像に移動物体が含まれるか否かを判断することは、
現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第１のブロック化画像を取得することと、
予め設定された差異計算アルゴリズムに基づいて、前記現フレームの画像と前記直前フレームの画像における対応する２つの第１のブロック化画像の差異をそれぞれ計算することと、
前記２つの第１のブロック化画像の差異を予め設定された差異閾値と比較することと、
前記２つの第１のブロック化画像の差異が前記差異閾値以上である場合、前記２つの第１のブロック化画像が類似しないと判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれると判定し、前記２つの第１のブロック化画像の差異が前記差異閾値より小さい場合、前記２つの第１のブロック化画像が類似すると判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれないと判定することとを含むことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得することは、
輝度調整された現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第２のブロック化画像を取得することと、
前記現フレームの画像と前記直前フレームの画像における対応する２つの第２のブロック化画像間のオフセットをそれぞれ計算することと、
前記複数の第２のブロック化画像から移動物体を含む第２のブロック化画像を排除し、残りの第２のブロック化画像のオフセットの平均値を前記現フレームの画像と前記直前フレームの画像との間のオフセットとすることとを含むことを特徴とする請求項３に記載の画像処理方法。
【請求項８】
いずれかのフレームの画像に移動物体が含まれると判断した後、前記移動物体が含まれる画像領域の画素値が１で、前記移動物体が含まれない画像領域の画素値が０である該フレームの画像のマスク画像を生成することと、
予め設定された融合アルゴリズムに基づいて、前記マスク画像を用いて、画素に前記時間領域フィルタリングが行われた対応するフレームの画像と、画素に時間領域フィルタリングが行われなかった対応するフレームの画像とを融合させることにより、前記移動物体が含まれる前記画像領域を保持することとをさらに含むことを特徴とする請求項６に記載の画像処理方法。
【請求項９】
融合された各フレームの画像に対して空間領域フィルタリングを行うことをさらに含むことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
プロセッサと、命令が記憶されているコンピュータ可読記憶媒体とを含む画像処理装置であって、
前記プロセッサにより前記命令が実行されると、請求項１〜９のいずれか１項に記載の画像処理方法が実現されることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は、画像処理技術に関し、特に画像処理方法及び装置に関する。
【背景技術】
【０００２】
光源が安定しない（例えば日常照明では、電源が交流であるため、光源の輝度は交流の振幅の変動に伴って変化する）ため、カメラ（デジタルカメラ、携帯電話のカメラなどを含む）で撮影されたビデオには、光源の変化に伴ってフレームとフレームとの間の明暗揺れひいては色揺れ現象が発生する。このような現象は、特に撮影フレームレート（ビデオを撮影する時に用いられるフレームレートで、ビデオを再生する時に用いられるフレームレートと区別するもの）が高フレームレート（毎秒２４０フレーム以上）であるビデオの場合に非常に顕著である。
【０００３】
現在、光源の周波数が６０Ｈｚで、フレームレートが毎秒２４０フレームであるビデオに対して、隣接する２つのフレームを重畳平均することによりビデオの輝度及び色揺れ現象を明らかに改善することができる。原理上、撮影フレームレートが光源の周波数の整数倍であるビデオであればいずれも隣接する複数のフレームを重畳する方法により輝度揺れ現象（ビデオの各フレームの画像の平均輝度又は画像における各画素の輝度がフレーム数の変化に伴って明暗揺れを起こす現象）及び色揺れ現象（各色チャネルの輝度揺れの不一致により色が輝度揺れに伴って変化する現象）を改善することができる。
【０００４】
しかしながら、該解決手段は、撮影フレームレートが光源の周波数の整数倍であるビデオのみに対して明らかな効果を有し、他のビデオに対して効果が明らかではない。また、該方法により処理されたビデオには、ビデオを撮影する時に高速移動物体が存在する場合、移動物体のゴーストが発生する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施例は、ビデオに存在する輝度又は色揺れを解消可能な画像処理方法及び装置を提供する。
【課題を解決するための手段】
【０００６】
（１）本発明の１つの実施例において、ビデオの各フレームの画像に対して輝度調整を行うことと、輝度調整された各フレームの画像に対してオフセット補償を行うことと、オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うこととを含む画像処理方法を提供する。
【０００７】
（２）前記ビデオの各フレームの画像に対して輝度調整を行うことは、前記各フレームの画像に対して、赤色Ｒチャネル、緑色Ｇチャネル及び青色Ｂチャネルの３つの色チャネルの色平均値をそれぞれ統計する処理と、予め設定された第１のフィルタリングスキームを採用して、それぞれ各色チャネルの色平均値に基づいて対応する色チャネルに対して第１の時間領域フィルタリングを行う処理をそれぞれ行うことを含む（１）に記載の画像処理方法。
【０００８】
（３）前記輝度調整された各フレームの画像に対してオフセット補償を行うことは、予め設定されたオフセット補償アルゴリズムを採用して、輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得し、前記オフセットを補償することにより、前記ビデオの任意の隣接する２つのフレームの画像の同じ画像座標での画像コンテンツを一致させることを含む（１）に記載の画像処理方法。
【０００９】
（４）前記オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うことは、予め設定された第２のフィルタリングスキームを採用して各フレームのビデオ画像における各画素に対して第２の時間領域フィルタリングを行うことにより、現フレームの画像と現フレームより前のフレームの画像との線形重畳を行うことを含む（１）に記載の画像処理方法。
【００１０】
（５）輝度調整された各フレームの画像に対してオフセット補償を行った後、画像に移動物体が含まれるか否かを判断することをさらに含む（３）に記載の画像処理方法。
【００１１】
（６）前記画像に移動物体が含まれるか否かを判断することは、現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第１のブロック化画像を取得することと、予め設定された差異計算アルゴリズムに基づいて、前記現フレームの画像と前記直前フレームの画像の対応する２つの第１のブロック化画像の差異をそれぞれ計算することと、前記２つの第１のブロック化画像の差異を予め設定された差異閾値と比較することと、前記２つの第１のブロック化画像の差異が前記差異閾値以上である場合、前記２つの第１のブロック化画像が類似しないと判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれると判定し、前記２つの第１のブロック化画像の差異が前記差異閾値より小さい場合、前記２つの第１のブロック化画像が類似すると判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における、対応する画像領域に移動物体が含まれないと判定することとを含む（５）に記載の画像処理方法。
【００１２】
（７）前記輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得することは、輝度調整された現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第２のブロック化画像を取得することと、前記現フレームの画像と前記直前フレームの画像における対応する２つの第２のブロック化画像間のオフセットをそれぞれ計算することと、前記複数の第２のブロック化画像から移動物体を含む第２のブロック化画像を排除し、残りの第２のブロック化画像のオフセットの平均値を前記現フレームの画像と前記直前フレームの画像との間のオフセットとすることとを含む（３）に記載の画像処理方法。
【００１３】
（８）いずれかのフレームの画像に移動物体が含まれると判断した後、前記移動物体が含まれる画像領域の画素値が１で、前記移動物体が含まれない画像領域の画素値が０である該フレームの画像のマスク画像を生成することと、予め設定された融合アルゴリズムに基づいて、前記マスク画像を用いて、画素に前記時間領域フィルタリングが行われた対応するフレームの画像と、画素に時間領域フィルタリングが行われなかった対応するフレームの画像とを融合させることにより、前記移動物体が含まれる前記画像領域を保持することとをさらに含む（６）に記載の画像処理方法。
【００１４】
（９）融合した各フレームの画像に対して空間領域フィルタリングを行うことをさらに含むことを特徴とする（８）に記載の画像処理方法。
【００１５】
（１０）本発明の別の実施例において、プロセッサと、命令が記憶されているコンピュータ可読記憶媒体とを含む画像処理装置であって、前記プロセッサにより前記命令が実行されると、（１）〜（９）のいずれか１項に記載の画像処理方法が実現されることを特徴とする画像処理装置を提供する。
【発明の効果】
【００１６】
本発明の実施例は、ビデオの各フレームの画像に対して輝度調整を行うことと、輝度調整された各フレームの画像に対してオフセット補償を行うことと、オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うこととを含む。該実施例の解決手段によれば、ビデオに存在する輝度又は色揺れを効果的に解消する。
【００１７】
本発明の実施例の他の特徴及び利点は以下の明細書に説明され、かつ、部分的に明細書から明らかになるか、又は本発明を実施することにより理解される。本発明の実施例の目的及び他の利点は、明細書、特許請求の範囲及び図面に特に指摘された構造により実現することができる。
【図面の簡単な説明】
【００１８】
図面は、本発明の技術的解決手段をさらに理解するためのものであり、かつ明細書の一部を構成し、本願の実施例と共に本発明の技術的解決手段を解釈するためのものであり、本発明の技術的解決手段を限定するものではない。
【００１９】
【図１】本発明の実施例に係る画像処理方法のフローチャートである。
【図２】本発明の実施例に係るビデオの各フレームの画像に対して輝度調整を行う方法のフローチャートである。
【図３】本発明の実施例に係る輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得する方法のフローチャートである。
【図４】本発明の実施例に係る画像に移動物体が含まれるか否かを判断する方法のフローチャートである。
【図５】本発明の実施例に係る移動物体が含まれる画像を画像融合させる方法のフローチャートである。
【図６】本発明の実施例に係るビデオ画像が縮小された上でビデオ画像を処理する方法のフローチャートである。
【図７】本発明の実施例に係る画像処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
本発明の目的、技術的解決手段及び利点をより明らかにするために，以下、図面を参照しながら本発明の実施例を詳細に説明する。なお、本願における実施例と実施例における特徴は、矛盾しない限り、互いに任意に組み合わせることができる。
【００２１】
図面のフローチャートに示されるステップは、一組のコンピュータ実行可能な命令を含むコンピュータシステムにおいて実行することができる。かつ、フローチャートにおいて論理的な順序が示されるが、いくつかの場合では、それとは異なる順序で、示されるか又は説明されるステップを実行してもよい。
【００２２】
（実施例１）
画像処理方法は、図１に示すように、Ｓ１０１〜Ｓ１０３を含むことができる。
【００２３】
Ｓ１０１、ビデオの各フレームの画像に対して輝度調整を行う。
【００２４】
Ｓ１０２、輝度調整された各フレームの画像に対してオフセット補償を行う。
【００２５】
Ｓ１０３、オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行う。
【００２６】
本発明の実施例において、ビデオの各フレームの画像に対して、まず全体の輝度調整を行い、その後に画像マッチングを実施し、すなわち輝度調整された各フレームの画像に対してオフセット補償を行い、画像マッチングの結果に基づいて時間領域フィルタリングを行って、高速撮影ビデオの変動光源下で発生する輝度揺れ現象を効果的に低減し、ビデオに存在する輝度又は色揺れを解消する。
【００２７】
本発明の実施例において、具体的な輝度調整、画像マッチング及び時間領域フィルタリングの方法、アルゴリズム及び装置はいずれも制限されず、異なる応用シーンに基づいて、従来の任意の方法、アルゴリズム又は装置により実現することができる。
【００２８】
なお、本発明の実施例において、該実施例の解決手段は、高フレームレート（例えば毎秒２４０フレーム以上のフレームレート）に適用することができ、フレームレートが毎秒２４０フレーム以上、毎秒９６０フレーム以下のビデオを含むが、それらに限定されない。光源の周波数は、６０ＨＺ及び５０ＨＺを含むが、それらに限定されない。本発明の実施例の解決手段を採用可能な任意のビデオはいずれも本発明の実施例の保護範囲内にある。
【００２９】
（実施例２）
該実施例は実施例１を基に、輝度調整の具体的な実施形態を示す。
【００３０】
本発明の実施例において、図２に示すように、前記ビデオの各フレームの画像に対して輝度調整を行うことは、前記各フレームの画像に対して以下のステップＳ２０１〜Ｓ２０２の処理をそれぞれ行うことを含むことができる。
【００３１】
Ｓ２０１、それぞれ赤色Ｒチャネル、緑色Ｇチャネル及び青色Ｂチャネルの３つの色チャネルの色平均値を統計する。
【００３２】
Ｓ２０２、予め設定された第１のフィルタリングスキームを採用して、それぞれ各色チャネルの色平均値に基づいて、対応する色チャネルに対して第１の時間領域フィルタリングを行う。
【００３３】
本発明の実施例において、各フレームの画像に対して、３つの色チャネルの色平均値をそれぞれ統計し、現フレームの画像のＲＧＢの３つの色チャネルの色平均値をそれぞれＲｔ、Ｇｔ、Ｂｔとする。予め設定された第１のフィルタリングスキームを採用して、それぞれ３つの色チャネルの色平均値に対して第１の時間領域フィルタリングを行うことができる。
【００３４】
本発明の実施例において、該第１のフィルタリングスキームは、有限インパルス応答フィルタ又は無限インパルス応答フィルタを含むが、それらに限定されない。
【００３５】
本発明の実施例において、ここでＲｔを例としてどのように有限インパルス応答フィルタにより時間領域フィルタリングを行うかを説明する。現フレームの画像よりｉフレーム前の画像のＲチャネルの色平均値をＲｔ−ｉとし、Ｒチャネルの色平均値に対する時間領域フィルタリングは、以下の関係式で説明することができる。
【数１】
2020031422.tif 000003
ここで、Ｒｔ_ｔｆはＲチャネルの時間領域フィルタリングの結果であり、βｉはフィルタリング係数である。ω＝Ｒｔ_ｔｆ／Ｒｔとし、現フレームの画像における各画素のＲチャネルの画素値にωを乗算し、該フレームの画像における各画素のＲチャネルの画素値とする。
【００３６】
本発明の実施例において、他のチャネル（Ｇチャネル及びＢチャネル）に対して同様の処理を行うことにより、現フレームの画像における各画素の各色チャネルの色平均値に対する時間領域フィルタリングを実現し、また、時間領域フィルタリングした結果を利用して各画素の各色チャネルの画素値を調整し、それによりビデオの各フレームの画像に対する輝度調整を実現し、ここで重複説明を省略する。
【００３７】
（実施例３）
該実施例は実施例１又は実施例２を基に、画像マッチングの具体的な実施形態を示す。
【００３８】
本発明の実施例において、前記輝度調整された各フレームの画像に対してオフセット補償を行うことは、予め設定されたオフセット補償アルゴリズムを採用して、輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得し、前記オフセットを補償することにより、前記ビデオの任意の隣接する２つのフレームの画像の同じ画像座標での画像コンテンツを一致させることを含むことができる。
【００３９】
本発明の実施例において、カメラのぶれ（例えば手でカメラを持つ時の手ぶれによるカメラのぶれ）に起因し、現フレームの画像は直前フレームの画像に対して一定のオフセットを有し、このように２つのフレームの画像の同じ画像座標での画像コンテンツが一致しないことを引き起こし、このような現象は後続の画像の時間領域フィルタリングに悪影響を与える。オフセットの他にカメラの回転が存在する可能性もあるが、隣接する２つのフレームの画像のみを考慮すれば、カメラの回転を無視することができる。画像マッチングの目的は画像間のオフセットを見つけ、オフセットの補償により、画像コンテンツが一致しないという現象を解消することである。
【００４０】
本発明の実施例において、ビデオの任意の隣接する２つのフレームの画像の同じ画像座標での画像コンテンツが一致することは、任意の隣接する２つのフレームの画像の間では、画像コンテンツが同じである任意の２つの領域の同じ画像座標での位置が同じであるか、又は、位置の偏差量が予め設定された偏差閾値以下であることを指すことができる。
【００４１】
本発明の実施例において、該オフセット補償アルゴリズムは、テンプレートマッチングアルゴリズム及び／又は特徴点に基づくマッチングアルゴリズムを含むが、それらに限定されず、以下、それぞれ２種類のオフセット補償アルゴリズムを詳細に説明する。
【００４２】
本発明の実施例において、最も簡単なオフセット補償アルゴリズムは典範的なテンプレートマッチングアルゴリズムであってもよい。その基本原理を以下のように簡単に説明することができる。参照画像からテンプレート画像の大きさと同じ領域を切り出して、切り出し画像とし、テンプレート画像を切り出し画像と比較して、それらの差異を計算する。そのうち、画像の差異を評価する技術指標は、正規化相互相関、平均絶対差、誤差二乗和及び絶対誤差和などを含むが、それらに限定されない。切り出し画像の参照画像における開始位置の範囲を人為的に設定し、この範囲内の全ての切り出し画像とテンプレート画像との差異を計算し、最小差異に対応する切り出し画像の開始位置をテンプレート画像及び参照画像のオフセットとすることができる。
【００４３】
本発明の実施例において、特徴点に基づくマッチングアルゴリズムの基本原理を以下のように簡単に説明することができる。マッチング対象の２つの画像から特徴点をそれぞれ抽出し、特徴点マッチングアルゴリズムにより特徴点マッチングペアを求め、これらの特徴点マッチングペアに基づいて２つの画像間のオフセットを計算する。
【００４４】
本発明の実施例において、特徴点を抽出するアルゴリズムも複数種あり、例えば、典範的なＳＩＦＴアルゴリズム（ＳＩＦＴ、すなわちＳｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ、スケール不変特徴変換）、ＨＡＲＲＩＳアルゴリズムなどを含むが、それらに限定されない。
【００４５】
本発明の実施例において、特徴点マッチングアルゴリズムはＳＩＦＴアルゴリズム、ＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ、スピードアップロバスト特性）アルゴリズムなどを含むが、それらに限定されない。
【００４６】
本発明の実施例において、これらの特徴点マッチングに基づいて２つの画像間のオフセットを計算する他、特徴点のオプティックフローを求め（例えば、典範的なＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを採用する）、異常なオプティックフローを排除する（簡単な方法としては、１つの閾値を設定し、この閾値以上のオプティックフローを異常なオプティックフローとし、この閾値未満のオプティックフローを非異常オプティックフローとする）ことにより、残りの特徴点のオプティックフローを平均して画像全体のオフセットとすることができる。
【００４７】
（実施例４）
該実施例は実施例３を基に、移動物体のオフセット補償過程への影響を解消するために、画像のオフセットを取得する別の具体的な実施形態を示す。
【００４８】
本発明の実施例において、図３に示すように、前記輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得することは、以下のＳ３０１〜Ｓ３０３を含むことができる。
【００４９】
Ｓ３０１、輝度調整された現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第２のブロック化画像を取得する。
【００５０】
Ｓ３０２、前記現フレームの画像と前記直前フレームの画像における対応する２つの第２のブロック化画像間のオフセットをそれぞれ計算する。
【００５１】
Ｓ３０３、前記複数の第２のブロック化画像から移動物体を含む第２のブロック化画像を排除するとともに、残りの第２のブロック化画像のオフセットの平均値を前記現フレームの画像と前記直前フレームの画像との間のオフセットとする。
【００５２】
本発明の実施例において、移動物体のオフセット補償への影響を解消するために、まず画像をブロック化し、各画像ブロック（すなわち、上記第２のブロック化画像）に対応するオフセットをそれぞれ計算し、次に移動物体の影響を受ける画像ブロックを排除し、その他の画像ブロックのオフセットの平均値を求めて画像全体のオフセットとする。
【００５３】
（実施例５）
該実施例は実施例３又は実施例４を基に、オフセット補償されたビデオに対してさらなる時間領域フィルタリングを行う具体的な実施形態を示す。
【００５４】
本発明の実施例において、前記オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うことは、予め設定された第２のフィルタリングスキームを採用して、各フレームのビデオ画像における各画素に対して第２の時間領域フィルタリングを行うことにより、現フレームの画像と現フレームより前の画像との線形重畳を行うことを含むことができる。
【００５５】
本発明の実施例において、該ステップにおける時間領域フィルタリング（すなわち第２の時間領域フィルタリング）はステップＳ１０１における時間領域フィルタリング（すなわち第１の時間領域フィルタリング）と類似し、相違点は該ステップにおいて各画素毎に時間領域フィルタリングを行うことである。
【００５６】
なお、本発明の実施例において、該第１の時間領域フィルタリング及び第２の時間領域フィルタリングは２つの異なるステップにおける時間領域フィルタリングを区別するためのものに過ぎず、２回の時間領域フィルタリングの具体的なスキーム及び実施順序などを制限するためのものではない。第１の時間領域フィルタリングと第２の時間領域フィルタリングは同じ又は異なる時間領域フィルタリングスキームを採用することができる。
【００５７】
本発明の実施例において、該第２のフィルタリングスキームは、有限インパルス応答フィルタ又は無限インパルス応答フィルタを含むが、それらに限定されない。
【００５８】
本発明の実施例において、以下、有限インパルス応答フィルタによるフィルタリングを例として詳細に説明する。具体的には、有限インパルス応答フィルタによるフィルタリングは、下記関係式で実現することができる。
【数２】
2020031422.tif 000004
ここで、Ｉｔは現フレームの画像であり、Ｉｔ−ｉは現フレームの画像よりｉフレーム前の画像であり、Ｉ１はビデオの第１のフレームの画像であり、Ｉｔ_ｔｆは時間領域フィルタリングの結果であり、（ｘ、ｙ）は画像画素座標であり、αｉはフィルタリング係数である。
【００５９】
本発明の実施例において、ビデオの各フレームのフレーム画像に対して時間領域フィルタリングを行い、フィルタリングした結果は現フレームの画像と過去フレームの画像（すなわち現フレームより前の画像）との線形重畳である。
【００６０】
（実施例６）
該実施例は実施例３又は実施例４を基に、ビデオ中の移動物体がぼやけないか又はゴースト現象が発生しないように、かつ、上記実施例の４種類の解決手段を円滑に実施するように、画像に移動物体が含まれるか否かを判断する実施例の解決手段を示し、具体的な実施形態を示す。
【００６１】
本発明の実施例において、前記方法は、輝度調整された各フレームの画像に対してオフセット補償を行った後、画像における移動物体を判断することをさらに含むことができる。
【００６２】
本発明の実施例において、図４に示すように、前記画像に移動物体が含まれるか否かを判断することは、以下のＳ４０１〜Ｓ４０４を含むことができる。
【００６３】
Ｓ４０１、現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第１のブロック化画像を取得する。
【００６４】
Ｓ４０２、予め設定された差異計算アルゴリズムに基づいて、前記現フレームの画像と前記直前フレームの画像における対応する２つの第１のブロック化画像の差異をそれぞれ計算する。
【００６５】
Ｓ４０３、前記２つの第１のブロック化画像の差異を予め設定された差異閾値と比較する。
【００６６】
Ｓ４０４、前記２つの第１のブロック化画像の差異が前記差異閾値以上である場合、前記２つの第１のブロック化画像が類似しないと判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれると判定し、前記２つの第１のブロック化画像の差異が前記差異閾値より小さい場合、前記２つの第１のブロック化画像が類似すると判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれないと判定する。
【００６７】
本発明の実施例において、現フレームの画像と直前フレームの画像を比較する前に、まず現フレームの画像と直前フレームの画像をブロック化し、各小ブロック内で、現フレームの画像と直前フレームの画像との間の差異を計算し（該差異の取得は、正規化相互相関、平均絶対差、誤差二乗和及び絶対誤差和などのアルゴリズムで実現されてもよいがそれらに限定されない）、この２つのフレームの画像がこの小ブロック内で類似するか否かを判断するための１つの閾値を予め設定することができ、差異が該閾値以上である場合に類似しないと判断し、そうでない場合に類似すると判断することができる。判断結果が類似しないことを示す場合、該領域に移動物体が含まれると判断することができ、そうでない場合に該領域に移動物体が含まないと判断することができる。
【００６８】
なお、本発明の実施例において、該実施例における第１のブロック化画像と前述の実施例における第２のブロック化画像は２つの異なる呼称又は符号に過ぎず、異なる目的のための２回のブロック化動作において取得されたブロック化画像を主に区別し、混乱を避けるためのものであり、いかなる順番、大きさなどの属性の区別もない。
【００６９】
なお、本発明の実施例において、該ステップは、輝度調整された各フレームの画像に対してオフセット補償を行った後に行ってもよいし、輝度調整された各フレームの画像に対してオフセット補償を行う前に行ってもよく、その具体的な実施時間及び順序を詳細に制限しない。
【００７０】
（実施例７）
該実施例は実施例６を基に、ビデオ中の移動物体がぼやけないか又はゴースト現象が発生しないように、さらなる具体的な実施形態を示す。
【００７１】
本発明の実施例において、図５に示すように、該方法はさらにＳ５０１〜Ｓ５０２を含むことができる。
【００７２】
Ｓ５０１、いずれかのフレームの画像に移動物体が含まれると判断した後、前記移動物体が含まれる画像領域の画素値が１で、前記移動物体が含まれない画像領域の画素値が０である該フレームの画像のマスク画像を生成する。
【００７３】
Ｓ５０２、予め設定された融合アルゴリズムに基づいて、前記マスク画像を用いて、画素に前記時間領域フィルタリング（すなわち第２の時間領域フィルタリング）が行われた対応するフレームの画像と、画素に時間領域フィルタリング（すなわち第２の時間領域フィルタリング）が行われなかった対応するフレームの画像とを融合させることにより、前記移動物体が含まれる前記画像領域を保持する。
【００７４】
本発明の実施例において、いずれかのフレームの画像に移動物体が含まれると判断した場合、該運動画像の、二値画像であるマスク画像Ｍｔを１つ生成してよく、そのうち、移動物体がある領域の画素値が１であり、移動物体がない領域の画素値が０である。
【００７５】
本発明の実施例において、移動物体判断の結果に基づいて、マスク画像Ｍｔを用いて、時間領域フィルタリングを経た対応するフレームの画像と、画素に時間領域フィルタリングが行われなかった対応するフレームの画像とを融合させることにより、移動物体が含まれる画像領域を保持することができ、それにより時間領域フィルタリングによる移動物体のぼやけ、ゴーストなどの現象を解消する。
【００７６】
本発明の実施例において、画素に前記時間領域フィルタリング（すなわち第２の時間領域フィルタリング）が行われた対応する当該フレーム画像、及び、画素に時間領域フィルタリングが行われなかった対応する当該フレーム画像は、いずれも上記マスク画像に対応するフレームの画像を指す。
【００７７】
本発明の実施例において、該マスク画像Ｍｔに基づいて下記関係式で画像融合を実現することができる。
【数３】
2020031422.tif 000005
ここで、Ｉｂは融合された結果であり、Ｉｔ_ｔｆは画像の時間領域フィルタリングの結果であり、Ｉｔは現フレームの画像であり、ｘ、ｙは画像の座標である。
【００７８】
本発明の実施例において、上記関係式により、時間領域フィルタリングが行われた現フレームの画像と時間領域フィルタリングが行われなかった現フレームの画像との簡単な重ね合わせを実現することができ、すなわち移動物体が含まれる領域は現フレームの画像の画素値を採用するのに対し、移動物体が含まれない領域は時間領域フィルタリングが行われて得られた結果の画素値を採用する。
【００７９】
本発明の実施例において、該予め設定された融合アルゴリズムは、典範的なラプラシアンピラミッド融合アルゴリズムをさらに含むことができる。
【００８０】
本発明の実施例において、典範的なラプラシアンピラミッド融合アルゴリズムの基本原理は以下のとおりである。まず一連のぼやけた画像Ｇ０、Ｇ１…Ｇｎを生成し、ここでＧ０が原画像であり、後の各層の画像Ｇｉはいずれも上層の画像Ｇｉ−１に対して畳み込みブラー（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｂｌｕｒｒｉｎｇ）及びダウンサンプリングを行うことにより生成され、例えばＧ１はＧ０に対して畳み込みブラー及びダウンサンプリングを行うことにより得られ、畳み込みブラーカーネルは一般的にガウシアンカーネルが用いられるため、この一連の画像はガウシアンピラミッドとも呼ばれる。ぼやけた画像シーケンスがガウシアンブラーカーネルによって生成されない場合があるが、説明を簡単にするために、ここでぼやけた画像Ｇ０、Ｇ１…Ｇｎのシーケンスをガウシアンピラミッドで表す。ラプラシアンピラミッドをＬ０、Ｌ１…Ｌｎと表記する場合、ラプラシアンピラミッドの各層の画像は、Ｌｉ＝Ｇｉ-ｅｘｐａｎｄ（Ｇｉ＋１）という等式により得られてよい。ここでｅｘｐａｎｄ関数はアップサンプリングとして理解することができる。すなわち、ラプラシアンピラミッドの各層は、いずれもガウシアンピラミッドにおける該層に対応する画像からガウシアンピラミッドにおける次の層の画像のアップサンプリングされた画像を減算して得られる。最後の層Ｌｎ＝Ｇｎに注意すべきである。ラプラシアンピラミッドにより画像を再構成することは上記過程の逆過程である。したがって、ラプラシアンピラミッドにより融合するステップを以下のように説明する。
【００８１】
１、時間領域フィルタリングの結果Ｉｔ_ｔｆと現フレームＩｔに対してラプラシアンピラミッドを構築し、それぞれＬＩｔ_ｔｆとＬＩｔとする。
【００８２】
２、マスク画像Ｍｔに対してガウシアンピラミッドを構築し、ＧＭｔと記す。
【００８３】
３、新たなラプラシアンピラミッドＬＳを構築する。
【数４】
2020031422.tif 000006
ここでｌはピラミッドの層数の下付き文字であり、正整数であり、ｘ，ｙは画像の座標である。
【００８４】
４、ＬＳ再構成画像により結果画像を得る。
【００８５】
（実施例８）
該実施例は実施例７を基に、以上のステップを経て残された残像を除去するために、さらなる具体的な実施形態を示す。
【００８６】
本発明の実施例において、前記方法は、融合された各フレームの画像に対して空間領域フィルタリングを行うことをさらに含むことができる。
【００８７】
本発明の実施例において、時間領域フィルタリングとは、フレームとフレームとの間のフィルタリングであり、空間領域フィルタリングとは、単一のフレームの画像をフィルタリングすることを指し、主な目的は以上のステップを経て残された残像を除去することである。
【００８８】
本発明の実施例において、空間領域フィルタリング方法は、例えばガイデットフィルタ（ｇｕｉｄｅｄ  ｆｉｌｔｅｒ）、バイラテラルフィルタ（ｂｉｌａｔｅｒａｌ  ｆｉｌｔｅｒ）などのエッジ保存フィルタ（ｅｄｇｅ  ｐｒｅｓｅｒｖｅｄ  ｆｉｌｔｅｒ）を含むが、それらに限定されない。画像融合の結果に対して画像の空間領域フィルタリングを行って最終的な結果を得る。
【００８９】
（実施例９）
該実施例は上記任意の実施例を基に、ビデオ画像を縮小した上でビデオ画像を処理する具体的な実施形態を示す。
【００９０】
本発明の実施例において、実施例９は実施例１〜８の主なフローと基本的に一致し、主な相違点は実施例９における大部分の動作が小画像上で行われることである。そのフローチャートを図６に示す。具体的には以下のとおりである。全体の輝度調整を行った後に画像を縮小し、全体の輝度調整が行われた画像をＩｏと表記し、Ｉｏを縮小した画像をＩｓと表記する。その後にＩｓに対して画像位置合わせ（すなわちオフセット補償）、第２の時間領域フィルタリング、移動物体の判断、画像融合、空間領域フィルタリングを行い（これらのステップは実施例１〜８と同じであり）、結果をＩｓｆと記す。これにより差異画像ΔＩｓを求めることができる。
【数５】
2020031422.tif 000007
ここでｘ，ｙは画像の座標である。その後、差異画像ΔＩｓをＩｏと同じサイズに拡大し、拡大された差異画像ΔＩを得、ΔＩをＩｏに重ね合わせて最終的な結果Ｉｒを得る。ここで、ｘ，ｙは画像の座標である。
【数６】
2020031422.tif 000008
【００９１】
本発明の実施例において、縮小された画像上で大部分の処理を行い、次に処理後の結果と処理前の小画像の差異画像を拡大して大画像に応用し、該実施例の解決手段は効果を保証する前提で演算時間を大幅に短縮することができる。
【００９２】
（実施例１０）
画像処理装置１は、図７に示すように、プロセッサ１１と、前記プロセッサ１１により実行されると、上記いずれか１つの実施例に記載の画像処理方法を実現する命令が記憶されているコンピュータ可読記憶媒体１２とを含む。
【００９３】
本発明の実施例は、ビデオの各フレームの画像に対して輝度調整を行うことと、輝度調整された各フレームの画像に対してオフセット補償を行うことと、オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うこととを含む。該実施例の解決手段によれば、ビデオに存在する輝度又は色揺れを効果的に解消し、移動物体を良好に保持することにより、ぼやけず、残像又はゴーストがない。
【００９４】
本発明の実施例において開示される技術は、静止画像、動態画像（例えばビデオ）に適用することができ、例えばデジタルカメラ、携帯電話、集積デジタルカメラを有する電子機器、安全又はビデオ監視システム、医療撮像システムなどの如何なる適切なタイプの画像処理装置にも適用することができる。
【００９５】
（ハードウェアとの結合）
当業者であれば理解されるように、本明細書に開示された方法における全部又はいくつかのステップ、システム、装置における機能モジュール／ユニットはソフトウェア、ファームウェア、ハードウェア及びそれらの適切な組み合わせとして実施されてもよい。ハードウェアの実施形態において、以上の説明で言及した機能モジュール／ユニットの間の分割は必ずしも物理コンポーネントの分割に対応するとは限らず、例えば、１つの物理コンポーネントは複数の機能を有してもよいか、又は１つの機能又はステップは複数の物理コンポーネントが協力して実行してもよい。いくつかのコンポーネント又は全てのコンポーネントは、デジタル信号プロセッサ又はマイクロプロセッサのようなプロセッサにより実行されるソフトウェアとして実施されてもよいか、又はハードウェアとして実施されてもよいか、又は特定用途向け集積回路のような集積回路として実施されてもよい。このようなソフトウェアは、コンピュータ記憶媒体（又は非一時的な媒体）及び通信媒体（又は一時的な媒体）を含むことができるコンピュータ可読媒体に分布することができる。当業者に周知のように、用語のコンピュータ記憶媒体は情報（コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなど）を記憶するための任意の方法又は技術において実施される揮発性及び不揮発性、リムーバブル及び非リムーバブル媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多機能ディスク（ＤＶＤ）又は他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又は所望の情報を記憶し、かつコンピュータによりアクセス可能な任意の他の媒体を含むが、それらに限定されない。また、当業者に周知のように、通信媒体は、一般的にコンピュータ可読命令、データ構造、プログラムモジュール、又は搬送波又は他の伝送メカニズムのような変調データ信号中の他のデータを含み、かついかなる情報配信媒体を含むことができる。
【図１】
2020031422.tif 000009
【図２】
2020031422.tif 000010
【図３】
2020031422.tif 000011
【図４】
2020031422.tif 000012
【図５】
2020031422.tif 000013
【図６】
2020031422.tif 000014
【図７】
2020031422.tif 000015