(57)【要約】      （修正有）【課題】ガイダンス画像を使用して画像をフィルタリングするための方法を提供する。【解決手段】ガイデッド画像フィルターを使用して画像をフィルタリングするための方法および装置２０である。フィルター２２は、ガイダンス画像を使用してフィルタリング出力を計算する。フィルタリング出力を算出するために、フィルター入力に関連する信頼度値が考慮される。信頼度で重み付けされて平均することが、信頼度値を使用して遂行される。【選択図】図２
2015060593.tif 000002
【特許請求の範囲】
【請求項１】
ガイデッド画像フィルターを使用して画像をフィルタリングするための方法であって、フィルタリング出力はガイダンス画像を使用して計算される方法において、
フィルター入力に関連する信頼度値は、前記フィルタリング出力を算出する（１３）ために考慮される、前記方法。
【請求項２】
前記フィルタリング出力を計算することは、窓内の前記ガイダンス画像の線形変換を含む、請求項１に記載の方法。
【請求項３】
前記変換は線形変換である、請求項２に記載の方法。
【請求項４】
前記フィルタリング出力を計算することは、前記フィルター入力値に関連する前記信頼度値によって残差に重み付けする回帰ラインを計算するステップを含む、請求項２または３に記載の方法。
【請求項５】
前記フィルタリング出力は、個々の窓の係数の、信頼度で重み付けされた平均することを使用して算出される、請求項２乃至４のいずれか一項に記載の方法。
【請求項６】
窓の寄与は、その窓信頼度によって重み付けされる、請求項２乃至５のいずれか一項に記載の方法。
【請求項７】
前記窓信頼度は、前記窓内部の前記信頼度値の和または平均値である、請求項６に記載の方法。
【請求項８】
窓の寄与は、前記窓の中心画素の信頼度によって重み付けされる、請求項２乃至４のいずれか一項に記載の方法。
【請求項９】
ガイデッド画像フィルターを使用して画像をフィルタリングするように構成される装置（２０）であって、ガイダンス画像を使用してフィルタリング出力を計算するように構成されるフィルター（２２）
を備える装置において、
前記フィルター（２２）は、前記フィルタリング出力を算出する（１３）ために、前記ガイダンス画像に関連する信頼度値を考慮するように構成される、前記装置（２０）。
【請求項１０】
コンピュータにより実行されるときに、前記コンピュータに、ガイダンス画像を使用してフィルタリング出力を計算させる、ガイデッド画像フィルターを使用する画像のフィルタリングを可能にする命令を記憶したコンピュータ可読記憶媒体において、
フィルター入力に関連する信頼度値は、前記フィルタリング出力を算出する（１３）ために考慮されることを特徴とする、前記コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をフィルタリングするための方法および装置に関するものであり、より詳細には、ガイデッド画像フィルター（guided image filter）を使用して画像をフィルタリングするための方法および装置に関する。
【背景技術】
【０００２】
最近ではいわゆるガイデッド画像フィルターが、エッジ保存平滑化フィルターとして開発されている（例えば、非特許文献１参照）。フィルタリングされるべきデータに関する入力に加えて、ガイデッド画像フィルターは、フィルタリング処理を駆動するガイダンス画像（guidance image）に関する別の入力を提供する。それは、アルファマッティング（例えば、非特許文献２参照）、および他のものを含む、広い範囲のアプリケーションにおいて効率的であることが証明されている。ガイデッド画像フィルターは、いくつかの主要な特性および利点を有する。第１の利点は、フィルター入力内の微細部の保存である。さらなる利点は、フィルタリングされた出力が、比較可能なフィルターより高い品質を有するということである。例えばそれは、バイラテラルフィルター（例えば、非特許文献３参照）のように勾配反転アーチファクトによる不利を招かない。最後にガイデッド画像フィルターは、きわめて効率的な実装をサポートする。その複雑度はＯ（ｎ）であり、ただしｎは画像内の画素の数を示す。特にこのことは、計算複雑度がフィルターカーネルの選定されるサイズに無関係であるということを意味する。他のエッジ保存平滑化フィルターは、この特性を有さない。
【０００３】
信頼度認識の（confidence-aware）バイラテラルフィルターが開示されている（例えば、非特許文献４参照）。潜在的な勾配反転アーチファクトに加えて、それは、特により大きなカーネルサイズに関して、計算の複雑さを招く。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｈｅ  ｅｔ  ａｌ．：  “Ｇｕｉｄｅｄ  Ｉｍａｇｅ  Ｆｉｌｔｅｒｉｎｇ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １１ｔｈ  Ｅｕｒｏｐｅａｎ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ  （ＥＣＣＶ’１０）  （２０１０），  ｐｐ．  １−１４
【非特許文献２】Ｈｅ  ｅｔ  ａｌ．：  “Ａ  Ｇｌｏｂａｌ  Ｓａｍｐｌｉｎｇ  Ｍｅｔｈｏｄ  ｆｏｒ  Ａｌｐｈａ  Ｍａｔｔｉｎｇ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２０１１  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ  ’１１）  （２０１１），  ｐｐ．  ２０４９−２０５６
【非特許文献３】Ｔｏｍａｓｉ  ｅｔ  ａｌ．：  “Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒｉｎｇ  ｆｏｒ  ｇｒａｙ  ａｎｄ  ｃｏｌｏｒ  ｉｍａｇｅｓ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １９９８  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  （ＩＣＣＶ）  （１９９８），  ｐｐ．  ８３９−８４６
【非特許文献４】Ｊａｃｈａｌｓｋｙ  ｅｔ  ａｌ．：  “Ｃｏｎｆｉｄｅｎｃｅ  ｅｖａｌｕａｔｉｏｎ  ｆｏｒ  ｒｏｂｕｓｔ，  ｆａｓｔ−ｃｏｎｖｅｒｇｉｎｇ  ｄｉｓｐａｒｉｔｙ  ｍａｐ  ｒｅｆｉｎｅｍｅｎｔ”，  ２０１０  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  ａｎｄ  Ｅｘｐｏ  （ＩＣＭＥ）  （２０１０），  ｐｐ．  １３９９−１４０４
【発明の概要】
【０００５】
したがって、ガイダンス画像を使用して画像をフィルタリングするための改善された解決策を提案することが、本発明の目的である。
【０００６】
本発明によると、この目的は、ガイデッド画像フィルターを使用して画像をフィルタリングするための方法により達成され、フィルタリング出力はガイダンス画像を使用して計算される方法である。フィルター入力に関連する信頼度値は、前記フィルタリング出力を算出するために考慮される。
【０００７】
それに応じて、ガイデッド画像フィルターを使用して画像をフィルタリングするように構成される装置は、ガイダンス画像を使用してフィルタリング出力を計算するように構成されるフィルターを備え、そのフィルターは、前記フィルタリング出力を算出するために、フィルター入力に関連する信頼度値を考慮するようにさらに構成される。
【０００８】
同様にコンピュータ可読記憶媒体は、コンピュータにより実行されるときに、前記コンピュータに、ガイダンス画像を使用してフィルタリング出力を計算させる、ガイデッド画像フィルターを使用する画像のフィルタリングを可能にする命令が、そのコンピュータ可読記憶媒体内に記憶され、フィルター入力に関連する信頼度値は、前記フィルタリング出力を算出するために考慮される。
【０００９】
多くのアプリケーションでは、信頼度マップが、フィルタリングされるべきデータに付随する。信頼度値は、入力データ内の要素がどれだけ信頼性が高いとみなされているかの尺度を提供する。提案される解決策は、そのような信頼度情報を利用するように、標準的なガイデッド画像フィルターを拡張する。結果として、ガイデッド画像フィルターの出力の品質が、フィルター入力に関連する信頼度データを利用することにより改善される。特にこのことは、ガイデッド画像フィルターのＯ（ｎ）実装複雑度を犠牲にすることなく達成される。
【００１０】
ガイデッド画像フィルターの１つの要素は、線形回帰分析である。本発明によると、重み付けされた線形回帰が用いられ、信頼度値は重みとして働くものであり、すなわち、信頼度認識のガイデッド画像フィルターが提案される。
【００１１】
ガイデッド画像フィルターは、フィルター入力内の微細部を保存することが可能である平滑化フィルターであるので、ガイデッド画像フィルターは、広範囲のアプリケーションにおいて適用可能である。信頼度認識のガイデッド画像フィルターは、信頼度値により付随される、ノイズの多いデータが平滑化されるべきである、任意のアプリケーション、例えばアルファマッティング、視差推定、カラライゼーション、オプティカルフロー、および、より多くのものに対して有用である。提案される拡張されたガイデッド画像フィルターによって、最小限の計算オーバーヘッドを伴う、およびそのＯ（ｎ）複雑度を維持しながらの、最終的なフィルター出力の品質の著しい改善が可能になる。
【００１２】
アルファマッティングの事例では、ｗｗｗ．ａｌｐｈａｍａｔｔｉｎｇ．ｃｏｍから提供されるトレーニングデータセットに対して、提案される信頼度認識のガイデッド画像フィルターは、フィルターの標準的なバージョンと比較される場合に、平均で約２８％だけ、生成されるアルファマットの品質（ＳＡＤ）を改善することが可能である。
【００１３】
Ｊａｃｈａｌｓｋｙらにより提案された信頼度認識のジョイントバイラテラルフィルターと比較されると、信頼度認識のガイデッド画像フィルターは、より高い出力品質をもたらす。
【００１４】
その低い計算複雑度およびその低いメモリ必要条件のために、信頼度認識のガイデッド画像フィルターは、理想的にはモバイルデバイスに適している。
【００１５】
より良好な理解のために、本発明は次に、図を参照して以下の説明において、より詳細に解説されることになる。本発明はこの例示的な実施形態に制限されないこと、ならびに、指定される特徴は、添付される特許請求の範囲において定義されるような本発明の範囲から逸脱することなく、好都合に組み合わされる、および／または修正される場合もあるということが理解される。
【図面の簡単な説明】
【００１６】
【図１】ガイデッド画像フィルターを使用して画像をフィルタリングするための本発明による方法を概略的に示す図である。
【図２】ガイデッド画像フィルターを使用して画像をフィルタリングするための本発明による解決策を実装するように適合される装置を例示する図である。
【発明を実施するための形態】
【００１７】
以下では、ガイデッド画像フィルターの２つの例示的な実現が説明されることになる。ガイデッド画像フィルターの１つの定式化（典型的なフィルター定式化）では、フィルター出力ｑは、次式のように、その近傍の画素の重み付けされた平均として定式化される。
ｑｉ＝ΣｊＷｉｊ（Ｉ）ｐｊ
【００１８】
ここでｑｉは画素ｉに対するフィルター出力であり、ｐｊは画素ｊでのフィルター入力を示し、Ｗｉｊ（Ｉ）は、ガイダンス画像Ｉから計算された画素ｉと画素ｊとの間の重みを示す。これが、典型的な重み付けされた平均画像フィルタリング動作として出力を定式化する。特に、Ｔｏｍａｓｉらのバイラテラルフィルターの出力は同じ定式化を有する。さらにＪａｃｈａｌｓｋｙらは、重みＷｉｊが信頼度値により変調される、バイラテラルフィルターの信頼度認識の拡張を開示している。したがって、ガイデッド画像フィルターに対しても同じ手法を採用することが明確であるように見えるかもしれない。残念ながら、ガイデッド画像フィルターのこの典型的なフィルター定式化は超線形複雑度を有し、そのことによって、そのような手法はより関心を引かないものとなる。したがって本発明は、Ｏ（ｎ）計算複雑度をもたらすガイデッド画像フィルターの１次的な定式化に重点を置く。この線形複雑度を維持することが、本発明の目標である。
【００１９】
以下では、Ｏ（ｎ）の実装複雑度をもたらす、ガイデッド画像フィルターの１次的な定式化の簡潔な概観を与える。より詳細なことは、例えば、非特許文献１において見出され得る。２つの事例が区別される。
【００２０】
事例１：ガイダンス画像が灰色スケール画像である。
ガイデッド画像フィルターは、フィルター出力ｑが、次式のように、画素ｋを中心とした窓ωｋ内のガイダンス画像Ｉの線形変換であるということを仮定する。
ｑｉ＝ａｋＩｉ＋ｂｋ、∀ｉ∈ωｋ
【００２１】
ただしＩｉはガイダンス画像内の画素ｉを示し、ａｋおよびｂｋは、ωｋ内で一定であると仮定される何らかの係数である。係数を決定するためにガイデッド画像フィルターは、フィルター入力ｐとその出力ｑとの間の差を最小化する解を求める。具体的なコスト関数は次式である。
【００２２】
【数１】
2015060593.tif 000003
【００２３】
ただしεは、係数ａｋが必要以上に大きくなることを防止する正則化パラメータである。最適な係数が、次式のように、線形回帰によって計算され得る。
【００２４】
【数２】
2015060593.tif 000004
【００２５】
【数３】
2015060593.tif 000005
【００２６】
ここで、
【００２７】
【数４】
2015060593.tif 000006
【００２８】
は、ωｋ内のＩｉおよびｐｉの平均積を示し、
【００２９】
【数５】
2015060593.tif 000007
【００３０】
および
【００３１】
【数６】
2015060593.tif 000008
【００３２】
は、ωｋ内のＩの平均および分散であり、｜ω｜はωｋ内の画素の数を示し、
【００３３】
【数７】
2015060593.tif 000009
【００３４】
は、ωｋ内のｐの平均を示す。
【００３５】
ｑｉは１よりも多い窓ωｋ内に包含されるので、ガイデッド画像フィルターは、次式のように、すべての窓にわたる平均出力として最終的なフィルター出力を表現する。
【００３６】
【数８】
2015060593.tif 000010
【００３７】
ただし、
【００３８】
【数９】
2015060593.tif 000011
【００３９】
【数１０】
2015060593.tif 000012
【００４０】
である。
【００４１】
事例２：ガイダンス画像が３チャネル色画像である。
灰色スケール事例の場合と同様に、ガイデッド画像フィルターは、フィルター出力ｑが、次式のように、画素ｋを中心とした窓ωｋ内のＩの線形変換であるということを仮定する。
【００４２】
【数１１】
2015060593.tif 000013
【００４３】
ただしＩｉはこの場合は、ガイダンス画像内の画素ｉの色を表す３×１ベクトルであり、ａｋはωｋに対する３×１係数ベクトルである。やはりａｋおよびｂｋは、ωｋ内で一定であると仮定され、次式のように、線形回帰により計算される。
【００４４】
【数１２】
2015060593.tif 000014
【００４５】
【数１３】
2015060593.tif 000015
【００４６】
Σｋは、ωｋ内のＩの３×３共分散マトリックスを示す。その要素は、次式のように計算され得る。
【００４７】
【数１４】
2015060593.tif 000016
【００４８】
ただし｜ω｜はωｋ内の画素の数を示し、
【００４９】
【数１５】
2015060593.tif 000017
【００５０】
は、画素ｉでのＩの色チャネルｘの値を示す。
【００５１】
灰色スケール事例の場合と同様に、ｑｉは１よりも多い窓ωｋ内に包含されるので、ガイデッド画像フィルターは、次式のように、画素ｉを包含するすべての窓にわたる平均化された出力として最終的なフィルター出力を表現する。
【００５２】
【数１６】
2015060593.tif 000018
【００５３】
ただし、
【００５４】
【数１７】
2015060593.tif 000019
【００５５】
【数１８】
2015060593.tif 000020
【００５６】
である。
【００５７】
以下では、修正された、信頼度で重み付けされた（confidence-weighted）線形回帰が説明される。
上記で確認され得るように、ガイデッド画像フィルターでの標準的な線形回帰は、何らかの入力ｐｉがどれだけ信頼性が高いとみなされているかを考慮しない。回帰ラインが、すべてのｐｉが等しく信頼性が高いという仮定のもとに計算される。いずれの残差も、等しく重み付けされる。提案される本発明は、ｐｉに関連する信頼度によって残差に重み付けする回帰ラインを計算することにより、この制約を克服する。多くのアプリケーションに対して、そのような信頼度データが、フィルタリングされるべきデータとともに先行する処理段階で生成され、したがって容易に利用可能である。灰色スケール画像の事例では、係数が、次式のエネルギーを最小化することにより計算される。
【００５８】
【数１９】
2015060593.tif 000021
【００５９】
ただしｃｉは、フィルター入力ｐｉに関連する信頼度を示す。重み付けされた線形回帰係数の計算は、当技術分野において知られている。一般的に、任意の平均する動作が、重み付けされた平均する動作により置換される。本発明は重みとして信頼度値を使用するので、重み付けされた平均値は次式のように計算される。
【００６０】
【数２０】
2015060593.tif 000022
【００６１】
ただしＸは、平均されるべき量を指す。
【００６２】
以下では、灰色スケール事例および色事例の両方に対する結果を説明する。
本発明の１つの態様によると、灰色スケール事例に対する修正された係数
【００６３】
【数２１】
2015060593.tif 000023
【００６４】
および
【００６５】
【数２２】
2015060593.tif 000024
【００６６】
は、次式のように計算される。
【００６７】
【数２３】
2015060593.tif 000025
【００６８】
【数２４】
2015060593.tif 000026
【００６９】
ただし、
【００７０】
【数２５】
2015060593.tif 000027
【００７１】
【数２６】
2015060593.tif 000028
【００７２】
【数２７】
2015060593.tif 000029
【００７３】
【数２８】
2015060593.tif 000030
【００７４】
である。
【００７５】
同様に、色事例に対する修正された係数
【００７６】
【数２９】
2015060593.tif 000031
【００７７】
および
【００７８】
【数３０】
2015060593.tif 000032
【００７９】
は、次式のように計算される。
【００８０】
【数３１】
2015060593.tif 000033
【００８１】
【数３２】
2015060593.tif 000034
【００８２】
ただし、
【００８３】
【数３３】
2015060593.tif 000035
【００８４】
【数３４】
2015060593.tif 000036
【００８５】
【数３５】
2015060593.tif 000037
【００８６】
である。
【００８７】
ここで
【００８８】
【数３６】
2015060593.tif 000038
【００８９】
は、ωｋ内のＩの信頼度で重み付けされた共分散マトリックスを示す。その要素は、次式により計算され得る。
【００９０】
【数３７】
2015060593.tif 000039
【００９１】
画素ｑｉは１よりも多い窓ωｋ内に包含されるので、標準的なガイデッド画像フィルターによって、個々の窓の係数は、最終的な出力ｑｉを計算するために平均される。本発明の別の態様によると、出力ｑｉは、信頼度で重み付けされた平均することにより計算される。
【００９２】
本発明の１つの実施形態では、窓の寄与は、その窓信頼度、例えば、窓内部の信頼度値の和（または、同じことであるが平均）によって重み付けされる。この事例では、係数は次式により計算される。
【００９３】
【数３８】
2015060593.tif 000040
【００９４】
【数３９】
2015060593.tif 000041
【００９５】
ただし、
【００９６】
【数４０】
2015060593.tif 000042
【００９７】
である。
【００９８】
本発明の別の実施形態では、窓の寄与は、その中心画素の信頼度によって重み付けされる。この事例では、係数は次式により計算される。
【００９９】
【数４１】
2015060593.tif 000043
【０１００】
【数４２】
2015060593.tif 000044
【０１０１】
ここでｃｋは、窓ωｉ内の中心画素に関連する信頼度値を示す。
上記の最後の５つの式は、灰色スケール事例および色事例に当てはまるものである。灰色スケール事例では、ａｋ、ｂｋ、
【０１０２】
【数４３】
2015060593.tif 000045
【０１０３】
および
【０１０４】
【数４４】
2015060593.tif 000046
【０１０５】
はスカラ値であり、一方で色事例に対しては、それらは３×１ベクトルである。
【０１０６】
灰色スケール事例に対しては、最終的なフィルター出力は、
【０１０７】
【数４５】
2015060593.tif 000047
【０１０８】
として計算され、一方で色事例に対しては、最終的なフィルター出力は、
【０１０９】
【数４６】
2015060593.tif 000048
【０１１０】
として計算される。
【０１１１】
ガイデッド画像フィルターを使用して画像をフィルタリングするための本発明の１つの実施形態による方法が、図１に概略的に示されている。第１のステップでは、フィルタリングされるべき画像が索出される（１０）。次いで、フィルタリングされるべき画像、または異なる画像であり得る、ガイダンス画像が取得される（１１）。次いで、フィルター入力に関連する信頼度値が索出される（１２）。信頼度値は、フィルタリング出力を算出する（１３）ために考慮される。最後に、算出されたフィルタリング出力が利用可能にされる（１４）。
【０１１２】
図２は、ガイデッド画像フィルターを使用して画像をフィルタリングするための本発明による解決策を実装するように適合される装置２０の１つの実施形態を概略的に例示する。装置は、例えば、取り付けられたストレージから、またはネットワークから、フィルタリングされるべき画像を索出する（１０）、ガイダンス画像を取得する（１１）、および、フィルター入力に関連する信頼度値を索出する（１２）ための、１または複数の入力ユニットを伴う入力２１を有する。信頼度値が、他の入力データに基づいて装置により算出されるということ、または、１よりも多い入力が、様々な入力データを索出するために使用されるということが、同じように可能である。またデータは、装置２０の内部ストレージから取得される場合がある。フィルター２２は、信頼度値を考慮して、フィルタリング出力を算出する（１３）。結果として生じるフィルタリング出力が、出力２３で利用可能にされる（１４）。フィルター２２は同じように、プロセッサー上で実行するソフトウェアとして実現される場合がある。また入力２１および出力２３は、単一の双方向インタフェースに組み合わされる場合がある。
【図１】
2015060593.tif 000049
【図２】
2015060593.tif 000050
【外国語明細書】
2015060593000001.pdf