(57)【特許請求の範囲】
【請求項１】
画像のノイズを除去する方法であって、
分散σ２を有するノイズを含む入力画像Ｘを取得するステップと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
を含み、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
前記適用されることは、プロセッサにおいて実行され、
前記ＰｇＮｅｔは、パッチ抽出層、選択ネットワーク、及び結合層を備える、方法。
【請求項２】
前記パッチ抽出層は、前記画像のあらゆるピクセル（ｉ，ｊ）を中心とするｄ×ｄ次元の平均値減算されたパッチ
【数１】
0006656111.tif 000035
を求め、ここで、
【数２】
0006656111.tif 000036
であり、ｘｉｊは、前記ピクセル（ｉ，ｊ）を中心とする前記ｄ×ｄパッチを表すｄ２×１列ベクトルであり、
【数３】
0006656111.tif 000037
は、平均値減算行列であり、Ｉはｄ２×ｄ２単位行列であり、
【数４】
0006656111.tif 000038
は１からなるｄ２×１ベクトルであり、Ｔは転置演算子である、請求項１に記載の方法。
【請求項３】
前記選択ネットワークは、前記各パッチの結合重みをγｉｊ＝ＳｏｆｔＭａｘ（ｓｉｊ）として求め、ここで、ｓｉｊは、２次関数
【数５】
0006656111.tif 000039
によって求められる成分対数尤度であり、
【数６】
0006656111.tif 000040
は、前記選択ネットワークのパラメーターであり、ＳｏｆｔＭａｘは、ソフトマックス関数であり、
【数７】
0006656111.tif 000041
は、対称半正定値行列を示す、請求項１に記載の方法。
【請求項４】
前記結合層は、前記パッチ共分散ｐｒｉｏｒを、Ｋ個の対称半正定値行列Ψ１，．．．，ΨＫの凸結合
【数８】
0006656111.tif 000042
として求め、ここで、
【数９】
0006656111.tif 000043
は前記結合重みである、請求項３に記載の方法。
【請求項５】
画像のノイズを除去する方法であって、
分散σ２を有するノイズを含む入力画像Ｘを取得するステップと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
を含み、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
前記適用されることは、プロセッサにおいて実行され、
前記ＩｎｆＮｅｔは、前記ＧＣＲＦを解く以下の式の推論手順
【数１０】
0006656111.tif 000044
であり、ここで、
【数１１】
0006656111.tif 000045
は、平均値減算行列であり、Ｉはｄ２×ｄ２単位行列であり、
【数１２】
0006656111.tif 000046
は１からなるｄ２×１ベクトルであり、Ｔは転置演算子である、方法。
【請求項６】
画像のノイズを除去する方法であって、
分散σ２を有するノイズを含む入力画像Ｘを取得するステップと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
を含み、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
前記適用されることは、プロセッサにおいて実行され、
前記ＩｎｆＮｅｔは、順次接続された１つ又は複数の半２次分割（ＨＱＳ）層のセットを備える反復手順であり、
前記各ＨＱＳ分割層は、パッチ推論層を備え、前記パッチ推論層の後に画像形成層が続く、方法。
【請求項７】
前記パッチ推論層は、補助パッチｚｉｊ＝ｆｉｊ（Ｙ）を求め、ここで、
【数１３】
0006656111.tif 000047
であり、
【数１４】
0006656111.tif 000048
は、平均値減算行列であり、Ｉはｄ２×ｄ２単位行列であり、
【数１５】
0006656111.tif 000049
は１からなるｄ２×１ベクトルであり、Ｔは転置演算子であり、βは定数である、請求項６に記載の方法。
【請求項８】
前記画像形成層は、ノイズが除去された次の画像推定値Ｙｔ＋１＝ｇｉｊ（｛ｚｉｊ｝）を求め、ここで、
【数１６】
0006656111.tif 000050
であり、
【数１７】
0006656111.tif 000051
及び
【数１８】
0006656111.tif 000052
は、それぞれフロア演算子及びシーリング演算子であり、ｚｐｑ（ｉ，ｊ）は、補助パッチｚｐｑによるピクセル（ｉ，ｊ）の強度である、請求項６に記載の方法。
【請求項９】
画像のノイズを除去する方法であって、
分散σ２を有するノイズを含む入力画像Ｘを取得するステップと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
を含み、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
前記適用されることは、プロセッサにおいて実行され、
前記ＩｎｆＮｅｔは、順次接続された１つ又は複数の半２次分割（ＨＱＳ）層のセットを備える反復手順であり、
前記各ＨＱＳ層の出力は、追加のＰｇＮｅｔによって処理されて、次のＨＱＳ層の更新されたパッチ共分散ｐｒｉｏｒΣｉｊが生成される、方法。
【請求項１０】
画像のノイズを除去する方法であって、
分散σ２を有するノイズを含む入力画像Ｘを取得するステップと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
を含み、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
前記適用されることは、プロセッサにおいて実行され、
前記ディープＧＣＲＦのパラメーターは、バックプロパゲーションを用いるとともに、ノイズを有するトレーニング画像及びノイズのないトレーニング画像の対のデータセットを用いて平均二乗誤差損失関数を最小にして学習される、方法。
【請求項１１】
前記ノイズを有するトレーニング画像は、合成ノイズをノイズのない画像に加えることによって生成される、請求項１０に記載の方法。
【請求項１２】
前記ＩｎｆＮｅｔは、ＧＣＲＦ推論を実行する線形システムを解く、請求項５に記載の方法。
【請求項１３】
画像のノイズを除去する方法であって、
分散σ２を有するノイズを含む入力画像Ｘを取得するステップと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するステップと
を含み、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、前記ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＧＣＲＦを解くために前記ＩｎｆＮｅｔが前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用され、
前記適用されることは、プロセッサにおいて実行され、
前記ディープＧＣＲＦネットワークは、奥行き推定に用いられる、方法。
【請求項１４】
前記ディープＧＣＲＦの前記パラメーターは、ピーク信号対雑音比を最大にすることによって学習される、請求項１０に記載の方法。
【請求項１５】
前記ディープＧＣＲＦの前記パラメーターは、構造類似性尺度を最大にすることによって学習される、請求項１０に記載の方法。
【請求項１６】
画像のノイズを除去するシステムであって、
シーンの入力画像Ｘを取得するセンサーであって、該入力画像は、分散σ２を有するノイズを含む、センサーと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するプロセッサと
を備え、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、該ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＩｎｆＮｅｔを前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用することによって前記ＧＣＲＦを解き、
前記ＰｇＮｅｔは、パッチ抽出層、選択ネットワーク、及び結合層を備える、システム。
【請求項１７】
画像のノイズを除去するシステムであって、
シーンの入力画像Ｘを取得するセンサーであって、該入力画像は、分散σ２を有するノイズを含む、センサーと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するプロセッサと
を備え、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、該ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＩｎｆＮｅｔを前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用することによって前記ＧＣＲＦを解き、
前記ＩｎｆＮｅｔは、前記ＧＣＲＦを解く以下の式の推論手順
【数１９】
0006656111.tif 000053
であり、ここで、
【数２０】
0006656111.tif 000054
は、平均値減算行列であり、Ｉはｄ２×ｄ２単位行列であり、
【数２１】
0006656111.tif 000055
は１からなるｄ２×１ベクトルであり、Ｔは転置演算子である、システム。
【請求項１８】
画像のノイズを除去するシステムであって、
シーンの入力画像Ｘを取得するセンサーであって、該入力画像は、分散σ２を有するノイズを含む、センサーと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するプロセッサと
を備え、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、該ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＩｎｆＮｅｔを前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用することによって前記ＧＣＲＦを解き、
前記ディープＧＣＲＦのパラメーターは、バックプロパゲーションを用いるとともに、ノイズを有するトレーニング画像及びノイズのないトレーニング画像の対のデータセットを用いて平均二乗誤差損失関数を最小にして学習される、システム。
【請求項１９】
画像のノイズを除去するシステムであって、
シーンの入力画像Ｘを取得するセンサーであって、該入力画像は、分散σ２を有するノイズを含む、センサーと、
ディープガウス条件付き確率場（ＧＣＲＦ）ネットワークを前記入力画像に適用して、前記ノイズが除去された出力画像Ｙを生成するプロセッサと
を備え、
前記ディープＧＣＲＦは、ｐｒｉｏｒ生成（ＰｇＮｅｔ）ネットワークを備え、前記ＰｇＮｅｔの後に推論ネットワーク（ＩｎｆＮｅｔ）が続き、該ＰｇＮｅｔは、前記入力画像内のあらゆるピクセル（ｉ，ｊ）を中心とするパッチのパッチ共分散ｐｒｉｏｒΣｉｊを生成し、前記ＩｎｆＮｅｔを前記パッチ共分散ｐｒｉｏｒ及び前記入力画像に適用することによって前記ＧＣＲＦを解き、
前記ディープＧＣＲＦネットワークは、奥行き推定に用いられる、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、コンピュータービジョン及び画像処理に関し、より詳細には、画像のノイズを除去することに関する。
【背景技術】
【０００２】
ディープネットワークは、多くのコンピュータービジョン及び画像処理のアプリケーションにおいて用いられている。完全接続層（fully-connected layer）又は畳み込み層（convolutional layer）を有する通常のディープネットワークは、広範囲のアプリケーションに良好に機能する。しかしながら、その一般的なアーキテクチャは、幾つかのアプリケーションにおいて非常に役立つ可能性がある問題領域知識（problem domain knowledge）を用いていない。
【０００３】
例えば、画像ノイズ除去の場合、従来の多層パーセプトロン（perceptron）（フィードフォワードニューラルネットワーク）は、複数のレベルの入力ノイズを処理することがあまり得意ではない。ノイズ分散を追加の入力としてネットワークに提供することによって、複数の入力ノイズレベルを処理するように単一の多層パーセプトロンをトレーニングすると、そのパーセプトロンは、最先端のブロックマッチング３Ｄフィルタリング（ＢＭ３Ｄ:Block-matching and 3D filtering）と比較して低質の結果をもたらす。これについては、非特許文献１を参照されたい。これとは対照的に、モデルベースの手法である予想パッチ対数尤度（ＥＰＬＬ:Expected Patch Log Likelihood）フレームワークは、広範囲のノイズレベルにわたって良好に機能する。これについては、非特許文献２を参照されたい。
【０００４】
ガウスマルコフ確率場（ＧＭＲＦ:Gaussian Markov Random Field）が、ノイズ除去（denoising）、インペインティング（inpainting）、超解像度（super-resolution）、奥行き推定（depth estimation）等の画像推論タスク（image inference task）において用いられることが多い。ＧＭＲＦは、連続量をモデル化し、線形代数を用いて効率的に解くことができる。しかしながら、ＧＭＲＦモデルの性能は、事前確率分布（以下、ｐｒｉｏｒとする。）の選択に大きく依存する。例えば、画像ノイズ除去の場合、ｐｒｉｏｒを均一にすると、すなわち、各ピクセルのｐｒｉｏｒを同一にすると、その結果、エッジのブレ及び画像の過剰平滑化がもたらされる。したがって、ＧＭＲＦモデルの使用を成功させるには、ｐｒｉｏｒは、処理されている画像に従って選択されるべきである。データ依存ｐｒｉｏｒを用いるＧＭＲＦモデルは、ガウス条件付き確率場（ＧＣＲＦ:Gaussian conditional random field）と呼ばれる。
【０００５】
ＧＣＲＦモデルを画像推論タスクに用いることは、以下の２つの主要なステップを含む。
１）適切な画像ｐｒｉｏｒが入力画像に基づいて選択される、データ依存ｐｒｉｏｒ生成ステップ、及び、
２）選択された画像ｐｒｉｏｒを用いて最大事後（ＭＡＰ）推論が実行される推論ステップ。
【０００６】
ガウス条件付き確率場
非特許文献３に記載されたＧＣＲＦモデルは、出力画像の条件付き分布のパラメーターを入力画像の関数としてモデル化する。各画像パッチ、例えば３×３ピクセルに関連付けられた精度行列が、手動選択された微分フィルターベースの行列の線形結合としてモデル化される。結合重みは、所定のマルチスケール有向エッジ及びバーフィルターのセットに対する入力画像の絶対応答のパラメトリック関数として選択され、パラメーターは、弁別的なトレーニング（discriminative training）を用いて学習される。
【０００７】
ＧＣＲＦモデルは、回帰木場（ＲＴＦ）に拡張されている。これについては、非特許文献４を参照されたい。この文献では、回帰木は、パラメーター選択に用いられる。フル画像モデルが、幾つかの重なり合うパッチモデルに分解され、それらのパッチにわたって定義されたガウスモデルのパラメーターを選択する回帰木が構築される。回帰木は、様々な手動選択されたフィルターに対する入力画像の応答を、各画像パッチの適切なリーフノードを選択することに用いる。より近時においては、ＲＴＦのカスケードが、非ブラインド画像のブレ補正に用いられている。これについては、非特許文献５を参照されたい。
【０００８】
ノイズ除去
画像ノイズ除去は、画像処理における基本的な問題である。縮小（shrinkage）、非局所画像統計（non-local image statistic）を用いたスパース符号化（sparse coding）、自然画像ｐｒｉｏｒ、及びグラフィカルモデルを含む、ノイズ除去に用いることができる多くの方法がある。
【０００９】
ニューラルネットワークを用いたノイズ除去
スタックドスパースノイズ除去自己符号化器（ＳＳＤＡ:stacked sparse denoising autoencoder）及び多層パーセプトロン等の画像ノイズ除去の様々なディープネットワークベースの手法が知られている。これについては、非特許文献６を参照されたい。しかしながら、それらのディープネットワークのうちのいずれも、ノイズの分散を明示的にモデル化せず、したがって、複数のノイズレベルの処理が得意ではない。上記全てのネットワークにおいて、各ノイズレベルにそれぞれ異なるネットワークが用いられ、これによって、設計及びプロセスが複雑になっている。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Dabov他、「Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering」、IEEE Transactions on Image Processing、2007年、16(8): 2080-2095
【非特許文献２】Zoran他、「From Learning Models of Natural Image Patches to Whole Image Restoration」、In ICCV、2011年
【非特許文献３】Tappen他、「Learning Gaussian Conditional Random Fields for Low-Level Vision」、CVPR、2007年
【非特許文献４】Jancsary他、「Loss-specific Training of Non-parametric Image Restoration Models: A New State of the Art」、ECCV、2012年
【非特許文献５】Schmidt他、「Discriminative Non-blind Deblurring」、CVPR、2013年
【非特許文献６】Burger他、「Image Denoising: Can Plain Neural Networks Compete with BM3D?」、CVPR、2012年
【発明の概要】
【００１１】
本発明の実施の形態は、画像のノイズを除去する方法及びシステムを提供する。本方法は、ガウス条件付き確率場モデルに基づくディープネットワーク（ディープＧＣＲＦ）を用いる。ディープＧＣＲＦネットワークは、データ依存ｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ:prior generation network）及び推論ネットワーク（ｉｎｆＮｅｔ:inference network）の２つのサブネットワークを備える。ｐｒｉｏｒ生成ネットワークは、画像固有のｐｒｉｏｒをモデル化するのに用いられる。推論ネットワークの層は、反復ＧＣＲＦ推論手順のステップを繰り返す。ディープＧＣＲＦネットワークは、画像ノイズ除去に固有の損失関数を用いたバックプロパゲーション（back-propagation）を介してトレーニングされる。
【００１２】
従来の弁別的ノイズ除去モデルは、通常、ノイズレベルごとに別々のネットワークを必要とする。これとは対照的に、本実施の形態によるディープネットワークは、入力ノイズ分散を明示的にモデル化し、したがって、それぞれ異なるノイズレベルに広く適用される。
【００１３】
ディープＧＣＲＦネットワークは、ＧＣＲＦのｐｒｉｏｒ生成ステップ及び推論ステップをフィードフォワードネットワークに変換する。そのようなディープネットワークアーキテクチャを用いると、バックプロパゲーションを用いてディープネットワークを弁別的にトレーニングすることによって、ノイズ除去、インペインティング、超解像度、奥行き推定等の推論タスクの良好なデータ依存ｐｒｉｏｒを学習することが可能である。
【００１４】
このＧＣＲＦネットワークアーキテクチャは、従来のディープニューラルネットワーク、例えば、畳み込み層及び完全接続層を有するネットワークと異なる。従来のニューラルネットワークのパラメーターは線形フィルターであるが、本実施の形態によるネットワークは、対称半正定値行列（symmetric positive semidefinite matrix）をモデルパラメーターとして用いる。本実施の形態によるネットワークは、２次関数、行列反転及び相乗交互作用を用いる様々な新規なタイプの層を有し、これらの層は、線形フィルターを用いた後に非線形性を用いる従来の計算と異なる。この結果、複数の利益が得られる。
【００１５】
従来技術の弁別的画像ノイズ除去方法のほとんどは、入力ノイズ分散をそれらのモデルにおいて用いていないので、複数のノイズレベルを処理することができない。これとは対照的に、本実施の形態は、入力ノイズ分散をＧＣＲＦモデルにおいて明示的にモデル化し、このノイズ分散を入力としてネットワークに提供する。したがって、ディープＧＣＲＦネットワークは、複数のノイズレベルを処理することができる。
【００１６】
多くの従来のＧＣＲＦ手法と異なり、開示されたディープＧＣＲＦネットワークは、手動で選ばれた画像特徴量もフィルターも用いない。ディープＧＣＲＦネットワークは、画像ノイズ除去タスクに固有の損失関数を用いた従来のバックプロパゲーションを用いてエンドツーエンド（end-to-end）でトレーニングされる。従来技術のＧＣＲＦにおけるように非常に大きな線形システムを解くのではなく、開示されたネットワークは、半２次分割（ＨＱＳ）層を用いる。したがって、ネットワーク内の全ての計算は、ピクセルレベルにおいて十分に並列化することができる。
【発明の効果】
【００１７】
本発明の実施形態は、ディープガウス条件付き確率場（ＧＣＲＦ）に基づく画像ノイズ除去の新規なディープネットワークアーキテクチャを提供する。ディープＧＣＲＦネットワークのｐｒｉｏｒ生成ステップ及び推論ステップは、フィードフォワードネットワークに変換される。ディープＧＣＲＦネットワークは、ノイズ分散を明示的にモデル化するので、複数のノイズレベルを処理することができる。このネットワークは、弁別的にトレーニングされると、様々な最先端の画像ノイズ除去方法よりも性能が優れている。
【００１８】
ディープＧＣＲＦネットワークは、これらに限定されるものではないが、インペインティング、画像超解像度及び奥行き推定を含む複数のコンピュータービジョンアプリケーションに用いることができる。
【図面の簡単な説明】
【００１９】
【図１Ａ】本発明の実施形態によるディープガウス条件付き確率場（ディープＧＣＲＦ）ネットワークを用いた画像ノイズ除去の概略図である。
【図１Ｂ】本発明の実施形態によるディープＧＣＲＦネットワークのブロック図である。
【図２】本発明の実施形態による２層選択ネットワークのブロック図である。
【図３】本発明の実施形態によるｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ）のブロック図である。
【図４】本発明の実施形態による推論ネットワーク（ＩｎｆＮｅｔ）のブロック図である。
【発明を実施するための形態】
【００２０】
本発明の実施形態は、画像のノイズを除去する方法及びシステムを提供する。本方法は、ディープガウス条件付き確率場（ＧＣＲＦ）ネットワーク１０５を用いる。ディープＧＣＲＦへの入力は、ノイズを有する入力画像１０１及びノイズの分散σ２１０２である。本方法は、メモリ、入出力インターフェースに接続されたプロセッサ１００において実行することができる。プロセッサは、画像を直接的又は間接的のいずれかで取得する。例えば、画像は、カメラによって取り込まれ、その後、メモリ又は有線通信リンク若しくは無線通信リンクによってプロセッサに転送される。
【００２１】
図１Ａに示すように、入力画像１０１は、例えば、カメラ又は奥行きセンサーによって取り込まれる。次に、同時に又は後に、画像は、プロセッサによって取得される（１０９）。画像は、分散σ２１０２を有するノイズを含む。このノイズ分散は、従来の技法を用いて求めることができる。画像１０１のノイズを除去して、ノイズが除去された出力画像１０３を生成することが望まれている。したがって、画像１０１は、ディープガウス条件付き確率場ネットワーク（ディープＧＣＲＦ）１０５によって処理され、出力画像１０３が生成される。この出力画像は、記憶、送信、表示又は印刷することができる。
【００２２】
表記（notation）
ボールド体大文字は行列を示し、ボールド体小文字はベクトルを示し、ｖｅｃ（Ａ）、ＡＴ及びＡ−１は、それぞれ、行列Ａの列ベクトル表現、転置行列及び逆行列を示し、
【数１】
0006656111.tif 000002
は、行列Ａが対称半正定値であることを意味する。
【００２３】
ガウス条件付き確率場
以下では、図１Ｂに示すように、Ｘは、ノイズを有する入力画像１０１を表し、σ２１０２は、ピクセルＸ（ｉ，ｊ）を有する入力画像１０１内のノイズの分散であり、Ｙは、ピクセルＹ（ｉ，ｊ）を有するノイズが除去された出力画像１０３を表す。
【００２４】
条件付き確率ｐ（Ｙ｜Ｘ）が、以下のようにガウス分布としてモデル化される。
【００２５】
【数２】
0006656111.tif 000003
【００２６】
指数（ｅｘｐ）内の左の項は、データ項であり、指数（ｅｘｐ）内の右の項は、データ依存ｐｒｉｏｒ項である。２次ｐｒｉｏｒパラメーター
【数３】
0006656111.tif 000004
は、入力画像Ｘ  １０１に基づいて選択される。出力画像Ｙ  １０３は、条件付き確率ｐ（Ｙ｜Ｘ）を最大にすることによって推論される。
【００２７】
パッチｐｒｉｏｒを用いた画像ｐｒｉｏｒの生成
画像全体のｐｒｉｏｒパラメーターＱを直接選択することは、画像内のピクセルの数がほぼ１０６個以上である可能性があることから困難である。したがって、ｄ×ｄのピクセルの画像パッチ上でそれぞれｐｒｉｏｒを用いることによってフル画像ｐｒｉｏｒ  Ｑが間接的に構築される。
【００２８】
画像Ｘ及びＹにおけるピクセル（ｉ，ｊ）を中心とするｄ×ｄのパッチを表すｄ２×１列ベクトルをそれぞれｘｉｊ及びｙｉｊとする。これらのパッチは、３×３、５×５等とすることができる。ｘｉｊ及びｙｉｊの平均値減算されたもの（mean-subtracted versions）をそれぞれ
【数４】
0006656111.tif 000005
及び
【数５】
0006656111.tif 000006
とする。ここで、
【数６】
0006656111.tif 000007
は平均値減算行列（mean subtraction matrix）である。ここで、Ｉはｄ２×ｄ２単位行列であり、
【数７】
0006656111.tif 000008
は、１からなるｄ２×１ベクトルであり、Ｔは転置演算子である。
【００２９】
上記のパッチ
【数８】
0006656111.tif 000009
上のデータ依存ゼロ平均ガウスｐｒｉｏｒを
【数９】
0006656111.tif 000010
とする。全てのピクセルにおけるパッチｐｒｉｏｒを結合すると、以下のフル画像ｐｒｉｏｒ  Ｑが得られる。
【００３０】
【数１０】
0006656111.tif 000011
【００３１】
ここで、ｖｅｃは、行列を列ベクトルに変換する線形変換である。
【００３２】
全てのｄ×ｄの画像パッチが用いられるので、各ピクセルは、そのｄ×ｄの近傍ピクセルを中心とするｄ２個のパッチに現れる。いずれのパッチにおいても、各ピクセルは、共分散ｐｒｉｏｒΣｉｊを通じてそのパッチ内の全てのｄ２個のピクセルと相互作用する。これは、（２ｄ−１）×（２ｄ−１）の近傍サイズを有する出力画像Ｙ全体におけるグラフィカルモデルを効果的に定義する。
【００３３】
推論（Inference）
共分散ｐｒｉｏｒΣｉｊが与えられると、ＧＣＲＦ推論は、以下の最適化問題を解く。
【００３４】
【数１１】
0006656111.tif 000012
【００３５】
式（３）における最適化問題は、閉形式で正確に解くことができる制約なし２次プログラムである。しかしながら、出力画像Ｙの閉形式の解は、画像ピクセルの数に等しい数の変数を有する線形連立方程式（linear system of equations）を解くことを必要とする。そのような線形システム（線形連立方程式）を解くことは、数百万個のピクセルを有する大きな画像については計算的に法外であるので、上記最適化問題を解くことができる半２次分割（ＨＱＳ:half quadratic splitting）と呼ばれる反復最適化方法が用いられる。この手法は、補助変数を用いることによって効率的な最適化を可能にする。これについては、非特許文献２を参照されたい。
【００３６】
パッチｙｉｊに対応する補助変数をｚｉｊとする。半２次分割方法において、式（３）におけるコスト関数は、以下の式に変更される。
【００３７】
【数１２】
0006656111.tif 000013
【００３８】
ここで、Ｊは、各反復においてβを増加させる間、最小にされる。β→∞にすると、パッチ｛ｙｉｊ｝は補助変数｛ｚｉｊ｝に等しくなるように制限され、方程式（３）及び（４）の解は収束する。
【００３９】
固定値のβの場合、コスト関数Ｊは、代替的にＹ及び｛ｚｉｊ｝について最適化を行うことによって最小にすることができる。Ｙを固定した場合、最適なｚｉｊは以下となる。
【００４０】
【数１３】
0006656111.tif 000014
【００４１】
上記式における最後の等式は、ウッドベリー行列恒等式から得られる。｛ｚｉｊ｝を固定した場合、最適なＹ（ｉ，ｊ）は以下となる。
【００４２】
【数１４】
0006656111.tif 000015
【００４３】
ここで、
【数１５】
0006656111.tif 000016
及び
【数１６】
0006656111.tif 000017
は、それぞれフロア演算子及びシーリング演算子であり、ｚｐｑ（ｉ，ｊ）は、補助パッチｚｐｑによるピクセル（ｉ，ｊ）の強度である。
【００４４】
ディープＧＣＲＦネットワーク
上記で説明し、また図１Ｂに示すように、実施形態によるディープＧＣＲＦネットワーク１０５は、以下の構成要素を備える。
【００４５】
ｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ）１１０
ＰｇＮｅｔは、入力画像Ｘ１０１を用いてパッチ共分散ｐｒｉｏｒΣｉｊ  １１１を生成する。
【００４６】
推論ネットワーク（ＩｎｆＮｅｔ）１２０
ＩｎｆＮｅｔは、ＰｇＮｅｔ１１０からのパッチ共分散ｐｒｉｏｒΣｉｊ  １１１を用いてＧＣＲＦ推論を実行する。ＩｎｆＮｅｔは、直列に接続された一組の半２次分割（ＨＱＳ）層１３０を備える。幾つかの実施形態では、ＨＱＳ層を用いる代わりに、ＩｎｆＮｅｔは、線形システム（線形連立方程式）を解くことによって、式（３）のようなガウス条件付き確率場推論を実行することができる。
【００４７】
ＰｇＮｅｔ及びＩｎｆＮｅｔを結合することによって、本発明者らのディープＧＣＲＦネットワークが得られる。適切なｐｒｉｏｒを選択することは、ＧＣＲＦの成功に非常に重要であることに留意されたい。ＰｇＮｅｔは、ノイズを有する入力画像１０１に対して操作を行うので、画像ノイズが増加するにつれて、良好なｐｒｉｏｒを選択することはますます困難になる。この問題に対処するために、図１Ｂにおける破線のボックスに示すように、各ＨＱＳ反復１３０の後に追加のＰｇＮｅｔ１４０が用いられる。
【００４８】
本発明者らのディープＧＣＲＦネットワークは、バックプロパゲーションを用いてエンドツーエンドで弁別的にトレーニングされるので、最初のＰｇＮｅｔ１１０が良好なｐｒｉｏｒの選択に失敗したときであっても、その後のＰｇＮｅｔ１４０は、部分的に復元された画像に基づいて適切なｐｒｉｏｒを選択することを学習することができる。
【００４９】
ｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ）
図３は、ｐｒｉｏｒ生成ネットワーク（ＰｇＮｅｔ）１１０を示している。ＰｇＮｅｔは、画像内のパッチの全てについてのパッチ共分散ｐｒｉｏｒΣｉｊ  １１１を生成する。ここで、（ｉ，ｊ）は、パッチの中心ピクセルである。ＰｇＮｅｔは、パッチ抽出層３１０、選択ネットワーク２００、及び結合層３３０を備える。
【００５０】
入力画像Ｘ１０１が与えられると、パッチ抽出層３１０は、画像のあらゆるピクセル（ｉ，ｊ）を中心とするｄ×ｄ次元の平均値減算されたパッチを抽出する。画像Ｘ内のピクセル（ｉ，ｊ）を中心とするｄ×ｄのパッチを表すｄ２×１列ベクトルをｘｉｊとする。パッチ抽出層は、ｘｉｊの平均値減算されたものである、
【数１７】
0006656111.tif 000018
を求める。ここで、
【数１８】
0006656111.tif 000019
は、平均値減算行列である。
【００５１】
選択ネットワークへの入力は、平均値減算されたパッチ
【数１９】
0006656111.tif 000020
２０１及びノイズ分散σ２１０２である。図２に示すような２層選択ネットワーク２００を用いて、結合重み
【数２０】
0006656111.tif 000021
２０２が選択される。入力画像Ｘ１０１から抽出された平均値減算されたパッチ
【数２１】
0006656111.tif 000022
２０１を用いて、結合重み
【数２２】
0006656111.tif 000023
２０２が求められる。選択ネットワークのパラメーター
【数２３】
0006656111.tif 000024
は、２次層２１０において用いられる。選択ネットワークは、成分対数尤度２２０（第（ｉ，ｊ）ピクセルを中心とするパッチの第ｋ成分を選択する対数尤度）である
【数２４】
0006656111.tif 000025
を生成する２次層２１０を備える。この後には、結合重みγｉｊ＝ＳｏｆｔＭａｘ（ｓｉｊ）を求めるＳｏｆｔｍａｘ層２３０が続く。ここで、ＳｏｆｔＭａｘは、ソフトマックス関数又は正規化された指数関数である。
【００５２】
結合層３３０は、Ｋ個の対称半正定値行列Ψ１，．．．，ΨＫの凸結合、すなわち、下式としてパッチ共分散ｐｒｉｏｒを選択する。
【００５３】
【数２５】
0006656111.tif 000026
【００５４】
選択ネットワーク２００では、成分対数尤度｛ｓｋ｝２２０の計算を、ガウス対数尤度の値を求めることと解釈することができるように、特定の２次形式（Ｗｋ＋σ２Ｉ）−１が選択される。｛Ｗｋ｝を、クリーンなパッチに関連付けられた共分散行列と解釈した場合、｛Ｗｋ＋σ２Ｉ｝は、ノイズを有するパッチに関連付けられた共分散行列と解釈することができる。
【００５５】
この２次形式の利益は、以下の２通りに分けられる。
（ｉ）選択器が対称的である。ゼロ平均ガウスｐｒｉｏｒが選択されているので、パッチ
【数２６】
0006656111.tif 000027
が特定の共分散ｐｒｉｏｒを有する可能性がある場合、パッチ
【数２７】
0006656111.tif 000028
も等しく同じ共分散ｐｒｉｏｒを有する可能性がある。本発明者らの選択器は、
【数２８】
0006656111.tif 000029
及び
【数２９】
0006656111.tif 000030
の双方が同じ結合重み｛γｋ｝を有することを満たす。
（ｉｉ）この２次形式はノイズ分散σ２を考慮しているので、本発明者らの選択は入力画像のノイズに対してロバスト（robust）である。
【００５６】
推論ネットワーク
上記で説明した半２次分割方法を用いて、本発明者らの推論ネットワークが設計される。この推論ネットワークの各層は、ＨＱＳ層とも呼ばれ、１つの半２次分割反復（式５及び式６）を実施する。各ＨＱＳ層は、図４に示すような以下の２つの連続した部分層を有する。
【００５７】
パッチ推論層（ＰＩ）４１０
この層は、出力の現在の推定値Ｙｔを入力として取り込み、ｆｉｊ（Ｙ）を用いて補助パッチ｛ｚｉｊ｝を求める。
【００５８】
画像形成層（ＩＦ）４２０
この層は、ＰＩ層によって与えられた補助パッチ｛ｚｉｊ｝を入力として取り込み、ｇｉｊ（｛ｚｉｊ｝）を用いて次の画像推定値Ｙｔ＋１を求める。
【００５９】
半２次分割のβ定数の集合が｛β１，β２，…，βＴ｝である場合、本発明者らの推論ネットワークは、図４に示すようにＴ個のＨＱＳ層１３０を有する。ここで、Σｉｊは、ノイズ分散σ２１０２を有する入力画像Ｘ１０１についてＰｇＮｅｔ１１０によって求められたパッチ共分散ｐｒｉｏｒである。
【００６０】
ディープＧＣＲＦネットワーク
上記ｐｒｉｏｒ生成ネットワーク及び推論ネットワークを結合すると、パラメーター
【数３０】
0006656111.tif 000031
を有する本発明者らのディープＧＣＲＦネットワークが得られる。本発明者らのネットワークは、従来のディープネットワークにおいて用いられる計算とは異なる２次関数、行列反転及び相乗交互作用を用いた様々な新しいタイプの層を有することに留意されたい。
【００６１】
各反復後のｐｒｉｏｒの生成
適切なｐｒｉｏｒを選択することが、ＧＣＲＦの成功に決定的に重要であることに留意されたい。ｐｒｉｏｒ生成ネットワークは、入力画像Ｘに対して操作するので、ノイズ分散σ２を選択ネットワーク２００内に組み込んだ後であっても、高いノイズレベルにおいて良好なｐｒｉｏｒを選択することは非常に困難である。この問題を克服するために、各ＨＱＳ反復１３０の後に追加のＰｇＮｅｔ１４０が用いられる。これらの追加のＰｇＮｅｔを加える根本的な理由は、最初のＰｇＮｅｔ１１０が、良好なｐｒｉｏｒ１１１の選択に失敗した場合であっても、後のＰｇＮｅｔが、部分的にノイズが除去された画像を用いて適切なｐｒｉｏｒを選択することができるからである。
【００６２】
トレーニング
好ましい実施形態では、本発明者らのディープＧＣＲＦネットワークが、ノイズを有するトレーニング画像及びノイズが除去されたトレーニング画像の対のデータセットに適用される平均二乗誤差（ＭＳＥ:mean squared error）損失関数を用いて弁別的にトレーニングされる。幾つかの他の実施形態では、ディープＧＣＲＦネットワークは、ピーク信号対雑音比（ＰＳＮＲ:peak signal to noise ratio）又は構造類似性尺度（ＳＳＩＭ:structural similarity measure）を最大にすることによってトレーニングされる。ノイズを有するトレーニング画像は、合成ノイズをノイズのない画像に加えることによって生成することができる。
【００６３】
従来のバックプロパゲーションを用いて、ネットワークパラメーターに関する損失の微分（derivatives）を求める。本発明者らのパラメーター
【数３１】
0006656111.tif 000032
は、対称半正定値である必要があるので、ここでは、制約付き最適化問題が得られることに留意されたい。この制約付き問題は、
【数３２】
0006656111.tif 000033
及び
【数３３】
0006656111.tif 000034
をパラメーター化することによって制約なし問題に変換される。ここで、Ｐｋ及びＲｋは下三角行列であり、メモリ制限ブロイデン・フレッチャー・ゴールドファーブ・シャノ（ＢＦＧＳ:Broyden-Fletcher-Goldfarb-Shanno）アルゴリズムを最適化に用いる。
【００６４】
発明の効果
本発明の実施形態は、ディープガウス条件付き確率場（ＧＣＲＦ）に基づく画像ノイズ除去の新規なディープネットワークアーキテクチャを提供する。ディープＧＣＲＦネットワークのｐｒｉｏｒ生成ステップ及び推論ステップは、フィードフォワードネットワークに変換される。ディープＧＣＲＦネットワークは、ノイズ分散を明示的にモデル化するので、複数のノイズレベルを処理することができる。このネットワークは、弁別的にトレーニングされると、様々な最先端の画像ノイズ除去方法よりも性能が優れている。
【００６５】
ディープＧＣＲＦネットワークは、これらに限定されるものではないが、インペインティング、画像超解像度及び奥行き推定を含む複数のコンピュータービジョンアプリケーションに用いることができる。
【図１Ａ】
0006656111.tif 000056
【図１Ｂ】
0006656111.tif 000057
【図２】
0006656111.tif 000058
【図３】
0006656111.tif 000059
【図４】
0006656111.tif 000060