(57)【特許請求の範囲】
【請求項１】
ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、
前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、
前記ベース画像生成処理部からの生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理部と、
生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理部と、
生成された劣化残差画像に対して、前記生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理部と、
生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理部とを備えることを特徴とする画像復元装置。
【請求項２】
前記画像復元処理部では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元残差画像を生成し、
具体的に、次の評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成し、
0005105286.tif 000074
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｘ(ｕ,ｖ)は前記劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項１に記載の画像復元装置。
【請求項３】
前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000075
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項２に記載の画像復元装置。
【請求項４】
ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、
前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、
前記ベース画像生成処理部からの生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理部と、
生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理部と、
生成された劣化残差画像に対して、画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理部と、
生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理部とを備えることを特徴とする画像復元装置。
【請求項５】
前記画像復元処理部では、生成された劣化残差画像に対して、ウィーナーフィルタによる画像復元処理、又は、リチャードソン・ルーシー法による画像復元処理を行い、復元残差画像を生成する請求項４に記載の画像復元装置。
【請求項６】
ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、
前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、
前記劣化画像に対して、前記ベース画像生成処理部からの生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、前記復元画像を生成する、画像復元処理部とを備えることを特徴とする画像復元装置。
【請求項７】
前記画像復元処理部では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、前記劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、前記復元画像を生成し、
具体的に、次の評価関数Ｉを最小化することにより、前記復元画像Ｚ(ｕ,ｖ)を生成し、
0005105286.tif 000076
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｇ（ｕ,ｖ）は前記劣化画像を表し、Ｂ（ｕ,ｖ）は前記ＰＳＦを表し、α（ｕ,ｖ）は前記拘束パラメータを表す請求項６に記載の画像復元装置。
【請求項８】
前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000077
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項７に記載の画像復元装置。
【請求項９】
前記ベース画像生成処理部は、
前記劣化画像に対して、画像復元第１処理を行うことにより、第１復元画像を生成する、画像復元第１処理部と、
生成された第１復元画像に対して、デノイジングのためのフィルタ処理を行うことにより、前記ベース画像を生成する、フィルタ処理部とを備える請求項１乃至請求項８のいずれかに記載の画像復元装置。
【請求項１０】
前記画像復元第１処理部では、前記劣化画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元画像を生成する請求項９に記載の画像復元装置。
【請求項１１】
前記ベース画像生成処理部では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
前記ベース画像生成処理部は、
前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理部と、
前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理部と、
生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理部と、
生成された第１劣化残差画像に対して、画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理部と、
生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理部と、
生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理部と、
所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断部と、
を備え、
前記繰り返し処理とは、前記第１ぼかし画像生成処理部にて行われる処理、前記第１劣化残差画像生成処理部にて行われる処理、前記画像復元第１処理部にて行われる処理、前記第２フィルタ処理部にて行われる処理、前記ベース画像更新処理部にて行われる処理、及び前記繰り返し処理終了判断部にて行われる処理である請求項１乃至請求項８のいずれかに記載の画像復元装置。
【請求項１２】
前記画像復元第１処理部では、生成された第１劣化残差画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元残差画像を生成する請求項１１に記載の画像復元装置。
【請求項１３】
前記ベース画像生成処理部では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
前記ベース画像生成処理部は、
前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理部と、
前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理部と、
生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理部と、
生成された第１劣化残差画像に対して、前記ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理部と、
生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理部と、
生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理部と、
所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断部と、
を備え、
前記繰り返し処理とは、前記第１ぼかし画像生成処理部にて行われる処理、前記第１劣化残差画像生成処理部にて行われる処理、前記画像復元第１処理部にて行われる処理、前記第２フィルタ処理部にて行われる処理、前記ベース画像更新処理部にて行われる処理、及び前記繰り返し処理終了判断部にて行われる処理である請求項１乃至請求項８のいずれかに記載の画像復元装置。
【請求項１４】
前記画像復元第１処理部では、前記ベース画像を利用して、前記ベース画像の勾配が大きいところでは拘束を弱く、前記ベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された第１劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元第１処理を行い、第１復元残差画像を生成し、
具体的に、次の評価関数Ｉを最小化することにより、第１復元残差画像ｙ０(ｕ,ｖ)を生成し、
0005105286.tif 000078
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、ｘ０(ｕ,ｖ)は前記第１劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項１３に記載の画像復元装置。
【請求項１５】
前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000079
ただし、ｒ０(ｕ,ｖ)は前記ベース画像を表し、▽ｒ０(ｕ,ｖ)は前記ベース画像の勾配を表し、γとλは調節パラメータを表す請求項１４に記載の画像復元装置。
【請求項１６】
前記所定の繰り返し処理終了条件は、前記ベース画像に更新前後の変化がなくなるという条件１、所定の繰り返し処理回数に達するという条件２、又は前記更新画像の画素値の二乗和が所定の値以下になるという条件３である請求項１１乃至請求項１５のいずれかに記載の画像復元装置。
【請求項１７】
前記第１フィルタ処理では、バイラテラルフィルタ又はローパスフィルタを利用し、
バイラテラルフィルタを前記第１フィルタ処理に利用した場合に、前記劣化画像Ｇ(ｕ,ｖ)に対して、バイラテラルフィルタは次の式で定義され、
0005105286.tif 000080
ただし、(ｕ,ｖ)は画像上の座標を表し、ｒ０(ｕ,ｖ)はバイラテラルフィルタの出力結果で、即ち、生成された前記ベース画像の初期値であり、ｗ２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ１()は１次元ガウス関数を表し、
前記第２フィルタ処理では、ジョイントバイラテラルフィルタ、バイラテラルフィルタ又はローパスフィルタを利用し、
ジョイントバイラテラルフィルタを前記第２フィルタ処理に利用した場合に、前記第１復元残差画像ｙ０(ｕ,ｖ)と、それに対応する前記ベース画像ｒ０(ｕ,ｖ)に対して、ジョイントバイラテラルフィルタは次の式で定義され、
0005105286.tif 000081
ただし、ｚ０(ｕ,ｖ)はジョイントバイラテラルフィルタの出力結果で、即ち、生成された更新画像であり、ｗ２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ１()はは１次元ガウス関数を表す請求項１１乃至請求項１６のいずれかに記載の画像復元装置。
【請求項１８】
ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元方法であって、
前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理ステップと、
前記ベース画像生成処理ステップで生成された、生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理ステップと、
生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理ステップと、
生成された劣化残差画像に対して、前記生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理ステップと、
生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理ステップとを有することを特徴とする画像復元方法。
【請求項１９】
前記画像復元処理ステップでは、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元残差画像を生成し、
具体的に、次の評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成し、
0005105286.tif 000082
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｘ(ｕ,ｖ)は前記劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項１８に記載の画像復元方法。
【請求項２０】
前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000083
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項１９に記載の画像復元方法。
【請求項２１】
ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元方法であって、
前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理ステップと、
前記ベース画像生成処理ステップで生成された、生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理ステップと、
生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理ステップと、
生成された劣化残差画像に対して、画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理ステップと、
生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理ステップとを有することを特徴とする画像復元方法。
【請求項２２】
前記画像復元処理ステップでは、生成された劣化残差画像に対して、ウィーナーフィルタによる画像復元処理、又は、リチャードソン・ルーシー法による画像復元処理を行い、復元残差画像を生成する請求項２１に記載の画像復元方法。
【請求項２３】
ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元方法であって、
前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理ステップと、
前記劣化画像に対して、前記ベース画像生成処理ステップで生成された、生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、前記復元画像を生成する、画像復元処理部とを備えることを特徴とする画像復元方法。
【請求項２４】
前記画像復元処理ステップでは、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、前記劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、前記復元画像を生成し、
具体的に、次の評価関数Ｉを最小化することにより、前記復元画像Ｚ(ｕ,ｖ)を生成し、
0005105286.tif 000084
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｇ(ｕ,ｖ)は前記劣化画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項２３に記載の画像復元装置。
【請求項２５】
前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000085
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項２４に記載の画像復元方法。
【請求項２６】
前記ベース画像生成処理ステップは、
前記劣化画像に対して、画像復元第１処理を行うことにより、第１復元画像を生成する、画像復元第１処理ステップと、
生成された第１復元画像に対して、デノイジングのためのフィルタ処理を行うことにより、前記ベース画像を生成する、フィルタ処理ステップとを有する請求項１８乃至請求項２５のいずれかに記載の画像復元方法。
【請求項２７】
前記画像復元第１処理ステップでは、前記劣化画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元画像を生成する請求項２６に記載の画像復元方法。
【請求項２８】
前記ベース画像生成処理ステップでは、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
前記ベース画像生成処理ステップは、
前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理ステップと、
前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理ステップと、
生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理ステップと、
生成された第１劣化残差画像に対して、画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理ステップと、
生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理ステップと、
生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理ステップと、
所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断ステップと、
を有し、
前記繰り返し処理とは、前記第１ぼかし画像生成処理ステップにて行われる処理、前記第１劣化残差画像生成処理ステップにて行われる処理、前記画像復元第１処理ステップにて行われる処理、前記第２フィルタ処理ステップにて行われる処理、前記ベース画像更新処理ステップにて行われる処理、及び前記繰り返し処理終了判断ステップにて行われる処理である請求項１８乃至請求項２５のいずれかに記載の画像復元方法。
【請求項２９】
前記画像復元第１処理ステップでは、生成された第１劣化残差画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元残差画像を生成する請求項２８に記載の画像復元方法。
【請求項３０】
前記ベース画像生成処理ステップでは、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
前記ベース画像生成処理ステップは、
前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理ステップと、
前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理ステップと、
生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理ステップと、
生成された第１劣化残差画像に対して、前記ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理ステップと、
生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理ステップと、
生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理ステップと、
所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断ステップと、
を有し、
前記繰り返し処理とは、前記第１ぼかし画像生成処理ステップにて行われる処理、前記第１劣化残差画像生成処理ステップにて行われる処理、前記画像復元第１処理ステップにて行われる処理、前記第２フィルタ処理ステップにて行われる処理、前記ベース画像更新処理ステップにて行われる処理、及び前記繰り返し処理終了判断ステップにて行われる処理である請求項１８乃至請求項２５のいずれかに記載の画像復元方法。
【請求項３１】
前記画像復元第１処理ステップでは、前記ベース画像を利用して、前記ベース画像の勾配が大きいところでは拘束を弱く、前記ベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された第１劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元第１処理を行い、第１復元残差画像を生成し、
具体的に、次の評価関数Ｉを最小化することにより、第１復元残差画像ｙ０(ｕ,ｖ)を生成し、
0005105286.tif 000086
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、ｘ０(ｕ,ｖ)は前記第１劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項３０に記載の画像復元方法。
【請求項３２】
前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000087
ただし、ｒ０(ｕ,ｖ)は前記ベース画像を表し、▽ｒ０(ｕ,ｖ)は前記ベース画像の勾配を表し、γとλは調節パラメータを表す請求項３１に記載の画像復元方法。
【請求項３３】
前記所定の繰り返し処理終了条件は、前記ベース画像に更新前後の変化がなくなるという条件１、所定の繰り返し処理回数に達するという条件２、又は前記更新画像の画素値の二乗和が所定の値以下になるという条件３である請求項２８乃至請求項３２のいずれかに記載の画像復元方法。
【請求項３４】
前記第１フィルタ処理では、バイラテラルフィルタ又はローパスフィルタを利用し、
バイラテラルフィルタを前記第１フィルタ処理に利用した場合に、前記劣化画像Ｇ(ｕ,ｖ)に対して、バイラテラルフィルタは次の式で定義され、
0005105286.tif 000088
ただし、(ｕ,ｖ)は画像上の座標を表し、ｒ０(ｕ,ｖ)はバイラテラルフィルタの出力結果で、即ち、生成された前記ベース画像の初期値であり、ｗ２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ１()は１次元ガウス関数を表し、
前記第２フィルタ処理では、ジョイントバイラテラルフィルタ、バイラテラルフィルタ又はローパスフィルタを利用し、
ジョイントバイラテラルフィルタを前記第２フィルタ処理に利用した場合に、前記第１復元残差画像ｙ０(ｕ,ｖ)と、それに対応する前記ベース画像ｒ０(ｕ,ｖ)に対して、ジョイントバイラテラルフィルタは次の式で定義され、
0005105286.tif 000089
ただし、ｚ０(ｕ,ｖ)はジョイントバイラテラルフィルタの出力結果で、即ち、生成された更新画像であり、ｗ２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ１()はは１次元ガウス関数を表す請求項２８乃至請求項３３のいずれかに記載の画像復元方法。
【請求項３５】
ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成するための画像復元プログラムであって、
Ａ１．前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する手順と、
Ａ２．手順Ａ１で生成された、生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する手順と、
Ａ３．生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する手順と、
Ａ４．生成された劣化残差画像に対して、前記生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する手順と、
Ａ５．生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する手順と、
をコンピュータに実行させるためのプログラム。
【請求項３６】
手順Ａ４では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元残差画像を生成し、
具体的に、次の評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成し、
0005105286.tif 000090
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｘ(ｕ,ｖ)は前記劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項３５に記載の画像復元プログラム。
【請求項３７】
前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000091
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項３６に記載の画像復元プログラム。
【請求項３８】
ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成するための画像復元プログラムであって、
Ｂ１．前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する手順と、
Ｂ２．前記劣化画像に対して、手順Ｂ１で生成された、生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、前記復元画像を生成する手順と、
をコンピュータに実行させるためのプログラム。
【請求項３９】
手順Ｂ２では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、前記劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、前記復元画像を生成し、
具体的に、次の評価関数Ｉを最小化することにより、前記復元画像Ｚ(ｕ,ｖ)を生成し、
0005105286.tif 000092
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｇ(ｕ,ｖ)は前記劣化画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項３８に記載の画像復元プログラム。
【請求項４０】
前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000093
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項３９に記載の画像復元プログラム。
【請求項４１】
手順Ａ１又は手順Ｂ１では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
手順Ａ１又は手順Ｂ１は、
Ｃ１．前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する手順と、
Ｃ２．前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する手順と、
Ｃ３．生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する手順と、
Ｃ４．生成された第１劣化残差画像に対して、前記ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する手順と、
Ｃ５．生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する手順と、
Ｃ６．生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する手順と、
Ｃ７．所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける手順と、
を含み、
前記繰り返し処理とは、手順Ｃ２にて行われる処理、手順Ｃ３にて行われる処理、手順Ｃ４にて行われる処理、手順Ｃ５にて行われる処理、手順Ｃ６にて行われる処理、及び手順Ｃ７にて行われる処理である請求項３５乃至請求項４０のいずれかに記載の画像復元プログラム。
【請求項４２】
手順Ｃ４では、前記ベース画像を利用して、前記ベース画像の勾配が大きいところでは拘束を弱く、前記ベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された第１劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元第１処理を行い、第１復元残差画像を生成し、
具体的に、次の評価関数Ｉを最小化することにより、第１復元残差画像ｙ０(ｕ,ｖ)を生成し、
0005105286.tif 000094
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、ｘ０(ｕ,ｖ)は前記第１劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項４１に記載の画像復元プログラム。
【請求項４３】
前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000095
ただし、ｒ０(ｕ,ｖ)は前記ベース画像を表し、▽ｒ０(ｕ,ｖ)は前記ベース画像の勾配を表し、γとλは調節パラメータを表す請求項４２に記載の画像復元プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、劣化画像から真の画像を復元するための画像復元装置、画像復元方法及び画像復元プログラムに関する。
【背景技術】
【０００２】
撮像装置で被写体を撮影する際の手ぶれ（camera  shake）や、被写体が動物体である場合の撮影などにより、撮影した画像に、ぶれ、即ち、ブラー（blur）と呼ばれる劣化現象が生じる場合がよくある。
【０００３】
画像処理技術において、ブラーのある画像（ブラーにより劣化してしまった画像）、即ち、ブラー画像（blurred  image）は、ブラーのない原画像（以下、「真の画像」とも言う。）と、ブラーを表す点拡がり関数（Point  Spread  Function:  ＰＳＦ）との畳み込み積分として定式化されるため、ブラー画像（以下、「劣化画像」とも言う。）から真の画像を復元する場合に、ＰＳＦの推定処理と、推定されたＰＳＦを利用した画像復元処理を行う必要がある（非特許文献１を参照）。
【０００４】
ＰＳＦ推定処理はそれ単独で困難な問題である。そのため、多くの手法では、直線的なぶれ（ブラー）を仮定し、ＰＳＦ推定処理を行っている（非特許文献２及び非特許文献３を参照）。しかし、現実に発生するブラーのＰＳＦは、これらの仮定では表現できない複雑な形状をしていることも多く（非特許文献４を参照）、十分な推定結果を得られない場合もある。近年、複雑な形状のＰＳＦを推定する手法も提案されており、小さいＰＳＦであれば良好な推定結果が得られることが報告されている（非特許文献４及び非特許文献５を参照）。
【０００５】
ＰＳＦが既知であるとしても、画像復元処理は、依然として困難な問題である。劣化画像には、高周波成分や特定の周波数成分が欠如しており、劣化画像から復元された画像（以下、「復元画像」とも言う。）には、リンギング（Ringing）などのアーティファクト（Artifact）が発生してしまうことが多い。つまり、復元画像のエッジ強度に対応して、リンギングが発生するという問題がある。また、劣化した周波数成分を復元する過程で、ノイズの成分も同時に増大されてしまう問題が発生してしまう。
【特許文献１】特開２００６−２２１３４７号公報
【特許文献２】特開２００７−１８３８４２号公報
【非特許文献１】ディー.クンドル(D.Kundur)・ディー.ハジナコス(D.Hatzinakos)共著,「ブラインド  イメージ  デコンボリューション（Blind  image  deconvolution）」,シグナル  プロセッシング  マガジン（Signal  Processing  Magazine）,IEEE,第13巻,第3号,p.43-64,1996年
【非特許文献２】ワイ.イズハキ(Y.Yitzhaky)・アイ.モル（I.Mor）・エイ.ランズマン（A.Lantzman）・エヌ.エス.コペイカ（N.S.Kopeika）共著,「ダイレクト  メソッド  フォー  レストレイション  オフ  モーション  ブラーレド  イメージズ（Direct  method  for  restoration  of  motion-blurred  images）」,ジャーナル  オフ  ザ  オプティカル  ソサイエティ  オフ  アメリカ  エイ（Journal  of  the  Optical  Society  of  America  A）,第15巻,p.1512-1519,1998年
【非特許文献３】米司・田中・奥富共著,「直線的手ぶれ画像復元のためのpsfパラメータ推定手法」,情報処理学会研究報告,第2005巻,第38号,p.47-52,2005年
【非特許文献４】アール.ファーガス（R.Fergus）・ビー.シング（B.Singh）・エイ.ヘルツマン（A.Hertzmann）・エス.ティー.ロウイス（S.T.Roweis）・ダブリュー.ティー.フチーマン（W.T.Freeman）共著,「リムービング  カメラ  シェイク  フロム  ア  シングル  フォトグラフ（Removing  camera  shake  from  a  single  photograph）」,ＡＣＭ  トランス.  グラフ.（ACM  Trans.  Graph.）,第25巻,第3号,p.787-794,2006年
【非特許文献５】ジェー.ジア（J.Jia）著,「シングル  イメージ  モーション  デブラーリング  ユジング  トランスペアレンシー（Single  image  motion  deblurring  using  transparency）」,コンピュータ  ビジョン  アンド  パターン  リコグニション,  ２００７  ＣＶＰＲ’０７.  ＩＥＥＥ  カンファレンス  オン(Computer  Vision  and  Pattern  Recognition,  2007  CVPR’07.  IEEE  Conference  on）,p.1-8,2007年
【非特許文献６】ダブリュー.エイチ.リチャードソン(W.H.Richardson)著,「ベイジアン  ベーセッド  イテラティブ  メソッド  オフ  イメージ  レストレイション（Bayesian-based  iterative  method  of  image  restoration）」,ジャーナル  オフ  ザ  オプティカル  ソサイエティ  オフ  アメリカ（Journal  of  the  Optical  Society  of  America  (1917-1983)）,第62巻,p.55-59,1972年
【非特許文献７】エル.ビー.ルーシー(L.B.Lucy)著,「アン  イテラティブ  テクニック  フォー  ザ  レクテフィケーション  オフ  オブザーブド  ディストリビューションズ（An  iterative  technique  for  the  rectification  of  observed  distributions）」,アストロノミカル  ジャーナル（Astronomical  Journal）,第79巻,p.745-754,1974年
【非特許文献８】エヌ.ウィーナー（N.Wiener）著,「エキストラポレション,  インターポレション,  アンド  スムージング  オフ  ステイショナリ  タイム  シリーズ（Extrapolation,  Interpolation,  and  Smoothing  of  Stationary  Time  Series）」,ザ  ＭＩＴ  プレス（The  MIT  Press）,1964年
【非特許文献９】米司・田中・奥富共著,「ヒューマンフレンドリーな復元フィルタの提案」,電子情報通信学会論文誌,第J90-D巻,第10号,p.2830-2839,2007年
【非特許文献１０】ビー.バスクル（B.Bascle）・エイ.ブレーク（A.Blake）・エイ.ジサーマン（A.Zisserman）共著,「モーション  デブラーリング  アンド  スーパーレゾルーション  フロム  アン  イメージ  シーケンス（Motion  deblurring  and  super-resolution  from  an  image  sequence）」,ＥＣＣＶ’９６：  プロスィーデイングズ  オフ  ザ  ４ｔｈ  ヨーロッピアン  カンファレンス  オン  コンピュータ  ビジョン  ボリューム  ＩＩ，  ロンドン  ＵＫ，  スプリンガー  ナラグ（ECCV’96:  Proceedings  of  the  4th  European  Conference  on  Computer  Vision-Volume  II,  London,  UK,  Springer-Verlag）,p.573-582,1996年
【非特許文献１１】エイ.ラバーアチャ（A.Rav-Acha）・エス.ペレグ（S.Peleg）共著,「ツー  モーション  ブラーレド  イメージズ  アー  ベター  ザン  ワン（Two  motion-blurred  images  are  better  than  one）」,パターン  レコグナ.  レタ.（Pattern  Recogn.  Lett.）,第26巻,第3号,p.311-317,2005年
【非特許文献１２】エム.ベンーエズラ（M.Ben-Ezra）・エス.ケイ.ナイヤル（S.K.Nayar）共著,「モーション  デブラーリング  ユジング  ハイブリッド  イメージング（Motion  deblurring  using  hybrid  imaging）」,cvpr,第01巻,p.657,2003年
【非特許文献１３】エル.ユアン（L.Yuan）・ジェー.サン（J.Sun）・エル.クアン（L.Quan）・エイチ.ワイ.シュム（H.-Y.Shum）共著,「イメージ  デブラーリング  ウィズ  ブラーレド／ノイジー  イメージ  ペアズ（Image  deblurring  with  blurred/noisy  image  pairs）」,SIGGRAPH’07:ACM  SIGGRAPH  2007  papers,  New  York,NY,USA,ACM,p.1,2007年
【非特許文献１４】ジー.ペツチニグ（G.Petschnigg）・アール.スゼリスキ（R.Szeliski）・エム.アグラワラ（M.Agrawala）・エム.コヘン（M.Cohen）・エイチ.ホッペ（H.Hoppe）・ケイ.トヤマ（K.Toyama）共著,「デジタル  フォトグラフィー  ウィズ  フラッシュ  アンド  ノーフラッシュ  イメージ  ペアズ（Digital  photography  with  flash  and  no-flash  image  pairs）」,ＡＣＭ  トランス.  グラフ.（ACM  Trans.  Graph.）,第23巻,第3号,p.664-672,2004年
【非特許文献１５】ワイ.ワイス（Y.Weiss）・ダブリュー.フリーマン（W.Freeman）共著,「ホワット  メイクス  ア  グッド  モデル  オフ  ナチュラル  イメージズ？（What  makes  a  good  model  of  natural  images?）」,コンピュータ  ビジョン  アンド  パターン  リコグニション,  ２００７  ＣＶＰＲ’０７．  ＩＥＥＥ  カンファレンス  オン（Computer  Vision  and  Pattern  Recognition,  2007  CVPR’07.  IEEE  Conference  on）,p.1-8,2007年
【非特許文献１６】奥富・他共著,「ディジタル画像処理」,ＣＧ−ＡＲＴＳ協会
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来、ＰＳＦが既知であり、撮影された劣化画像から真の画像を復元する画像復元方法として、リチャードソン・ルーシー法（Richardson-Lucy法：ＲＬ法）（非特許文献６及び非特許文献７を参照）やウィーナーフィルタ（非特許文献８を参照）がよく知られている。ＲＬ法もウィーナーフィルタも、撮影された劣化画像を直接利用して、画像復元処理を行っている。
【０００７】
そのため、ＲＬ法又はウィーナーフィルタによって復元された復元画像のエッジ強度も大きく、結果として、ＲＬ法又はウィーナーフィルタによって復元された復元画像に大きなリンギングが発生してしまう問題がある。
【０００８】
つまり、ＲＬ法又はウィーナーフィルタを利用して、先鋭な結果が得られるように復元パラメータを調節すると、その復元結果（復元画像）には大きなノイズやリンギングが含まれてしまう問題が発生する。その問題を解決するため、復元パラメータの調整が容易な手法も報告されている（非特許文献９を参照）。
【０００９】
また、ＲＬ法もウィーナーフィルタも、画像全体に均質な処理を行っているため、特に、復元画像のテクスチャレス領域において、ノイズやリンギングの影響がより目立ってしまうという問題点がある。
【００１０】
更に、複数の劣化画像を利用して、真の画像を復元する画像復元方法も提案されている（非特許文献１０、非特許文献１１及び非特許文献１２を参照）。また、ユアンらは、ノイズが大きく含まれるがぶれの小さい画像と、ノイズは小さいもののぶれの大きい画像を組み合わせて利用することにより、リンギングを抑えた復元画像が得られる画像復元方法を提案している（非特許文献１３を参照）。
【００１１】
また、劣化画像から真の画像を復元する画像復元処理の問題に限らず、複数の画像を利用した画質改善方法も提案されており、例えば、フラッシュ有りとフラッシュ無しの画像ペアを用いてノイズを抑える画質改善方法（非特許文献１４を参照）などが挙げられる。画像ペアを用いる画像処理方法では、一枚の劣化画像のみを利用した画像復元方法よりも、画像処理結果の向上が期待されるものの、異なる性質を持つ画像間の位置合わせを行う必要がある。更に、そもそも、一つの被写体に対して複数の画像を撮影する必要があるという問題もある。
【００１２】
本発明は、上述のような事情からなされたものであり、本発明の目的は、既知のＰＳＦ及び１枚の劣化画像に基づき、真の画像を復元することにより、リンギングやノイズを抑えた復元画像を生成するようにした、画像復元装置、画像復元方法及び画像復元プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、既知のＰＳＦ及び１枚の劣化画像に基づき、真の画像を復元することにより、リンギングやノイズを抑えた復元画像を生成するようにした画像復元装置に関し、本発明の上記目的は、ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、前記ベース画像生成処理部からの生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理部と、生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理部と、生成された劣化残差画像に対して、前記生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理部と、生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理部とを備えることにより、或いは、前記画像復元処理部では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元残差画像を生成し、具体的に、次の評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成し、
0005105286.tif 000002
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｘ(ｕ,ｖ)は前記劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表すことにより、或いは、前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000003
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表すことによって効果的に達成される。
【００１４】
また、本発明の上記目的は、ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、前記ベース画像生成処理部からの生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理部と、生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理部と、生成された劣化残差画像に対して、画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理部と、生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理部とを備えることにより、或いは、前記画像復元処理部では、生成された劣化残差画像に対して、ウィーナーフィルタによる画像復元処理、又は、リチャードソン・ルーシー法による画像復元処理を行い、復元残差画像を生成することによって効果的に達成される。
【００１５】
また、本発明の上記目的は、ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、前記劣化画像に対して、前記ベース画像生成処理部からの生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、前記復元画像を生成する、画像復元処理部とを備えることにより、或いは、前記画像復元処理部では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、前記劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、前記復元画像を生成し、具体的に、次の評価関数Ｉを最小化することにより、前記復元画像Ｚ(ｕ,ｖ)を生成し、
0005105286.tif 000004
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｇ(ｕ,ｖ)は前記劣化画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表すことにより、或いは、前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000005
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表すことによって効果的に達成される。
【００１６】
また、本発明の上記目的は、前記ベース画像生成処理部は、前記劣化画像に対して、画像復元第１処理を行うことにより、第１復元画像を生成する、画像復元第１処理部と、生成された第１復元画像に対して、デノイジングのためのフィルタ処理を行うことにより、前記ベース画像を生成する、フィルタ処理部とを備えることにより、或いは、前記画像復元第１処理部では、前記劣化画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元画像を生成することによって効果的に達成される。
【００１７】
また、本発明の上記目的は、前記ベース画像生成処理部では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、前記ベース画像生成処理部は、前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理部と、前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理部と、生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理部と、生成された第１劣化残差画像に対して、画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理部と、生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理部と、生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理部と、所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断部とを備え、前記繰り返し処理とは、前記第１ぼかし画像生成処理部にて行われる処理、前記第１劣化残差画像生成処理部にて行われる処理、前記画像復元第１処理部にて行われる処理、前記第２フィルタ処理部にて行われる処理、前記ベース画像更新処理部にて行われる処理、及び前記繰り返し処理終了判断部にて行われる処理であることにより、或いは、前記画像復元第１処理部では、生成された第１劣化残差画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元残差画像を生成することによって効果的に達成される。
【００１８】
また、本発明の上記目的は、前記ベース画像生成処理部では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、前記ベース画像生成処理部は、前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理部と、前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理部と、生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理部と、生成された第１劣化残差画像に対して、前記ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理部と、生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理部と、生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理部と、所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断部とを備え、前記繰り返し処理とは、前記第１ぼかし画像生成処理部にて行われる処理、前記第１劣化残差画像生成処理部にて行われる処理、前記画像復元第１処理部にて行われる処理、前記第２フィルタ処理部にて行われる処理、前記ベース画像更新処理部にて行われる処理、及び前記繰り返し処理終了判断部にて行われる処理であることにより、或いは、前記画像復元第１処理部では、前記ベース画像を利用して、前記ベース画像の勾配が大きいところでは拘束を弱く、前記ベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された第１劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元第１処理を行い、第１復元残差画像を生成し、具体的に、次の評価関数Ｉを最小化することにより、第１復元残差画像ｙ０(ｕ,ｖ)を生成し、
0005105286.tif 000006
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表し、ｘ０(ｕ,ｖ)は前記第１劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表すことにより、或いは、前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
0005105286.tif 000007
ただし、ｒ０(ｕ,ｖ)は前記ベース画像を表し、▽ｒ０(ｕ,ｖ)は前記ベース画像の勾配を表し、γとλは調節パラメータを表すことによって効果的に達成される。
【発明の効果】
【００１９】
本発明は、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対する画像復元処理を行い、リンギングやノイズ等を抑えた復元画像を生成できるようにした画像復元装置、画像復元方法、及び画像復元プログラムに関するものである。
【００２０】
本発明が有する「劣化残差画像を利用した画像復元」との特徴によれば、劣化画像をベース画像と劣化残差画像に分けるようにし、劣化残差画像に対して画像復元処理を行うことにより、復元された残差画像（復元残差画像）の振幅（分散）が小さくなり、結果としてリンギングを低減できるという効果を奏する。
【００２１】
また、本発明が有する「繰り返し処理によるベース画像生成」との特徴によれば、１枚の劣化画像からベース画像を漸進的に生成する過程において、復元された残差画像（復元残差画像）に基づき、ベース画像を更新し、更に、更新されたベース画像に基づき、劣化残差画像も更新され、更新された劣化残差画像に対して画像復元処理を繰り返すことにより、ベース画像が漸進的に真の画像に近づくことができ、そして、真の画像に近づいたベース画像と、当該ベース画像に基づいて復元された復元残差画像とによって、より先鋭な復元画像を生成することができるという効果を奏する。
【００２２】
更に、本発明が有する「適応的な拘束パラメータによる画像復元」との特徴によれば、劣化残差画像に対する画像復元を行う際に、ベース画像と劣化残差画像との関係に基づき、拘束パラメータを適応的に（空間的に）変化させることにより、つまり、ベース画像の勾配が大きいところでは拘束を弱く、ベース画像の勾配が小さいところでは拘束を強くするように、拘束パラメータを適応的に設定することにより、エッジを保存しながらも、リンギングやノイズを抑えた復元画像を生成することができるという優れた効果を奏する。
【００２３】
つまり、本発明の「適応的な拘束パラメータによる画像復元」との特徴によれば、エッジ部分は先鋭化され、テクスチャレス領域ではノイズ低減の効果がある。また、リンギングが目立つテクスチャレス領域において、リンギングを効果的に低減することができる。
【００２４】
このように、本発明によれば、劣化画像１枚のみを利用するだけで、ユアンらが提案した複数の劣化画像を利用した画像復元方法によって達成できた効果を実現することができる。
【００２５】
換言すれば、本発明によれば、ユアンらのように複数の劣化画像を利用することもなく、１枚の劣化画像のみを利用して、リンギングやノイズを抑えた復元画像を生成することができるという顕著な効果を奏する。
【発明を実施するための最良の形態】
【００２６】
最初に、本発明の着眼点について述べる。
【００２７】
背景技術にも述べたように、劣化画像から真の画像を復元する画像復元技術において、復元画像のエッジ強度に対応して、リンギングが発生するという問題点がある。本発明の発明者らは、この点に着眼し、劣化画像から復元された画像（復元画像）のエッジ強度を小さくすることにより、復元画像におけるリンギングの影響を減らすことを実現し、つまり、リンギングを抑えた復元画像が得られる画像復元技術を発明した。
【００２８】
本発明は、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対して、リンギングやノイズを抑えた復元画像を生成するようにした画像復元装置、画像復元方法及び画像復元プログラムに関するものである。
【００２９】
本発明では、劣化画像におけるブラーは均一であることを前提とする。また、本発明を適用する際に、ＰＳＦは既知であることも１つの前提である。ＰＳＦが未知であっても、ＰＳＦを推定するために、例えば、ジャイロセンサなどの計測センサを利用してＰＳＦを計測するようにしてもよく、また、劣化画像からＰＳＦを推定する方法を利用することも可能である。劣化画像からＰＳＦを推定する方法としては、例えば、特許文献１に開示された「ぶれ情報検出方法」や、非特許文献４に記載された方法を利用することが勿論可能である。
【００３０】
本発明では、劣化画像を「ベース画像」と「劣化残差画像」に分解するという斬新な技術思想を提案し、換言すれば、真の画像を「ベース画像」と「残差画像」に分解するという斬新な技術思想を提案し、そして、その技術思想に基づいて構築された、「劣化残差画像を利用した画像復元」という技術、「繰り返し処理によるベース画像生成」という技術、及び「劣化画像におけるリンギングの目立ち具合に応じて設定された適応的な拘束パラメータによる画像復元」という技術を大きな特徴とする。
＜１＞劣化残差画像を利用した画像復元
まず、「劣化残差画像を利用した画像復元」について説明する。
【００３１】
画像処理技術分野において、劣化画像から真の画像を復元する画像復元では、復元画像に発生してしまうリンギングと呼ばれるアーティファクトが問題となる。
【００３２】
図１に、一次元画像における劣化画像（ブラー画像）と、復元画像に発生するリンギングの例を示す。図１から分かるように、復元画像のエッジ周辺にリンギングと呼ばれる波状のアーティファクトが発生している。リンギングは、エッジなどの不連続点で顕著に表れるアーティファクトであり、一種のギブス現象であると考えられている。このリンギングの大きさは、エッジなどの不連続点のギャップの大きさに比例するという特徴がある。
【００３３】
このため、本発明の発明者らは、図２のように、何らかの方法で復元すべき画像の不連続点でのギャップを小さくすることができれば、リンギングの影響もまた小さくすることができることを考え出した。
【００３４】
つまり、復元すべき画像の振幅を小さくすることができれば、リンギングを小さくすることができるということに着眼して、本発明がなされた訳である。本発明で言う「劣化残差画像」は、その定義からも分かるように、原画像（真の画像）に比べて、振幅が小さいため、結果として、劣化残差画像を利用した画像復元を行うことにより、リンギングの影響を抑えた復元画像を得ることが可能になる。
【００３５】
ここで、劣化残差画像を利用した画像復元問題の定式化を行う。
0005105286.tif 000008
を画像上の座標を表すベクトルとして、真の画像（原画像）を
0005105286.tif 000009
とし、劣化画像（ブラー画像）を
0005105286.tif 000010
としたとき、劣化画像から原画像を復元する画像復元問題は、下記数１によって定式化することができる。
【００３６】
【数１】
0005105286.tif 000011
ここで、
0005105286.tif 000012
はブラーを表すＰＳＦを、
0005105286.tif 000013
はノイズを、＊は畳み込み積分をそれぞれ表す。
【００３７】
なんらかのベース画像
0005105286.tif 000014
が得られているとすると、原画像
0005105286.tif 000015
は、ベース画像
0005105286.tif 000016
と残差画像
0005105286.tif 000017
の和として、下記数２のように表される。
【００３８】
【数２】
0005105286.tif 000018
上記数２を利用し、上記数１で定式化された「原画像を復元する画像復元問題」を、「残差画像を復元する画像復元問題」として、下記数３のように、定式化することができる。
【００３９】
【数３】
0005105286.tif 000019
ここで、
0005105286.tif 000020
は劣化残差画像を表し、下記数４のように定義される。
【００４０】
【数４】
0005105286.tif 000021
ベース画像
0005105286.tif 000022
が既知であれば、即ち、劣化画像からベース画像を生成すれば、上記数３に基づき、劣化残差画像から残差画像を復元することが可能になり、よって原画像を復元することができる。
【００４１】
つまり、数１で定式化された「劣化画像から原画像を復元する画像復元問題」を、ベース画像を介して、数３で定式化された「劣化残差画像から残差画像を復元する画像復元問題」として再定義したことは、本発明の大きな特徴の１つである。
【００４２】
本発明では、劣化残差画像に対する画像復元を行うことにより、ベース画像を介して、劣化画像に対する画像復元を実現しており、その劣化残差画像の振幅が原画像の振幅よりも小さいため、リンギングを抑えた復元画像を生成することが可能になる。
【００４３】
また、数１と数３を比較して分かるように、原画像と残差画像の相違、そして、劣化画像と劣化残差画像の相違はあるものの、数１と数３は形式的には全く同じである。
【００４４】
換言すれば、本発明では、劣化残差画像から残差画像を復元する画像復元処理に対しても、従来から提案された通常の劣化画像から真の画像を復元する画像復元方法をそのまま適用することが勿論可能である。
＜２＞繰り返し処理によるベース画像生成
次に、１枚の劣化画像のみを利用して、ベース画像を繰り返し処理により漸進的に生成することについて説明する。つまり、本発明では、１枚の劣化画像から、「ベース画像」と呼ばれる真の画像に近い画像を繰り返し更新しながら漸進的に生成することを大きな特徴としている。
【００４５】
換言すれば、本発明で言う「ベース画像」は、リンギングやノイズが含まれていない画像であることが望ましい。また、ベース画像は、真の画像（原画像）のおおよその形状を表していることが好ましい。ベース画像と原画像は近いほうが望ましいが、一致する必要はなく、大まかな構造やエッジが似通っていればよい。
【００４６】
本発明では、１枚の劣化画像からベース画像を漸進的に生成する場合にも、＜１＞で述べた「劣化残差画像を利用した画像復元」という技術思想を利用する。
【００４７】
つまり、劣化画像から何らかの方法で最初のベース画像を生成し、劣化画像と生成されたベース画像との差分を計算することで、劣化残差画像を生成し、そして、生成された劣化残差画像から残差画像を復元する。復元された残差画像（以下、「復元残差画像」と言う）は、多少のノイズやリンギングを含んでいるが、シャープなエッジを保持しており、劣化画像よりも原画像に近い画像である。
【００４８】
本発明では、この復元残差画像に基づき、ベース画像を更新し、更新されたベース画像と劣化画像とを利用して劣化残差画像を生成し、生成された劣化残差画像に対して再び画像復元を行う、という繰り返し方法を利用して、ベース画像を漸進的に生成するようにしている。
【００４９】
まず、最初のベース画像の生成方法について述べる。最初のベース画像においては、リンギングやノイズを含まず、原画像のおおよその形状、つまり、低周波数成分が表されていればよい。本発明では、劣化画像に対してバイラテラルフィルタを適用することにより、最初のベース画像を生成することが望ましい。
【００５０】
次に、ｎ回目の繰り返しのベース画像、即ち、ｎ回目のベース画像
0005105286.tif 000023
を、（ｎ＋１）回目のベース画像
0005105286.tif 000024
に更新することについて、具体的に説明する。
【００５１】
復元残差画像に基づき、ベース画像を更新するものの、復元残差画像にノイズやリンギングが含まれるため、復元残差画像をそのまま（ｎ＋１）回目のベース画像とすることは望ましくない。
【００５２】
劣化残差画像を利用した画像復元において、復元画像は、ｎ回目のベース画像
0005105286.tif 000025
と、劣化残差画像から残差画像を復元した結果である、ｎ回目の復元残差画像
0005105286.tif 000026
の和となる。このｎ回目の復元残差画像
0005105286.tif 000027
には、振幅が比較的小さいとはいえ、リンギングやノイズの影響が含まれている。
【００５３】
本発明では、復元残差画像に含まれるリンギングやノイズの影響を除去または低減した上で、リンギングやノイズの影響を除去または低減された復元残差画像をベース画像に加えるようにして、ベース画像を更新する。
【００５４】
本発明では、復元残差画像に含まれるリンギングやノイズの影響を低減する方法として、様々な手法を利用することが可能であり、その好適例として、ベース画像を利用したジョイントバイラテラルフィルタを利用する（非特許文献１４を参照）。
【００５５】
ジョイントバイラテラルフィルタは、画像ペアの画質改善に効果的であると知られており、下記数５で定義される。
【００５６】
【数５】
0005105286.tif 000028
ここで、
0005105286.tif 000029
はジョイントバイラテラルフィルタを表す関数である。Ｇｄ,Ｇｒはそれぞれ分散がσｄ,σｒのガウス関数である。また、
0005105286.tif 000030
の近傍ウィンドウを表し、
0005105286.tif 000031
は正規化項を表す。
【００５７】
通常のバイラテラルフィルタでは、復元残差画像の画素値の差に基づく重みを利用している。一方、ジョイントバイラテラルフィルタでは、ベース画像の画素値の差
0005105286.tif 000032
に基づく重みを利用する。
【００５８】
本発明では、ベース画像は原画像のおおよその形状を表しており、リンギングやノイズの影響が少ないとの性質を有しているので、ジョイントバイラテラルフィルタを利用することにより、効果的に復元残差画像に含まれるリンギングやノイズの影響を減らすことができる。
【００５９】
ジョイントバイラテラルフィルタを利用して、（ｎ＋１）回目のベース画像
0005105286.tif 000033
は、下記数６のように更新される。
【００６０】
【数６】
0005105286.tif 000034
ここで、
0005105286.tif 000035
はｎ回目に復元された残差画像（ｎ回目の復元残差画像）である。
【００６１】
更新されたベース画像
0005105286.tif 000036
を利用して、（ｎ＋１）回目に復元された残差画像
0005105286.tif 000037
が得られる。このように、本発明では、ベース画像は漸進的に更新されながら生成される。
＜３＞適応的な拘束パラメータによる画像復元
＜２＞では、繰り返し処理によるベース画像生成について詳細に説明した。本発明では、漸進的繰り返し処理によりベース画像を生成する過程中において、劣化残差画像に対する画像復元を繰り返し行うことにより、ベース画像を漸進的に生成するようにしている。
【００６２】
ところで、劣化残差画像に対する画像復元処理は、通常の劣化画像に対する画像復元と同様に行うことができる。そこで、本発明では、ＭＡＰ（Maximum  A  Posteriori）法に基づき、劣化残差画像に対する画像復元を行うことにした。
【００６３】
画像復元におけるＭＡＰ法は、尤度分布や事前確率分布の定義などによって様々であるが、最も典型的なＭＡＰ法は、下記数７で表す評価関数Ｅの最適化問題として定式化され、つまり、誤差項と拘束項からなる評価関数の最適化問題として定式化される。
【００６４】
【数７】
0005105286.tif 000038
ここで、αは拘束の強さを表す、事前確率に対応する拘束項のパラメータ（定数の拘束パラメータ）である。上記数７の評価関数に基づく画像復元処理は、結果として、ノイズのパワースペクトルと原画像のパワースペクトルの比を一定と仮定したときのウィーナーフィルタによる画像復元処理であると考えることもできる（非特許文献８を参照）。また、残差画像
0005105286.tif 000039
の事前確率分布をガウス関数でモデル化したという解釈も可能である。一方、自然画像の事前確率分布は、ガウス関数とは異なるため、ガウス関数で事前確率分布をモデル化すると、復元画像が過度に滑らかになってしまうという問題点があることが知られている（非特許文献１５を参照）。
【００６５】
本発明の発明者らは、ＭＡＰ法に基づいて、劣化残差画像に対する画像復元を行う際に、拘束パラメータを定数で固定するのではなく、ベース画像の勾配に基づき、拘束パラメータを適応的に（空間的に）変化させることを発明した。
【００６６】
つまり、本発明では、劣化残差画像の分散が小さいと予想されるところでは拘束パラメータを大きく、劣化残差画像の分散が大きいと予想されるところでは拘束パラメータを小さく設定するようにする。
【００６７】
さらに、本発明では、ベース画像は原画像のおおよその形状、つまり、低周波成分に対応しており、また、劣化残差画像は高周波成分に対応しているため、ベース画像の勾配の大きいところでは劣化残差画像の分散は大きく、また、ベース画像の勾配の小さいところでは劣化残差画像の分散も小さいことが予想される。
【００６８】
従って、本発明では、ベース画像の勾配に基づき、即ち、ベース画像の勾配が大きいところでは拘束を弱く、ベース画像の勾配が小さいところでは拘束を強くするように、拘束パラメータを適応的に設定する。
【００６９】
本発明で言う「適応的に設定できる拘束パラメータ」を持つ評価関数は、下記数８で表される。
【００７０】
【数８】
0005105286.tif 000040
【００７１】
【数９】
0005105286.tif 000041
ここで、
0005105286.tif 000042
はベース画像の勾配を表す。
0005105286.tif 000043
は適応的に設定できる拘束パラメータである。また、γ、λはその適応的に設定できる拘束パラメータ
0005105286.tif 000044
を設計（設定）するための調節パラメータである。
【００７２】
上記数８の評価関数をベクトル表現し、解析的に復元残差画像を求めることも理論的には可能であるが、未知数が画素数と同じ大規模な問題となるため、本発明では、共益勾配法により復元残差画像を求めることにする。
【００７３】
また、人間の視覚として、テクスチャの豊富な領域においては、リンギングを知覚しにくいが、テクスチャのない領域では、リンギングは顕著に知覚されるとの現象がある。上記数８の評価関数によれば、結果として、テクスチャのない領域におけるリンギングを抑える効果もあり、よって、本発明に係る画像復元方法は、視覚的にも合理的な方法と言える。
以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。
【００７４】
図３は本発明に係る画像復元装置の第１実施形態を示すブロック構成図である。
【００７５】
図３に示すように、本発明の第１実施形態に係る画像復元装置（以下、単に「画像復元装置１」とも言う。）は、ベース画像生成処理部１０と、ぼかし画像生成処理部２０と、劣化残差画像生成処理部３０と、画像復元処理部４０と、復元画像生成処理部５０とから構成され、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対する復元画像を生成するものである。
【００７６】
本発明の画像復元装置１では、まず、ベース画像生成処理部１０が、劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する。ベース画像生成処理部１０により生成された、生成済みベース画像は、真の画像におおよその形状が似ており、リンギングやノイズを含まない画像である。また、その生成済みベース画像は、真の画像に近いほど理想的ではあるが、それほど近くない場合にも、本発明に利用することが可能である。
【００７７】
次に、ぼかし画像生成処理部２０が、ベース画像生成処理部１０から出力された生成済みベース画像と、ＰＳＦとの畳み込み積分を行うことにより、つまり、生成済みベース画像を、ブラーを表すＰＳＦによりぼかすことにより、ぼかし画像を生成する。
【００７８】
そして、劣化残差画像生成処理部３０が、ぼかし画像生成処理部２０により生成されたぼかし画像と、劣化画像との差分画像を計算することにより、劣化残差画像を生成する。
【００７９】
次に、画像復元処理部４０が、劣化残差画像生成処理部３０により生成された劣化残差画像に対して、生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する。
【００８０】
最後に、復元画像生成処理部５０が、画像復元処理部４０により生成された復元残差画像に、生成済みベース画像を加えることにより、復元画像を生成する。
【００８１】
図４は本発明に係る画像復元装置の第２実施形態を示すブロック構成図である。
【００８２】
図４に示すように、本発明の第２実施形態に係る画像復元装置（以下、単に「画像復元装置２」とも言う。）は、ベース画像生成処理部１０と、ぼかし画像生成処理部２０と、劣化残差画像生成処理部３０と、画像復元処理部４１と、復元画像生成処理部５０とから構成され、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対する復元画像を生成するものである。
【００８３】
本発明の画像復元装置２では、まず、ベース画像生成処理部１０が、劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する。ベース画像生成処理部１０により生成された、生成済みベース画像は、真の画像におおよその形状が似ており、リンギングやノイズを含まない画像である。また、その生成済みベース画像は、真の画像に近いほど理想的ではあるが、それほど近くない場合にも、本発明に利用することが可能である。
【００８４】
次に、ぼかし画像生成処理部２０が、ベース画像生成処理部１０から出力された生成済みベース画像と、ＰＳＦとの畳み込み積分を行うことにより、つまり、生成済みベース画像を、ブラーを表すＰＳＦによりぼかすことにより、ぼかし画像を生成する。
【００８５】
そして、劣化残差画像生成処理部３０が、ぼかし画像生成処理部２０により生成されたぼかし画像と、劣化画像との差分画像を計算することにより、劣化残差画像を生成する。
【００８６】
次に、画像復元処理部４１が、劣化残差画像生成処理部３０により生成された劣化残差画像に対して、画像復元処理を行うことにより、復元残差画像を生成する。また、画像復元処理部４１では、既存の画像復元方法、例えば、ウィーナーフィルタ、ＲＬ法、特許文献２に記載の画像復元方法を用いて、画像復元処理を行う。
【００８７】
最後に、復元画像生成処理部５０が、画像復元処理部４０により生成された復元残差画像に、生成済みベース画像を加えることにより、復元画像を生成する。
【００８８】
図５は本発明に係る画像復元装置におけるベース画像生成処理部の第１実施形態を示すブロック構成図である。
【００８９】
図５に示すように、本発明の第１実施形態に係るベース画像生成処理部１０（以下、単に「ベース画像生成処理装置１」とも言う。）は、画像復元第１処理部１０１と、フィルタ処理部１０２とから構成される。
【００９０】
本発明のベース画像生成処理装置１（即ち、図５に示すベース画像生成処理部１０）では、まず、画像復元第１処理部１０１が劣化画像に対して、画像復元第１処理を行うことにより、第１復元画像を生成する。また、画像復元第１処理部１０１が行う画像復元第１処理とは、既存の画像復元方法による画像復元処理である。既存の画像復元方法とは、例えば、ウィーナーフィルタ、ＲＬ法、特許文献２に記載の画像復元方法などである。
【００９１】
次に、フィルタ処理部１０２が、画像復元第１処理部１０１により生成された第１復元画像に対して、デノイジングのためのフィルタ処理を行うことにより、ベース画像を生成する。また、フィルタ処理部１０２が行うフィルタ処理とは、例えば、ローパスフィルタ、メディアンフィルタ、バイラテラルフィルタによるフィルタ処理である。
【００９２】
本発明では、ベース画像生成処理装置１（即ち、図５に示すベース画像生成処理部１０）は、画像復元装置１におけるベース画像生成処理部１０としても、また、画像復元装置２におけるベース画像生成処理部１０としても、利用することができる。
【００９３】
図６は本発明に係る画像復元装置におけるベース画像生成処理部の第２実施形態を示すブロック構成図である。
【００９４】
図６に示すように、本発明の第２実施形態に係るベース画像生成処理部１０（以下、単に「ベース画像生成処理装置２」とも言う。）は、第１フィルタ処理部１１１と、第１ぼかし画像生成処理部１１２と、第１劣化残差画像生成処理部１１３と、画像復元第１処理部１１４と、第２フィルタ処理部１１５と、ベース画像更新処理部１１６と、繰り返し処理終了判断部１１８とから構成される。
【００９５】
本発明のベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）において行われるベース画像生成処理が、繰り返し処理であり、当該繰り返し処理により、ベース画像が漸進的に生成される。
【００９６】
本発明のベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）では、まず、第１フィルタ処理部１１１が劣化画像に対して、第１フィルタ処理を行うことにより、ベース画像の初期値を生成する。また、第１フィルタ処理部１１１が行う第１フィルタ処理とは、例えば、ローパスフィルタ、メディアンフィルタ、バイラテラルフィルタによるフィルタ処理である。なお、第１フィルタ処理部１１１が、劣化画像に対して第１フィルタ処理を行わずに、劣化画像そのものをそのままベース画像の初期値とするようにしても良い。
【００９７】
次に、第１ぼかし画像生成処理部１１２がベース画像とＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する。
【００９８】
そして、第１劣化残差画像生成処理部１１３が、第１ぼかし画像生成処理部１１２により生成された第１ぼかし画像と、劣化画像との差分画像を計算することにより、第１劣化残差画像を生成する。
【００９９】
次に、画像復元第１処理部１１４が、第１劣化残差画像生成処理部１１３により生成された第１劣化残差画像に対して、画像復元第１処理を行うことにより、第１復元残差画像を生成する。
【０１００】
そして、第２フィルタ処理部１１５が、画像復元第１処理部１１４により生成された第１復元残差画像とベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する。また、第２フィルタ処理部１１５が行う第２フィルタ処理とは、例えば、ジョイントバイラテラルフィルタ、バイラテラルフィルタ、ローパスフィルタによるフィルタ処理である。なお、ジョイントバイラテラルフィルタの詳細については、非特許文献１４に開示されている。
【０１０１】
次に、ベース画像更新処理部１１６が、第２フィルタ処理部１１５により生成された更新画像をベース画像に加えることにより、ベース画像を更新する。
【０１０２】
最後に、繰り返し処理終了判断部１１８が、所定の繰り返し処理終了条件を満たすか否かを判断し、繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を生成済みベース画像とし、また、繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像をベース画像とし、繰り返し処理を続ける。また、所定の繰り返し処理終了条件は、ベース画像に更新前後の変化がなくなるという条件１、所定の繰り返し処理回数に達するという条件２、又は更新画像の画素値の二乗和が所定の値以下になるという条件３である。
【０１０３】
また、本発明のベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）において行われる繰り返し処理とは、第１ぼかし画像生成処理部１１２にて行われる処理、第１劣化残差画像生成処理部１１３にて行われる処理、画像復元第１処理部１１４にて行われる処理、第２フィルタ処理部１１５にて行われる処理、ベース画像更新処理部１１６にて行われる処理、及び繰り返し処理終了判断部１１８にて行われる処理である。
【０１０４】
本発明では、ベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）は、画像復元装置１におけるベース画像生成処理部１０としても、また、画像復元装置２におけるベース画像生成処理部１０としても、利用することができる。
【０１０５】
図７は本発明に係る画像復元装置におけるベース画像生成処理部の第３実施形態を示すブロック構成図である。
【０１０６】
図７に示すように、本発明の第３実施形態に係るベース画像生成処理部１０（以下、単に「ベース画像生成処理装置３」とも言う。）は、第１フィルタ処理部１１１と、第１ぼかし画像生成処理部１１２と、第１劣化残差画像生成処理部１１３と、画像復元第１処理部１１７と、第２フィルタ処理部１１５と、ベース画像更新処理部１１６と、繰り返し処理終了判断部１１８とから構成される。
【０１０７】
本発明のベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）において行われるベース画像生成処理が、繰り返し処理であり、当該繰り返し処理により、ベース画像が漸進的に生成される。
【０１０８】
本発明のベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）では、まず、第１フィルタ処理部１１１が劣化画像に対して、第１フィルタ処理を行うことにより、ベース画像の初期値を生成する。また、第１フィルタ処理部１１１が行う第１フィルタ処理とは、例えば、ローパスフィルタ、メディアンフィルタ、バイラテラルフィルタによるフィルタ処理である。なお、第１フィルタ処理部１１１が、劣化画像に対して第１フィルタ処理を行わずに、劣化画像そのものをそのままベース画像の初期値とするようにしても良い。
【０１０９】
次に、第１ぼかし画像生成処理部１１２がベース画像とＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する。
【０１１０】
そして、第１劣化残差画像生成処理部１１３が、第１ぼかし画像生成処理部１１２により生成された第１ぼかし画像と、劣化画像との差分画像を計算することにより、第１劣化残差画像を生成する。
【０１１１】
次に、画像復元第１処理部１１７が、第１劣化残差画像生成処理部１１３により生成された第１劣化残差画像に対して、ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する。
【０１１２】
そして、第２フィルタ処理部１１５が、画像復元第１処理部１１４により生成された第１復元残差画像とベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する。また、第２フィルタ処理部１１５が行う第２フィルタ処理とは、例えば、ジョイントバイラテラルフィルタ、バイラテラルフィルタ、ローパスフィルタによるフィルタ処理である。なお、ジョイントバイラテラルフィルタの詳細については、非特許文献１４に開示されている。
【０１１３】
次に、ベース画像更新処理部１１６が、第２フィルタ処理部１１５により生成された更新画像をベース画像に加えることにより、ベース画像を更新する。
【０１１４】
最後に、繰り返し処理終了判断部１１８が、所定の繰り返し処理終了条件を満たすか否かを判断し、繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を生成済みベース画像とし、また、繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像をベース画像とし、繰り返し処理を続ける。また、所定の繰り返し処理終了条件は、ベース画像に更新前後の変化がなくなるという条件１、所定の繰り返し処理回数に達するという条件２、又は更新画像の画素値の二乗和が所定の値以下になるという条件３である。
【０１１５】
また、本発明のベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）において行われる繰り返し処理とは、第１ぼかし画像生成処理部１１２にて行われる処理、第１劣化残差画像生成処理部１１３にて行われる処理、画像復元第１処理部１１７にて行われる処理、第２フィルタ処理部１１５にて行われる処理、ベース画像更新処理部１１６にて行われる処理、及び繰り返し処理終了判断部１１８にて行われる処理である。
【０１１６】
本発明では、ベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）は、画像復元装置１におけるベース画像生成処理部１０としても、また、画像復元装置２におけるベース画像生成処理部１０としても、利用することができる。
【０１１７】
図８は本発明に係る画像復元装置の第３実施形態を示すブロック構成図である。
【０１１８】
図８に示すように、本発明の第３実施形態に係る画像復元装置（以下、単に「画像復元装置３」とも言う。）は、ベース画像生成処理部１０と、画像復元処理部４２とから構成され、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対する復元画像を生成するものである。
【０１１９】
本発明の画像復元装置３では、まず、ベース画像生成処理部１０が、劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する。ベース画像生成処理部１０により生成された、生成済みベース画像は、真の画像におおよその形状が似ており、リンギングやノイズを含まない画像である。また、その生成済みベース画像は、真の画像に近いほど理想的ではあるが、それほど近くない場合にも、本発明に利用することが可能である。
【０１２０】
次に、画像復元処理部４２が、劣化画像に対して、ベース画像生成処理部１０から出力された生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元画像を生成する。
【０１２１】
本発明では、画像復元装置３におけるベース画像生成処理部１０として、ベース画像生成処理装置１（即ち、図５に示すベース画像生成処理部１０）、ベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）、又はベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）の何れかを利用することができる。
【０１２２】
本発明の画像復元装置３における画像復元処理部４２では、生成済みベース画像を利用して、生成済みベース画像の勾配が大きいところでは拘束を弱く、生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元画像を生成する。
【０１２３】
具体的に、下記数１０で表す評価関数Ｉを最小化することにより、復元画像Ｚ(ｕ,ｖ)を生成する。
【０１２４】
【数１０】
0005105286.tif 000045
ただし、‖・‖２はＬ２ノルムを表し、＊は畳み込み積分を表す。Ｇ(ｕ,ｖ)は劣化画像を表す。Ｂ(ｕ,ｖ)はＰＳＦを表す。α(ｕ,ｖ)は適応的な拘束パラメータを表し、下記数１１のように設定される。
【０１２５】
【数１１】
0005105286.tif 000046
ただし、Ｒ(ｕ,ｖ)は生成済みベース画像を表す。▽Ｒ(ｕ,ｖ)は生成済みベース画像の勾配を表す。また、γとλは、適応的に設定できる拘束パラメータα(ｕ,ｖ)を設計（設定）するための調節パラメータを表す。
本発明に係る画像復元装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＧＰＵ（Graphics  Processing  Unit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアにより実装されることも勿論できる。
次に、本発明に係る画像復元装置の好適な実施例について、詳細に説明する。
＜実施例１＞
本発明の実施例１に係る画像復元装置は、図３に示す画像復元装置１と、図７に示すベース画像生成処理部１０との構成を有する。
【０１２６】
本発明の実施例１に係る画像復元装置において行われる画像復元処理の流れは、次の通りである。
【０１２７】
まず、図７に示すベース画像生成処理部１０が行う処理により、劣化画像から生成済みベース画像が生成される。なお、画像の画素値は０から２５５の値をとるものとし、ＲＧＢのフルカラー画像の場合は、ＹＣｒＣｂ色空間に変換した後に、各色チャネル毎に以下に述べる処理を行い、最後にＲＧＢ色空間に変換し直し、画像復元を行った。また、ＰＳＦは、シミュレーション画像の場合は、劣化画像を生成するために使用したＰＳＦを利用し、実画像の場合は、特許文献１に開示された「ぶれ情報検出方法」で推定されたＰＳＦを利用した。
（ａ１）
まず、第１フィルタ処理を行う。実施例１では、第１フィルタ処理において、下記数１２で定義されるバイラテラルフィルタを利用した。
【０１２８】
【数１２】
0005105286.tif 000047
ただし、(ｕ,ｖ)は画像上の座標を表す。ｒ０(ｕ,ｖ)はバイラテラルフィルタの出力結果で、即ち、生成されたベース画像の初期値である。ｗ２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ１()は１次元ガウス関数を表す。Ｇ(ｕ,ｖ)は劣化画像を表す。このとき、２次元ガウス関数の標準偏差を３.０に、１次元ガウス関数の標準偏差を２５.０に、それぞれ設定している。
【０１２９】
第１フィルタ処理により得られた画像は、ベース画像の初期値、即ち、初期ベース画像として利用される。
（ａ２）
次に、初期ベース画像に対応する第１劣化残差画像ｘ０(ｕ,ｖ)は、初期ベース画像とＰＳＦの畳み込み積分の結果（第１ぼかし画像）と、劣化画像の差として、下記数１３のように計算される。
【０１３０】
【数１３】
0005105286.tif 000048
ここで、Ｂ(ｕ,ｖ)はＰＳＦを表す。また、＊は畳み込み積分を表す。
（ａ３）
次に、ベース画像を利用して第１劣化残差画像に対して画像復元処理を行う。つまり、ベース画像の勾配が大きいところでは拘束を弱く、ベース画像の勾配の小さいところでは拘束を強く、設定し、第１劣化残差画像を復元する。
【０１３１】
具体的には、下記数１４で表す評価関数Ｉを最小化することにより、第１復元残差画像ｙ０(ｕ,ｖ)を生成する。
【０１３２】
【数１４】
0005105286.tif 000049
ここで、‖・‖２はＬ２ノルムを、α(ｕ,ｖ)は拘束の強さを表す、適応的な拘束パラメータである。拘束パラメータα(ｕ,ｖ)は、ベース画像の勾配が大きいところでは小さく、ベース画像の勾配が小さいところでは大きく、設定する。実施例１では、下記数１５のように設定された。
【０１３３】
【数１５】
0005105286.tif 000050
ここで、ｒ０(ｕ,ｖ)はベース画像を表し、▽ｒ０(ｕ,ｖ)はベース画像の勾配を表す。また、γとλは適応的に設定できる拘束パラメータα(ｕ,ｖ)を設計（設定）するための調節パラメータを表す。実施例１では、γ＝0.006、λ＝2.5と設定した。
（ａ４）
このように得られた第１復元残差画像ｙ０(ｕ,ｖ)と対応するベース画像ｒ０(ｕ,ｖ)を利用して、図７の第２フィルタ処理を行う。実施例１では、下記数１６で定義されるジョイントバイラテラルフィルタを利用した。
【０１３４】
【数１６】
0005105286.tif 000051
ここで、ｚ０(ｕ,ｖ)はジョイントバイラテラルフィルタの出力結果で、即ち、生成された更新画像であり、ｗ２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ１()は１次元ガウス関数を
表す。このとき、２次元ガウス関数の標準偏差を５.０に、１次元ガウス関数の標準偏差を２５.０に、それぞれ設定している。
（ａ５）
第２フィルタ処理の出力結果ｚ０(ｕ,ｖ)をベース画像ｒ０(ｕ,ｖ)に加えることで、下記数１７のように、ベース画像を更新する。
【０１３５】
【数１７】
0005105286.tif 000052
ここで、ｒ１(ｕ,ｖ)は更新後のベース画像（更新されたベース画像）である。
（ａ２）から（ａ５）の処理を所定の回数繰り返して得られたベース画像を、ベース画像生成処理部１０の出力（生成済みベース画像）として出力する。なお、実施例１において、所定の回数を７回に設定している。また、Ｒ(ｕ,ｖ)はベース画像生成処理部１０から出力された、生成済みベース画像を表す。
次に、ベース画像生成処理部１０から出力された生成済みベース画像Ｒ(ｕ,ｖ)を利用して、図３に示す画像復元装置１にて行われる処理に基づき、画像復元処理を行う。対応する劣化残差画像Ｘ(ｕ,ｖ)は、生成済みベース画像Ｒ(ｕ,ｖ)とＰＳＦの畳み込み積分の結果（ぼかし画像）と、劣化画像Ｇ(ｕ,ｖ)の差分画像として、下記数１８のように計算される。
【０１３６】
【数１８】
0005105286.tif 000053
次に、生成済みベース画像Ｒ(ｕ,ｖ)を利用して、劣化残差画像を復元する。つまり、生成済みベース画像の勾配が大きいところでは拘束を弱く、生成済みベース画像の勾配の小さいところでは拘束を強く、設定し、劣化残差画像を復元する。
【０１３７】
具体的には、下記数１９で表す評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成する。
【０１３８】
【数１９】
0005105286.tif 000054
ここで、‖・‖２はＬ２ノルムを、α(ｕ,ｖ)は拘束の強さを表す、適応的な拘束パラメータである。拘束パラメータα(ｕ,ｖ)は、生成済みベース画像Ｒ(ｕ,ｖ)の勾配が大きいところでは小さく、生成済みベース画像Ｒ(ｕ,ｖ)の勾配が小さいところでは大きく、設定する。実施例１では、下記数２０のように設定した。
【０１３９】
【数２０】
0005105286.tif 000055
ここで、Ｒ(ｕ,ｖ)は生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は生成済みベース画像の勾配を表す。γとλは適応的に設定できる拘束パラメータα(ｕ,ｖ)を設計（設定）するための調節パラメータを表す。実施例１では、γ＝0.06、λ＝2.5と設定した。
最後に、画像復元装置１の出力結果で、画像復元装置１によって生成された最終的な復元画像Ｚ(ｕ,ｖ)は、復元された残差画像（復元残差画像）Ｙ(ｕ,ｖ)と、ベース画像生成処理部１０から出力された生成済みベース画像Ｒ(ｕ,ｖ)の和として、下記数２１のように計算される。
【０１４０】
【数２１】
0005105286.tif 000056
＜実施例２＞
本発明の実施例２に係る画像復元装置は、図４に示す画像復元装置２と、図６に示すベース画像生成処理部１０との構成を有する。
【０１４１】
本発明の実施例２に係る画像復元装置において行われる画像復元処理の流れは、次の通りである。
【０１４２】
まず、図６に示すベース画像生成処理部１０が行う処理により、劣化画像から生成済みベース画像が生成される。なお、画像の画素値は０から２５５の値をとるものとし、ＲＧＢのフルカラー画像の場合は、ＹＣｒＣｂ色空間に変換した後に、各色チャネル毎に以下に述べる処理を行い、最後にＲＧＢ色空間に変換し直し、画像復元を行った。また、ＰＳＦは、シミュレーション画像の場合は、劣化画像を生成するために使用したＰＳＦを利用し、実画像の場合は、特許文献１に開示された「ぶれ情報検出方法」で推定されたＰＳＦを利用した。
（ｂ１）
まず、第１フィルタ処理を行う。実施例２では、第１フィルタ処理１において、下記数２２で定義されるバイラテラルフィルタを利用した。
【０１４３】
【数２２】
0005105286.tif 000057
ただし、(ｕ,ｖ)は画像上の座標を表す。ｒ０(ｕ,ｖ)はバイラテラルフィルタの出力結果で、即ち、生成されたベース画像の初期値である。ｗ２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ１()は１次元ガウス関数を表す。Ｇ(ｕ,ｖ)は劣化画像を表す。このとき、２次元ガウス関数の標準偏差を３.０に、１次元ガウス関数の標準偏差を２５.０に、それぞれ設定している。
【０１４４】
第１フィルタ処理により得られた画像は、ベース画像の初期値、即ち、初期ベース画像として利用される。
（ｂ２）
次に、初期ベース画像に対応する第１劣化残差画像ｘ０(ｕ,ｖ)は、初期ベース画像とＰＳＦの畳み込み積分の結果（第１ぼかし画像）と、劣化画像の差として、下記数２３のように計算される。
【０１４５】
【数２３】
0005105286.tif 000058
ここで、Ｂ(ｕ,ｖ)はＰＳＦを表す。また、＊は畳み込み積分を表す。
（ｂ３）
次に、第１劣化残差画像に対して、ウィーナーフィルタによる画像復元処理を行う。第１劣化残差画像の復元結果である、第１復元残差画像ｙ０(ｕ,ｖ)は、下記数２４のように生成される。
【０１４６】
【数２４】
0005105286.tif 000059
ただし、Ｆ−１は逆フーリエ変換を表す。Ｂ(ｕ,ｖ)はＰＳＦを表し、
0005105286.tif 000060
はＢ(ｕ,ｖ)のフーリエ変換を表す。
0005105286.tif 000061
の複素共役を表し、
0005105286.tif 000062
の大きさを表す。また、
0005105286.tif 000063
は第１劣化残差画像ｘ０(ｕ,ｖ)のフーリエ変換を表し、Γは調整パラメータを表す。
【０１４７】
なお、ウィーナーフィルタの詳細については、非特許文献１６の8-1-3章に記載されている。調整パラメータΓの値は0.01,0.02,0.006の値を画像によって使い分けた。
（ｂ４）
このように得られた第１復元残差画像ｙ０(ｕ,ｖ)と対応するベース画像ｒ０(ｕ,ｖ)を利用して、図６の第２フィルタ処理を行う。実施例２では、下記数２５で定義されるジョイントバイラテラルフィルタを利用した。
【０１４８】
【数２５】
0005105286.tif 000064
ここで、ｚ０(ｕ,ｖ)はジョイントバイラテラルフィルタの出力結果で、即ち、生成された更新画像であり、ｗ２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ１()は１次元ガウス関数を表す。このとき、２次元ガウス関数の標準偏差を５.０に、１次元ガウス関数の標準偏差を２５.０に、それぞれ設定している。
（ｂ５）
第２フィルタ処理の出力結果ｚ０(ｕ,ｖ)をベース画像ｒ０(ｕ,ｖ)に加えることで、下記数２６のように、ベース画像を更新する。
【０１４９】
【数２６】
0005105286.tif 000065
ここで、ｒ１(ｕ,ｖ)は更新後のベース画像（更新されたベース画像）である。
（ｂ２）から（ｂ５）の処理を所定の回数繰り返して得られたベース画像を、ベース画像生成処理部１０の出力（生成済みベース画像）として出力する。なお、実施例２において、所定の回数を７回に設定している。また、Ｒ(ｕ,ｖ)はベース画像生成処理部１０から出力された、生成済みベース画像を表す。
次に、ベース画像生成処理部１０から出力された生成済みベース画像Ｒ(ｕ,ｖ)を利用して、図４に示す画像復元装置２にて行われる処理に基づき、画像復元処理を行う。対応する劣化残差画像Ｘ(ｕ,ｖ)は、生成済みベース画像Ｒ(ｕ,ｖ)とＰＳＦの畳み込み積分の結果（ぼかし画像）と、劣化画像Ｇ(ｕ,ｖ)の差分画像として、下記数２７のように計算される。
【０１５０】
【数２７】
0005105286.tif 000066
次に、劣化残差画像Ｘ(ｕ,ｖ)に対して、ウィーナーフィルタによる画像復元処理を行う。劣化残差画像の復元結果である、復元残差画像Ｙ(ｕ,ｖ)は、下記数２８のように生成される。
【０１５１】
【数２８】
0005105286.tif 000067
ただし、Ｆ−１は逆フーリエ変換を表す。Ｂ(ｕ,ｖ)はＰＳＦを表し、
0005105286.tif 000068
はＢ(ｕ,ｖ)のフーリエ変換を表す。
0005105286.tif 000069
の複素共役を表し、
0005105286.tif 000070
の大きさを表す。また、
0005105286.tif 000071
は劣化残差画像Ｘ(ｕ,ｖ)のフーリエ変換を表す。Γは調整パラメータを表す。
【０１５２】
なお、ウィーナーフィルタの詳細については、非特許文献１６の8-1-3章に記載されている。調整パラメータΓの値は0.01,0.02,0.006の値を画像によって使い分けた。
最後に、画像復元装置２の出力結果で、画像復元装置２によって生成された最終的な復元画像Ｚ(ｕ,ｖ)は、復元された残差画像（復元残差画像）Ｙ(ｕ,ｖ)と、ベース画像生成処理部１０から出力された生成済みベース画像Ｒ(ｕ,ｖ)の和として、下記数２９のように計算される。
【０１５３】
【数２９】
0005105286.tif 000072
図９に本発明に係る画像復元装置におけるベース画像生成処理部において、ベース画像生成過程における画像の一例を示す。図９(Ａ)に劣化画像を示す。図９(Ａ)の劣化画像に対して、バイラテラルフィルタによる第１フィルタ処理を行うことにより、最初のベース画像を生成することができる。
【０１５４】
最初のベース画像が生成された後に、繰り返し処理により、ベース画像と第１復元残差画像を更新していき、所定の繰り返し処理終了条件を満たした場合に、繰り返し処理が終了し、ベース画像（生成済みベース画像）が生成される。
【０１５５】
ｎ回目の繰り返し処理において、劣化画像とｎ回目のベース画像から、ｎ回目の第１劣化残差画像を求めることができる。
【０１５６】
図９(Ｂ)に示すｎ回目のベース画像が与えられるとき、図９(Ｃ)に示すｎ回目の第１劣化残差画像は生成される。ｎ回目の第１劣化残差画像に対して画像復元処理を行い、図９(Ｄ)に示すｎ回目の第１復元残差画像が得られる。
【０１５７】
ｎ回目のベース画像とｎ回目の第１復元残差画像に、ジョイントバイラテラルフィルタによる第２フィルタ処理を行うことにより、図９(Ｆ)に示すベース画像の更新成分である更新画像が生成される。
【０１５８】
ｎ回目のベース画像に、図９(Ｆ)の更新画像を足したことにより、図９(Ｅ)に示す（ｎ＋１）回目のベース画像、即ち、更新されたベース画像が生成される。
以下では、シミュレーション実験と実画像実験により、本発明の有効性を実証する。
＜１＞シミュレーション実験
まず、画像復元効果を定量的に確認するために、既知の原画像を利用してぶれ画像（劣化画像）を作成し、作成した劣化画像から原画像を復元するシミュレーション実験を行った。
【０１５９】
既知の原画像には、図１０に示す既知の原画像（真の画像）を利用した。ぶれのＰＳＦとして角度３０[ｄｅｇ]、長さ２０[画素]の直線ぶれを、またノイズとして標準偏差３のガウシアンノイズをＲ、Ｇ、Ｂ独立に加えた。
【０１６０】
本発明の画像復元方法として、実施例１及び実施例２に係る画像復元方法を利用した。また、比較のため、既存の画像復元方法として、ＲＬ法とウィーナーフィルタを利用した。なお、画像復元結果の評価手法としては、原画像とのＲＭＳＥ(Root  Mean  Square  Error)を用い、パラメータや繰り返し回数を設定する必要がある手法では、復元結果が最良となるように値を調整して設定した。
【０１６１】
表１に画像復元結果と正解画像のＲＭＳＥを示す。
【０１６２】
【表１】
0005105286.tif 000073
表１の行は用いた既知の原画像の種類を示し、表の列は画像復元に用いた画像復元方法の種類を示す。本発明の画像復元方法と既存の画像復元方法のＲＭＳＥを比較すると、全ての画像において、本発明の画像復元方法が２つの既存の画像復元方法よりも良い結果を示している。
【０１６３】
また、本発明の画像復元方法どうしを比較すると、拘束パラメータを適応的に設定する実施例１の画像復元方法が、定数の拘束パラメータを用いる実施例２の画像復元方法よりも、良い結果を示している。特に、既知の原画像「Lena」や既知の原画像「Peppers」など、テクスチャの少ない領域を広めに持つ画像において、適応的な拘束パラメータによるＲＭＳＥの向上が大きい。
【０１６４】
表１より、従来の画像復元方法に比べて、復元画像と真の画像との差を評価したＲＭＳＥが、本発明の画像復元方法が小さくなっていることは明らかである。
【０１６５】
図１１に既知の原画像「Lena」の画像復元結果の拡大図を示す。エッジの周辺に発生しているリンギングを比較すると、本発明を用いた結果画像（復元画像）は、既存手法のものに比べて、リンギングを格段に抑えられていることがよく分かる。特に、拘束パラメータを適応的に用いた実施例１に係る画像復元方法による復元画像(図１１(Ａ))では、ほぼ完全にリンギングの発生を抑えている。
【０１６６】
以上の結果から、本発明の画像復元方法を用いることにより、リンギングを抑えつつＲＭＳＥの良好な復元画像を得ることができる。また、本発明では、画像復元において拘束パラメータを適応的に設計することで、テクスチャの少ない領域を中心として復元結果の向上が確認できる。
＜２＞実画像実験
手持ちカメラにより撮影された実画像に対して、本発明を適用し、本発明の有効性を検証した。本発明として、拘束パラメータを適応的に設計する実施例１に係る画像復元方法を用いた。ＰＳＦは、米司ら（非特許文献３を参照）の手法により推定したものを用いた。
【０１６７】
図１２〜図１４に、３種類の実画像（劣化画像）とその復元結果（復元画像）をそれぞれ示す。また、比較のため、四角で囲った領域の拡大図もあわせて示す。復元されたエッジの先鋭さは同程度ながら、本発明では、既存手法の復元結果に発生しているリンギングを抑えていることがわかる。
【０１６８】
また、本発明による復元画像において、既存手法で増大されている画像全体のノイズ成分も小さく抑えられている。いずれの画像においても、特にテクスチャの少ない領域において、これらの効果が顕著に確認できる。
【０１６９】
上記のように、シミュレーション画像と実画像の画像復元実験を通して、本発明の有効性を実証した。特に、リンギングの抑制について本発明は効果があることを確認した。
【図面の簡単な説明】
【０１７０】
【図１】一次元画像における劣化画像と、復元画像に発生するリンギングの例を示す図である。
【図２】振幅の小さい画像におけるリンギングを説明するための一次元画像における劣化画像と復元画像を示す図である。
【図３】本発明に係る画像復元装置の第１実施形態を示すブロック構成図である。
【図４】本発明に係る画像復元装置の第２実施形態を示すブロック構成図である。
【図５】本発明に係る画像復元装置におけるベース画像生成処理部の第１実施形態を示すブロック構成図である。
【図６】本発明に係る画像復元装置におけるベース画像生成処理部の第２実施形態を示すブロック構成図である。
【図７】本発明に係る画像復元装置におけるベース画像生成処理部の第３実施形態を示すブロック構成図である。
【図８】本発明に係る画像復元装置の第３実施形態を示すブロック構成図である。
【図９】本発明に係る画像復元装置におけるベース画像生成処理部において、ベース画像生成過程における画像の例を示す図である。
【図１０】画像復元実験に用いた既知の原画像（真の画像）を示す図である。
【図１１】既知の原画像「Lena」を用い、本発明の実施例１、実施例２、従来のＲＬ法、及び従来のウィーナーフィルタによる復元画像を示す図である。
【図１２】劣化画像である実画像１と、その実画像１を用い、本発明の実施例１、従来のＲＬ法、及び従来のウィーナーフィルタによる復元画像を示す図である。
【図１３】劣化画像である実画像２と、その実画像２を用い、本発明の実施例１、従来のＲＬ法、及び従来のウィーナーフィルタによる復元画像を示す図である。
【図１４】劣化画像である実画像３と、その実画像３を用い、本発明の実施例１、従来のＲＬ法、及び従来のウィーナーフィルタによる復元画像を示す図である。
【符号の説明】
【０１７１】
１,２,３    画像復元装置
１０    ベース画像生成処理部
２０    ぼかし画像生成処理部
３０    劣化残差画像生成処理部
４０,４１,４２    画像復元処理部
５０    復元画像生成処理部
１０１,１１４,１１７    画像復元第１処理部
１０２    フィルタ処理部
１１１    第１フィルタ処理部
１１２    ぼかし画像第１生成処理部
１１３    劣化残差画像第１生成処理部
１１５    第２フィルタ処理部
１１６    ベース画像更新処理部
１１８    繰り返し処理終了判断部
【図３】
0005105286.tif 000096
【図４】
0005105286.tif 000097
【図５】
0005105286.tif 000098
【図６】
0005105286.tif 000099
【図７】
0005105286.tif 000100
【図８】
0005105286.tif 000101
【図１】
0005105286.tif 000102
【図２】
0005105286.tif 000103
【図９】
0005105286.tif 000104
【図１０】
0005105286.tif 000105
【図１１】
0005105286.tif 000106
【図１２】
0005105286.tif 000107
【図１３】
0005105286.tif 000108
【図１４】
0005105286.tif 000109