(57)【要約】【課題】ぼやけた画像に基づいて鮮明な画像を生成する方法および装置を提供すること。【解決手段】本発明はぼやけた画像に基づいて鮮明な画像を生成する方法を開示する。方法は、ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得することと、予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定することと、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することと、鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成することとを含む。本発明の実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。【選択図】図1
2016058081.tif 000002
【特許請求の範囲】
【請求項１】
ぼやけた画像に基づいて鮮明な画像を生成する方法であって、
前記ぼやけた画像のピクセルのピクセル値、および前記ぼやけた画像の畳み込みカーネルを取得するステップと、
予め設定された画像勾配オペレータおよび前記畳み込みカーネルに基づいて、前記ぼやけた画像の逆畳み込みカーネルを決定するステップと、
前記逆畳み込みカーネルおよび前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を決定するステップと、
前記鮮明な画像の前記ピクセルの前記ピクセル値に基づいて前記鮮明な画像を生成するステップと、
を備える、方法。
【請求項２】
前記逆畳み込みカーネルおよび前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を前記決定するステップは、
1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、前記逆畳み込みカーネルで特異値分解を実行するステップと、
前記m個の非ゼロの特異値、前記m個の行ベクトル、前記m個の列ベクトル、および前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するステップと、
を備える、請求項1に記載の方法。
【請求項３】
前記m個の非ゼロの特異値、前記m個の行ベクトル、前記m個の列ベクトル、および前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像の前記ピクセルの前記ピクセル値を前記決定するステップは、
式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定するステップと、
式
【数１】
2016058081.tif 000050
に基づいてxt＋1を決定するステップと、
式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定するステップと、
tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するステップと、
tが前記繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新するステップであって、tが前記繰返し量に達するまで繰返しこのステップを実行する、ステップと、を備え、
上式で
【数２】
2016058081.tif 000051
および
【数３】
2016058081.tif 000052
であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、slは前記m個の非ゼロの特異値のl番目の特異値を表し、fulは前記l番目の特異値に対応する列ベクトルを表し、fvlは前記l番目の特異値に対応する行ベクトルを表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向のオペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、
請求項2に記載の方法。
【請求項４】
前記逆畳み込みカーネルおよび前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を前記決定するステップは、
式zjt＋1＝argminzE（xt，zj，βt）に基づいてzjt＋1を決定するステップと、
式
【数４】
2016058081.tif 000053
に基づいてxt＋1を決定するステップと、
式βt＋1＝2βtに基づいてβt＋1を決定するステップと、
tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するステップと、
tが前記繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新するステップであって、tが前記繰返し量に達するまで繰返しこのステップを実行する、ステップと、を備え、
上式で
【数５】
2016058081.tif 000054
であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、
請求項1に記載の方法。
【請求項５】
前記逆畳み込みカーネルおよび前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を前記決定するステップは、
式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定するステップと、
式
【数６】
2016058081.tif 000055
に基づいてxt＋1を決定するステップと、
式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定するステップと、
tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するステップと、
tが前記繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新するステップであって、tが前記繰返し量に達するまで繰返しこのステップを実行する、ステップと、を備え、
上式で
【数７】
2016058081.tif 000056
であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、
請求項1に記載の方法。
【請求項６】
予め設定された画像勾配オペレータおよび前記畳み込みカーネルに基づいて前記ぼやけた画像の逆畳み込みカーネルを前記決定するステップは、
式
【数８】
2016058081.tif 000057
に従って前記逆畳み込みカーネルを決定するステップを備え、上式でωβは前記逆畳み込みカーネルを表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は前記水平方向の勾配オペレータを表し、ならびにc2は前記垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す、
請求項1から5のいずれか一項に記載の方法。
【請求項７】
ぼやけた画像に基づいて鮮明な画像を生成する装置であって、
前記ぼやけた画像のピクセルのピクセル値、および前記ぼやけた画像の畳み込みカーネルを取得するように構成された、取得ユニットと、
予め設定された画像勾配オペレータおよび前記取得ユニットにより取得された前記畳み込みカーネルに基づいて、前記ぼやけた画像の逆畳み込みカーネルを決定するように構成された、第1の決定ユニットと、
前記第1の決定ユニットにより決定された前記逆畳み込みカーネルおよび前記取得ユニットにより取得された前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を決定するように構成された、第2の決定ユニットと、
前記第2の決定ユニットにより決定された前記鮮明な画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像を生成するように構成された、生成ユニットと、
を備える、装置。
【請求項８】
前記第2の決定ユニットは、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、前記逆畳み込みカーネルで特異値分解を実行し、前記m個の非ゼロの特異値、前記m個の行ベクトル、前記m個の列ベクトル、および前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するように構成される、請求項7に記載の装置。
【請求項９】
前記第2の決定ユニットは、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定し、式
【数９】
2016058081.tif 000058
に基づいてxt＋1を決定し、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定し、またはtが前記繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが前記繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【数１０】
2016058081.tif 000059
および
【数１１】
2016058081.tif 000060
であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、slは前記m個の非ゼロの特異値のl番目の特異値を表し、fulは前記l番目の特異値に対応する列ベクトルを表し、fvlは前記l番目の特異値に対応する行ベクトルを表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、請求項8に記載の装置。
【請求項１０】
前記第2の決定ユニットは、式zjt＋1＝argminzE（xt，zj，βt）に基づいてzjt＋1を決定し、式
【数１２】
2016058081.tif 000061
に基づいてxt＋1を決定し、式βt＋1＝2βtに基づいてβt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定し、またはtが前記繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが前記繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【数１３】
2016058081.tif 000062
であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、請求項7に記載の装置。
【請求項１１】
前記第2の決定ユニットは、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定し、式
【数１４】
2016058081.tif 000063
に基づいてxt＋1を決定し、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定し、またはtが前記繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが前記繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【数１５】
2016058081.tif 000064
であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、請求項7に記載の装置。
【請求項１２】
前記第1の決定ユニットは、式
【数１６】
2016058081.tif 000065
に従って前記逆畳み込みカーネルを決定するように構成され、上式でωβは前記逆畳み込みカーネルを表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は前記水平方向の勾配オペレータを表し、ならびにc2は前記垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す、請求項7から11のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理の分野に関し、特に、ぼやけた画像に基づいて鮮明な画像を生成する方法および装置に関する。
【背景技術】
【０００２】
コンピュータ技術の発達とともに、コンピュータの使用による画像ノイズ除去、強調、復元、および分割などの技術が広く適用されている。
【０００３】
デジタル画像の分野において、デジタル画像の可視化処理は、例えば、手振れによって生じる動きぼけ処理、カメラの結像焦点外れぼけ処理、低解像度画像生成処理などの、離散畳み込み（convolution）モデルとしてほぼモデル化される。従って、デジタル画像の強調と回復は、離散畳み込みモデルに逆のプロセス、すなわち逆畳み込み技術を使用することによって実行され得る。典型的な逆畳み込み技術はデジタル画像ぼけ除去（deblurring）技術、画像超解像（super-resolution）技術などを含む。
【０００４】
ウィナーフィルタは古典的な逆畳み込み技術である。ウィナーフィルタにおいて、擬似逆畳み込みカーネルは周波数領域に導入され、擬似逆畳み込みカーネルの式は次の通りである。
【０００５】
【数１】
2016058081.tif 000003
【０００６】
（1）
式中F（・）はフーリエ変換を表し、
【０００７】
【数２】
2016058081.tif 000004
【０００８】
はフーリエ変換の複素共役を表し、SNRは擬似逆畳み込みカーネルの高周波数ノイズを抑制する効果を達成する信号対雑音電力比を表し、kは畳み込みカーネルを表す。鮮明な画像は次式を使用することにより表現できる。
x＝F−1（W・F（y））  （2）
式中、yはぼやけた画像を表し、F−1（・）は逆フーリエ変換を表す。フーリエ変換の畳み込み式を使用することにより、式（2）は次式に変換できる。
x＝F−1（W）＝ω＊y  （3）
式中、ωは空間領域の逆畳み込みカーネルである。
【０００９】
逆畳み込みカーネルの導入は逆畳み込みアルゴリズムの計算を単純化するが、逆畳み込みカーネルはSNRを正則化制約として使用する。このような正則化制約はノイズによって影響を受けるので、逆畳み込みカーネルを使用する画像回復プロセスはノイズおよびリンギング効果によって必然的に影響を受け、それはある程度まで回復された鮮明な画像の品質を損なう。
【発明の概要】
【課題を解決するための手段】
【００１０】
本発明の実施形態は、回復された鮮明な画像の品質を改善し得る、ぼやけた画像に基づいて鮮明な画像を生成する方法および装置を提供する。
【００１１】
第1の態様に従って、ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得することと、予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定することと、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することと、鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成することとを含む、ぼやけた画像に基づいて鮮明な画像を生成する方法が提供される。
【００１２】
第1の態様を参照して、第1の態様の1つの実施方式において、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することは、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行することと、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定することとを含む。
【００１３】
第1の態様または第1の態様の前述の実施方式を参照して、第1の態様の別の実施方式において、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定することは、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定することと、式
【００１４】
【数３】
2016058081.tif 000005
【００１５】
に基づいてxt＋1を決定することと、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、または、tが繰返し量に達しないとき、γjt＋1を使用してγjtを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含み、上式で、
【００１６】
【数４】
2016058081.tif 000006
【００１７】
および
【００１８】
【数５】
2016058081.tif 000007
【００１９】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、slはm個の非ゼロの特異値のl番目の特異値を表し、fulはl番目の特異値に対応する列ベクトルを表し、fvlはl番目の特異値に対応する行ベクトルを表し、cj’およびk’はそれぞれcjおよびkが180度回転された後に得られるオペレータを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【００２０】
第1の態様または第1の態様の前述の実施方式のいずれかを参照して、第1の態様の別の実施方式において、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することは、式zjt＋1＝argminzE（xt，zj，βt）に基づいてzjt＋1を決定することと、式
【００２１】
【数６】
2016058081.tif 000008
【００２２】
に基づいてxt＋1を決定することと、式βt＋1＝2βtに基づいてβt＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含み、上式で、
【００２３】
【数７】
2016058081.tif 000009
【００２４】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【００２５】
第1の態様または第1の態様の前述の実施方式のいずれか1つを参照して、第1の態様の別の実施方式において、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することは、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定することと、式
【００２６】
【数８】
2016058081.tif 000010
【００２７】
に基づいてxt＋1を決定することと、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含み、上式で、
【００２８】
【数９】
2016058081.tif 000011
【００２９】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【００３０】
第1の態様または第1の態様の前述の実施方式のいずれか1つを参照して、第1の態様の別の実施方式において、予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定することは、式
【００３１】
【数１０】
2016058081.tif 000012
【００３２】
に従って逆畳み込みカーネルを決定することを含み、上式で、ωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。
【００３３】
第2の態様に従って、ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得するように構成された、取得ユニットと、予め設定された画像勾配オペレータおよび取得ユニットにより取得された畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定するように構成された、第1の決定ユニットと、第1の決定ユニットにより決定された逆畳み込みカーネルおよび取得ユニットにより取得されたぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定するように構成された、第2の決定ユニットと、第2の決定ユニットにより決定された鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成するように構成された、生成ユニットとを含む、ぼやけた画像に基づいて鮮明な画像を生成する装置が提供される。
【００３４】
第2の態様を参照して、第2の態様の1つの実施方式において、第2の決定ユニットは、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行し、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定するように構成される。
【００３５】
第2の態様または第2の態様の前述の実施方式を参照して、第2の態様の別の実施方式において、第2の決定ユニットは、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定し、式
【００３６】
【数１１】
2016058081.tif 000013
【００３７】
に基づいてxt＋1を決定し、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、または、tが繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【００３８】
【数１２】
2016058081.tif 000014
【００３９】
および
【００４０】
【数１３】
2016058081.tif 000015
【００４１】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、slはm個の非ゼロの特異値のl番目の特異値を表し、fulはl番目の特異値に対応する列ベクトルを表し、fvlはl番目の特異値に対応する行ベクトルを表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【００４２】
第2の態様または第2の態様の前述の実施方式のいずれかを参照して、第2の態様の別の実施方式において、第2の決定ユニットは、式zjt＋1＝argminzE（xt，zj，βt）に基づいてzjt＋1を決定し、式
【００４３】
【数１４】
2016058081.tif 000016
【００４４】
に基づいてxt＋1を決定し、式βt＋1＝2βtに基づいてβt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【００４５】
【数１５】
2016058081.tif 000017
【００４６】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【００４７】
第2の態様または第2の態様の前述の実施方式のいずれか1つを参照して、第2の態様の別の実施方式において、第2の決定ユニットは、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定し、式
【００４８】
【数１６】
2016058081.tif 000018
【００４９】
に基づいてxt＋1を決定し、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【００５０】
【数１７】
2016058081.tif 000019
【００５１】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【００５２】
第2の態様または第2の態様の前述の実施方式のいずれか1つを参照して、第2の態様の別の実施方式において、第2の決定ユニットは、式
【００５３】
【数１８】
2016058081.tif 000020
【００５４】
に従って逆畳み込みカーネルを決定するように構成され、上式で、ωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。
【００５５】
本発明の実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。言い換えれば、逆畳み込みカーネルは正則化制約として勾配オペレータを導入し、それはノイズが画像回復プロセスに影響を与えるのを防ぎ、回復された鮮明な画像の品質を改善する。
【００５６】
本発明の実施形態における技術的な解決策をより明確に説明するために、本発明の実施形態を説明するために必要な添付図面を以下に簡単に紹介する。明らかに、以下の説明での添付図面は本発明のいくつかの実施形態を示しているにすぎず、当業者は創造的な努力なしでまだこれらの添付図面から他の図面を導き出すことができる。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する方法の概略のフローチャートである。
【図２】本発明の実施形態におけるぼやけた画像に基づいて鮮明な画像を生成する方法の適用の効果を示す図表である。
【図３】本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する装置の概略構成図である。
【図４】本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する装置の概略構成図である。
【発明を実施するための形態】
【００５８】
本発明の実施形態における添付図面を参照して、以下に本発明の実施形態における技術的な解決策を明確に説明する。明らかに、説明される実施形態は本発明の実施形態のすべてというよりむしろ一部である。創造的な努力なしで本発明の実施形態に基づいて当業者により得られるすべての他の実施形態は、本発明の保護範囲内に含まれるべきである。
【００５９】
図1は、本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する方法の概略のフローチャートである。図1の方法は、以下を含む。
【００６０】
110：ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得する。
【００６１】
前述の畳み込みカーネルが鮮明な画像がぼやけた画像に変換されるプロセスを示すために使用されることは、理解されるべきである。
【００６２】
120：予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいて、ぼやけた画像の逆畳み込みカーネルを決定する。
【００６３】
前述の勾配オペレータが画像の水平方向の勾配オペレータおよび垂直方向の勾配オペレータを含み得ることは、留意されるべきである。
【００６４】
前述のステップ120は、式
【００６５】
【数１９】
2016058081.tif 000021
【００６６】
に従って逆畳み込みカーネルを決定することを含むことができ、上式でωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は画像の水平方向の勾配オペレータを表し、ならびにc2は画像の垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。本発明のこの実施形態における逆畳み込みカーネルωβは正則化制約として勾配オペレータを使用することが、逆畳み込みカーネルの式から分かる。
【００６７】
130：逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定する。
【００６８】
ステップ130には複数の決定方式があり得る。例えば、鮮明な画像のピクセルのピクセル値は、エネルギー方程式の最小化によって解かれ、ここで最小化される必要があるエネルギー方程式は
【００６９】
【数２０】
2016058081.tif 000022
【００７０】
とすることができる。ステップ130については後で詳細に説明するので、詳細はここで再び説明しない。
【００７１】
140：鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成する。
【００７２】
本発明のこの実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。言い換えれば、逆畳み込みカーネルは正則化制約として勾配オペレータを導入し、それはノイズが画像回復プロセスに影響を与えるのを防ぎ、回復された鮮明な画像の品質を改善する。
【００７３】
任意選択で、実施形態として、ステップ130は、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行することと、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定することとを含むことができる。
【００７４】
例えば、逆畳み込みカーネルで特異値分解が実行された後、1対1対応にあるn個の特異値、n個の行ベクトル、およびn個の列ベクトルが得られると想定される。1対1対応にあるm個の特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、n個の特異値の中で、予め設定された閾値より小さい特異値は削除でき、削除された特異値に対応する行ベクトルおよび列ベクトルも削除される。
【００７５】
前述の逆畳み込みカーネルは2次元逆畳み込みカーネルである。前述の特異値分解を用いて、2次元逆畳み込みカーネルは複数の1次元逆畳み込みカーネルに分解され、1次元逆畳み込みカーネルの計算は比較的容易なので、アルゴリズムの効率が改善される。
【００７６】
任意選択で、ステップ130は、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定することと、式
【００７７】
【数２１】
2016058081.tif 000023
【００７８】
に基づいてxt＋1を決定することと、式βt＋1＝2βtに基づいてβt＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含むことができ、上式で、
【００７９】
【数２２】
2016058081.tif 000024
【００８０】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【００８１】
本発明のこの実施例において、逆畳み込みカーネルの正則化制約は画像勾配のスパース性に基づいて記述され、それはノイズ干渉を回避し、ウィナーフィルタで使用されるSNRに基づく正則化制約と比較して回復された鮮明な画像の品質を改善することは、留意されるべきである。
【００８２】
βの値はそれぞれの繰返しの間に更新される必要があり、逆畳み込みカーネル
【００８３】
【数２３】
2016058081.tif 000025
【００８４】
はβと関連しているので、逆畳み込みカーネルの値はそれぞれの積分の間に更新される必要があることが、前述の実施形態から分かる。さらに計算効率を改善するために、2つの改善された実施形態が以下に与えられる。
【００８５】
任意選択で、実施形態として、ステップ130は、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定することと、式
【００８６】
【数２４】
2016058081.tif 000026
【００８７】
に基づいてxt＋1を決定することと、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含むことができ、上式で、
【００８８】
【数２５】
2016058081.tif 000027
【００８９】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【００９０】
【数２６】
2016058081.tif 000028
【００９１】
は拡張ラグランジュ法を使用してエネルギー方程式
【００９２】
【数２７】
2016058081.tif 000029
【００９３】
を分解することにより得られた方程式であることは、留意されるべきである。拡張ラグランジュ法の使用は、全体の繰返し処理でβの更新を不要にし、この場合、逆畳み込みカーネル
【００９４】
【数２８】
2016058081.tif 000030
【００９５】
の更新が同様に不要であり、それによりアルゴリズムの効率をさらに改善する。
【００９６】
＜γj，（zj−cj＊x）＞はベクトルγjおよびベクトル（zj−cj＊x）の内積を表すことは留意されるべきである。
【００９７】
任意選択で、実施形態として、ステップ130は、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定することと、式
【００９８】
【数２９】
2016058081.tif 000031
【００９９】
に基づいてxt＋1を決定することと、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含むことができ、上式で、
【０１００】
【数３０】
2016058081.tif 000032
【０１０１】
および
【０１０２】
【数３１】
2016058081.tif 000033
【０１０３】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、slはm個の非ゼロ特異値のl番目の特異値を表し、fulはl番目の特異値に対応する列ベクトルを表し、fvlはl番目の特異値に対応する行ベクトルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【０１０４】
図2は、本発明のこの実施形態の方法の適用の効果を示す図表である。図2の（a）は入力画像であり、（b）は本発明のこの実施形態の方法を使用して画像が処理された後の結果であり、（c）は既存のPD（ペナルティ分解）に基づくアルゴリズムを使用して画像が処理された後の結果である。包括的な比較の後に本発明のこの実施形態の方法はぼやけた画像の処理に対してより良い効果を持つことが容易に分かる。
【０１０５】
本発明のこの実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する方法は図1を参照して上記に詳細に説明され、本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する装置は図3から図4を参照して下記に説明される。
【０１０６】
図3および図4の装置が図1の方法のステップを実装できることは理解されるべきであり、簡潔にするために、詳細はここで再度説明しない。
【０１０７】
図3は、ぼやけた画像に基づいて鮮明な画像を生成する装置の概略ブロック図である。図3の装置300は、
ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得するように構成された、取得ユニット310と、
予め設定された画像勾配オペレータおよび取得ユニット310により取得された畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定するように構成された、第1の決定ユニット320と、
第1の決定ユニット320により決定された逆畳み込みカーネルおよび取得ユニット310により取得されたぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定するように構成された、第2の決定ユニット330と、
第2の決定ユニット330により決定された鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成するように構成された、生成ユニット340とを含む。
【０１０８】
本発明のこの実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。言い換えれば、逆畳み込みカーネルは正則化制約として勾配オペレータを導入し、それはノイズが画像回復プロセスに影響を与えるのを防ぎ、回復された鮮明な画像の品質を改善する。
【０１０９】
任意選択で、実施形態として、第2の決定ユニット330は、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行し、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定するように構成される。
【０１１０】
任意選択で、実施形態として、第2の決定ユニット330は、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定し、式
【０１１１】
【数３２】
2016058081.tif 000034
【０１１２】
に基づいてxt＋1を決定し、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、または、tが繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【０１１３】
【数３３】
2016058081.tif 000035
【０１１４】
および
【０１１５】
【数３４】
2016058081.tif 000036
【０１１６】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、slはm個の非ゼロの特異値のl番目の特異値を表し、fulはl番目の特異値に対応する列ベクトルを表し、fvlはl番目の特異値に対応する行ベクトルを表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【０１１７】
任意選択で、実施形態として、第2の決定ユニット330は、式zjt＋1＝argminzE（xt，zj，βt）に基づいてzjt＋1を決定し、式
【０１１８】
【数３５】
2016058081.tif 000037
【０１１９】
に基づいてxt＋1を決定し、式βt＋1＝2βtに基づいてβt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【０１２０】
【数３６】
2016058081.tif 000038
【０１２１】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【０１２２】
任意選択で、実施形態として、第2の決定ユニット330は、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定し、式
【０１２３】
【数３７】
2016058081.tif 000039
【０１２４】
に基づいてxt＋1を決定し、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【０１２５】
【数３８】
2016058081.tif 000040
【０１２６】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【０１２７】
任意選択で、実施形態として、第1の決定ユニット320は、式
【０１２８】
【数３９】
2016058081.tif 000041
【０１２９】
に従って逆畳み込みカーネルを決定するように構成され、上式でωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。
【０１３０】
図4は、ぼやけた画像に基づいて鮮明な画像を生成する装置の概略ブロック図である。図4の装置400は、
プログラムを格納するように構成された、メモリ410と、
プログラムを実行するように構成された、プロセッサ420であって、プログラムが実行されるとき、ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得し、予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定し、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定し、鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成するように構成される、プロセッサ420とを含む。
【０１３１】
本発明のこの実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。言い換えれば、逆畳み込みカーネルは正則化制約として勾配オペレータを導入し、それはノイズが画像回復プロセスに影響を与えるのを防ぎ、回復された鮮明な画像の品質を改善する。
【０１３２】
任意選択で、実施形態として、プロセッサ420は、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行し、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定するように構成される。
【０１３３】
任意選択で、実施形態として、プロセッサ420は、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定し、式
【０１３４】
【数４０】
2016058081.tif 000042
【０１３５】
に基づいてxt＋1を決定し、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、または、tが繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【０１３６】
【数４１】
2016058081.tif 000043
【０１３７】
および
【０１３８】
【数４２】
2016058081.tif 000044
【０１３９】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、slはm個の非ゼロの特異値のl番目の特異値を表し、fulはl番目の特異値に対応する列ベクトルを表し、fvlはl番目の特異値に対応する行ベクトルを表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【０１４０】
任意選択で、実施形態として、プロセッサ420は、式zjt＋1＝argminzE（xt，zj，βt）に基づいてzjt＋1を決定し、式
【０１４１】
【数４３】
2016058081.tif 000045
【０１４２】
に基づいてxt＋1を決定し、式βt＋1＝2βtに基づいてβt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【０１４３】
【数４４】
2016058081.tif 000046
【０１４４】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【０１４５】
任意選択で、実施形態として、プロセッサ420は、式zjt＋1＝argminzE（xt，zj，γjt）に基づいてzjt＋1を決定し、式
【０１４６】
【数４５】
2016058081.tif 000047
【０１４７】
に基づいてxt＋1を決定し、式γjt＋1＝γjt−β（zjt＋1−cj＊xt＋1）に基づいてγjt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γjt＋1を使用してγjtを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
【０１４８】
【数４６】
2016058081.tif 000048
【０１４９】
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zjt＋1はzjの（t＋1）回目の繰返しの値を表し、γjtはγjのt回目の繰返しの値を表し、γjt+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj1＝0であり、cj’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
【０１５０】
任意選択で、実施形態として、プロセッサ420は、式
【０１５１】
【数４７】
2016058081.tif 000049
【０１５２】
に従って逆畳み込みカーネルを決定するように構成され、上式でωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。
【０１５３】
本発明の実施形態における「および／または」という用語が、関連オブジェクトを記述するための1つの関連付けのみを記述し3つの関係が存在し得ることを示すことは、理解されるべきである。例えば、Aおよび／またはBは、次の3つの場合を示すことができる。Aだけが存在する、AとB両方が存在する、Bだけが存在する。さらに、この明細書における「／」という文字は、一般的に関連オブジェクト間の「または」の関係を示す。
【０１５４】
当業者は、本明細書に開示された実施形態で説明された実施例とともに、ユニットおよびアルゴリズムステップは電子ハードウェア、コンピュータソフトウェア、またはそれらの組み合わせによって実装され得ることを認識できる。ハードウェアとソフトウェアとの間の移植可能性を明確に説明するために、前述は機能に従ってそれぞれの実施例の構成およびステップについて一般的に説明した。機能がハードウェアまたはソフトウェアのいずれにより実行されるかは、技術的な解決策の特定用途と設計制約条件に依存する。当業者は、それぞれの特定用途に対して説明された機能を実装するために異なった方法を使用することができるが、実装は本発明の範囲を超えると考えられるべきではない。
【０１５５】
便利で簡単な説明を目的として、前述のシステム、装置、およびユニットの詳細な作動プロセスについては、前述の方法の実施形態の対応するプロセスを参照すればよく、詳細はここで再び説明されないことは、当業者によって明確に理解され得る。
【０１５６】
本出願書で提供されたいくつかの実施形態において、開示されたシステム、装置、および方法は他の方式で実装され得ることは理解されるべきである。例えば、説明された装置の実施形態はただ例示的なものにすぎない。例えば、ユニット区分はただ論理関数の区分であって、実際の実装で他の区分とすることができる。例えば、複数のユニットまたは構成要素は別のシステムに組み合わせまたは統合でき、あるいは一部の特徴は無視しても、または実行しなくてもよい。さらに、表示された、または議論された相互結合または直接結合または通信接続は何らかのインタフェースを通して実装できる。装置またはユニット間の間接的な結合または通信接続は、電気的、機械的、または他の形式で実装され得る。
【０１５７】
別個の部分として説明されたユニットは物理的に別個であってもなくてもよく、ユニットとして表示された部分は物理的にユニットであってもなくてもよく、1つの位置に位置していてもよく、または複数のネットワークユニット上に分散されてもよい。ユニットの一部またはすべては、本発明の実施形態の解決策の目的を達成するように実際の必要性に従って選択され得る。
【０１５８】
さらに、本発明の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよく、またはユニットのそれぞれは物理的に単独で存在してもよく、または2つ以上のユニットが1つのユニットに統合されてもよい。統合されたユニットはハードウェア形式で実装されてもよく、またはソフトウェア機能ユニット形式で実装されてもよい。
【０１５９】
統合されたユニットがソフトウェア機能ユニット形式で実装され独立した製品として販売または使用されるとき、統合されたユニットはコンピュータ可読記憶媒体に格納され得る。このような理解に基づいて、本発明の技術的な解決策は本質的に、または従来技術に寄与する部分は、または技術的な解決策のすべてもしくは一部は、ソフトウェア製品形式で実装され得る。ソフトウェア製品は記憶媒体に格納され、（パーソナルコンピュータ、サーバ、またはネットワーク機器とすることができる）コンピュータ機器に本発明の実施形態で説明された方法のステップのすべてまたは一部を実行するように指示するための数個の命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、リードオンリーメモリ（ROM、Read−Only  Memory）、ランダムアクセスメモリ（RAM、Random  Access  Memory）、磁気ディスク、または光ディスクなどの、プログラムコードを格納できる任意の媒体を含む。
【０１６０】
前述の説明は単に本発明の具体的な実施形態にすぎず、本発明の保護範囲を制限するように意図されない。本発明で開示された技術範囲内で当業者によって容易に理解されるいかなる修正または代替物も、本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うべきである。
【符号の説明】
【０１６１】
110  ステップ
120  ステップ
130  ステップ
140  ステップ
300  装置
310  取得ユニット
320  第1の決定ユニット
330  第2の決定ユニット
340  生成ユニット
400  装置
410  メモリ
420  プロセッサ
【図１】
2016058081.tif 000066
【図３】
2016058081.tif 000067
【図４】
2016058081.tif 000068
【図２】
2016058081.tif 000069