(57)【特許請求の範囲】
【請求項１】
劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算手段と、
条件付確率計算手段が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補の前記領域に前記属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定手段と、
前記最適化関数の値を最小とする復元画像の候補を特定し、当該候補を劣化画像の復元画像として決定する復元画像決定手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
最適化関数決定手段は、
復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定める第１の項設定手段と、
条件付確率計算手段に計算された条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定める第２の項設定手段と、
前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成手段とを含む
請求項１に記載の画像処理装置。
【請求項３】
最適化関数決定手段は、
復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定める第１の項設定手段と、
属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めた前記関数の和を第２の項として定める第２の項設定手段と、
前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成手段とを含む
請求項１に記載の画像処理装置。
【請求項４】
最適化関数構成手段は、第１の項と第２の項との重み付き和を最適化関数と定める
請求項２または請求項３に記載の画像処理装置。
【請求項５】
第１の項設定手段は、復元画像の候補Ｙに対して画像劣化過程を示す演算を行った結果と劣化画像との差を表す項として、第１の項を定める
請求項２から請求項４のうちのいずれか１項に記載の画像処理装置。
【請求項６】
予め定められた事前確率を記憶する事前確率記憶手段を備える
請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
【請求項７】
劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算し、
属性毎に劣化画像内の各領域に関して計算した前記条件付確率と、ある領域にある属性が存在するときに復元画像の候補の前記領域に前記属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定し、
前記最適化関数の値を最小とする復元画像の候補を特定し、当該候補を劣化画像の復元画像として決定する
ことを特徴とする画像処理方法。
【請求項８】
最適化関数を決定するときに、
復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定め、
属性毎に劣化画像内の各領域に関して計算した条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定め、
前記第１の項と前記第２の項との和を最適化関数と定める
請求項７に記載の画像処理方法。
【請求項９】
最適化関数を決定するときに、
復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定め、
属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めた前記関数の和を第２の項として定め、
前記第１の項と前記第２の項との和を最適化関数と定める
請求項７に記載の画像処理方法。
【請求項１０】
コンピュータに、
劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算処理、
条件付確率計算処理で属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補の前記領域に前記属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定処理、および、
前記最適化関数の値を最小とする復元画像の候補を特定し、当該候補を劣化画像の復元画像として決定する復元画像決定処理
を実行させるための画像処理用プログラム。
【請求項１１】
コンピュータに、
最適化関数決定処理で、
復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定める第１の項設定処理、
条件付確率計算処理で計算した条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定める第２の項設定処理、および、
前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成処理
を実行させる請求項１０に記載の画像処理用プログラム。
【請求項１２】
コンピュータに、
最適化関数決定処理で、
復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定める第１の項設定処理、
属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めた前記関数の和を第２の項として定める第２の項設定処理、および、
前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成処理
を実行させる請求項１０に記載の画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理用プログラムに関し、特に、劣化画像を復元する画像処理装置、画像処理方法および画像処理用プログラムに関する。
【背景技術】
【０００２】
ぼかし、ノイズ、低解像度化等によって劣化した劣化画像を復元する一般的な方法として、ＭＡＰ推定（Maximum a Posteriori Estimation ：最大事後確率推定）がある。ＭＡＰ推定は、推定したい量に関する事前知識を利用して、最適化された結果を得る手法である。従って、ＭＡＰ推定では、どのような事前知識を用いるかが重要である。事前知識を学習によって得て、ＭＡＰ推定を行い、劣化画像を復元する方法が、例えば、非特許文献１，２に記載されている。【０００３】
非特許文献１には、復元対象の画像を顔画像に特化し、顔画像の事前知識を学習によって獲得し、その事前知識に基づいてＭＡＰ推定を行う方法が記載されている。また、非特許文献１には、復元対象の画像を文字画像に特化し、文字画像の事前知識を学習によって獲得してＭＡＰ推定を行う場合についても記載されている。【０００４】
また、非特許文献２には、一般の画像を復元対象画像とし、一般の画像における事前知識を学習により求め、その事前知識に基づいてＭＡＰ推定を行う方法が記載されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Simon Baker, Takeo Kanade, “Limits on Super-Resolution and How to Break Them”,IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24, NO.9, September 2002
【非特許文献２】Stefan Roth, Michael J.Black, “Fields of Experts: A Framework for Learning Image Priors”, Computer Vision and Pattern Recognition,2005. CVPR2005. IEEE Computer Society Conference on Volume2, pp.860-867, June 2005
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載された方法では、顔の構造情報等の詳細な事前知識に基づいて、ＭＡＰ推定を行うことで、劣化画像から高画質の復元画像を得ることができる。しかし、復元対象画像が、顔画像（あるいは文字画像）に特化されているため、復元可能な画像が限定されていた。【０００７】
一方、非特許文献２に記載された方法では、復元可能な画像は限定されないが、全ての画像に適用可能な事前知識を用いる。その結果、画質改善効果が少なくなってしまう。【０００８】
そこで、本発明は、復元対象画像を限定せずに、劣化画像から高画質の復元画像を得ることができる画像処理装置、画像処理方法および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明による画像処理装置は、劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算手段と、条件付確率計算手段が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定手段と、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定する復元画像決定手段とを備えることを特徴とする。【００１０】
本発明による画像処理方法は、劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算し、属性毎に劣化画像内の各領域に関して計算した前記条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定し、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定することを特徴とする。【００１１】
本発明による画像処理用プログラムは、コンピュータに、劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算処理、条件付確率計算処理で属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定処理、および、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定する復元画像決定処理を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、復元対象画像を限定せずに、劣化画像から高画質の復元画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の画像処理装置の例を示すブロック図である。
【図２】劣化画像内の属性に関する条件付確率分布を模式的に示す説明図である。
【図３】最適化関数決定部の例を示すブロック図である。
【図４】ぼかしの対象となる画像の例を示す説明図である。
【図５】図４に例示する画像を表す列ベクトルを示す説明図である。
【図６】ぼかしによる劣化を表す行列Ｂの例を示す説明図である。
【図７】本発明の画像処理装置の処理経過の例を示すフローチャートである。
【図８】条件付確率の計算の処理経過の例を示すフローチャートである。
【図９】本発明の最小構成の例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面を参照して説明する。
図１は、本発明の画像処理装置の例を示すブロック図である。本発明の画像処理装置は、劣化画像入力部１０と、属性確率演算部１１と、最適化関数決定部１２と、最適化処理部１３と、復元画像出力部１４と、事前知識記憶部１５とを備える。なお、以下の説明では、本発明の画像処理装置が、画像をベクトルで表し、そのベクトルを用いて演算する場合を例にして説明する。すなわち、本発明の画像処理装置が、画像を、画素値が所定順に並べられた列ベクトルとして扱う場合を例にして説明する。ここでは、画像を、画素値がラスタスキャン順に並べられた列ベクトルとする場合を例にする。ただし、画像をベクトルとして扱うことは、本発明の一例であり、本発明において、画像はベクトル以外の形式（例えば、行列等）で表されていてもよい。
【００１５】
劣化画像入力部１０は、復元対象となる劣化画像が入力される入力デバイスである。劣化画像の入力態様は、特に限定されない。また、本発明の画像処理装置に入力される劣化画像は、特定の被写体を写した画像に限定されない。
【００１６】
属性確率演算部１１は、劣化画像入力部１０に入力された劣化画像中にどのような属性が存在しているかを計算する。この処理は、具体的には、劣化画像内の各領域について、各属性が存在している確率を、条件付確率として求める処理である。
【００１７】
属性とは、劣化画像内に存在し得る要素（すなわち、画像内に存在する可能性がある要素）として予め定められた要素である。例えば、人物、人の顔、建物のような被写体となり得る物や、被写体とともに撮影され得る文字、背景等が属性（要素）となる。さらに、エッジ（輝度勾配が大きい領域）や、コーナー（角になっている領域）のような、画像中に現れる特徴的な部分も属性（要素）に該当する。属性の種類は予め定められている。入力された劣化画像をＸと表すこととする。また、属性の種類がＫ種類定められていて、そのｉ番目の属性をＡｉと表すこととする。なお、ｉ＝１，・・・，Ｋである。また、画像中の領域をＲと表すこととする。属性確率演算部１１は、劣化画像Ｘ内の領域Ｒについて属性Ａｉが存在している条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を、属性毎に、劣化画像Ｘ内の各領域について求める。
【００１８】
図２は、４つの異なる属性を例にして劣化画像内の属性に関する条件付確率分布を模式的に示す説明図である。図２（ａ）は、人間の顔を属性Ａ１とし、その属性Ａ１が存在する条件付確率が高い部分と低い部分の分布を表している。なお、図２（ｅ）は、図２において模式的に示した色の濃淡と条件付確率との関係を示しており、条件付確率が高いほど白色に近い色で表し、条件付確率が低いほど黒色に近い色で表すことを示している。図２（ａ）では、人間の顔に該当する領域で条件付確率Ｐ（Ａ１｜Ｘ，Ｒ）が高くなることを示している。同様に、図２（ｂ）は、窓を属性Ａ２とし、その属性Ａ２が存在する条件付確率の分布を表している。図２（ｂ）では、窓に該当する領域で条件付確率Ｐ（Ａ２｜Ｘ，Ｒ）が高くなることを示している。また、図２（ｃ）では、建物を属性Ａ３とし、その属性Ａ３が存在する条件付確率の分布を表している。図２（ｃ）では、建物に該当する領域で条件付確率Ｐ（Ａ３｜Ｘ，Ｒ）が高くなることを示している。また、図２（ｄ）では、背景を属性Ａ４とし、その属性Ａ４が存在する条件付確率の分布を表している。図４（ｄ）では、背景に該当する領域で条件付確率Ｐ（Ａ４｜Ｘ，Ｒ）が高くなることを示している。
【００１９】
なお、画像内の領域Ｒの定め方は、特に限定されず、例えば、画像内の一つ一つの画素をそれぞれ一つの領域Ｒとしてもよい。この場合、各領域Ｒは、画素を識別する画素番号で表すことができる。また、領域Ｒとして、複数の画素からなる領域を定めてもよい。この場合、領域Ｒは、画素番号の集合で表すことができる。また、注目する範囲毎に領域Ｒの大きさを変えてもよい。あるいは、画像全体を一つの領域Ｒとしてもよい。
【００２０】
属性確率演算部１１は、例えば、属性毎に予め定められたテンプレートと、画像から抽出した領域Ｒとの類似度を計算し、類似度から条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求めればよい。ここで、類似度を変数として条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数は、予め属性毎に定められ、属性確率演算部１１は、その関数に類似度を代入することによって、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算すればよい。ただし、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算するアルゴリズムは、特に限定されず、他の方法で条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算してもよい。
【００２１】
最適化関数決定部１２は、入力された劣化画像Ｘと、属性確率演算部１１によって計算された条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）と、予め定められた事前知識とを用いて、復元画像を決定するための最適化関数を決定する。最適化関数とは、復元画像の候補を変数とし、真の復元画像に復元画像の候補が近いほど（すなわち類似しているほど）、値が小さくなる関数である。以下、最適化関数をＥ（Ｙ）と表す。Ｙは、最適化関数に変数として代入される復元画像の候補を意味する。最適化関数決定部１２の具体的な構成については後述する。
【００２２】
事前知識記憶部１５は、最適化関数決定部１２が最適化関数を決定する際に用いる事前知識を記憶する記憶装置である。
【００２３】
最適化処理部１３は、最適化関数Ｅ（Ｙ）の値を最小化する復元画像の候補Ｙを計算し、その候補Ｙを復元画像として決定する。
【００２４】
復元画像出力部１４は、最適化処理部１３によって決定された復元画像を出力する出力デバイスである。例えば、復元画像出力部１４は、復元画像を表示するディスプレイ装置によって実現される。ただし、ディスプレイ装置は復元画像出力部１４の例示であり、復元画像出力部１４は、表示以外の態様で復元画像を出力する出力デバイスであってもよい。
【００２５】
次に、最適化関数の例および最適化関数決定部１２の構成例について説明する。本実施形態では、最適化関数は、２つの項の和として表される。第１の項は、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である。以下、第１の項を経験誤差項と称する。第２の項は、個々の属性にそれぞれ着目し、着目している属性について、画像内にその着目している属性が存在する場合に小さな値を示すような評価関数を求めた場合における、属性毎の評価関数の総和である。この評価関数は、Ｙを変数とする関数である。この評価関数は、エネルギーと称することもできる。以下、第２の項を正則化項と称する。経験誤差項は、復元画像の候補Ｙが真の復元画像に近づくほど小さな値となる。正則化項は、最適化関数から解（真の復元画像）を求める際に、解を安定化させるために設けられる。最適化関数を経験誤差項のみで表した場合、最適化処理部１３にてとり得る解は無数に存在し、解が不安定になる。そこで、経験誤差項だけでなく正則化項も用いて最適化関数を表すことで、無数の解の中から解を限定し、解を安定させることができる。
【００２６】
図３は、最適化関数決定部１２の例を示すブロック図である。最適化関数決定部１２は、経験誤差項設定部１２１と、正則化項設定部１２２と、最適化関数構成部１２３とを備える。なお、図３では、劣化画像入力部１０と、属性確率演算部１１と、事前知識記憶部１５と、最適化処理部１３も図示している。
【００２７】
経験誤差項設定部１２１は、劣化画像入力部１０に入力された劣化画像Ｘを用いて、経験誤差項を定める。例えば、経験誤差項設定部１２１は、以下の式（１）に示すように経験誤差項を定めればよい。
【００２８】
Ｅｄａｔａ（Ｙ，Ｘ）＝｜Ｂ・Ｙ−Ｘ｜２          式（１）
【００２９】
Ｅｄａｔａ（Ｙ，Ｘ）は、経験誤差項である。Ｂは、復元画像が劣化する過程を表す行列である。経験誤差項設定部１２１が定めるＥｄａｔａ（Ｙ，Ｘ）において、Ｙは、ベクトル変数となる。変数である復元画像候補Ｙが真の復元画像に近づくほど経験誤差項Ｅｄａｔａ（Ｙ，Ｘ）の値は小さくなる。
【００３０】
復元画像が劣化する過程を表す行列Ｂとして、例えば、カメラボケを表すローパスフィルタを表す行列を用いればよい。以下、このように、行列Ｂが、カメラボケ（ぼかし）による劣化を表す行列である場合を例にして、行列Ｂの具体例を説明する。
【００３１】
図４ないし図６を用いて、ぼかしの模擬の例を説明する。ぼかしは、画像内の画素毎に、画素値を、近傍の他の画素の画素値との平均値で置き換えることで模擬できる。図４は、ぼかしの対象となる画像の例を示し、図４では、５×５画素の画像を例示している。例えば、画素値ａ２２の画素に着目した場合、その着目画素の画素値を、その画素値ａ２２およびその近傍画素の画素値ａ１１，ａ１２，ａ１３，ａ２１，ａ２３，ａ３１，ａ３２，ａ３３の平均値で置き換える。また、例えば、画素値ａ２３の画素に着目した場合、その着目画素の画素値を、その画素値ａ２３およびその近傍画素の画素値ａ１２，ａ１３，ａ１４，ａ２２，ａ２４，ａ３２，ａ３３，ａ３４の平均値で置き換える。他の画素についても、同様に画素値の置換を行うことで、ぼかしを模擬できる。図５は、図４に例示する画像を表す列ベクトルである。図６は、ぼかしによる劣化を表す行列Ｂの例である。ただし、図６では、行列Ｂの２行分の要素を示し、他の行の図示は省略している。図６において、具体的に示した２行のうち、最初の行を便宜的にｋ行目と称し、その次の行をｋ＋１行目と称することとする。
【００３２】
図４に示す画像は、図５に示す列ベクトルで表すことができる。従って、ぼかしを模擬するためにこの列ベクトルに乗じる行列Ｂとして、図６に例示する行列を用いればよい。図６に示すｋ行目は、画素値ａ２２の置換に用いる行列成分である。また、図６に示すｋ＋１行目は、画素値ａ２３の置換に用いる行列成分である。なお、上述のように、図６では他の行を省略している。図６に示す行列Ｂの右側から、図５に示す列ベクトルを乗じれば、各画素の平均値を計算することができる。図６に示す行列Ｂの他の行の計算に関しても同様である。従って、ぼかしによる劣化を表す行列Ｂは、例えば、以下の条件を満たすように定めておけばよい。第１の条件は、各行が画像中の各画素に対応していることである。第２の条件は、平均計算に用いる画素の個数をｎとしたときに、各行の個々の成分の値を、その成分に乗じられる画素値がその行に対応する画素およびその近傍の画素の画素値である場合には１／ｎとし、その乗じられる画素値がその行に対応する画素およびその近傍の画素以外の画素の画素値である場合には０とすることである。なお、この条件は一例であり、例えば、行列Ｂの各行の値を均等とするかわりに、正規分布に基づいて設定するなど、他の条件を満足するように行列Ｂを定めてもよい。
【００３３】
ただし、式（１）における行列Ｂの定め方は、上記の方法に限定されず、他の方法で定めてもよい。例えば、ぼかし以外の要因による劣化を表す行列を行列Ｂとして定めてもよい。
【００３４】
また、ここでは、式（１）を用いて経験誤差項を定める方法を説明したが、劣化画像Ｘに存在する異常値に対するロバスト性を向上させるために、経験誤差項設定部１２１は、以下の式（１）’に示すように経験誤差項を定めてもよい。
【００３５】
Ｅｄａｔａ（Ｙ，Ｘ）＝｜Ｂ・Ｙ−Ｘ｜ｑ          式（１）’
【００３６】
式（１）’において、ｑは、ｑ＞０を満たす実数である。例えば、ｑ＝１としてもよい。
【００３７】
正則化項設定部１２２は、劣化画像入力部１０に入力された劣化画像Ｘと、属性確率演算部１１によって計算された条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）と、事前知識とを用いて、正則化項を定める。正則化項は、以下の式（２）に示すように表される。
【００３８】
【数１】
0005617841.tif 000002
【００３９】
Ｅｒｅｇ（Ｙ）は、正則化項である。既に説明したように、正則化項は、個々の属性をそれぞれ着目し、着目している属性について、画像内に着目している属性が存在する場合に小さな値を示すような評価関数を求めた場合における、属性毎の評価関数の総和である。式（２）におけるＥｉ（Ｙ）が属性毎の評価関数であり、式（２）の右辺はその総和を表している。
【００４０】
また、Ｅｉ（Ｙ）は、属性確率演算部１１によって計算された条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）と、事前知識記憶部１５に記憶される事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）とによって表される。事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）は、領域Ｒに属性Ａｉが存在するときに、復元画像の候補Ｙの領域Ｒに属性Ａｉが現れている確率を条件付確率として表している。例えば、Ｉ番目の属性であるＡＩが、人間の顔の属性であるとする。この場合、復元画像の候補Ｙの領域Ｒの画素値が人間の顔を表す状態になっているほど、Ｐ（Ｙ｜ＡＩ，Ｒ）は大きな値となる。このような事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）は、例えば、非特許文献２に記載された方法を用いて予め、学習により求めておき、事前知識記憶部１５に記憶させておく。
【００４１】
事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の例を示す。事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）は、画像Ｙの関数として定めておく。例えば、式（３）に例示するようなＹの関数として事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）を定めておけばよい。
【００４２】
【数２】
0005617841.tif 000003
【００４３】
式（３）において、ｋは、属性に含まれる個々の構成部をそれぞれ識別する値であり、Ｎは、属性に含まれる個々の構成部の総数である。属性に含まれる個々の構成部の例として、例えば、属性が人間の顔である場合における右目、左目、口等の各構成部が挙げられる。属性が右目、左目等の複数の構成部を含まずに、属性全体が一つの構成部として捉えられる場合には、Ｎ＝１となる。Ｊｋｉ（Ｒ）は、属性Ａｉにおけるｋ番目の構成部を検出するための領域Ｒにおけるフィルタを表す行列である。Ｊｋｉ（Ｒ）・Ｙの値が大きいほど、画像Ｙ内の領域Ｒにその構成部らしい箇所が存在していることを意味する。例えば、属性Ａｉが人間の顔であり、その属性に含まれる各構成部のうち、ｋ番目の構成部が右目であるとする。この場合、Ｊｋｉ（Ｒ）・Ｙの値が大きければ大きいほど、画像Ｙ内における領域Ｒに人間の顔の右目らしい箇所が存在していることを意味する。このようなフィルタＪｋｉ（Ｒ）は、各属性のそれぞれの構成部毎に定められる。また、αｋｉは、式（３）において、１〜Ｎ番目までの構成部に対応する以下の部分の重みを規定する係数である。
【００４４】
【数３】
0005617841.tif 000004
【００４５】
また、確率は画像全体で積分したときに１になるという制約がある。式（３）における右辺のＺは、この制約を有効にするための規格化定数である。
【００４６】
式（３）におけるＪｋｉ（Ｒ）およびαｋｉは、学習により予め定めておけばよい。例えば、属性Ａｉを撮影した学習画像（学習データ）を用意し、その学習データから、各構成部に関してＪｋｉ（Ｒ）およびαｋｉを学習によって求めておけばよい。そして、例えば、式（３）のようなＹの関数として表される事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）を属性毎に定めておく。
【００４７】
正則化項設定部１２２は、領域Ｒ毎に、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数を定め、領域毎の関数の総和として、各属性の評価関数を定めればよい。条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数の例として、例えば、Ｐ（Ａｉ｜Ｘ，Ｒ）と、Ｐ（Ｙ｜Ａｉ，Ｒ）の対数との積に−１を乗じた関数を定めればよい。この例では、正則化項設定部１２２は、ｉ番目の属性Ａｉについての評価関数Ｅｉ（Ｙ）を、以下の式（４）のように定める。
【００４８】
【数４】
0005617841.tif 000005
【００４９】
個々の領域についての関数は、上記の例では、−Ｐ（Ａｉ｜Ｘ，Ｒ）・ｌｏｇ｛Ｐ（Ｙ｜Ａｉ，Ｒ）｝である。着目している領域に属性が存在すれば、この関数の値は小さくなる。
【００５０】
正則化項設定部１２２は、属性毎に式（４）のように定めた評価関数の総和として、式（２）に示すように正則化項Ｅｒｅｇ（Ｙ）を定めればよい。
【００５１】
なお、正則化項は、最適化関数Ｅ（Ｙ）を最適化（最小化）して得られる解を安定化させるために設けられる。
【００５２】
最適化関数構成部１２３は、経験誤差項Ｅｄａｔａ（Ｙ，Ｘ）と正則化項Ｅｒｅｇ（Ｙ）の和として、最適化関数Ｅ（Ｙ）を定める。すなわち、最適化関数構成部１２３は、以下に示す式（５）のように、最適化関数Ｅ（Ｙ）を定める。
【００５３】
Ｅ（Ｙ）＝Ｅｄａｔａ（Ｙ，Ｘ）＋Ｅｒｅｇ（Ｙ）          式（５）
【００５４】
属性確率演算部１１と、最適化関数決定部１２（経験誤差項設定部１２１、正則化項設定部１２２および最適化関数構成部１２３）と、最適化処理部１３は、例えば、画像処理用プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、コンピュータのプログラム記憶装置（図示せず）が画像処理用プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、プログラムに従って、属性確率演算部１１、最適化関数決定部１２（経験誤差項設定部１２１、正則化項設定部１２２、最適化関数構成部１２３）、最適化処理部１３として動作すればよい。また、属性確率演算部１１、最適化関数決定部１２および最適化処理部１３がそれぞれ別のハードウェアで実現されていてもよい。経験誤差項設定部１２１、正則化項設定部１２２、および最適化関数構成部１２３に関しても、それぞれ別のハードウェアで実現されていてもよい。
【００５５】
次に、動作について説明する。
図７は、本発明の画像処理装置の処理経過の例を示すフローチャートである。劣化画像入力部１０に劣化画像Ｘが入力されると、まず、属性確率演算部１１が、劣化画像Ｘ内の各領域について、各属性が存在している確率を、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）として計算する（ステップＳ１）。
【００５６】
図８は、条件付確率の計算（ステップＳ１）の処理経過の例を示すフローチャートである。ステップＳ１において、属性確率演算部１１は、一つのテンプレートを選択する（ステップＳ１１）。テンプレートは、属性を表す画像として、予め属性毎に用意された画像あるいはフィルタである。ステップＳ１１において、属性確率演算部１１は、属性毎に用意されている複数のテンプレートの中から一つのテンプレートを選択する。
【００５７】
次に、属性確率演算部１１は、入力された劣化画像Ｘから領域Ｒを抽出し、テンプレートマッチングを行う（ステップＳ１２）。具体的には、属性確率演算部１１は、劣化画像Ｘから領域Ｒを抽出し、その領域Ｒとテンプレートとの類似度を計算する。例えば、属性確率演算部１１は、領域Ｒとテンプレートの対応する画素毎に、画素値の差の絶対値を計算し、その総和の逆数を類似度として定めればよい。あるいは、他の計算方法で類似度を算出してもよい。
【００５８】
なお、領域Ｒは、テンプレートと同じ大きさであっても、あるいは、テンプレートと異なる大きさであってもよい。テンプレートと異なる大きさの領域Ｒを抽出する場合には、その領域Ｒをテンプレートと同じ大きさ（すなわち、テンプレートと同じ画素数）に拡大または縮小して、類似度を計算すればよい。
【００５９】
また、既に説明したように、劣化画像Ｒに含まれる個々の画素をそれぞれ一つの領域Ｒとしてもよい。この場合には、属性確率演算部１１は、ステップＳ１２において、領域Ｒとなる１画素とその周囲の画素を抽出して、テンプレートとの類似度を計算すればよい。
【００６０】
ステップＳ１２の次に、属性確率演算部１１は、類似度を変数として条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数に、ステップＳ１２で計算した類似度を代入し、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算する（ステップＳ１３）。
【００６１】
類似度を変数として条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数は、予め属性毎に定められている。属性確率演算部１１は、現在選択しているテンプレートが示す属性に対応する関数を選択し、その関数に類似度を代入すればよい。
【００６２】
条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数は、以下のように定めておけばよい。例えば、パラメータ以外は共通となる関数の形式を定めておき、学習によって属性毎にパラメータを定めればよい。具体例を挙げると、例えば、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数が、類似度の自乗に比例する関数であり、パラメータとなる比例係数が属性毎に異なるとする。そして、一つの属性に着目した場合、その属性が存在する画像を学習データとして複数用意し、テンプレートマッチングで得られる類似度と、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）との対応関係を学習データから求めて、着目している属性についてのパラメータ（ここでは比例係数）を定める。同様に、他の属性についても、パラメータを定めればよい。なお、ここでは、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数を、類似度の自乗に比例する関数であると定める場合を例にしたが、関数の形式は他の形式であってもよい。
【００６３】
ステップＳ１３の次に、属性確率演算部１１は、劣化画像Ｘにおいて、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算していない領域があるか否かを判定する（ステップＳ１４）。そのような領域があれば（ステップＳ１４のＹｅｓ）、属性確率演算部１１は、ステップＳ１２以降の処理を繰り返す。そのような領域がなければ（ステップＳ１４のＮｏ）、属性確率演算部１１は、未選択のテンプレートがあるか否かを判定する（ステップＳ１５）。未選択のテンプレートがあれば（ステップＳ１５のＹｅｓ）、属性確率演算部１１は、ステップＳ１１以降の処理を繰り返す。未選択のテンプレートがなければ（ステップＳ１５のＮｏ）、属性確率演算部１１は、ステップＳ１の処理を終了する。この結果、属性毎に、劣化画像Ｘの各領域について、それぞれ条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）が得られる。
【００６４】
なお、図８では、テンプレートマッチングを行う場合を例示したが、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）の計算方法は、図８に示す方法に限定されず、他の計算方法で条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を算出してもよい。
【００６５】
ステップＳ１の後、最適化関数決定部１２の経験誤差設定部１２１は、式（１）に示すように、経験誤差項Ｅｄａｔａ（Ｙ，Ｘ）を定める（ステップＳ２、図７参照）。式（１）における行列Ｂ（すなわち、復元画像が劣化する過程を表す行列Ｂ）は、予め定めておけばよい。
【００６６】
次に、正則化項設定部１２２は、正則化項Ｅｒｅｇ（Ｙ）を定める（ステップＳ３）。ステップＳ３において、正則化項設定部１２２は、例えば、式（４）に例示する評価関数Ｅｉ（Ｙ）を属性毎に定め、各属性の評価関数Ｅｉ（Ｙ）の総和として、式（２）に示すように正則化項Ｅｒｅｇ（Ｙ）を定めればよい。
【００６７】
次に、最適化関数構成部１２３は、式（５）に示すように、経験誤差項Ｅｄａｔａ（Ｙ，Ｘ）と正則化項Ｅｒｅｇ（Ｙ）の和として、最適化関数Ｅ（Ｙ）を定める（ステップＳ４）。
【００６８】
次に、最適化処理部１３は、最適化関数構成部１２３によって決定された最適化関数Ｅ（Ｙ）を最小化するときのＹを求め、その画像Ｙを、劣化画像Ｘの復元画像として決定する（ステップＳ５）。ステップＳ５において、最適化処理部１３は、例えば、勾配法によって、最適化関数Ｅ（Ｙ）を最小化するときのＹを求めればよい。
【００６９】
次に、最適化処理部１３は、ステップＳ５で決定した復元画像を復元画像出力部１４に出力させる（ステップＳ６）。例えば、最適化処理部１３は、復元画像を復元画像出力部１４に表示させる。
【００７０】
本発明によれば、劣化画像Ｘから条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）をそれぞれ求め、劣化画像Ｘと、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）と、複数種類の属性についてそれぞれ定めた事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）とを用いて、最適化関数Ｅ（Ｙ）を定める。そして、最適化関数Ｅ（Ｙ）を最小にするＹを復元画像として決定する。従って、特定の被写体を撮影した劣化画像だけに限定することなく、高画質の復元画像を得ることができる。条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算することで、属性毎の事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）を利用することができ、複数の事前知識から最適化関数Ｅ（Ｙ）を定めるので、一般的な画像を高画質の復元画像に復元することができる。
【００７１】
次に、上記の実施形態の変形例について説明する。
上記の実施形態では、正則化項設定部１２２が、ｉ番目の属性Ａｉについての評価関数Ｅｉ（Ｙ）を式（４）に示すように定める場合を示したが、評価関数Ｅｉ（Ｙ）は、式（４）に限定されない。例えば、正則化項設定部１２２は、ｉ番目の属性Ａｉについての評価関数Ｅｉ（Ｙ）を、以下に示す式（６）のように定めてもよい。
【００７２】
【数５】
0005617841.tif 000006
【００７３】
式（６）の例では、領域Ｒ毎に定められる、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数は、−ｌｏｇ｛Ｐ（Ａｉ｜Ｘ，Ｒ）・Ｐ（Ｙ｜Ａｉ，Ｒ）｝である。この領域Ｒ毎の関数の総和を、式（６）のように評価関数Ｅｉ（Ｙ）としてもよい。
【００７４】
また、正則化項設定部１２２は、評価関数Ｅｉ（Ｙ）を、以下に示す式（７）のように定めてもよい。
【００７５】
【数６】
0005617841.tif 000007
【００７６】
式（７）の例では、領域Ｒ毎に定められる、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数は、−Ｐ（Ａｉ｜Ｘ，Ｒ）・Ｐ（Ｙ｜Ａｉ，Ｒ）である。この領域Ｒ毎の関数の総和を、式（７）のように評価関数Ｅｉ（Ｙ）としてもよい。
【００７７】
また、正則化項設定部１２２は、評価関数Ｅｉ（Ｙ）を、以下に示す式（８）のように定めてもよい。
【００７８】
【数７】
0005617841.tif 000008
【００７９】
式（８）の例では、領域Ｒ毎に定められる、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数は、−ｌｏｇ｛Ｐ（Ａｉ｜Ｘ，Ｒ）｝・Ｐ（Ｙ｜Ａｉ，Ｒ）である。この領域Ｒ毎の関数の総和を、式（８）のように評価関数Ｅｉ（Ｙ）としてもよい。
【００８０】
このように属性毎の評価関数Ｅｉ（Ｙ）の定め方は一つの方法に限定されない。いずれの場合であっても、正則化項設定部１２２は、式（２）に示すように、属性毎の評価関数Ｅｉ（Ｙ）の総和を正則化項Ｅｒｅｇ（Ｙ）と定めればよい。
【００８１】
また、上記の実施形態では、領域Ｒ毎の関数の総和として評価関数を属性毎に定め、属性毎の評価関数の総和として正則化項Ｅｒｅｇ（Ｙ）を定める場合を示した。正則化項設定部１２２は、正則化項Ｅｒｅｇ（Ｙ）を、以下に示す式（９）の計算によって算出してもよい。
【００８２】
【数８】
0005617841.tif 000009
【００８３】
式（９）では、領域毎に、各属性毎の関数の総和の対数に−１を乗じた結果を定め、領域毎に求めた結果を、正則項Ｅｒｅｇ（Ｙ）とする。式（９）の例では、属性毎に定める関数として、Ｐ（Ａｉ｜Ｘ，Ｒ）・Ｐ（Ｙ｜Ａｉ，Ｒ）を定め、属性毎に定めたその関数の総和の対数をとる。
【００８４】
また、上記の実施形態では、最適化関数構成部１２３は、式（５）に示すように、経験誤差項と正則化項との和として最適化関数Ｅ（Ｙ）を定める場合を示した。最適化関数Ｅ（Ｙ）を、経験誤差項と正則化項との重み付き和として定めてもよい。すなわち、最適化関数Ｅ（Ｙ）を、以下に示す式（１０）のように定めてもよい。
【００８５】
Ｅ（Ｙ）＝Ｅｄａｔａ（Ｙ，Ｘ）＋λ・Ｅｒｅｇ（Ｙ）          式（１０）
【００８６】
式（１０）におけるλは、正則化項の重みを示す重み係数であり、予め定められる。入力される劣化画像Ｘの劣化度が小さいことが予め分かっている場合には、λを小さな値に定めて正則化項の重みを下げればよい。逆に、入力される劣化画像Ｘの劣化度が大きいことが予め分かっている場合には、λを大きな値に定めて正則化項の重みを上げればよい。経験誤差項と正則化項との重み付き和として最適化関数Ｅ（Ｙ）を定めることにより、入力される劣化画像の劣化度に応じて、より適切な復元画像を得ることができる。
【００８７】
次に、本発明の最小構成を説明する。図９は、本発明の最小構成の例を示すブロック図である。本発明の画像処理装置は、条件付確率計算手段３１と、最適化関数決定手段３２と、復元画像決定手段３３とを備える。
【００８８】
条件付確率計算手段３１（例えば、属性確率演算部１１）は、劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する。
【００８９】
最適化関数決定手段３２（例えば、最適化関数決定部１２）は、条件付確率計算手段３１が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する。
【００９０】
復元画像決定手段３３（例えば、最適化処理部１３）は、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定する。
【００９１】
そのような構成によれば、特定の被写体を撮影した劣化画像だけに限定することなく、一般的な画像を高画質の復元画像に復元することができる。
【００９２】
なお、上記の実施形態には、以下の（付記１）〜（付記１２）に示すような画像処理装置の特徴的な構成が開示されている。
【００９３】
（付記１）劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算手段（例えば、属性確率演算部１１）と、条件付確率計算手段が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定手段（例えば、最適化関数決定部１２）と、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定する復元画像決定手段（例えば、最適化処理部１３）とを備えることを特徴とする画像処理装置。
【００９４】
（付記２）最適化関数決定手段が、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項（例えば、式（１）におけるＥｄａｔａ（Ｙ，Ｘ））を定める第１の項設定手段（例えば、経験誤差項設定部１２１）と、条件付確率計算手段に計算された条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定める第２の項設定手段（例えば、式（２）におけるＥｒｅｇ（Ｙ）を定める正則化項設定部１２２）と、第１の項と第２の項との和を最適化関数と定める最適化関数構成手段（例えば、最適化関数構成部１２３）とを含む付記１に記載の画像処理装置。
【００９５】
（付記３）最適化関数決定手段が、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項（例えば、式（１）におけるＥｄａｔａ（Ｙ，Ｘ））を定める第１の項設定手段（例えば、経験誤差項設定部１２１）と、属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めたその関数の和を第２の項として定める第２の項設定手段（例えば、式（９）におけるＥｒｅｇ（Ｙ）を定める正則化項設定部１２２）と、第１の項と第２の項との和を最適化関数と定める最適化関数構成手段（例えば、最適化関数構成部１２３）とを含む付記１に記載の画像処理装置。
【００９６】
（付記４）最適化関数構成手段が、第１の項と第２の項との重み付き和を最適化関数と定める付記２または付記３に記載の画像処理装置。
【００９７】
（付記５）第１の項設定手段が、復元画像の候補Ｙに対して画像劣化過程を示す演算を行った結果と劣化画像との差を表す項として、第１の項を定める付記２から付記４のうちのいずれかに記載の画像処理装置。
【００９８】
（付記６）予め定められた事前確率を記憶する事前確率記憶手段（例えば、事前知識記憶部１５）を備える付記１から付記５のうちのいずれかに記載の画像処理装置。
【００９９】
（付記７）劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算部（例えば、属性確率演算部１１）と、条件付確率計算部が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補の前記領域に前記属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定部（例えば、最適化関数決定部１２）と、前記最適化関数の値を最小とする復元画像の候補を特定し、当該候補を劣化画像の復元画像として決定する復元画像決定部（例えば、最適化処理部１３）とを備えることを特徴とする画像処理装置。
【０１００】
（付記８）最適化関数決定部が、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項（例えば、式（１）におけるＥｄａｔａ（Ｙ，Ｘ））を定める第１の項設定部（例えば、経験誤差項設定部１２１）と、条件付確率計算部に計算された条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定める第２の項設定部（例えば、式（２）におけるＥｒｅｇ（Ｙ）を定める正則化項設定部１２２）と、前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成部（例えば、最適化関数構成部１２３）とを含む付記７に記載の画像処理装置。
【０１０１】
（付記９）最適化関数決定部が、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項（例えば、式（１）におけるＥｄａｔａ（Ｙ，Ｘ））を定める第１の項設定部（例えば、経験誤差項設定部１２１）と、属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めた前記関数の和を第２の項として定める第２の項設定部（例えば、式（９）におけるＥｒｅｇ（Ｙ）を定める正則化項設定部１２２）と、前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成部（例えば、最適化関数構成部１２３）とを含む付記７に記載の画像処理装置。
【０１０２】
（付記１０）最適化関数構成部が、第１の項と第２の項との重み付き和を最適化関数と定める付記８に記載の画像処理装置。
【０１０３】
（付記１１）第１の項設定部が、復元画像の候補Ｙに対して画像劣化過程を示す演算を行った結果と劣化画像との差を表す項として、第１の項を定める付記８に記載の画像処理装置。
【０１０４】
（付記１２）予め定められた事前確率を記憶する事前確率記憶部（例えば、事前知識記憶部１５）を備える付記７に記載の画像処理装置。
【０１０５】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１０６】
この出願は、２００９年９月１５日に出願された日本特許出願２００９−２１３５２４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用の可能性】
【０１０７】
本発明は、劣化画像を復元する画像処理装置に好適に適用される。
【符号の説明】
【０１０８】
１０  劣化画像入力部
１１  属性確率演算部
１２  最適化関数決定部
１３  最適化処理部
１４  復元画像出力部
１５  事前知識記憶部
１２１  経験誤差項設定部
１２２  正則化項設定部
１２３  最適化関数構成部
【図１】
0005617841.tif 000010
【図２】
0005617841.tif 000011
【図３】
0005617841.tif 000012
【図４】
0005617841.tif 000013
【図５】
0005617841.tif 000014
【図６】
0005617841.tif 000015
【図７】
0005617841.tif 000016
【図８】
0005617841.tif 000017
【図９】
0005617841.tif 000018