(57)【特許請求の範囲】
【請求項１】
複数の第１の学習画像と入力画像とを取得する画像取得手段と、
前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する推定手段と、
前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成する学習手段と、を含み、
前記推定劣化過程は、前記入力画像の前記領域に対応する前記劣化過程に対応する
情報処理装置。
【請求項２】
前記推定手段は、更に前記第１の劣化画像のそれぞれと前記第１の学習画像から前記第１の劣化画像のそれぞれへの前記劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記辞書を利用して、前記入力画像から復元画像を生成し、出力する復元手段と、
前記第１の学習画像と前記復元画像との間の第２の類似度に基づいて、前記第１の学習画像を選択する選択手段、を更に含み、
前記推定手段は、更に、前記選択された第１の学習画像の前記領域を劣化させた複数の第１の劣化画像のそれぞれと、前記入力画像の前記領域との間の、前記第１の類似度に基づいて、前記推定劣化過程を出力する
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記推定手段は、更に前記第１の劣化画像のそれぞれと前記選択された第１の学習画像から前記第１の劣化画像のそれぞれへの劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記第２の類似度は、前記第２の学習画像に対応する特徴ベクトルと前記復元画像に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする請求項３または４記載の情報処理装置。
【請求項６】
前記第１の類似度は、前記第１の劣化画像に対応する特徴ベクトルと、前記入力画像の前記領域に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記推定手段は、前記入力画像の前記領域に対応する、ｋ（ｋは1以上の自然数）−近傍のｋ個の前記劣化過程に対応する前記推定劣化過程を出力する
ことを特徴とする請求項６記載の情報処理装置。
【請求項８】
前記推定手段は、劣化画像生成手段と特徴ベクトル算出手段と劣化過程推定用辞書作成手段と劣化過程推定用辞書手段と特徴ベクトル分類手段を含み、
前記劣化画像生成手段は、前記劣化過程に基づいて、前記第１の学習画像から前記第１の劣化画像を生成し、前記生成した第１の劣化画像を前記特徴ベクトル算出手段に出力し、
前記特徴ベクトル算出手段は、前記第１の劣化画像に対応する前記特徴ベクトルを生成し、前記第１の劣化画像に対応する前記特徴ベクトルを前記劣化過程推定用辞書作成手段に出力し、
前記劣化過程推定用辞書作成手段は、前記第１の劣化画像に対応する前記特徴ベクトルと、前記第１の劣化画像に対応する前記特徴ベクトルに対応する前記劣化過程との関係を示す対応情報を生成し、前記生成した対応情報を前記劣化過程推定用辞書手段に出力し、
前記劣化過程推定用辞書手段は、前記対応情報を記憶し、
前記特徴ベクトル算出手段は、前記入力画像の前記領域に対応する前記特徴ベクトルを算出し、前記入力画像の前記領域に対応する前記特徴ベクトルを前記特徴ベクトル分類手段に出力し、
前記特徴ベクトル分類手段は、前記入力画像の前記領域に対応する前記特徴ベクトルと前記対応情報に含まれる前記特徴ベクトルとの間の関係に基づいて、前記入力画像の前記領域に対応する前記特徴ベクトルを、前記対応情報に含まれる前記特徴ベクトルからなる前記劣化過程のクラスのいずれかに分類し、前記入力画像の前記領域に対応する前記特徴ベクトルが分類された前記クラスに対応する前記推定劣化過程を外部へ出力する
ことを特徴とする請求項６又は７に記載の情報処理装置。
【請求項９】
前記劣化過程推定用辞書作成手段は、前記第１の劣化画像に対応する前記特徴ベクトルを圧縮し、前記圧縮した特徴ベクトルと前記劣化過程との関係を示す前記対応情報を生成する
ことを特徴とする請求項８記載の情報処理装置。
【請求項１０】
前記推定手段は、前記入力画像の前記領域に対応する前記劣化過程に対応する前記第１の劣化画像を前記推定劣化過程として出力する
ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記入力画像の劣化情報を、利用者に入力させるための劣化情報入力手段を更に含み、
前記推定手段は、更に前記劣化情報に基づいて、前記推定劣化過程を出力する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
コンピュータが、
複数の第１の学習画像と入力画像とを取得し、
前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力し、
前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成する
画像処理方法。
【請求項１３】
複数の第１の学習画像と入力画像とを取得し、
前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する処理と、
前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成する処理と、をコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に学習型超解像処理に用いる辞書を生成するための技術に関する。
【背景技術】
【０００２】
画像処理に関し、様々な関連技術が知られている。【０００３】
例えば、入力画像（例えば、低解像画像）から復元画像（例えば、高解像画像）を生成する技術の一例として、超解像技術が知られている。超解像技術のうち、辞書を用いて高解像画像を生成する技術は、特に学習型超解像技術と呼ばれる。ここで、その辞書は、学習画像（一般的に高品質な画像）と、その学習画像に対応する劣化画像（例えば、学習画像の解像度を落とした画像）との事例を学習することにより作成された辞書である。尚、その超解像技術により生成される復元画像は、超解像画像とも呼ばれる。【０００４】
特許文献１は、文字認識装置の一例を開示する。特許文献１に記載の文字認識装置は、カメラにより撮影された対象画像に含まれる、ナンバープレートなどの文字を認識するために超解像処理を実行する。【０００５】
その文字認識装置は、低解像度辞書画像、その低解像度辞書画像の特徴量及び高解像度辞書画像が関連付けられたデータベース（辞書）を用いて、その超解像処理を実行する。ここで、その低解像度辞書画像は、その対象画像を撮影するカメラを用いて撮影された、文字の画像である。その特徴量は、その低解像度辞書画像のそれぞれに基づいて算出された特徴量である。その高解像度辞書画像は、その対象画像を撮影するそのカメラの解像度よりも高い解像度を持つカメラを用いて撮影された文字の画像である。【０００６】
特許文献２は、超解像画像処理装置の一例を開示する。特許文献２に記載の超解像画像処理装置は、低解像度の原画像（入力画像データ）から高解像度の画像を出力する。【０００７】
その超解像画像処理装置は、入力画像データに対して超解像画像処理を施して出力画像データを生成する際、失われた高周波成分を類推するために、辞書作成装置により生成された辞書テーブル等を用いる。ここで、辞書テーブル等は、辞書テーブルと第一主成分基底ベクトルと第二主成分基底ベクトルとである。その辞書作成装置は、以下の手順により、所定のシーンに最適化した、その辞書テーブル等を生成する。【０００８】
まず、その辞書作成装置は、サンプル画像ファイルから処理対象とする分割ビットマップを取得し、これを複数の分解ビットマップに分けて一時テーブルのレコードに格納する。【０００９】
次に、その辞書作成装置は、その分解ビットマップに、ＭＰ（Ｍａｘ−Ｐｌｕｓ）ウェーブレット変換処理、並べ替え処理、主成分分析処理、内積演算処理及び頻度分割処理を順番に施し、その一時テーブルの各フィールドに処理結果を格納する。ここで、その辞書作成装置は、主成分分析処理において、その第一主成分基底ベクトルとその第二主成分基底ベクトルとを算出する。【００１０】
そして最後に、その辞書作成装置は、平均値演算部によって、その一時テーブルよりもレコード数の少ない、その辞書テーブルを作成する。尚、その辞書テーブルは、上述の学習型超解像技術における辞書とは異なる。即ち、その辞書テーブルは、学習画像と劣化画像とが対応付けられた事例を学習することにより作成された辞書ではない。【００１１】
特許文献３は、画像超解像装置の一例を開示する。特許文献３に記載の画像超解像装置は、符号化及び復号により劣化した入力画像から、予め定められた拡大率で拡大した超解像画像を生成する。ここで、その符号化及びその復号は、予め定められた符号化方式による符号化及び復号である。具体的には、その画像超解像装置は、以下の処理により超解像画像を生成する。【００１２】
第１に、その画像超解像装置は、入力画像を所定の大きさのブロックに分割し、そのブロックのそれぞれを処理ブロックとして切り出す。次に、その画像超解像装置は、その処理ブロックを所定の拡大率で拡大することにより、拡大処理ブロックを生成する。その所定の拡大率は、その画像超解像装置がその超解像画像を生成する場合に、その画像超解像装置がその入力画像を拡大する際の拡大率である。【００１３】
第２に、その画像超解像装置は、参照ブロックと劣化参照ブロックとを対応付けてブロック記憶手段に書き込む。ここで、その参照ブロックは、その処理ブロックと同一の大きさの、その入力画像から切り出したブロックである。また、その劣化参照ブロックは、特定の劣化過程により、その参照ブロックが劣化されたブロックである。その特定の劣化過程は、「その入力画像は、その生成しようとしている超解像画像がある劣化過程を経た画像である」と仮定した際の、その劣化過程である。具体的には、その画像超解像装置は、その入力画像が経た符号化方式による劣化モデル（予め定められた直交変換や量子化などを模擬するモデル）でその参照ブロックを劣化させ、その劣化参照ブロックを生成する。【００１４】
第３に、その画像超解像装置は、その劣化参照ブロックとその処理ブロックとの類似度を算出する。【００１５】
第４に、その画像超解像装置は、その所定の拡大率でその劣化参照ブロックを拡大して復元参照ブロックを生成する。更に、画像超解像装置は、その復元参照ブロックとその参照ブロックとの差分を損失成分として算出する。【００１６】
第５に、その画像超解像装置は、その類似度に基づいてその拡大処理ブロックとその損失成分とを合成し、超解像ブロックを生成する。そして、その画像超解像装置は、その超解像ブロックを画像として構成し、その入力画像が拡大されたその超解像画像を生成する。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００５−１４９３９５号公報
【特許文献２】特開２０１３−０２６６５９号公報
【特許文献３】特開２０１２−１１３５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、上述した先行技術文献に記載された技術においては、入力画像から所望の復元画像（超解像画像）を生成するために必要な、学習型超解像処理に使用する、辞書を得ることができない場合があるという問題点がある。【００１９】
その理由は、入力画像における劣化過程の正確な推定が困難かつ煩雑だからである。【００２０】
具体的には、特許文献１に記載のその文字認識装置は、その対象画像の劣化過程を推定していない。そして、その文字認識装置において、その低解像度辞書画像（その学習型超解像処理に使用する辞書における劣化画像に相当）は、その対象画像を撮影するカメラを用いて撮影された、文字の画像である。即ち、データベース（辞書）に含まれる低解像度辞書画像は、その対象画像の劣化過程を推定して得たものではない。【００２１】
特許文献２の超解像画像処理装置は、サンプル画像ファイル（その学習型超解像処理に使用する辞書における学習画像に相当）に基づいて、関数等を利用した演算により辞書テーブル等を生成する。そして、その辞書テーブル等は、所定のシーンに最適化したものであって、劣化過程の推定を行って得たものではない。【００２２】
特許文献３の画像超解像装置は、劣化過程が予め明らかである場合の超解像処理である。従って、その画像超解像装置は、劣化過程が不明な入力画像を処理できない。【００２３】
更に、ブラインド・デコンボリューションなどの技術により正確な劣化過程を推定することは、困難である。ここで、ブラインド・デコンボリューションとは、自然画像を対象とする、測定信号から原信号を復元するための手法である。また、利用者（操作者）が経験などによって正確な劣化過程を推定することは、困難かつ非常に煩雑である。【００２４】
本発明の目的は、上述した問題点を解決できる情報処理装置、画像処理方法、及びそのためのプログラム或いはそのプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体を提供することにある。
【課題を解決するための手段】
【００２５】
本発明の一様態における情報処理装置は、複数の第１の学習画像と入力画像とを取得する画像取得手段と、前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する推定手段と、を含み、前記推定劣化過程は、前記入力画像の前記領域に対応する前記劣化過程に対応する。【００２６】
本発明の一様態における画像処理方法は、コンピュータが、複数の第１の学習画像と入力画像とを取得し、前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する。【００２７】
本発明の一様態におけるプログラムは、複数の第１の学習画像と入力画像とを取得し、前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する処理をコンピュータに実行させる。
【発明の効果】
【００２８】
本発明は、入力画像の劣化過程を正確に推定し、その入力画像から所望の復元画像を生成するために必要な辞書を得ることが可能になるという効果がある。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明の第１の実施形態に係る劣化過程推定装置の構成を示すブロック図である。
【図２】図２は、第１の実施形態に係る劣化過程推定装置を含む画像処理システムの構成を示すブロック図である。
【図３】図３は、第１の実施形態における対応情報の一例を示す図である。
【図４】図４は、第１の実施形態における学習画像と劣化画像と入力画像と特徴ベクトルと類似度との関係を示す図である。
【図５】図５は、第１の実施形態における推定劣化過程の選択を説明する図である。
【図６】図６は、第１の実施形態に係る劣化過程推定装置を実現するコンピュータのハードウェア構成を示すブロック図である。
【図７】図７は、第１の実施形態における劣化過程推定装置の動作を示すフローチャートである。
【図８】図８は、第１の実施形態に係る劣化過程推定装置の具体的な構成の一例を示すブロック図である。
【図９】図９は、第１の実施形態の第１の変形例に係る劣化過程推定装置の具体的な構成の一例を示すブロック図である。
【図１０】図１０は、第１の実施形態の第２の変形例に係る劣化過程推定装置の具合的な構成の一例を示すブロック図である。
【図１１】図１１は、第１の実施形態の第２の変形例における劣化情報の一例を示す図である。
【図１２】図１２は、第１の実施形態の第２の変形例における劣化情報の一例を示す図である。
【図１３】図１３は、本発明の第２の実施形態に係る劣化過程推定装置の構成を示すブロック図である。
【図１４】図１４は、第２の実施形態に係る劣化過程推定装置を含む画像処理システムの構成を示すブロック図である。
【図１５】図１５は、本発明の第３の実施形態に係る劣化過程推定装置の構成を示すブロック図である。
【図１６】図１６は、第３の実施形態に係る劣化過程推定装置を含む画像処理システムの構成を示すブロック図である。
【図１７】図１７は、第３の実施形態における学習画像と復元画像と類似度との関係を示す図である。
【図１８】図１８は、第３の実施形態における学習画像選択部の動作を示すフローチャートである。
【図１９】図１９は、第３の実施形態における学習部の構成を示すブロック図である。
【図２０】図２０は、第３の実施形態における辞書の生成を説明する図である。
【図２１】図２１は、第３の実施形態における復元部の構成を示すブロック図である。
【図２２】図２２は、第３の実施形態における復元画像の生成を説明する図である。
【図２３】図２３は、第３の実施形態におけるパッチの一例を示す図である。
【発明を実施するための形態】
【００３０】
本発明を実施するための形態について図面を参照して詳細に説明する。尚、各図面及び明細書記載の各実施形態において、同様の構成要素には同様の符号を付与し、適宜説明を省略する。
【００３１】
＜＜＜第１の実施形態＞＞＞
図１は、本発明の第１の実施形態に係る劣化過程推定装置（情報処理装置とも呼ばれる）１００の構成を示すブロック図である。
【００３２】
図１に示すように、本実施形態に係る劣化過程推定装置１００は、画像取得部１５０と推定部１６０とを含む。
【００３３】
図２は、本実施形態に係る劣化過程推定装置１００を含む画像処理システム１０１の構成を示すブロック図である。
【００３４】
図２に示すように、本実施形態に係る画像処理システム１０１は、劣化過程推定装置１００と学習部１０２と辞書１０３と復元部１０４とを含む。尚、画像処理システム１０１は、情報処理装置とも呼ばれる。
【００３５】
まず、本実施形態に係る劣化過程推定装置１００を含む、画像処理システム１０１の全体的な動作について説明する。
【００３６】
劣化過程推定装置１００は、例えば外部から入力される、学習画像４１１（第１の学習画像）及び入力画像４３０を取得する。学習画像４１１は、入力画像４３０に対応する可能性のある、予め準備された高解像画像（高品質画像）である。また、入力画像４３０は、復元対象の画像である。一般的に、入力画像４３０は、低解像画像などの低品質画像である。
【００３７】
劣化過程推定装置１００は、学習画像４１１及び入力画像４３０に基づいて、推定劣化過程８６７を学習部１０２に出力する。尚、推定劣化過程８６７は、学習部１０２が、辞書１０３を生成するために使用する、ある画像の劣化の過程情報（ある画像の劣化の内容を示す情報）である。その辞書１０３は、復元部１０４が、入力画像４３０から所望の復元画像４４０を生成するために必要な辞書１０３である。
【００３８】
学習部１０２は、例えば外部から入力される学習画像４１０（第２の学習画像）と、劣化過程推定装置１００から入力される推定劣化過程８６７とを取得する。そして、学習部１０２は、学習画像４１０と推定劣化過程８６７とに基づいて、辞書１０３を生成する。学習画像４１０は、入力画像４３０に対応する可能性のある、予め準備された高解像画像（高品質画像）である。尚、学習画像４１０の集合と学習画像４１１の集合とは、完全に重なり合ってよいし、部分的に重なってもよいし、或いは全く重ならなくてもよい。
【００３９】
具体的には、第１に、学習部１０２は、推定劣化過程８６７に基づいて、学習画像４１０のそれぞれに対応する劣化画像４２０（第２の劣化画像、後述、図２０に図示）を生成する。第２に、学習部１０２は、学習画像４１０のパッチと対応するその劣化画像４２０のパッチとをペアとして含む辞書１０３を生成する。ここで、パッチは、画像（学習画像４１０や劣化画像４２０など）が小領域に分割された、その小領域である。
【００４０】
復元部１０４は、外部から入力される入力画像４３０を取得し、外部へ復元画像４４０を出力する。復元部１０４は、辞書１０３の内容に基づいて、入力画像４３０に対応する復元画像４４０を生成する。
【００４１】
次に、第一の実施形態における劣化過程推定装置１００が備える各構成要素（画像取得部１５０及び推定部１６０）について説明する。尚、図１に示す構成要素は、ハードウェア単位の構成要素でも、コンピュータ装置の機能単位に分割した構成要素でもよい。ここでは、図１に示す構成要素は、コンピュータ装置の機能単位に分割した構成要素として説明する。
【００４２】
＝＝＝対応情報８６０＝＝＝
図３は、劣化過程推定装置１００の図示しない記憶手段に記憶される、対応情報８６０の一例を示す図である。図３に示すように、対応情報８６０の各レコードは、劣化過程８６１と特徴ベクトル８６２（第１の特徴ベクトル、後述、図４）とを含む。図３に示す対応情報８６０は、劣化過程推定装置１００の推定部１６０の、後述する処理において使用される。
【００４３】
尚、図３に示す劣化過程８６１は、画像の劣化の過程（劣化の内容）を識別する情報である。その画像の劣化の過程は、例えば、ボケ強度（ｂｌｕｒ）や、圧縮率（ｃｏｍｐｒｅｓｓｉｏｎ）、明度（ｌｕｍｉｎａｎｃｅ）、インターレースにおけるフィールド（ｆｉｅｌｄ）などの、任意の組み合わせである。例えば、劣化過程８６１は、ボケ強度、圧縮率、明度及びインターレースにおけるフィールドのそれぞれの劣化の過程を、「Ｂ３」、「Ｃ２」、「Ｌ３」及び「Ｆ１」のように示す。このほかにも、姿勢やノイズなどが、劣化過程に加えられても良い。
【００４４】
特徴ベクトル８６２は、例えば、劣化画像４２１（第１の劣化画像、後述、図４）がフーリエ変換された量の絶対値或いはその絶対値の対数値を要素として持ち、それらの要素がラスタスキャン順に並べられたベクトルである。尚、特徴ベクトル８６２は、フーリエ変換に限らず、例えばラプラス変換などの周波数部分に着目した積分変換により、劣化画像４２１が変換された量の絶対値或いはその絶対値の対数値を要素としてもよい。また、特徴ベクトル８６２は、明度で正規化された劣化画像４２１の各画素値を要素として持ち、それらの要素をラスタスキャン順に並べられたベクトルであってもよい。
【００４５】
＝＝＝画像取得部１５０＝＝＝
画像取得部１５０は、複数の学習画像４１１と入力画像４３０とを取得する。
【００４６】
＝＝＝推定部１６０＝＝＝
推定部１６０は、入力画像４３０の任意の領域と、複数の劣化画像４２１のそれぞれとの間の類似度８５１（第１の類似度、後述、図４）に基づいて、推定劣化過程８６７を出力する。ここで、推定劣化過程８６７は、入力画像４３０のその領域に対応する劣化過程８６１に対応する。
【００４７】
ここで、その任意の領域は、画像の任意の局所領域及び画像の全部の領域のいずれかである。即ち、入力画像４３０の任意の領域は、入力画像４３０の任意の一部の画像または入力画像４３０の全部である。本実施形態では、その任意の領域が画像の全部である場合の実施形態である。任意の領域が局所領域である場合については、第２の実施形態において説明する。従って、本実施形態では、「入力画像４３０の任意の領域」は、入力画像４３０の全部、即ち入力画像４３０そのものである為、以後、「入力画像４３０の任意の領域である、入力画像４３０の全部」を、単に「入力画像４３０」と表記する。
【００４８】
劣化画像４２１は、複数の劣化過程８６１のそれぞれに基づいて、学習画像４１１が劣化された場合の、画像である。
【００４９】
類似度８５１は、例えば、劣化画像４２１に対応する特徴ベクトル８６２と、入力画像４３０に対応する特徴ベクトル８６４（第２の特徴ベクトル、後述、図４）との間の関係に対応する。
【００５０】
その関係は、例えば、２つのベクトル（ここでは、特徴ベクトル８６２及び特徴ベクトル８６４）の間の距離に基づいた値である。また、その関係は、ある２つの特徴ベクトルの間の角度に基づいた値でもよい。更に、その関係は、正規化相互相関関数により算出される値でもよく、これらに限定されない。尚、特徴ベクトル８６４は、特徴ベクトル８６２と同一構造のベクトルである。
【００５１】
図４は、上述した、学習画像４１１と劣化画像４２１と入力画像４３０と特徴ベクトル８６２と特徴ベクトル８６４と類似度８５１との関係を示す図である。
【００５２】
推定劣化過程８６７は、例えば、入力画像４３０に対応する劣化過程８６１である。即ち、推定部１６０は、類似度８５１と対応情報８６０とに基づいて、入力画像４３０に対応する劣化過程８６１を、推定劣化過程８６７として出力する。
【００５３】
この場合、対応情報８６０は、その劣化画像４２１の特徴ベクトル８６２それぞれと、学習画像４１１（第１の学習画像）からその劣化画像４２１のそれぞれへの劣化の内容との対応関係を示す。換言すると、対応情報８６０は、劣化画像４２１と劣化過程８６１との関係を示す。
上述したように、劣化過程８６１は、学習画像４１１から劣化画像４２１への劣化の内容を特定する識別情報である。そして、入力画像４３０に対応する劣化過程８６１、即ち推定劣化過程８６７は、入力画像４３０を特定の画像に対して劣化処理が施された画像であると仮定した場合の、その劣化処理における劣化の内容を示す劣化過程８６１である。その特定の画像は、復元部１０４が生成する復元画像（超解像画像とも呼ばれる）４４０である。
【００５４】
換言すると、推定劣化過程８６７は、劣化画像４２１の学習画像４１１に対する劣化の内容を示す。そして同時に、推定劣化過程８６７は、劣化画像４２０の学習画像４１０に対する劣化の内容を示す。なぜならば、学習画像４１０及び学習画像４１１はいずれも、入力画像４３０に対応する可能性のある高解像画像（高品質画像）だからである。
【００５５】
尚、推定劣化過程８６７は、劣化過程推定装置１００と学習部１０２とが相互に同期してその劣化の内容を特定できる情報であればよい。例えば、推定劣化過程８６７は、劣化過程８６１のようにその劣化の内容を具体的に示すものであってよいし、シリアル番号であってもよい。
【００５６】
図２に示すように、推定部１６０は、例えば、対応情報生成部１１０及び劣化過程選択部１２０を含む。
【００５７】
＝＝＝対応情報生成部１１０＝＝＝
対応情報生成部１１０は、対応情報８６０を生成する。
【００５８】
例えば、対応情報生成部１１０は、劣化過程８６１に基づいて、学習画像４１１から劣化画像４２１を生成する。例えば、劣化過程８６１のそれぞれは、学習画像４１０に対応する可能性のあるあらゆる劣化の内容のうち、例えば経験的な知識によって選択された、代表的な劣化の内容を示す。次に、対応情報生成部１１０はその生成した劣化画像４２１の特徴ベクトル８６２を生成する。
【００５９】
学習画像４１１の数及び劣化過程８６１の数は、任意である。劣化画像４２１の数は、学習画像４１１の数に劣化過程８６１の数を乗じた数である。例えば、学習画像４１１が１００００枚であり、その劣化過程８６１の数が１００種類である場合、その劣化画像４２１の数は、１００００００枚である。
【００６０】
この場合、特徴ベクトル８６２の数は、その劣化画像４２１の数と同数の、１００００００である。換言すると、対応情報８６０は、特徴ベクトル８６２と劣化過程８６１とのペアを含むレコードを、１００００００レコード含む。
【００６１】
＝＝＝劣化過程選択部１２０＝＝＝
劣化過程選択部１２０は、入力画像４３０と劣化画像４２１との類似度８５１に基づいて、対応情報８６０から劣化過程８６１を選択し、推定劣化過程８６７として出力する。
【００６２】
具体的には、劣化過程選択部１２０は、入力画像４３０に対応する特徴ベクトル８６４と対応情報８６０に含まれる特徴ベクトル８６２との関係に基づいて、対応情報８６０から劣化過程８６１を選択する。次に、劣化過程選択部１２０は、その選択した劣化過程８６１を推定劣化過程８６７として、外部（例えば、学習部１０２）へ出力する。
【００６３】
図５は、劣化過程選択部１２０による劣化過程８６１の選択について説明する図である。
【００６４】
ここで、特徴ベクトル（特徴ベクトル８６２及び特徴ベクトル８６４）は、３次元のベクトルであるものとする。図５において、点線のそれぞれは、その特徴ベクトルが存在する、３次元空間の軸のそれぞれを示す。
【００６５】
図５において、四角形、三角形及び円形のそれぞれは、四角形クラス、三角形クラス及び円形クラスのそれぞれに属する特徴ベクトル８６２を示す。ここで、クラスは、劣化過程８６１の種類に対応する。即ち、四角形クラス、三角形クラス及び円形クラスは、３種類の劣化過程８６１のそれぞれに対応する。
【００６６】
図５において、星形は、特徴ベクトル８６４（入力画像４３０に対応する特徴ベクトル）を示す。
【００６７】
劣化過程選択部１２０は、特徴ベクトル８６４（星形）を、四角形クラス、三角形クラス及び円形クラスのいずれかへ分類する。例えば、劣化過程選択部１２０は、各クラスの特徴ベクトル８６２のセントロイドと特徴ベクトル８６４との関係に基づいて、その特徴ベクトル８６４を、いずれかのクラスへ分類する。例えば、劣化過程選択部１２０は、その特徴ベクトル８６４との距離が最も近い特徴ベクトル８６２が属するクラスへ、その特徴ベクトル８６４を分類してもよい。
【００６８】
次に、劣化過程選択部１２０は、特徴ベクトル８６４（星形）を分類したクラスに対応する劣化過程８６１を選択する。続けて、劣化過程選択部１２０は、その選択した劣化過程８６１を推定劣化過程８６７として、外部（例えば、学習部１０２）へ出力する。
【００６９】
上述の説明において、劣化過程選択部１２０は、特徴ベクトル８６４を最近傍のクラスに分類し、その最近傍のクラスに対応する劣化過程８６１を一つだけ選択する。しかし、劣化過程選択部１２０は、特徴ベクトル８６４を複数のクラスに分類してもよい。例えば、劣化過程選択部１２０は、ｋ−近傍（ｋは、１以上の任意の自然数）のクラスに、特徴ベクトル８６４を分類してよい。この場合、劣化過程選択部１２０は、そのｋ個のクラスのそれぞれに対応する劣化過程８６１を推定劣化過程８６７として出力してよい。
【００７０】
以上が、劣化過程推定装置１００の機能単位の各構成要素についての説明である。
【００７１】
次に、劣化過程推定装置１００のハードウェア単位の構成要素について説明する。
【００７２】
図６は、本実施形態における劣化過程推定装置１００を実現するコンピュータ７００のハードウェア構成を示す図である。
【００７３】
図６に示すように、コンピュータ７００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０１、記憶部７０２、記憶装置７０３、入力部７０４、出力部７０５及び通信部７０６を含む。更に、コンピュータ７００は、外部から供給される記録媒体（または記憶媒体）７０７を含む。記録媒体７０７は、情報を非一時的に記憶する不揮発性記録媒体であってもよい。
【００７４】
ＣＰＵ７０１は、オペレーティングシステム（不図示）を動作させて、コンピュータ７００の、全体の動作を制御する。また、ＣＰＵ７０１は、例えば記憶装置７０３に装着された記録媒体７０７から、プログラムやデータを読み込み、読み込んだプログラムやデータを記憶部７０２に書き込む。ここで、そのプログラムは、例えば、後述の図７に示すフローチャートの動作をコンピュータ７００に実行させるプログラムである。
【００７５】
そして、ＣＰＵ７０１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図１に示す画像取得部１５０及び推定部１６０として各種の処理を実行する。
【００７６】
尚、ＣＰＵ７０１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部７０２にプログラムやデータをダウンロードするようにしてもよい。
【００７７】
記憶部７０２は、プログラムやデータを記憶する。記憶部７０２は、例えば、学習画像４１１、劣化画像４２１、入力画像４３０及び対応情報８６０を記憶する。
【００７８】
記憶装置７０３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、記録媒体７０７を含む。記憶装置７０３（記録媒体７０７）は、プログラムをコンピュータ読み取り可能に記憶する。また、記憶装置７０３は、データを記憶してもよい。記憶装置７０３は、例えば、学習画像４１１、劣化画像４２１、入力画像４３０及び対応情報８６０を記憶する。
【００７９】
入力部７０４は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部７０４は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネルなどでもよい。
【００８０】
出力部７０５は、例えばディスプレイで実現され、出力を確認するために用いられる。
【００８１】
通信部７０６は、外部とのインタフェースを実現する。通信部７０６は、画像取得部１５０及び推定部１６０の一部として含まれる。また、劣化過程推定装置１００は、通信部７０６を介して学習部１０２と接続されてもよい。
【００８２】
以上説明したように、図１に示す劣化過程推定装置１００の機能単位のブロックは、図６に示すハードウェア構成のコンピュータ７００によって実現される。但し、コンピュータ７００が備える各部の実現手段は、上記に限定されない。すなわち、コンピュータ７００は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
【００８３】
尚、上述のプログラムのコードを記録した記録媒体７０７が、コンピュータ７００に供給され、ＣＰＵ７０１は、記録媒体７０７に格納されたプログラムのコードを読み出して実行するようにしてもよい。或いは、ＣＰＵ７０１は、記録媒体７０７に格納されたプログラムのコードを、記憶部７０２、記憶装置７０３またはその両方に格納するようにしてもよい。すなわち、本実施形態は、コンピュータ７００（ＣＰＵ７０１）が実行するプログラム（ソフトウェア）を、一時的にまたは非一時的に、記憶する記録媒体７０７の実施形態を含む。尚、情報を非一時的に記憶する記憶媒体は、不揮発性記憶媒体とも呼ばれる。
【００８４】
尚、コンピュータ７００は、図２に示す画像処理システム１０１を実現してもよい。この場合、ＣＰＵ７０１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図２に示す劣化過程推定装置１００、学習部１０２及び復元部１０４として各種の処理を実行する。記憶部７０２及び記憶装置７０３は、辞書１０３を含んでよい。また、記憶部７０２及び記憶装置７０３は、更に、学習画像４１０、劣化画像４２０及び復元画像４４０を記憶するようにしてもよい。
【００８５】
以上が、本実施形態における劣化過程推定装置１００を実現するコンピュータ７００の、ハードウェア単位の各構成要素についての説明である。
【００８６】
次に本実施形態の動作について、図１〜図７を参照して詳細に説明する。
【００８７】
図７は、本実施形態の動作を示すフローチャートである。尚、このフローチャートによる処理は、前述したＣＰＵ７０１によるプログラム制御に基づいて、実行されても良い。また、処理のステップ名については、Ｓ６０１のように、記号で記載する。
【００８８】
画像取得部１５０は、学習画像４１１を取得する（Ｓ６０１）。例えば、画像取得部１５０は、図６に示す記憶部７０２或いは記憶装置７０３に予め記憶されている学習画像４１１を読み出す。また、画像取得部１５０は、図６に示す入力部７０４を介して利用者によって入力された、学習画像４１１を取得するようにしてもよい。また、画像取得部１５０は、図６に示す通信部７０６を介して図示しない機器から、学習画像４１１を受信するようにしてもよい。また、画像取得部１５０は、図６に示す記憶装置７０３を介して、記録媒体７０７に記録された学習画像４１１を取得するようにしてもよい。
【００８９】
次に、推定部１６０の対応情報生成部１１０は、取得した学習画像４１１のそれぞれについて、複数の劣化過程８６１のそれぞれに対応する劣化画像４２１を生成する（Ｓ６０２）。
【００９０】
ここで、推定部１６０は、図６に示す記憶部７０２或いは記憶装置７０３に予め記憶されている劣化過程８６１を読み出す。また、推定部１６０は、図６に示す入力部７０４を介して利用者によって入力された、劣化過程８６１を取得するようにしてもよい。また、推定部１６０は、図６に示す通信部７０６を介して図示しない機器から、劣化過程８６１を受信するようにしてもよい。また、推定部１６０は、図６に示す記憶装置７０３を介して、記録媒体７０７に記録された劣化過程８６１を取得するようにしてもよい。
【００９１】
次に、対応情報生成部１１０は、各劣化画像４２１に対応する特徴ベクトル８６２を算出する（Ｓ６０３）。
【００９２】
次に、対応情報生成部１１０は、劣化過程８６１と特徴ベクトル８６２との組を含む対応情報８６０を生成し、劣化過程選択部１２０に出力する（Ｓ６０４）。
【００９３】
次に、画像取得部１５０は、入力画像４３０を取得する（Ｓ６０５）。例えば、画像取得部１５０は、図６に示す記憶部７０２或いは記憶装置７０３に、予め記憶されている入力画像４３０を取得する。また、画像取得部１５０は、図６に示す入力部７０４を介して利用者が入力した、入力画像４３０を取得するようにしてもよい。また、画像取得部１５０は、図６に示す通信部７０６を介して図示しない機器から、入力画像４３０を受信するようにしてもよい。また、画像取得部１５０は、図６に示す記憶装置７０３を介して、記録媒体７０７に記録された入力画像４３０を取得するようにしてもよい。
【００９４】
次に、推定部１６０の劣化過程選択部１２０は、入力画像４３０に対応する特徴ベクトル８６４を算出する（Ｓ６０６）。
【００９５】
次に、劣化過程選択部１２０は、特徴ベクトル８６４と対応情報８６０に含まれる特徴ベクトル８６２との関係に基づいて、対応情報８６０から入力画像４３０に対応する劣化過程８６１を選択する（Ｓ６０７）。
【００９６】
次に、劣化過程選択部１２０は、その選択された劣化過程８６１を推定劣化過程８６７として出力する（Ｓ６０８）。例えば、劣化過程選択部１２０は、図６に示す通信部７０６を介して、学習部１０２に推定劣化過程８６７を送信する。また、劣化過程選択部１２０は、推定劣化過程８６７を図６に示す出力部７０５を介して出力するようにしてもよい。また、劣化過程選択部１２０は、図６に示す記憶装置７０３を介して、記録媒体７０７に推定劣化過程８６７を記録するようにしてもよい。
【００９７】
以上が、本実施形態の動作の説明である。
【００９８】
次に、本実施形態のより具体的な構成を説明する。
【００９９】
図８は、劣化過程推定装置１００の詳細な構成の一例を示す図である。
【０１００】
図８に示すように、画像取得部１５０は、学習画像取得部１５１及び入力画像取得部１５２を含む。推定部１６０は、対応情報生成部１１０、劣化過程選択部１２０及び劣化過程推定用辞書１６５を含む。そして、劣化画像群生成部１６１、特徴ベクトル算出部１６２及び劣化過程推定用辞書作成部１６３は、対応情報生成部１１０を構成する。また、特徴ベクトル算出部１６２及び特徴ベクトル分類部１６４は、劣化過程選択部１２０を構成する。
【０１０１】
更に、劣化過程推定用辞書１６５は、対応情報８６０に対応する。劣化過程推定用辞書１６５は、例えば、図６に示す記憶部７０２や記憶装置７０３などに記憶される。
【０１０２】
図８に示す構成の劣化過程推定装置１００の動作を、図７に示すフローチャートに沿って説明する。
【０１０３】
学習画像取得部１５１は、学習画像４１１を取得する（Ｓ６０１）。
【０１０４】
次に、劣化画像群生成部１６１は、学習画像取得部１５１が取得した学習画像４１１のそれぞれについて、複数の劣化過程８６１に基づいて、複数の劣化過程８６１のそれぞれに対応する劣化画像４２１を生成する（Ｓ６０２）。
【０１０５】
次に、特徴ベクトル算出部１６２は、劣化画像群生成部１６１が作成した各劣化画像４２１に対応する特徴ベクトル８６２を算出する（Ｓ６０３）。
【０１０６】
次に、劣化過程推定用辞書作成部１６３は、特徴ベクトル８６２と劣化過程８６１との組を含む対応情報８６０を生成し、劣化過程推定用辞書１６５に書き込む（Ｓ６０４）。ここで、特徴ベクトル８６２は、Ｓ６０３において特徴ベクトル算出部１６２が作成した特徴ベクトル８６２である。また、劣化過程８６１は、Ｓ６０３において特徴ベクトル算出部１６２がその特徴ベクトル８６２を作成するために利用した劣化過程８６１である。
【０１０７】
次に、入力画像取得部１５２は、入力画像４３０を取得する（Ｓ６０５）。
【０１０８】
次に、特徴ベクトル算出部１６２は、特徴ベクトル８６４を算出する（Ｓ６０６）。
【０１０９】
次に、特徴ベクトル分類部１６４は、特徴ベクトル算出部１６２が算出した特徴ベクトル８６４を、劣化過程推定用辞書１６５に記憶された対応情報８６０に含まれる特徴ベクトル８６２との関係に基づいて、前述のクラスのいずれかに分類する。続けて、特徴ベクトル分類部１６４は、その特徴ベクトル８６４が分類されたクラスに対応する劣化過程８６１を選択する（Ｓ６０７）。
【０１１０】
次に、特徴ベクトル分類部１６４は、その選択された劣化過程８６１を推定劣化過程８６７として出力する（Ｓ６０８）。
【０１１１】
上述した本実施形態における第１の効果は、入力画像４３０の劣化過程を正確に推定し、入力画像４３０から所望の復元画像４４０を復元するために必要な辞書１０３を得ることが可能になることである。
【０１１２】
その理由は、以下のような構成を含むからである。即ち、第１に画像取得部１５０が学習画像４１１及び入力画像４３０を取得する。第２に、推定部１６０が、特徴ベクトル８６４と特徴ベクトル８６２との関係に基づいて、選択された劣化過程８６１を推定劣化過程８６７として出力する。
【０１１３】
上述した本実施形態における第２の効果は、ボケを含む劣化に対しても、入力画像４３０の劣化過程を正確に推定することが可能になることである。
【０１１４】
その理由は、推定部１６０が、元の劣化画像４２１がフーリエ変換された量の絶対値或いはその絶対値の対数値を、ラスタスキャン順に並べた構造の特徴ベクトル８６２及び特徴ベクトル８６４を生成するようにしたからである。或いは、その理由は、推定部１６０が、明度で正規化された劣化画像４２１の各画素値を、ラスタスキャン順に並べた構造の特徴ベクトル８６２及び特徴ベクトル８６４を生成するようにしたからである。
【０１１５】
上述した本実施形態における第３の効果は、推定された劣化過程が正確である確率をより大きくすることが可能になることである。
【０１１６】
その理由は、劣化過程選択部１２０が、特徴ベクトル８６４を複数のクラスに分類し、その複数のクラスのそれぞれに対応する推定劣化過程８６７を出力するようにしたからである。
【０１１７】
＜＜＜第１の実施形態の第１の変形例＞＞＞
図９は、本実施形態の第１の変形例における、劣化過程推定装置１００の詳細な構成の一例を示す図である。
【０１１８】
図９に示すように、本変形例の推定部１６０は、劣化過程推定用辞書作成部１６３に替えて劣化画像推定用辞書作成部１６６を含む。そして、本変形例の推定部１６０は、特徴ベクトル分類部１６４に替えて特徴ベクトル分類部１６７を含む。そして、本変形例の推定部１６０は、劣化画像推定用辞書１６５に替えて劣化画像推定用辞書１６８を含む。
【０１１９】
本変形例の劣化過程推定装置１００は、劣化過程８６１に替えて選択された劣化画像４２１を、推定劣化過程８６７として出力する。即ち、本変形例の推定部１６０は、その類似度８５１に基づいて、劣化画像４２１のいずれかを選択し、その選択した劣化画像４２１を、その推定劣化過程８６７として出力する。
【０１２０】
劣化過程推定用辞書作成部１６６は、特徴ベクトル算出部１６２が作成した特徴ベクトル８６２と、その特徴ベクトル８６２に対応する劣化画像４２１と、の組を含む対応情報を生成し、劣化画像推定用辞書１６８に書き込む。
【０１２１】
ここで、劣化画像推定用辞書１６８は、特徴ベクトル８６２と劣化画像４２１との組を含むその対応情報を記憶する。
【０１２２】
特徴ベクトル分類部１６７は、例えば、特徴ベクトル８６４の最近傍の特徴ベクトル８６２に対応する劣化画像４２１を出力する。また、特徴ベクトル分類部１６７は、特徴ベクトル８６４のｋ（ｋは、１以上の任意の自然数）−近傍の特徴ベクトル８６２に対応する、ｋ個の劣化画像４２１を出力するようにしてもよい。
【０１２３】
具体的には、特徴ベクトル分類部１６７は、特徴ベクトル８６４を、劣化画像推定用辞書１６８に記憶されたその対応情報に含まれる特徴ベクトル８６２との関係に基づいて、前述のクラスのいずれかに分類する。次に、特徴ベクトル分類部１６７は、その特徴ベクトル８６４が分類されたクラスに対応する（例えば、そのクラスのセントロイドの）劣化画像４２１を出力する。或いは、特徴ベクトル分類部１６７は、その特徴ベクトル８６４を、それらの特徴ベクトル８６２との関係に基づいて、ｋ−近傍のクラスに分類してよい。この場合、特徴ベクトル分類部１６７は、そのｋ個のクラスに対応する劣化画像４２１を出力してよい。
【０１２４】
例えば、本変形例の劣化過程推定装置１００は、学習画像４１０の集合と学習画像４１１の集合との内、重なり合う学習画像４１１について、劣化画像４２１を出力する。
【０１２５】
上述の本変形例は、学習部１０２における劣化画像４２０の生成処理を省略することができるという効果を有する。
【０１２６】
＜＜＜第１の実施形態の第２の変形例＞＞＞
図１０は、本実施形態の第２の変形例における、劣化過程推定装置１００の詳細な構成の一例を示す図である。
【０１２７】
図１０に示すように、本変形例の劣化過程推定装置１００は、劣化情報入力部１７０を更に含む。
【０１２８】
＝＝＝劣化情報入力部１７０＝＝＝
劣化情報入力部１７０は、入力画像４３０の劣化情報を、利用者に入力させる。
【０１２９】
図１１及び図１２のそれぞれは、その劣化情報の一例を示す図である。図１１は、その劣化情報であるナンバープレートの４つの頂点を黒丸で示す。また、図１２は、その劣化情報である顔の特徴点を黒丸で示す。その劣化情報は、図１１及び図１２に示すものに限らず、例えば、特定の領域の輪郭を指定する情報であってもよい。
【０１３０】
例えば、劣化情報入力部１７０は、以下の手順により入力画像４３０の劣化情報を、利用者に入力させる。第１に、劣化情報入力部１７０は、図６に示す出力部７０５に入力画像４３０を表示する。第２に、利用者が、図６に示す入力部７０４を介して、その表示された入力画像４３０の頂点位置や特徴点などの位置を指定する。第３に、劣化情報入力部１７０は、入力部７０４を介して、その入力された位置を取得する。
【０１３１】
なお利用者が入力するその劣化情報は、頂点位置や特徴点に限定されない。例えば、利用者は、点を指定する替わりに、線でその劣化情報を指定してもよいし、面あるいは領域でその劣化情報を指定してもよい。
【０１３２】
＝＝＝推定部１６０＝＝＝
本変形例の推定部１６０の劣化画像群生成部１６１は、学習画像取得部１５１が取得した学習画像４１１のそれぞれについて、複数の劣化過程８６１と更に劣化情報とに基づいて、複数の劣化過程８６１のそれぞれに対応する劣化画像４２１を生成する。
【０１３３】
上述の本変形例は、推定部１６０における劣化画像４２１の生成処理の負荷を軽減することができるという効果を有する。
【０１３４】
即ち、上述のような姿勢を決定するための点の情報を、利用者に入力させることにより、姿勢の推定や倍率、超解像処理の対象物（例えば、ナンバープレートや顔）の検出などの問題を解く必要が無くなる。
【０１３５】
＜＜＜第２の実施形態＞＞＞
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
【０１３６】
本実施形態は、任意の領域が局所領域である場合の実施形態である。以下の説明において、入力画像４３０の任意の領域をその入力画像局所領域と表記する。
【０１３７】
本実施形態において、劣化画像４２１は、複数の劣化過程８６１のそれぞれに基づいて、学習画像４１１の局所領域が劣化された場合の、その劣化された局所領域である。ここで、学習画像４１１のその局所領域は、その入力画像局所領域の局所領域に対応する。
【０１３８】
また、本実施形態の劣化過程８６１は、学習画像４１１のその局所領域から劣化画像４２１のその局所領域への劣化の過程を特定する劣化過程である。
【０１３９】
本実施形態の特徴ベクトル８６２は、その劣化された局所領域である劣化画像４２１の特徴ベクトルである。
【０１４０】
本実施形態の特徴ベクトル８６４は、その入力画像局所領域の特徴ベクトルである。
【０１４１】
その入力画像局所領域、その劣化された局所領域である劣化画像４２１、後述する学習画像４１０の局所領域及び後述する入力画像４３０の局所領域のそれぞれは、相互に対応する位置及び形状の局所領域である。その局所領域は、例えばパッチ単位で指定された、局所領域である。
【０１４２】
図１３は、本発明の第２の実施形態に係る劣化過程推定装置２００の構成を示すブロック図である。
【０１４３】
図１３に示すように、本実施形態における劣化過程推定装置２００は、推定部１６０に替えて、推定部２６０を含む。
【０１４４】
推定部２６０は、対応情報生成部２１０及び劣化過程選択部２２０を含む。
【０１４５】
＝＝＝対応情報生成部２１０＝＝＝
対応情報生成部２１０は、例えば任意の数のパッチ識別子（個々のパッチを特定する識別子）を含む領域指定８７１に基づいて、劣化画像４２１を生成する。次に、対応情報生成部２１０は、劣化画像４２１のそれぞれに対応する特徴ベクトル８６２を算出する。尚、対応情報生成部２１０は、例えば図６に示す記憶部７０２或いは記憶装置７０３に予め記憶されている領域指定８７１を取得する。また、対応情報生成部２１０は、図６に示す入力部７０４を介して利用者によって入力された、領域指定８７１を取得するようにしてもよい。また、対応情報生成部２１０は、図６に示す通信部７０６を介して図示しない機器から、領域指定８７１を受信するようにしてもよい。また、対応情報生成部２１０は、図６に示す記憶装置７０３を介して、記録媒体７０７に記録された領域指定８７１を取得するようにしてもよい。
【０１４６】
＝＝＝劣化過程選択部２２０＝＝＝
劣化過程選択部２２０は、対応情報生成部２１０が取得した領域指定８７１に基づいて、その入力画像局所領域を生成する。次に、劣化過程選択部２２０は、その入力画像局所領域に対応する特徴ベクトル８６４を算出する。
【０１４７】
劣化過程選択部２２０は、その特徴ベクトル８６４と、対応情報８６０に含まれる特徴ベクトル８６２との類似度８５１に基づいて、対応情報８６０から劣化過程８６１を選択する。
【０１４８】
次に、劣化過程選択部２２０は、その選択した劣化過程８６１を推定劣化過程８６７として、外部（例えば、後述の学習部２０２）へ出力する。
【０１４９】
換言すると、劣化過程推定装置２００は、その局所領域に対応する推定劣化過程８６７を出力する。
【０１５０】
図１４は、本実施形態に係る劣化過程推定装置２００を含む画像処理システム２０１の構成を示すブロック図である。尚、画像処理システム２０１は、情報処理装置とも呼ばれる。
【０１５１】
図１４に示すように、本実施形態に係る画像処理システム１０１は、劣化過程推定装置２００と学習部２０２と辞書１０３と復元部１０４とを含む。
【０１５２】
学習部２０２は、例えば外部から入力される学習画像４１０と、劣化過程推定装置２００から入力される推定劣化過程８６７と領域指定８７１とを取得する。そして、学習部２０２は、推定劣化過程８６７と領域指定８７１とに基づいて、学習画像４１０から辞書１０３を生成する。具体的には、第１に、学習部２０２は、推定劣化過程８６７と領域指定８７１とに基づいて、学習画像４１０のそれぞれのその局所領域に対応する劣化画像４２０を生成する。第２に、学習部２０２は、学習画像４１０のパッチと対応するその劣化画像４２０のパッチとをペアとして含む辞書１０３を生成する。
【０１５３】
上述した本実施形態における第１の効果は、第１の実施形態と同様の効果である。更に、本実施形態における第２の効果は、入力画像４３０の局所領域ごとに異なる内容の劣化が発生している場合にも、正確な劣化過程８６１を推定し、正確な超解像画像（復元画像４４０）を復元するために必要な辞書１０３を得ることが可能になることである。
【０１５４】
その第２の効果を有する理由は、劣化過程推定装置２００が更に領域指定８７１に基づいて、入力画像４３０の局所領域であるその入力画像局所領域に対応する推定劣化過程８６７を出力するようにしたからである。
【０１５５】
本実施形態は、第１の実施形態と結合してもよい。即ち、その実施形態は、各画像のそれぞれの全体を処理する手段と、各画像の局所領域のそれぞれを処理する手段との両方を含む構成であってもよい。
【０１５６】
＜＜＜第３の実施形態＞＞＞
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
【０１５７】
図１５は、本発明の第３の実施形態に係る劣化過程推定装置３００の構成を示すブロック図である。
【０１５８】
図１５に示すように、本実施形態における劣化過程推定装置３００は、第１の実施形態の劣化過程推定装置１００と比べて、学習画像選択部３４０を更に含む。
【０１５９】
図１６は、本実施形態に係る劣化過程推定装置３００を含む画像処理システム３０１の構成を示すブロック図である。尚、画像処理システム３０１は、情報処理装置とも呼ばれる。
【０１６０】
図１６に示すように、本実施形態に係る画像処理システム３０１は、劣化過程推定装置３００と学習部１０２と辞書１０３と復元部１０４とを含む。劣化過程推定装置３００は、画像取得部１５０と推定部３６０とを含む。推定部３６０は、第１の実施形態の推定部１６０に比べて、学習画像選択部３４０を更に含む。
【０１６１】
＝＝＝学習画像選択部３４０＝＝＝
学習画像選択部３４０は、学習画像４１１のそれぞれと復元画像４４０との類似度（第２の類似度）８５２に基づいて、学習画像４１１を選択し、その選択した学習画像４１１を対応情報生成部１１０に出力する。ここで、復元画像４４０は、復元部１０４により生成された画像である。
【０１６２】
ここで、図１７及び図１８を参照して、学習画像選択部３４０の動作を説明する。図１７は、学習画像４１１と復元画像４４０と類似度８５２との関係を示す図である。図１８は、本実施形態の動作を示すフローチャートである。
【０１６３】
学習画像選択部３４０は、複数の学習画像４１１を取得する（Ｓ６３０）。
【０１６４】
次に、学習画像選択部３４０は、取得した学習画像４１１を対応情報生成部１１０に出力する（Ｓ６３１）。
【０１６５】
次に、学習画像選択部３４０は、学習画像選択部３４０が復元画像４４０の出力を検出した回数（以後、検出回数と呼ぶ）が所定の閾値に到達したか否かを判定する（Ｓ６３２）。その検出回数がその所定の閾値に到達した場合（Ｓ６３２でＹＥＳ）、学習画像選択部３４０は、処理を終了する。
【０１６６】
その回数がその所定の閾値に到達していない場合（Ｓ６３２でＮＯ）、学習画像選択部３４０は、学習画像４１１のそれぞれに対応する特徴ベクトル８８１を算出する（Ｓ６３３）。
【０１６７】
次に、学習画像選択部３４０は、復元部１０４が復元画像４４０を出力するのを待つ（Ｓ６３４）。
【０１６８】
復元部１０４が復元画像４４０を出力した場合（Ｓ６３４でＹＥＳ）、学習画像選択部３４０は、その検出回数を更新し、復元画像４４０を取得する（Ｓ６３５）。
【０１６９】
次に、学習画像選択部３４０は、復元画像４４０のそれぞれに対応する特徴ベクトル８８４を算出する（Ｓ６３６）。
【０１７０】
次に、学習画像選択部３４０は、特徴ベクトル８８１と特徴ベクトル８８４との関係に基づいて、学習画像４１１を選択する（Ｓ６３７）。
【０１７１】
例えば、復元画像４４０が１つの場合、学習画像選択部３４０は、特徴ベクトル８８１のそれぞれと特徴ベクトル８８４との距離が近い順に、所定の数の特徴ベクトル８８１に対応する学習画像４１１を選択する。また、復元画像４４０が１つの場合、学習画像選択部３４０は、特徴ベクトル８８１のそれぞれと特徴ベクトル８８４との距離が所定の閾値以下の、特徴ベクトル８８１に対応する学習画像４１１を選択してもよい。
【０１７２】
例えば、復元画像４４０が複数の場合、学習画像選択部３４０は、特徴ベクトル８８１のそれぞれと複数の特徴ベクトル８８４のセントロイドに対応するベクトルとの間の距離が近い順番に、所定の数の特徴ベクトル８８１に対応する学習画像４１１を選択する。また、復元画像４４０が複数の場合、学習画像選択部３４０は、特徴ベクトル８８１のそれぞれと複数の特徴ベクトル８８４のセントロイドに対応するベクトルとの間の距離が所定の閾値以下の、特徴ベクトル８８１に対応する学習画像４１１を選択してもよい。また、復元画像４４０が複数の場合、学習画像選択部３４０は、特徴ベクトル８８４のそれぞれについて、特徴ベクトル８８１のそれぞれと各特徴ベクトル８８４との距離が近い順に、所定の数の特徴ベクトル８８１に対応する学習画像４１１を選択してもよい。また、復元画像４４０が複数の場合、学習画像選択部３４０は、特徴ベクトル８８４のそれぞれについて、特徴ベクトル８８１のそれぞれと各特徴ベクトル８８４との距離が所定の閾値以下の、特徴ベクトル８８１に対応する学習画像４１１を選択してもよい。
【０１７３】
次に、学習画像選択部３４０は、選択した学習画像４１１を、対応情報生成部１１０へ出力する（Ｓ６３８）。
【０１７４】
次に、学習画像選択部３４０は、その検出回数が所定の閾値に到達したか否かを判定する（Ｓ６３９）。その検出回数がその所定の閾値に到達した場合（Ｓ６３９でＹＥＳ）、学習画像選択部３４０は、処理を終了する。その検出回数がその所定の閾値に到達していない場合（Ｓ６３９でＮＯ）、学習画像選択部３４０は、Ｓ６３４の処理へ戻る。
【０１７５】
＝＝＝対応情報生成部１１０＝＝＝
本実施形態の対応情報生成部１１０は、学習画像選択部３４０から取得した学習画像４１１に基づいて、対応情報８６０を生成し、その生成した対応情報８６０を劣化過程選択部１２０に出力する。
【０１７６】
＝＝＝学習部１０２＝＝＝
学習部１０２は、劣化画像４２０のパッチである劣化パッチと、学習画像４１０のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書１０３を作成する。ここで、劣化画像４２０のパッチは、劣化過程推定装置３００により出力された推定劣化過程８６７に基づいて学習画像４１０が劣化された、劣化画像４２０のパッチである。
【０１７７】
図１９は、学習部１０２の構造を示すブロック図である。図１９に示すように、学習部１０２は、受付部１０２１、劣化画像生成部１０２２、パッチペア生成部１０２３及び登録部１０２４を含む。
【０１７８】
図２０は、学習フェーズを説明するための概念図である。図２０に示すように、学習部１０２は、推定劣化過程８６７に基づいて、学習画像４１０に劣化処理を施して劣化画像４２０を生成する。学習部１０２は、学習画像４１０及び劣化画像４２０の対応する位置におけるパッチペア４０３を辞書１０３に登録する。パッチペア４０３は、復元パッチ４０１及び劣化パッチ４０２を含む。
【０１７９】
＝＝＝受付部１０２１＝＝＝
受付部１０２１は、学習画像４１０の入力を受け付ける。受付部１０２１は、その受け付けた学習画像４１０を劣化画像生成部１０２２及びパッチペア生成部１０２３に出力する。
【０１８０】
＝＝＝劣化画像生成部１０２２＝＝＝
劣化画像生成部１０２２は、受付部１０２１から出力された学習画像４１０に対して、劣化過程推定装置２００から出力された推定劣化過程８６７に基づいて、劣化処理を施して劣化画像４２０を生成する。
【０１８１】
複数の推定劣化過程８６７がある場合、劣化画像生成部１０２２は、受付部１０２１から出力された各学習画像４１０に対して、各推定劣化過程８６７に基づいて劣化処理を施し、各学習画像４１０に対応する複数の劣化画像４２０を生成してもよい。
【０１８２】
劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、例えば学習画像４１０をＮ分の１に縮小することで、劣化画像４２０を生成する。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用してもよい。
【０１８３】
劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、例えば学習画像４１０の高周波成分を取り除くなどして、ボケ強度を強めることで劣化画像４２０を生成してもよい。劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、例えば学習画像４１０を傾かせて、姿勢を変動させることで劣化画像４２０を生成してもよい。または、劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、例えば学習画像４１０の輝度値を減少させて明度を低くし、劣化画像４２０を生成してもよい。劣化画像生成部１０２２は、推定劣化過程８６７に基づいて、既存の様々な手法によって劣化画像４２０を生成してもよい。
【０１８４】
＝＝＝パッチペア生成部１０２３＝＝＝
パッチペア生成部１０２３は、受付部１０２１から学習画像４１０を受け取り、劣化画像生成部１０２２から学習画像４１０の劣化画像４２０を受け取る。パッチペア生成部１０２３は、学習画像４１０と劣化画像４２０との対応する位置におけるパッチペア４０３を複数生成する。パッチペア生成部１０２３は、既存の手法によって復元パッチ４０１と劣化パッチ４０２の複数のペア（パッチペア４０３）を生成すればよい。パッチペア生成部１０２３は、生成した複数のパッチペア４０３を登録部１０２４に出力する。
【０１８５】
＝＝＝登録部１０２４＝＝＝
登録部１０２４は、パッチペア生成部１０２３から、複数のパッチペア４０３を受け取る。登録部１０２４は、複数のパッチペア４０３を辞書１０３に登録する。
【０１８６】
＝＝＝辞書１０３＝＝＝
辞書１０３は、学習部１０２によって生成された複数のパッチペアを格納する。
【０１８７】
＝＝＝復元部１０４＝＝＝
復元部１０４は、辞書１０３を利用して、入力画像４３０から復元画像４４０を生成し、劣化過程推定装置３００及び外部へ出力する。
【０１８８】
図２１は、復元部１０４の構成を示すブロック図である。図２１に示すように、復元部１０４は、受付部１０４１、パッチ生成部１０４２及び復元画像生成部１０４３を含む。
【０１８９】
＝＝＝受付部１０４１＝＝＝
受付部１０４１は、画像処理の対象となる入力画像４３０（入力画像）を外部から受け付ける。例えば、受付部１０４１は、ネットワークに接続して入力画像４３０を受信してもよいし、入力画像４３０を記憶するメモリから読み出すことで入力画像４３０を受け付けてもよい。即ち、受付部１０４１による入力画像４３０の受け付けの形態は、限定されない。受付部１０４１は、受け付けた入力画像４３０をパッチ生成部１０４２に出力する。
【０１９０】
＝＝＝パッチ生成部１０４２＝＝＝
パッチ生成部１０４２は、受付部１０４１から出力された入力画像４３０から複数のパッチ（入力パッチ）を生成し、復元画像生成部１０４３に出力する。
【０１９１】
＝＝＝復元画像生成部１０４３＝＝＝
図２２は、復元フェーズを説明するための概念図である。図２２に示すように、復元部１０４は、入力画像４３０の入力パッチ４３１と辞書１０３中の劣化パッチ４０２との類似性に基づいて、復元パッチ４０１を選択する。
【０１９２】
復元画像生成部１０４３は、辞書１０３に格納されているパッチペア４０３の中から、入力パッチ４３１と劣化パッチ４０２との類似性を表す値であるパッチ類似度に基づいて、入力パッチ４３１のそれぞれに対応する複数の復元パッチ４０１を選択する。例えば、復元画像生成部１０４３は、入力パッチ４３１に対するパッチ類似度が所定値以上の劣化パッチ４０２に対応する復元パッチ４０１を選択する。また、復元画像生成部１０４３は、入力パッチ４３１に対するパッチ類似度が大きい順に、所定数の劣化パッチ４０２に対応する復元パッチ４０１を選択してもよい。
【０１９３】
復元画像生成部１０４３は、複数の復元パッチ４０１を合成して、復元画像４４０を生成する。それらの復元パッチ４０１のそれぞれは、複数の復元パッチ４０１の内の１つである。その複数の復元パッチ４０１は、入力パッチ４３１のそれぞれに対応する。
【０１９４】
復元画像生成部１０４３は、生成した復元画像４４０を劣化過程推定装置３００に出力する。また、復元画像生成部１０４３は、その復元画像４４０を外部へ出力する。例えば、復元部１０４は、図６に示す通信部７０６を介して、外部に復元画像４４０を送信する。また、復元部１０４は、復元画像４４０を図６に示す出力部７０５を介して出力するようにしてもよい。また、復元部１０４は、図６に示す記憶装置７０３を介して、記録媒体７０７に復元画像４４０を記録するようにしてもよい。
【０１９５】
尚、復元部１０４は、入力パッチ４３１と劣化パッチ４０２との類似性に加えて、復元画像４４０から切り出したパッチと復元パッチ４０１との類似性にも基づいて、復元パッチ４０１を選択するようにしてもよい。
【０１９６】
次に、画像間（例えば、入力パッチ４３１と劣化パッチ４０２）の類似度（例えば、パッチ類似度）について説明する。
【０１９７】
図２３は、パッチ４５０の一例を示す図である。図２３に示すように、例えばパッチ４５０は、複数の画素４５２の画素値を要素として持つ、多次元ベクトルである画素群４５１を含む。また、パッチ４５０は、パッチ４５０を個別に特定するパッチ識別子４５３を、メタ情報として含む。尚、パッチ４５０は、復元パッチ４０１、劣化パッチ４０２及び入力パッチ４３１を含む概念である。また、画素値は、輝度値でもよくこれに限定されない。
【０１９８】
この場合、２つのパッチ間のパッチ類似度を示す値とは、パッチ間の各画素４５２の輝度値の差に基づく値でもよい。例えば、パッチ類似度を示す値は、パッチ間の各画素４５２の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、パッチ類似度を示す値は、ＳＳＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＳＤであってよい。または、パッチ類似度を示す値は、パッチ間の各画素４５２の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、パッチ類似度を示す値は、ＳＡＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＡＤであってよい。
【０１９９】
他に、例えば、パッチ類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でもよい。または、パッチ類似度を示す値は、正規化相互相関関数により算出される値でもよく、これらに限定されない。
【０２００】
即ち、パッチ類似度は、２つのパッチそれぞれの画素群４５１が表す画像間の類似度である。以上の説明は、パッチ類似度に限らず、類似度８５１、類似度８５２についても適用される。
【０２０１】
上述した本実施形態における第１の効果は、第１の実施形態の効果と同様である。更に、本実施形態における第２の効果は、入力画像４３０の劣化過程をより正確に推定し、その入力画像４３０に対応する、より高精度な超解像画像（復元画像４４０）を復元するために必要な辞書１０３を得ることが可能になることである。
【０２０２】
その第２の効果を有する理由は、以下の工程を繰り返すようにしたからである。第１に、劣化過程推定装置３００が学習画像４１１に基づいて推定劣化過程８６７を出力する。第２に、学習部１０２が推定劣化過程８６７に基づいて辞書１０３を生成する。第３に復元部１０４が、辞書１０３に基づいて復元画像４４０を生成する。第４に、劣化過程推定装置３００の学習画像選択部３４０が、復元画像４４０に基づいて、学習画像４１１を選択する。
【０２０３】
本実施形態は、第２の実施形態に適用されてもよい。即ち、各画像の局所領域が処理単位とされてよい。
【０２０４】
以上の各実施形態で説明した各構成要素は、必ずしも個々に独立した存在である必要はない。例えば、各構成要素は、複数の構成要素が１個のモジュールとして実現されてよい。また、各構成要素は、１つの構成要素が複数のモジュールで実現されてもよい。また、各構成要素は、ある構成要素が他の構成要素の一部であるような構成であってよい。また、各構成要素は、ある構成要素の一部と他の構成要素の一部とが重複するような構成であってもよい。
【０２０５】
以上説明した各実施形態における各構成要素及び各構成要素を実現するモジュールは、必要に応じ、可能であれば、ハードウェア的に実現されてよい。また、各構成要素及び各構成要素を実現するモジュールは、コンピュータ及びプログラムで実現されてよい。また、各構成要素及び各構成要素を実現するモジュールは、ハードウェア的なモジュールとコンピュータ及びプログラムとの混在により実現されてもよい。
【０２０６】
そのプログラムは、例えば、磁気ディスクや半導体メモリなど、不揮発性のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られる。この読み取られたプログラムは、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施形態における構成要素として機能させる。
【０２０７】
また、以上説明した各実施形態では、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は内容的に支障のない範囲で変更することができる。
【０２０８】
更に、以上説明した各実施形態では、複数の動作は個々に相違するタイミングで実行されることに限定されない。例えば、ある動作の実行中に他の動作が発生したり、ある動作と他の動作との実行タイミングが部分的に乃至全部において重複していたりしていてもよい。
【０２０９】
更に、以上説明した各実施形態では、ある動作が他の動作の契機になるように記載しているが、その記載はある動作と他の動作との全ての関係を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の関係は内容的に支障のない範囲で変更することができる。また各構成要素の各動作の具体的な記載は、各構成要素の各動作を限定するものではない。このため、各構成要素の具体的な各動作は、各実施形態を実施する上で機能的、性能的、その他の特性に対して支障をきたさない範囲内で変更されて良い。
【０２１０】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０２１１】
（付記１）複数の第１の学習画像と入力画像とを取得する画像取得手段と、
前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する推定手段と、を含み、
前記推定劣化過程は、前記入力画像の前記領域に対応する前記劣化過程に対応する
情報処理装置。
【０２１２】
（付記２）前記推定手段は、更に前記第１の劣化画像のそれぞれと前記第１の学習画像から前記第１の劣化画像のそれぞれへの前記劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする付記１記載の情報処理装置。
【０２１３】
（付記３）前記第１の類似度は、前記第１の劣化画像に対応する特徴ベクトルと、前記入力画像の前記領域に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記１または２記載の情報処理装置。
【０２１４】
（付記４）前記推定手段は、前記入力画像の前記領域に対応する、ｋ（ｋは1以上の自然数）−近傍のｋ個の前記劣化過程に対応する前記推定劣化過程を出力する
ことを特徴とする付記３記載の情報処理装置。
【０２１５】
（付記５）前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成する学習手段と、
前記辞書を利用して、前記入力画像から復元画像を生成し、出力する復元手段と、
前記第１の学習画像と前記復元画像との間の第２の類似度に基づいて、前記第１の学習画像を選択する選択手段と、を更に含み、
前記推定手段は、更に、前記選択された第１の学習画像の前記領域を劣化させた複数の第１の劣化画像のそれぞれと、前記入力画像の前記領域との間の、前記第１の類似度に基づいて、前記推定劣化過程を出力する
ことを特徴とする付記１乃至４のいずれか１項に記載の情報処理装置。
【０２１６】
（付記６）前記推定手段は、更に前記第１の劣化画像のそれぞれと前記選択された第１の学習画像から前記第１の劣化画像のそれぞれへの劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする付記５記載の情報処理装置。
【０２１７】
（付記７）前記第２の類似度は、前記第２の学習画像に対応する特徴ベクトルと前記復元画像に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記５または６記載の情報処理装置。
【０２１８】
（付記８）前記推定手段は、劣化画像生成手段と特徴ベクトル算出手段と劣化過程推定用辞書作成手段と劣化過程推定用辞書手段と特徴ベクトル分類手段を含み、
前記劣化画像生成手段は、前記劣化過程に基づいて、前記学習画像から前記第１の劣化画像を生成し、前記生成した第１の劣化画像を前記特徴ベクトル算出手段に出力し、
前記特徴ベクトル算出手段は、前記第１の劣化画像に対応する前記特徴ベクトルを生成し、前記第１の劣化画像に対応する前記特徴ベクトルを前記劣化過程推定用辞書作成手段に出力し、
前記劣化過程推定用辞書作成手段は、前記第１の劣化画像に対応する前記特徴ベクトルと、前記第１の劣化画像に対応する前記特徴ベクトルに対応する前記劣化過程との関係を示す対応情報を生成し、前記生成した対応情報を前記劣化過程推定用辞書手段に出力し、
前記劣化過程推定用辞書手段は、前記対応情報を記憶し、
前記特徴ベクトル算出手段は、前記入力画像の前記領域に対応する前記特徴ベクトルを算出し、前記入力画像の前記領域に対応する前記特徴ベクトルを前記特徴ベクトル分類手段に出力し、
前記特徴ベクトル分類手段は、前記入力画像の前記領域に対応する前記特徴ベクトルと前記対応情報に含まれる前記特徴ベクトルとの間の関係に基づいて、前記入力画像の前記領域に対応する前記特徴ベクトルを、前記対応情報に含まれる前記特徴ベクトルからなる前記劣化過程のクラスのいずれかに分類し、前記入力画像の前記局所領域に対応する前記特徴ベクトルが分類された前記クラスに対応する前記推定劣化過程を外部へ出力する
ことを特徴とする付記１乃至７のいずれか１つに記載の情報処理装置。
【０２１９】
（付記９）前記劣化過程推定用辞書作成手段は、前記第１の劣化画像に対応する前記特徴ベクトルを圧縮し、前記圧縮した特徴ベクトルと前記劣化過程との関係を示す前記対応情報を生成する
ことを特徴とする付記８記載の情報処理装置。
【０２２０】
（付記１０）前記推定手段は、前記入力画像の前記領域に対応する前記劣化過程に対応する前記第１の劣化画像を前記推定劣化過程として出力する
ことを特徴とする付記１乃至９のいずれか１つに記載の情報処理装置。
【０２２１】
（付記１１）前記入力画像の劣化情報を、利用者に入力させるための劣化情報入力手段を更に含み、
前記推定手段は、更に前記劣化情報に基づいて、前記推定劣化過程を出力する
ことを特徴とする付記１乃至１０のいずれか１つに記載の情報処理装置。
【０２２２】
（付記１２）コンピュータが、
複数の第１の学習画像と入力画像とを取得し、
前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する
画像処理方法。
【０２２３】
（付記１３）前記コンピュータが、更に前記第１の劣化画像のそれぞれと前記第１の学習画像から前記第１の劣化画像のそれぞれへの前記劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする付記１２記載の画像処理方法。
【０２２４】
（付記１４）前記第１の類似度は、前記第１の劣化画像に対応する特徴ベクトルと、前記入力画像の前記領域に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記１２または１３記載の画像処理方法。
【０２２５】
（付記１５）前記コンピュータが、前記入力画像の前記領域に対応する、ｋ（ｋは1以上の自然数）−近傍のｋ個の前記劣化過程に対応する前記推定劣化過程を出力する
ことを特徴とする付記１４記載の画像処理方法。
【０２２６】
（付記１６）前記コンピュータが、更に、前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成し、
前記辞書を利用して、前記入力画像から復元画像を生成し、出力し、
前記第１の学習画像と前記復元画像との間の第２の類似度に基づいて、前記第１の学習画像を選択し、
前記選択された第１の学習画像の前記領域を劣化させた複数の第１の劣化画像のそれぞれと、前記入力画像の前記領域との間の、前記第１の類似度に基づいて、前記推定劣化過程を出力する
ことを特徴とする付記１２乃至１５のいずれか１つに記載の画像処理方法。
【０２２７】
（付記１７）前記コンピュータが、更に前記第１の劣化画像のそれぞれと前記選択された第１の学習画像から前記第１の劣化画像のそれぞれへの劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する
ことを特徴とする付記１６記載の画像処理方法。
【０２２８】
（付記１８）前記第２の類似度は、前記第２の学習画像に対応する特徴ベクトルと前記復元画像に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記１６または１７記載の画像処理方法。
【０２２９】
（付記１９）前記コンピュータが、前記劣化過程に基づいて、前記学習画像から前記第１の劣化画像を生成し、前記生成した第１の劣化画像を出力し、
前記第１の劣化画像に対応する前記特徴ベクトルを生成し、前記第１の劣化画像に対応する前記特徴ベクトルを出力し、
前記第１の劣化画像に対応する前記特徴ベクトルと、前記第１の劣化画像に対応する前記特徴ベクトルに対応する前記劣化過程との関係を示す対応情報を生成し、前記生成した対応情報を出力し、
前記対応情報を記憶し、
前記入力画像の前記領域に対応する前記特徴ベクトルを算出し、前記入力画像の前記領域に対応する前記特徴ベクトルを出力し、
前記入力画像の前記領域に対応する前記特徴ベクトルと前記対応情報に含まれる前記特徴ベクトルとの間の関係に基づいて、前記入力画像の前記領域に対応する前記特徴ベクトルを、前記対応情報に含まれる前記特徴ベクトルからなる前記劣化過程のクラスのいずれかに分類し、前記入力画像の前記局所領域に対応する前記特徴ベクトルが分類された前記クラスに対応する前記推定劣化過程を外部へ出力する
ことを特徴とする付記１２乃至１８のいずれか１つに記載の画像処理方法。
【０２３０】
（付記２０）前記コンピュータが、前記第１の劣化画像に対応する前記特徴ベクトルを圧縮し、前記圧縮した特徴ベクトルと前記劣化過程との関係を示す前記対応情報を生成する
ことを特徴とする付記１９記載の画像処理方法。
【０２３１】
（付記２１）前記コンピュータが、前記入力画像の前記領域に対応する前記劣化過程に対応する前記第１の劣化画像を前記推定劣化過程として出力する
ことを特徴とする付記１２乃至２０のいずれか１つに記載の画像処理方法。
【０２３２】
（付記２２）複数の第１の学習画像と入力画像とを取得し、
前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力する処理をコンピュータに実行させる
プログラム。
【０２３３】
（付記２３）更に前記第１の劣化画像のそれぞれと前記第１の学習画像から前記第１の劣化画像のそれぞれへの前記劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する処理をコンピュータに実行させる
ことを特徴とする付記２２記載のプログラム。
【０２３４】
（付記２４）前記第１の類似度は、前記第１の劣化画像に対応する特徴ベクトルと、前記入力画像の前記領域に対応する特徴ベクトルとの間の関係に対応する
ことを特徴とする付記２２または２３記載のプログラム。
【０２３５】
（付記２５）前記入力画像の前記領域に対応する、ｋ（ｋは1以上の自然数）−近傍のｋ個の前記劣化過程に対応する前記推定劣化過程を出力する処理をコンピュータに実行させる
ことを特徴とする付記２４記載のプログラム。
【０２３６】
（付記２６）更に、前記推定劣化過程に基づいて第２の学習画像を劣化させた第２の劣化画像のパッチである劣化パッチと、前記第２の学習画像のパッチである復元パッチとを含む複数のパッチペアを格納する辞書を作成し、
前記辞書を利用して、前記入力画像から復元画像を生成し、出力し、
前記第１の学習画像と前記復元画像との間の第２の類似度に基づいて、前記第１の学習画像を選択し、
前記選択された第１の学習画像の前記領域を劣化させた複数の第１の劣化画像のそれぞれと、前記入力画像の前記領域との間の、前記第１の類似度に基づいて、前記推定劣化過程を出力する処理をコンピュータに実行させる
ことを特徴とする付記２２乃至２５のいずれか１つに記載のプログラム。
【０２３７】
（付記２７）更に前記第１の劣化画像のそれぞれと前記選択された第１の学習画像から前記第１の劣化画像のそれぞれへの劣化過程との対応関係に基づいて、前記入力画像の前記領域に対応する前記劣化過程を識別する情報を前記推定劣化過程として出力する処理をコンピュータに実行させる
ことを特徴とする付記２６記載のプログラム。
【０２３８】
（付記２８）前記第２の類似度は、前記第２の学習画像に対応する特徴ベクトルと前記復元画像に対応する特徴ベクトルとの間の関係に対応する処理をコンピュータに実行させる
ことを特徴とする付記２６または２７記載のプログラム。
【０２３９】
（付記２９）前記劣化過程に基づいて、前記学習画像から前記第１の劣化画像を生成し、前記生成した第１の劣化画像を出力し、
前記第１の劣化画像に対応する前記特徴ベクトルを生成し、前記第１の劣化画像に対応する前記特徴ベクトルを出力し、
前記第１の劣化画像に対応する前記特徴ベクトルと、前記第１の劣化画像に対応する前記特徴ベクトルに対応する前記劣化過程との関係を示す対応情報を生成し、前記生成した対応情報を出力し、
前記対応情報を記憶し、
前記入力画像の前記領域に対応する前記特徴ベクトルを算出し、前記入力画像の前記領域に対応する前記特徴ベクトルを出力し、
前記入力画像の前記領域に対応する前記特徴ベクトルと前記対応情報に含まれる前記特徴ベクトルとの間の関係に基づいて、前記入力画像の前記領域に対応する前記特徴ベクトルを、前記対応情報に含まれる前記特徴ベクトルからなる前記劣化過程のクラスのいずれかに分類し、前記入力画像の前記局所領域に対応する前記特徴ベクトルが分類された前記クラスに対応する前記推定劣化過程を外部へ出力する処理をコンピュータに実行させる
ことを特徴とする付記２２乃至２８のいずれか１つに記載のプログラム。
【０２４０】
（付記３０）前記第１の劣化画像に対応する前記特徴ベクトルを圧縮し、前記圧縮した特徴ベクトルと前記劣化過程との関係を示す前記対応情報を生成する処理をコンピュータに実行させる
ことを特徴とする付記２９記載のプログラム。
【０２４１】
（付記３１）前記入力画像の前記領域に対応する前記劣化過程に対応する前記第１の劣化画像を前記推定劣化過程として出力する処理をコンピュータに実行させる
ことを特徴とする付記２２乃至３０のいずれか１つに記載のプログラム。
【０２４２】
（付記３２）付記２２乃至付記３１のいずれか一つに記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
【０２４３】
（付記３３）プロセッサと、
プロセッサが画像取得手段及び推定手段として動作するための、プロセッサによって実行される命令を保持する記憶部とを含み、
前記画像取得手段は、複数の第１の学習画像と入力画像とを取得し、
前記推定手段は、前記入力画像の任意の領域と、複数の劣化過程のそれぞれに基づいて前記第１の学習画像の前記領域に対応する領域を劣化させた場合の複数の第１の劣化画像のそれぞれと、の間の第１の類似度に基づいて、推定劣化過程を出力し、
前記推定劣化過程は、前記入力画像の前記領域に対応する前記劣化過程に対応する
情報処理装置。
【０２４４】
以上、各実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しえる様々な変更をすることができる。
【０２４５】
この出願は、２０１３年８月１５日に出願された日本出願特願２０１３−１６８７９３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０２４６】
１００    劣化過程推定装置
１０１    画像処理システム
１０２    学習部
１０３    辞書
１０４    復元部
１１０    対応情報生成部
１２０    劣化過程選択部
１５０    画像取得部
１５１    学習画像取得部
１５２    入力画像取得部
１６０    推定部
１６１    劣化画像群生成部
１６２    特徴ベクトル算出部
１６３    劣化過程推定用辞書作成部
１６４    特徴ベクトル分類部
１６５    劣化過程推定用辞書
１６６    劣化過程推定用辞書作成部
１６７    特徴ベクトル分類部
１６８    劣化画像推定用辞書
２００    劣化過程推定装置
２０１    画像処理システム
２０２    学習部
２１０    対応情報生成部
２２０    劣化過程選択部
２６０    推定部
３００    劣化過程推定装置
３０１    画像処理システム
３４０    学習画像選択部
３６０    推定部
４０１    復元パッチ
４０２    劣化パッチ
４０３    パッチペア
４１０    学習画像
４１１    学習画像
４２０    劣化画像
４２１    劣化画像
４３０    入力画像
４３１    入力パッチ
４４０    復元画像
７００    コンピュータ
７０１    ＣＰＵ
７０２    記憶部
７０３    記憶装置
７０４    入力部
７０５    出力部
７０６    通信部
７０７    記録媒体
８５１    類似度
８５２    類似度
８６０    対応情報
８６１    劣化過程
８６２    特徴ベクトル
８６４    特徴ベクトル
８６７    推定劣化過程
１０２１    受付部
１０２２    劣化画像生成部
１０２３    パッチペア生成部
１０２４    登録部
１０４１    受付部
１０４２    パッチ生成部
１０４３    復元画像生成部
【図１】
0006512100.tif 000002
【図２】
0006512100.tif 000003
【図３】
0006512100.tif 000004
【図４】
0006512100.tif 000005
【図５】
0006512100.tif 000006
【図６】
0006512100.tif 000007
【図７】
0006512100.tif 000008
【図８】
0006512100.tif 000009
【図９】
0006512100.tif 000010
【図１０】
0006512100.tif 000011
【図１１】
0006512100.tif 000012
【図１２】
0006512100.tif 000013
【図１３】
0006512100.tif 000014
【図１４】
0006512100.tif 000015
【図１５】
0006512100.tif 000016
【図１６】
0006512100.tif 000017
【図１７】
0006512100.tif 000018
【図１８】
0006512100.tif 000019
【図１９】
0006512100.tif 000020
【図２０】
0006512100.tif 000021
【図２１】
0006512100.tif 000022
【図２２】
0006512100.tif 000023
【図２３】
0006512100.tif 000024