(57)【要約】個々の劣化に対応した柔軟な復元パッチの選択が可能となる技術を提供する。  本発明の辞書作成装置は、劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力する劣化画像生成手段と、学習画像のパッチである復元パッチと、劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成するパッチペア生成手段と、パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書に登録する登録手段と、を含む。
2013089265.tif 000002
【特許請求の範囲】
【請求項１】
劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力する劣化画像生成手段と、
前記学習画像のパッチである復元パッチと、前記劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成するパッチペア生成手段と、
前記パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書に登録する登録手段と、
を含む辞書作成装置。
【請求項２】
前記劣化画像生成手段は、前記学習画像に対し、サイズ縮小、明度減少、高周波成分除去又は姿勢変動の処理のうちの少なくとも一つを施すことで前記劣化画像を生成し、
前記劣化パラメタは、倍率、明度、ボケ強度及び姿勢の傾きのうちの少なくとも一つを示す値を含む、
請求項１に記載の辞書作成装置。
【請求項３】
前記パッチペア生成手段は、前記学習画像において一画素ずつずらして生成した前記復元パッチにより、前記パッチペアを生成する、
請求項１に記載の辞書作成装置。
【請求項４】
外部から受け付けた画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定する劣化推定手段と、
前記入力画像を分割して複数の入力パッチを生成するパッチ生成手段と、
劣化処理前の画像である学習画像から生成した劣化画像のパッチである劣化パッチ、当該学習画像のパッチである復元パッチ及び当該劣化パッチの劣化パラメタを対応付けた、二以上の組のデータを格納する辞書を参照して、入力パッチと前記辞書中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択する選択手段と、
前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する合成手段と、
を含む画像処理装置。
【請求項５】
前記劣化パラメタは、倍率、明度、ボケ強度及び姿勢の傾きをそれぞれ示す値を含む、
請求項４に記載の画像処理装置。
【請求項６】
前記劣化推定手段は、
入力画像と学習画像の縦横比から倍率を算出し、
入力画像の輝度値の平均値から明度を算出し、
入力画像の高周波成分の大きさからボケ強度を算出し、
又は、向き推定を行うことで姿勢の傾きを算出することで、
前記入力画像の劣化パラメタの値を推定する、
請求項５に記載の画像処理装置。
【請求項７】
前記選択手段は、前記劣化パラメタの類似度を示す値と、所定の閾値との比較により決定される、劣化パラメタが類似することを示す範囲のみから前記復元パッチの選択を行う、
請求項４に記載の画像処理装置。
【請求項８】
前記選択手段は、前記劣化パラメタの類似度を示す値を、劣化パラメタ毎に設定された重みを有する値によって算出する、
請求項５に記載の画像処理装置。
【請求項９】
前記選択手段は、前記重みを、ボケ強度及び姿勢の傾きに比較して倍率及び明度に対して高く設定する、
請求項８に記載の画像処理装置。
【請求項１０】
前記選択手段は、ユーザによる前記重みの設定の入力を受け付ける、
請求項８に記載の画像処理装置。
【請求項１１】
辞書作成装置及び画像処理装置を含む画像処理システムであって、
前記辞書作成装置は、
劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力する劣化画像生成手段と、
前記学習画像のパッチである復元パッチと、前記劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成するパッチペア生成手段と、
前記パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書に登録する登録手段と、
を含み、
前記画像処理装置は、
外部から受け付けた画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定する劣化推定手段と、
前記入力画像を分割して複数の入力パッチを生成するパッチ生成手段と、
前記辞書作成装置により作成された辞書を参照して、入力パッチと前記辞書中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択する選択手段と、
前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する合成手段と、
を含む画像処理システム。
【請求項１２】
劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力し、
前記学習画像のパッチである復元パッチと、前記劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成し、
前記パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書に登録する、
辞書作成方法。
【請求項１３】
外部から受け付けた画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定し、
前記入力画像を分割して複数の入力パッチを生成し、
劣化処理前の画像である学習画像から生成した劣化画像のパッチである劣化パッチ、当該学習画像のパッチである復元パッチ及び当該劣化パッチの劣化パラメタを対応付けた、二以上の組のデータを格納する辞書を参照して、入力パッチと前記辞書中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択し、
前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する、
画像処理方法。
【請求項１４】
劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力し、
前記学習画像のパッチである復元パッチと、前記劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成し、
前記パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書に登録する、
処理をコンピュータに実行させるプログラム。
【請求項１５】
外部から受け取った画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定し、
前記入力画像を分割して複数の入力パッチを生成し、
劣化処理前の画像である学習画像から生成した劣化画像のパッチである劣化パッチ、当該学習画像のパッチである復元パッチ及び当該劣化パッチの劣化パラメタを対応付けた、二以上の組のデータを格納する辞書を参照して、入力パッチと前記辞書中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択し、
前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する、
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、劣化画像から復元画像を生成する辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
劣化画像から復元画像を生成する技術の一例として、超解像技術が知られている。超解像技術の中で、学習型超解像技術は、低解像度画像と高解像度画像とが対応付された事例を学習し、その学習成果を辞書として用いている。学習型超解像技術の一例が非特許文献１に記載されている。
非特許文献１に記載された学習型超解像技術では、以下の手法（ここでは、超解像プロセスという。）を実行する。はじめに、その超解像プロセスは、低解像度画像である入力画像を受け付ける。
次に、その超解像プロセスは、入力画像を内挿法により多画素化することで仮高解像度画像を生成する。
さらに、その超解像プロセスは、入力画像を最近傍内挿法で多画素化したものを仮高解像度画像から減算することで、低周波成分を生成する。
その超解像プロセスは、生成した低周波成分から低周波パッチを切り抜き、該低周波パッチから低周波特徴量を算出する。
続いて超解像プロセスは、算出した低周波特徴量との距離が近い順にいくつかの低周波特徴量学習データを辞書から探索し、それらと組になっている高周波特徴量を読み出す。
そして、その超解像プロセスは、探索時の距離、隣接する高周波ブロックとの整合性や学習段階で別途学習する低周波特徴量と高周波特徴量との共起確率などを基準として一つの高周波特徴量を選択する。
非特許文献１に記載の技術は、互いに類似した低周波特徴量同士を一つの代表にまとめた一対多対応の辞書構造を採用することで、メモリ量を抑制し、また、計算コストを削減する。
辞書を作成する学習技術の一例が特許文献１に記載されている。
特許文献１に記載の技術は、次のような機能手段を備える。
具体的には、画像を入力する画像入力手段と、入力した画像から人物の顔画像を検出する顔検出手段と、入力した、登録者の種々の姿勢の顔を撮影した、複数の画像における複数の顔画像から得られる複数の顔データを収集する第１のデータ収集手段と、入力した、歩行中の前記登録者の顔を撮影した、複数の画像における複数の顔画像から得られる複数の顔データを収集する第２のデータ収集手段と、第１のデータ収集手段により収集された顔データと第２のデータ収集手段により収集された顔データとを統合する統合手段と、統合したデータを前記登録者の辞書データとして記憶する記憶手段である。
特許文献１に記載の技術は、上記の構成を取ることにより、ユーザの負荷を軽減しつつ、効率的に辞書データを登録することが可能となる。
なお、他の関連する画像処理技術が、特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４３０９３号公報
【特許文献２】特開２０１１−０７０２８３号公報
【非特許文献】
【０００４】
【非特許文献１】田口、小野、三田、井田“画像超解像のための閉ループ学習による代表事例の学習方法，”電子情報通信学会論文誌．Ｄ，情報・システム  Ｊ９２−Ｄ（６），８３１−８４２，２００９−０６−０１
【発明の概要】
【０００５】
しかしながら非特許文献１及び特許文献１及び２に記載の技術では、必ずしも高解像度画像の復元精度が良くない。
その理由は、画像が劣化している場合、推定が容易な劣化と推定が困難な劣化が存在し、推定が困難な劣化が生じているパッチに関して、高解像パッチの誤選択が生じるからである。
以上より、本発明の目的は、個々の劣化に対応した、柔軟な復元パッチの選択が可能となる辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラムを提供することである。
上記目的を達成するため、本発明における辞書作成装置は、劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力する劣化画像生成手段と、前記学習画像のパッチである復元パッチと、前記劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成するパッチペア生成手段と、前記パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書に登録する登録手段と、を含む。
また、上記目的を達成するため、本発明における画像処理装置は、外部から受け付けた画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定する劣化推定手段と、前記入力画像を分割して複数の入力パッチを生成するパッチ生成手段と、劣化処理前の画像である学習画像から生成した劣化画像のパッチである劣化パッチ、当該学習画像のパッチである復元パッチ及び当該劣化パッチの劣化パラメタを対応付けた二以上の組のデータを格納する辞書を参照して、入力パッチと前記辞書中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択する選択手段と、前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する合成手段と、を含む。
また、上記目的を達成するため、本発明における画像処理システムは、辞書作成装置及び画像処理装置を含む画像処理システムであって、前記辞書作成装置は、劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力する劣化画像生成手段と、前記学習画像のパッチである復元パッチと、前記劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成するパッチペア生成手段と、前記パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタと、を対応付けて辞書に登録する登録手段と、を含み、前記画像処理装置は、外部から受け付けた画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定する劣化推定手段と、前記入力画像を分割して複数の入力パッチを生成するパッチ生成手段と、前記辞書作成装置により作成された辞書を参照して、入力パッチと前記辞書中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択する選択手段と、前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する合成手段と、を含む。
また、上記目的を達成するため、本発明における辞書作成方法は、劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力し、前記学習画像のパッチである復元パッチと、前記劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成し、前記パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書に登録する。
また、上記目的を達成するため、本発明における画像処理方法は、外部から受け付けた画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定し、前記入力画像を分割して複数の入力パッチを生成し、劣化処理前の画像である学習画像から生成した劣化画像のパッチである劣化パッチ、当該学習画像のパッチである復元パッチ及び当該劣化パッチの劣化パラメタを対応付けた二以上の組のデータを格納する辞書を参照して、入力パッチと前記辞書中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択し、前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する。
また、上記目的を達成するため、本発明におけるプログラムは、劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力し、前記学習画像のパッチである復元パッチと、前記劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成し、前記パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書に登録する、処理をコンピュータに実行させる。
また、上記目的を達成するため、本発明におけるプログラムは、外部から受け付けた画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定し、前記入力画像を分割して複数の入力パッチを生成し、劣化処理前の画像である学習画像から生成した劣化画像のパッチである劣化パッチ、当該学習画像のパッチである復元パッチ及び当該劣化パッチの劣化パラメタを対応付けた二以上の組のデータを格納する辞書を参照して、入力パッチと前記辞書中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択し、前記選択した入力パッチ毎の復元パッチを合成して復元画像を生成する、処理をコンピュータに実行させる。
本発明は、個々の劣化に対応した、柔軟な復元パッチの選択が可能にするという効果がある。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１実施形態に係る画像処理システム構成を示すブロック図である。
【図２】図２は、第１実施形態における学習装置の構成を示すブロック図である。
【図３】図３は、第１実施形態における画像ＸとパッチＹとの関係を説明するための図である。
【図４】図４は、第１実施形態における復元パッチにおける一画素のずれを説明するための図である。
【図５】図５は、第１実施形態における学習フェーズを説明するための概念図である。
【図６】図６は、第１実施形態における辞書がパッチペア及び劣化パラメタを格納する様子を説明するための概念図である。
【図７】図７は、第１実施形態における学習装置の動作を示すフローチャートである。
【図８】図８は第１実施形態における画像処理装置の構成を示すブロック図である。
【図９】図９は、第１実施形態における復元フェーズを説明するための概念図である。
【図１０】図１０は、第１実施形態におけるパッチの一例を示す図である。
【図１１】図１１は、第１実施形態における画像処理装置の動作を示すフローチャートである。
【図１２】図１２は、第２実施形態に係る画像処理装置の構成を示すブロック図である。
【図１３】図１３は、第２実施形態における画像処理装置の動作を示すフローチャートである。
【図１４】図１４は、第３実施形態に係る学習装置の構成を示すブロック図である。
【図１５】図１５は、第３実施形態における学習装置の動作を示すフローチャートである。
【図１６】図１６は、第４実施形態に係る画像処理装置の構成を示すブロック図である。
【図１７】図１７は、第４実施形態における画像処理装置７００の動作を示すフローチャートである。
【図１８】図１８は、第１乃至４実施形態における画像処理装置を実現するコンピュータ装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００７】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。
まず、本発明の実施形態の理解を容易にするため、本発明の背景を説明する。なお、以降、超解像技術の例を説明するが、本発明は超解像技術の適用のみに限定されるものではない。本発明は、例えば、ノイズ除去技術、画像修復技術、時間解像度補間技術、ボケ除去技術など、品質の悪い入力画像から復元画像を生成するあらゆる技術に適用可能である。
学習型超解像技術には、学習フェーズと復元フェーズとがある。学習フェーズは、複数の事例を学習して、各事例におけるパッチペアを辞書データとして含む、辞書を作成するフェーズである。
復元フェーズは、学習フェーズで作成した辞書から、画像処理の対象となる入力画像のパッチ（以下、入力パッチと呼ぶ）に対応する最適なパッチを探索し、合成処理により超解像画像（復元画像）を生成するフェーズである。ここで、一般的な入力画像は、低解像度であったり、ノイズが混入していたり、部分的に破壊されていたり、或いは部分的に欠落していたりする、品質の悪い画像である。
ここで、パッチペアは、所定の事例における高解像画像のパッチと低解像画像のパッチとのペアである。高解像画像（以下、学習画像と呼ぶ）は、その事例に対応する高解像度の画像である。低解像画像（以下、劣化画像と呼ぶ）は、その高解像画像を劣化させた画像である。以下、学習画像（高解像画像）のパッチを復元パッチ、劣化画像（低解像画像）のパッチを劣化パッチと呼ぶ。また、パッチは、対象の画像の部分的な小領域画像であり、例えばその対象の画像をブロックに分割して生成されたものである。
＜第１実施形態＞
図１は、第１実施形態に係る画像処理システム１０００の構成を示すブロック図である。
図１に示すように、第１実施形態に係る画像処理システム１０００は、学習装置（辞書作成装置とも呼ばれる）１００と、辞書２００と、画像処理装置３００とを含む。学習装置１００は、学習画像を受け付け、学習フェーズを実行する。辞書２００は、学習フェーズで作成されたパッチペアを記憶する。画像処理装置３００は、入力画像を受け付け、辞書２００を利用して復元フェーズを実行し、復元画像を出力する。
以下、学習フェーズと復元フェーズに分けて、本実施形態を説明する。（学習フェーズ）
図２〜図６を参照して、本発明の第１実施形態における学習フェーズについて説明する。
図２は、学習装置１００の構成を示すブロック図である。図２に示すように、学習装置１００は、受付部１１０と、劣化画像生成部１２０と、パッチペア生成部１３０と、登録部１４０とを含む。学習装置１００は、学習フェーズを実行して、辞書２００を作成する。
受付部１１０は、外部から学習画像を受け付ける。受付部１１０は、外部から受け付けた学習画像を劣化画像生成部１２０及びパッチペア生成部１３０に出力する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対して、複数の劣化処理を施して、複数の劣化画像を生成しても良い。劣化画像生成部１２０は、学習画像に対して複数の異なる劣化処理を施して複数の劣化画像を生成しても良い。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対し、サイズ縮小、明度減少、高周波成分除去又は姿勢変動の処理のうちの少なくとも一つを施すことで劣化画像を生成しても良い。
劣化画像生成部１２０は、受付部１１０から受け取った学習画像を、例えばＮ分の１に縮小することで劣化画像を生成しても良い。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用しても良い。
劣化画像生成部１２０は、例えば学習画像の高周波成分を取り除く等してボケ強度を強めることで劣化画像を生成しても良い。このとき、劣化画像生成部１２０は、複数種類のボケ強度を用意し、ボケ強度毎に劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像を傾かせて姿勢を変動させ姿勢毎に劣化画像を生成しても良い。又は劣化画像生成部１２０は、学習画像の輝度値を減少させて明度を低くし、劣化画像を生成しても良い。劣化画像生成部１２０は、既存の様々な手法によって劣化画像を生成しても良い。
劣化画像生成部１２０は、生成した劣化画像を、当該劣化画像に関して、画像の劣化状態を示すパラメタ（以下、「劣化パラメタ」という。）と併せてパッチペア生成部１３０に出力する。ここで、劣化パラメタは、画像の領域毎に、画像の倍率、明度、ボケ強度及び姿勢の傾きのうちの少なくとも一つを数値で表したパラメタでも良い。なお、劣化パラメタの種類はこれに限定されない。例えば、劣化パラメタとして、学習画像のメタ情報であってもよい。ここでいうメタ情報とは、例えば学習画像が顔画像であった場合には、被写体である顔のＩＤ、学習画像中の顔の位置などである。また、学習画像が文字画像などであった場合には、文字の種類やフォントなどである。これらのメタ情報を、数値であらわしたパラメタを劣化画像と併せて出力してもよい。
パッチペア生成部１３０は、受付部１１０から学習画像を受け取り、劣化画像生成部１２０から学習画像の劣化画像及び劣化画像の劣化パラメタを受け取る。パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する。
パッチペア生成部１３０は、既存の手法によって複数の復元パッチと劣化パッチのペア（以下、「パッチペア」という。）を生成すれば良い。
パッチペア生成部１３０は、生成した複数のパッチペアを、対応する劣化パラメタと併せて登録部１４０に出力する。
パッチペア生成部１３０は、いわゆるサブピクセルシフトの処理によりパッチペアを生成しても良い。ここで、サブピクセルシフトとは、高解像の画像である学習画像で小領域を一画素ずつずらして復元パッチを生成することで、サブピクセルずれの劣化パッチを生成する技術である。
ここで、図３及び図４を参照してはサブピクセルシフトについて説明する。
図３は、画像ＸとパッチＹとの関係を説明するための図である。図３に示すように、パッチＹは、ある一枚の画像Ｘの小領域である。パッチＹは、図３に示すように、例えば縦５個×横５個の２５個の画素Ｚから構成される。ここでパッチＹは例えば復元パッチである。
図４は、復元パッチにおける一画素のずれを説明するための図である。図４に示すように、復元パッチＹ１と、Ｙ１の隣のパッチである復元パッチＹ２とは一画素だけずれている。つまり、復元パッチＹ１と復元パッチＹ２とは、四画素分の重なり領域Ｗを共有している。パッチペア生成部１３０は、図４に示すようなずらし方で復元パッチを生成することで、サブピクセルずれの劣化パッチを生成しても良い。
具体的には、パッチペア生成部１３０は、画像Ｘにおける復元パッチＹ１のパッチ位置に相対的に対応するパッチ位置の劣化パッチ（これを仮にＰ１とする。）を、劣化画像から抽出し、劣化パッチＰ１からサブピクセルずれた（学習画像における一画素に対応するずれ。）劣化パッチ（これを仮にＰ２とする。）を、劣化画像から抽出する。そして、パッチペア生成部１３０は、復元パッチＹ１と劣化パッチＰ１のパッチペアと、復元パッチＹ２と劣化パッチＰ２のパッチペアを生成しても良い。
なお、図３及び図４においては、一個のパッチが２５個の画素からできているが、当該例は本発明の範囲を限定するものではない。一個のパッチは６×６の３６個の画素から構成されていても良いし、これに限らず任意の数で構成されても良い。
また、パッチペア生成部１３０がパッチペアを生成する方法は、サブピクセルシフトに限定されず、隣接パッチを３画素ずつずらして生成しても良いし、これに限らず、パッチベア生成部１３０は、任意の数ずつ画素をずらしてパッチペアを生成しても良い。
登録部１４０は、パッチペア生成部１３０から、複数のパッチペアを受け取る。登録部１４０は、複数のパッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書２００に登録する。
辞書２００は、学習装置１００によって生成された複数のパッチペア及び劣化パラメタを格納する。
図５は、第１実施形態における学習フェーズを説明するための概念図である。図５に示すように、学習装置１００は、学習画像１０に一以上の劣化処理を施して劣化画像を生成しても良い。図５では「劣化１」、「劣化２」・・・、というバリエーションの劣化処理を施している。学習装置１００は、学習画像１０及び劣化画像２０の対応する位置におけるパッチのペアを、劣化パラメタと併せて辞書２００に登録する。
図６は、辞書２００がパッチペア及び劣化パラメタを格納する様子を説明するための概念図である。図６に示すように、辞書２００は、復元パッチ２０１（１）、２０１（２）、２０１（３）、・・・、２０１（ｎ−１）、２０１（ｎ）を格納する。また、辞書２００は、復元パッチ２０１に対応して劣化パッチ２０２（１）、２０２（２）、２０２（３）、・・・、２０２（ｎ−１）、２０２（ｎ）を格納する。すなわち、辞書２００は、復元パッチ２０１と劣化パッチ２０２のペアであるパッチペア２０３（１）、２０３（２）、２０３（３）、・・・、２０３（ｎ−１）、２０３（ｎ）を格納する。また、辞書２００は、劣化パラメタ２０４（１）、２０４（２）、２０４（３）、・・・、２０４（ｎ−１）、２０４（ｎ）をパッチペアに対応させて格納する。ここでｎは整数である。
辞書２００のパッチペア及び劣化パラメタの格納方法は、図６に示すように各パッチを対応付けて格納する方法に限定されない。例えば辞書２００は、学習画像をパッチとしてではなく一枚の画像として格納し、劣化パッチ毎に復元画像のどこの領域と対応するか、どのような劣化パラメタと対応するか、を示すインデックスが付された態様により学習データを格納しても良いし、その他の方法で格納しても良い。この場合、パッチの構造は、辞書２００のパッチペアの格納方法に適合する構造であって良い。
次に、図面を参照して、学習装置１００の動作を説明する。図７は、学習装置１００の動作を示すフローチャートである。
受付部１１０は、外部から学習画像を受け付ける（ステップＡ１）。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する（ステップＡ２）。
パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成し、登録部１４０へ出力する（ステップＡ３）。
登録部１４０は、複数のパッチペアを劣化パラメタと対応付けて辞書２００に登録する（ステップＡ４）。
以上が、辞書２００を作成する、学習装置１００の動作の説明である。
（復元フェーズ）図８〜図１１を参照して、本発明の第１実施形態における復元フェーズについて説明する。
図８は、画像処理装置３００の構成を示すブロック図である。図８に示すように、画像処理装置３００は、受付部３１０と、劣化推定部３２０と、パッチ生成部３３０と、選択部３４０と、合成部３５０とを含む。画像処理装置３００は、辞書２００を利用して復元画像を生成する。
画像処理装置３００は、画像処理の対象となる入力画像を外部から受け付けて、その入力画像に画像処理を実行して復元画像を生成する。具体的には、画像処理装置３００は、入力画像をブロックに分割して生成した複数のパッチ（入力パッチ）と、辞書２００に格納されている劣化パッチとの、類似度に基づいて復元パッチを選択する。次に、画像処理装置３００は、選択した複数の復元パッチを合成することにより、復元画像を生成する。入力パッチと劣化パッチとの類似度の詳細な説明は、後述する。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける。受付部３１０は、ネットワークに接続して入力画像を受信しても良いし、入力画像を記憶するメモリから読み出すことで入力画像を受け付けても良く、受け付けの形態は限定されない。受付部３１０は、受け付けた入力画像を劣化推定部３２０に出力する。
劣化推定部３２０は、受付部３１０から受け取った入力画像に関して、画像の劣化状態を示す劣化パラメタを推定する。上述したように、劣化パラメタは、例えば倍率、明度、ボケ強度及び姿勢の傾きのうちの少なくともいずれか１つを示す値を含んでも良い。
劣化推定部３２０は、例えば入力画像と、辞書２００が格納する学習画像の縦横比から倍率を算出しても良い。劣化推定部３２０は、例えば入力画像の輝度値の平均値から明度を算出しても良い。劣化推定部３２０は、例えば入力画像の高周波成分の大きさからボケ強度を算出しても良い。劣化推定部３２０は、例えば向き推定を行うことで姿勢の傾きを算出しても良い。入力画像が例えば顔画像の場合、劣化推定部３２０は、既存の顔向き推定技術により顔向き推定を行って姿勢の傾きを算出しても良い。
劣化推定部３２０は、上述した様々な手法により入力画像の劣化パラメタを推定すれば良く、劣化の推定方法はこれらに限定されない。
劣化推定部３２０は、入力画像と、当該入力画像に関して推定した劣化パラメタとをパッチ生成部３３０に出力する。
パッチ生成部３３０は、劣化推定部３２０から入力画像及び当該入力画像の劣化パラメタを受け取る。パッチ生成部３３０は、入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する。生成される複数のパッチは、それぞれ対応する劣化パラメタを有する。パッチ生成部３３０は、生成した複数の劣化パラメタを有する入力パッチを選択部３４０に出力する。
なお、劣化推定部３２０と、パッチ生成部３３０との処理の順番は逆でも良い。すなわち、まず、パッチ生成部３３０が入力パッチを生成し、その後劣化推定部３２０が入力パッチ毎の劣化パラメタを推定しても良い。
選択部３４０は、パッチ生成部３３０から複数の入力パッチを受け取る。選択部３４０は、辞書２００に格納されるパッチペアのデータの中から、入力パッチと辞書２００中の劣化パッチとの類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、複数の入力パッチ毎に復元パッチを選択する。以下、劣化パラメタの類似度と区別するために、入力パッチと辞書２００中の劣化パッチとの類似度を特徴の類似度と呼ぶ。ここで、入力パッチと劣化パッチとの特徴の類似度を示す値を劣化類似値という。また、入力パッチと劣化パッチとの劣化パラメタの類似度を示す値を劣化パラメタ類似値という。２つのパッチ間の特徴の類似度についての詳細は、後述する。
選択部３４０は、劣化類似値と劣化パラメタ類似値とを考慮することで、パッチとして類似しているだけでなく、劣化度合いも類似しているパッチを選択する。選択部３４０は、劣化度合いも類似しているパッチを選択することで、復元パッチとして正確なパッチを選択する。
選択部３４０は、劣化類似値と劣化パラメタ類似値を統合した値に基づいて、復元パッチを選択しても良い。すなわち、選択部３４０は、パッチの組合せについて劣化類似値と劣化パラメタ類似値とを一度に計算し、パッチ毎の劣化類似値及び劣化パラメタ類似値を統合した値を算出して最も適切な復元パッチを選択しても良い。劣化類似値及び劣化パラメタ類似値を統合した値としては、例えば、これらの合計値や精算値などを用いれば良い。
又は、選択部３４０は、劣化パラメタの類似度を示す値と、所定の閾値との比較により決定される、劣化パラメタが類似することを示す範囲のみから復元パッチの選択を行っても良い。すなわち、選択部３４０は、一度、劣化パラメタ類似値の閾値処理を行い、劣化度合いが類似していると判定された範囲に属するパッチに関してのみ、劣化類似値を算出して、復元パッチを選択しても良い。
選択部３４０は、選択した複数の復元パッチを合成部３５０に出力する。
合成部３５０は、選択部３４０から受け取った複数の復元パッチを合成して、復元画像を生成する。
図９は、復元フェーズを説明するための概念図である。図９に示すように、画像処理装置３００は、入力画像３０の劣化パラメタ３２を推定し、入力パッチと辞書２００中の劣化パッチと特徴の類似性及び劣化パラメタ３２の類似性を考慮して、復元画像４０における復元パッチを選択する。
次に、２つのパッチ（例えば、入力パッチと劣化パッチ）間の類似度について説明する。
図１０は、パッチ５０の一例を示す図である。図１０に示すように、パッチ５０は、複数の画素５２の画素値を要素として持つ、多次元ベクトルである画素群５１を含む。なお、パッチ５０は、復元パッチ、劣化パッチ及び入力パッチを含む概念である。また、画素値は、輝度値でも良くこれに限定されない。
この場合、２つのパッチ間の特徴の類似度を示す値とは、パッチ間の各画素の輝度値の差に基づく値でも良い。例えば、２つのパッチ間の特徴の類似度を示す値は、パッチ間の各画素の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｓｔａｎｃｅ）に基づく値でも良い。又は、２つのパッチ間の特徴の類似度を示す値は、パッチ間の各画素の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｓｔａｎｃｅ）に基づく値でも良い。
他に、例えば、２つのパッチ間の特徴の類似度を示す値は、２つの特徴を表すベクトル間の角度でも良い。又は、２つのパッチ間の特徴の類似度を示す値は、正規化相互相関関数により算出される値でも良く、これらに限定されない。ただし、２つのパッチ間の劣化パラメタの類似度を示す値は、これらに限定されない。或いは、類似度は、パッチの輝度勾配に基づき算出される値でもよい。或いは、類似度は、輝度値や輝度勾配の値をヒストグラム化した後、ヒストグラムの距離から算出された値を用いてもよい。
即ち、２つのパッチ間の類似度は、２つのパッチそれぞれの画素群が表す画像間の類似度である。
一方、各パッチの劣化パラメタは、倍率や明度など複数の劣化パラメタをベクトルとして持つパラメタ群として構成されているとする。この場合、２つのパッチ間の劣化パラメタの類似度を示す値は、パッチ間の各劣化パラメタの差に基づく値でも良い。例えば、２つのパッチ間の劣化パラメタの類似度を示す値は、まず、パッチ間の各劣化パラメタの差の絶対値を算出し、次に、それらの各値を、値が一定値以上である場合に非零となる関数に代入し、最後に劣化パラメタ毎に算出した関数値を合計した値に基づくものでも良い。例えば、値が一定値以上である場合に非零となる関数としては、パッチ間の各劣化パラメタの差を引数とするシグモイド関数などを用いれば良い。
又は、２つのパッチ間の劣化パラメタの類似度を示す値は、２つのパッチ間の特徴の類似度を示す値と同様の手法により算出される値でも良い。
すなわち、２つのパッチ間の劣化パラメタの類似度を示す値は、パッチ間の各劣化パラメタの差の二乗和であるＳＳＤに基づく値でも良い。又は、２つのパッチ間の劣化パラメタの類似度を示す値は、パッチ間の各劣化パラメタの差の絶対値和であるＳＡＤに基づく値でも良い。他に、例えば、２つのパッチ間の劣化パラメタの類似度を示す値は、２つの劣化パラメタを表すベクトル間の角度でも良い。又は、２つのパッチ間の劣化パラメタの類似度を示す値は、正規化相互相関関数により算出される値でも良く、これらに限定されない。
また、劣化パラメタが離散値である場合には、劣化パラメタの成分毎に、値が一致するときは０、値が一致しないときは非零となる関数を用いて、２つのパッチ間の劣化パラメタの類似度を算出してもよい。ただし、２つのパッチ間の劣化パラメタの類似度を示す値は、これらに限定されない。
次に、画像処理装置３００の動作について、図面を参照して詳細に説明する。図１１は、画像処理装置３００の動作を示すフローチャートである。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける（ステップＢ１）。
劣化推定部３２０は、受付部３１０から受け取った入力画像に関して、画像の劣化状態を示す劣化パラメタを推定する（ステップＢ２）。
パッチ生成部３３０は、受付部３１０から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する（ステップＢ３）。例えば、パッチ生成部３３０は、縦５個×横５個の計２５個の画素からなる領域を入力パッチのパッチ単位としても良い。この場合、パッチ生成部３３０は、入力画像に対し、隣接のパッチが１画素ずつずれた関係で入力パッチを生成しても良い。なお、パッチの領域の画素数や、隣接パッチとの関係はこれらに限定されない。例えば、パッチ生成部３３０は、隣接のパッチが３画素ずつずれた関係のパッチとして入力パッチを生成しても良い。なお、入力パッチとそれに隣接するパッチとのずれ画素の数が小さい（隣接のパッチとの重なりが大きくなる）ほど、復元画像を生成するための細かな合成処理が可能になる。
選択部３４０は、劣化類似値及び劣化パラメタ類似値に基づいて、入力パッチに類似し、なおかつ劣化度合いが類似する劣化パッチを探索し、探索した劣化パッチとペアになっている復元パッチを選択する（ステップＢ４）。例えば、選択部３４０は、入力パッチに対して前述のＳＳＤ又はＳＡＤの値が小さい値になり、なおかつ劣化パラメタが近い値を取る劣化パッチを辞書２００から探索し、探索した劣化パッチに対応する復元パッチを選択し出力するようにしても良い。
ステップＢ４は、入力画像から生成された入力パッチについて繰り返し実行される。
なお、ステップＢ４では、入力パッチに類似し、なおかつ劣化度合いが類似する一枚の劣化パッチを探索することとしたが、ステップＢ４の動作はこの動作に限定されない。例えば、選択部３４０は、劣化類似値と劣化パラメタ類似値を考慮して適切と考えられる複数の復元パッチを合成して、新たに復元パッチを生成しても良い。なお、「画像（パッチ）を合成する」処理は、具体的には、「合成の対象となる画像（パッチ）の画素値の平均をとる」処理でも良い。
次に、合成部３５０は、選択部３４０が出力した複数の復元パッチを合成して、復元画像を生成する（ステップＢ５）。ここで、「合成」とは、上述のように画素値の平均を取る処理でも良い。具体的には、「合成」とは、復元パッチを、それぞれ対応する入力パッチの位置と相対的に同じ位置に置いたときに、重なり領域について、重なる復元パッチの、画素値の平均を取る処理でも良い。
以上が画像処理装置３００の動作の説明である。以上説明したように、第１実施形態に係る画像処理システム１０００によれば、個々の劣化に対応した、柔軟な復元パッチの選択が可能となる。
その理由は、学習装置１００がパッチペアと併せて劣化パラメタを格納した辞書２００を作成するからである。また、画像処理装置３００がパッチの類似度のみならず、パッチの劣化パラメタの類似度も考慮して、より適切な復元パッチを選択するからである。
＜第２実施形態＞
図１２及び図１３を参照して本発明の第２実施形態について説明する。本発明の第２実施形態は、第１実施形態に比較して、画像処理装置３００が画像処理装置４００である点で異なる。
図１２は、本発明の第２実施形態に係る画像処理装置４００の構成を示すブロック図である。図１２に示すように、画像処理装置４００は、図８に示した画像処理装置３００と比較して、選択部３４０に代えて選択部４１０を含む。
選択部４１０は、選択部３４０と同様、辞書２００に格納されるパッチペアのデータの中から、劣化類似値及び劣化パラメタ類似値に基づいて、複数の入力パッチ毎に復元パッチを選択する。この時、選択部４１０は、劣化パラメタ類似値を、劣化パラメタ毎に設定された重みを有する値によって算出する。言い換えると、選択部４１０は、劣化パラメタ毎に重み付けを行って、劣化パラメタ類似値を算出する。
例えば、劣化パラメタは、倍率、明度、ボケ強度及び姿勢の傾きをそれぞれ示す値を含むとする。この場合、一般的に、ボケ強度及び姿勢の傾きに比較して、倍率及び明度の方が、値の算出が容易であり、劣化パラメタとしての信頼性が高い。そのため、選択部４１０は、復元パッチの選択の際、ボケ強度及び姿勢の傾きに比較して、倍率及び明度の値が与える影響が大きくなるように、倍率及び明度の劣化パラメタに高く重み付けを行っても良い。
又は、選択部４１０は、ユーザによる劣化パラメタ毎の重みの設定の入力を受け付けても良い。この場合、選択部４１０は、劣化類似値と、ユーザが設定した重みを有する劣化パラメタにより算出される劣化パラメタ類似値に基づいて、復元パッチを選択する。
なお、上述したように、各パッチの劣化パラメタは、倍率や明度など複数の劣化パラメタをベクトルとして持つパラメタ群として構成されていて、劣化パラメタ類似値は、まず、パッチ間の各劣化パラメタの差の絶対値を算出し、次に、それらの各値を、値が一定値以上である場合に非零となる関数に代入し、最後に劣化パラメタ毎に算出した関数値を劣化パラメタ毎の重みを付けて合計した値に基づくものでも良い。又は、パッチ間の各劣化パラメタのＳＳＤに基づく値でも良い。又は、劣化パラメタ類似値は、パッチ間の各劣化パラメタのＳＡＤに基づく値でも良い。他に、例えば、劣化パラメタ類似値は、２つの劣化パラメタを表すベクトル間の角度でも良い。又は、劣化パラメタ類似値は、正規化相互相関関数により算出される値でも良く、これらに限定されない。
図１３は、画像処理装置４００の動作を示すフローチャートである。図１３に示すように、画像処理装置４００の動作は、画像処理装置３００の動作と比較して、ステップＢ４がステップＢ６である点で異なる。
ステップＢ６において、選択部４１０は、劣化パラメタ類似度を、劣化パラメタ毎に設定された重みを有する値によって算出し、当該重み付きの劣化パラメタによって算出された劣化パラメタ類似値と、劣化類似値に基づいて復元パッチを選択する。
以上説明したように、第２実施形態に係る画像処理装置４００によれば、考慮するべき劣化パラメタとそうでない劣化パラメタとに差を設け、個々の劣化に対応した、柔軟な復元パッチの選択が可能となる。
その理由は、選択部４１０が、劣化パラメタ毎の重みを考慮して復元パッチを選択するからである。すなわち、選択部４１０は、劣化推定部３２０が推定した劣化の確実性が高いほど、より近い劣化過程で生成されたパッチペアを探索し、復元パッチを選択するからである。又は、選択部４１０は、ユーザによる劣化パラメタ毎の重みの設定の入力を受け付けるからである。
＜第３実施形態＞  次に図１４及び図１５を参照して、本発明の第３実施形態に係る学習装置５００の機能構成を説明する。
図１４は、第３実施形態に係る学習装置５００の構成を示すブロック図である。図１４に示すように、学習装置５００は、劣化画像生成部５１０と、パッチペア生成部５２０と、登録部５３０とを含む。学習装置５００は、学習フェーズを実行して、辞書６００を作成する。なお、劣化画像生成部５１０と、パッチペア生成部５２０と及び登録部５３０は、第１実施形態に係る学習装置１００における、劣化画像生成部１２０と、パッチペア生成部１３０と及び登録部１４０と同様の構成でも良い。また、辞書６００は、辞書２００と同様の構成でも良い。
劣化画像生成部５１０は、劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力する。
パッチペア生成部５２０は、学習画像のパッチである復元パッチと、劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成する。登録部５３０は、パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書６００に登録する。
図１５は、第３実施形態に係る学習装置５００の動作を示すフローチャートである。図１５に示すように、劣化画像生成部５１０は、劣化処理前の画像である学習画像に劣化処理を施して生成した劣化画像を、当該劣化画像の劣化状態を示す劣化パラメタと併せて出力する（ステップＣ１）。
パッチペア生成部５２０は、学習画像のパッチである復元パッチと、劣化画像のパッチである劣化パッチとを、対応する位置におけるペアであるパッチペアとして生成する（ステップＣ２）。
登録部５３０は、パッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメタとを対応付けて辞書６００に登録する（ステップＣ３）。
以上説明したように、第３実施形態に係る学習装置５００によれば、個々の劣化に対応した、柔軟な復元パッチの選択が可能となる辞書６００を作成できる。
＜第４実施形態＞
次に図１６及び図１７を参照して、本発明の第４実施形態に係る画像処理装置７００の機能構成を説明する。
図１６は、第４実施形態に係る画像処理装置７００の構成を示すブロック図である。図１６に示すように、画像処理装置７００は、劣化推定部７１０と、パッチ生成部７２０と、選択部７３０と、合成部７４０とを含む。画像処理装置７００は、辞書８００を利用して、復元フェーズを実行する。なお、劣化推定部７１０、パッチ生成部７２０、選択部７３０及び合成部７４０は、第１実施形態に係る画像処理装置３００における、劣化推定部３２０、パッチ生成部３３０、選択部３４０及び合成部３５０と同様の構成でも良い。また、辞書８００は、辞書２００と同様の構成でも良い。
辞書８００は、劣化処理前の画像である学習画像である学習画像から生成した劣化画像のパッチである劣化パッチ、当該学習画像のパッチである復元パッチ及び当該劣化パッチの劣化パラメタを対応付けた、二以上の組のデータを格納する。
劣化推定部７１０は、外部から受け付けた画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定する。
パッチ生成部７２０は、入力画像を分割して複数の入力パッチを生成する。
選択部７３０は、辞書８００を参照して、入力パッチと辞書８００中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択する。
なお、上述したように、入力パッチと劣化パッチとの劣化パラメタの類似度を示す値は、パッチ間の各劣化パラメタのＳＳＤ、ＳＡＤ、ベクトル間の角度、正規化相互相関関数により算出される値等でも良く、また、これらに限定されない。
合成部７４０は、選択した入力パッチ毎の復元パッチを合成して復元画像を生成する。
図１７は、第４実施形態に係る画像処理装置７００の動作を示すフローチャートである。図１７に示すように、劣化推定部７１０は、外部から受け付けた画像である入力画像に関して、劣化状態を示す劣化パラメタの値を推定する（ステップＤ１）。
パッチ生成部７２０は、入力画像を分割して複数の入力パッチを生成する（ステップＤ２）。
選択部７３０は、劣化処理前の画像である学習画像から生成した劣化画像のパッチである劣化パッチ、当該学習画像のパッチである復元パッチ及び当該劣化パッチの劣化パラメタを対応付けた、二以上の組のデータを格納する辞書８００を参照して、入力パッチと辞書８００中の劣化パッチとの、特徴の類似度を示す値及び劣化パラメタの類似度を示す値に基づいて、入力パッチ毎に復元パッチを選択する（ステップＤ３）。
合成部７４０は、選択した入力パッチ毎の復元パッチを合成して復元画像を生成する（ステップＤ４）。
以上説明したように、第４実施形態に係る画像処理装置７００によれば、個々の劣化に対応した柔軟な復元パッチの選択が可能となる。
以上、各実施形態を参照して本発明を説明したが、本発明は以上の実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
次に、本発明に係る画像処理装置３００のハードウェア単位の構成要素について説明する。
図１８は、第１実施形態における画像処理装置３００とその周辺装置のハードウェア構成を示す図である。
ここでは画像処理装置３００を例に説明するが、学習装置１００及び５００並びに画像処理装置４００及び７００も、図１８に示すハードウェア構成により実現されても良い。
図１８に示されるように、画像処理装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１、記憶部２、記憶装置３及び通信部４を含む。また、画像処理装置３００は、入力部５及び出力部６に接続される。
ＣＰＵ１は、オペレーティングシステム（不図示）を動作させて、画像処理装置３００の全体の動作を制御する。また、ＣＰＵ１は、例えば記憶装置３に装着された不揮発性の記録媒体（不図示）から、プログラム（例えば、図１１に示すフローチャートの動作をコンピュータに実行させるプログラム）やデータを読み込み、読み込んだプログラムやデータを記憶部２に書き込む。そして、ＣＰＵ１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図８に示す受付部３１０、劣化推定部３２０、パッチ生成部３３０、選択部３４０及び合成部３５０として各種の処理を実行する。
尚、ＣＰＵ１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部２にプログラムやデータをダウンロードするようにしても良い。
記憶部２は、プログラムやデータを記憶する。
記憶装置３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、不揮発性の記憶媒体を含む。記憶装置３は、プログラムをコンピュータ読み取り可能に記録する。また、記憶装置３は、データをコンピュータ読み取り可能に記録しても良い。
通信部４は、ネットワークと画像処理装置３００とのインタフェースを実現する。画像処理装置３００は、例えば通信部４を介して辞書２００と接続されても良い。
入力部５は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部５は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネル、加速度計、ジャイロセンサ、カメラなどでも良い。
出力部６は、例えばディスプレイで実現され、出力を確認するために用いられる。
以上が、画像処理装置３００のハードウェア単位の各構成要素についての説明である。
以上説明したように、図８に示す機能単位のブロックは、図１８に示すハードウェア構成によって実現される。但し、画像処理装置３００が備える各部の実現手段は、上記に限定されない。すなわち、画像処理装置３００は、物理的に結合した１つの装置により実現されても良いし、物理的に分離した２つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されても良い。
また、前述のプログラムを記録した記録媒体（又は記憶媒体）が画像処理装置３００に供給され、画像処理装置３００は、記録媒体に格納されたプログラムを読み込み、実行しても良い。すなわち、本発明の実施形態は、画像処理装置３００が実行するプログラムを、一時的に又は非一時的に、記憶する記録媒体の実施形態を含む。
本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
この出願は、２０１１年１２月１２日に出願された日本出願特願２０１１−２７１５３１を基礎とする優先権を主張し、その開示の全てをここに取込む。
【符号の説明】
【０００８】
１    ＣＰＵ
２    記憶部
３    記憶装置
４    通信部
５    入力部
６    出力部
１０  学習画像
２０  劣化画像
３０  入力画像
３２  劣化パラメタ
４０  復元画像
５０  パッチ
５１  画素群
５２  画素
１００、５００  学習装置
１１０  受付部
１２０、５１０  劣化画像生成部
１３０、５２０  パッチペア生成部
１４０、５３０  登録部
２００、６００、８００  辞書
２０１  復元パッチ
２０２  劣化パッチ
２０３  パッチペア
２０４  劣化パラメタ
３００、４００、７００  画像処理装置
３１０  受付部
３２０、７１０  劣化推定部
３３０、７２０  パッチ生成部
３４０、４１０、７３０  選択部
３５０、７４０  合成部
１０００  画像処理システム
Ｘ    画像
Ｙ    パッチ
Ｚ    画素
【図１】
2013089265.tif 000003
【図２】
2013089265.tif 000004
【図３】
2013089265.tif 000005
【図４】
2013089265.tif 000006
【図５】
2013089265.tif 000007
【図６】
2013089265.tif 000008
【図７】
2013089265.tif 000009
【図８】
2013089265.tif 000010
【図９】
2013089265.tif 000011
【図１０】
2013089265.tif 000012
【図１１】
2013089265.tif 000013
【図１２】
2013089265.tif 000014
【図１３】
2013089265.tif 000015
【図１４】
2013089265.tif 000016
【図１５】
2013089265.tif 000017
【図１６】
2013089265.tif 000018
【図１７】
2013089265.tif 000019
【図１８】
2013089265.tif 000020
【国際調査報告】
2013089265.tif 000021
2013089265.tif 000022