(57)【要約】  辞書の作成工数を削減し、学習画像を有効に利用し、入力画像に適した画像処理ができる画像処理装置及び画像処理方法を提供する。  本発明の画像処理装置は、入力画像を基に比較に用いる入力パッチを生成するパッチ生成手段と、入力画像を基に劣化変形で用いるパラメータを推定する変形パラメータ推定手段と、パラメータを用いて学習画像を基に劣化画像を生成する劣化画像生成手段と、劣化画像と学習画像を基に復元画像の合成に用いるパッチペアを生成するパッチペア生成手段と、入力パッチを基に復元画像の合成に用いるパッチペアを選択する選択手段と、選択手段が選択したパッチペアを基に復元画像を合成する合成手段とを含む。
2014073198.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を基に比較に用いる入力パッチを生成するパッチ生成手段と、
入力画像を基に劣化変形で用いるパラメータを推定する変形パラメータ推定手段と、
前記パラメータを用いて学習画像を基に劣化画像を生成する劣化画像生成手段と、
前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成するパッチペア生成手段と、
前記入力パッチを基に復元画像の合成に用いるパッチペアを選択する選択手段と、
前記選択手段が選択したパッチペアを基に復元画像を合成する合成手段と
を含む画像処理装置。
【請求項２】
前記選択部が選択したパッチペアを評価する評価手段を更に含み、
前記変形パラメータ推定手段は、前記評価の結果を基に前記パラメータを推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価手段が、
前記合成手段の結果を評価する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記評価手段の評価を
所定回数又は評価結果が所定の範囲に入るまで繰り返す
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記変形パラメータ推定手段が、
入力画像の周囲の色、影、画像に含まれる物の少なくとも１つを考慮したパラメータを推定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
入力画像を基に比較に用いる入力パッチを生成し、
入力画像を基に劣化変形で用いるパラメータを推定し、
前記パラメータを用いて学習画像を基に劣化画像を生成し、
前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成し、
前記入力パッチを基に復元画像の合成に用いるパッチペアを選択し、
前記選択手段が選択したパッチペアを基に復元画像を合成する
画像処理方法。
【請求項７】
前記選択したパッチペアを評価し、
前記評価の結果を基に前記パラメータを推定する
ことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記評価において、
前記合成の結果を評価する
ことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記評価を所定回数又は評価結果が所定の範囲に入るまで繰り返す
ことを特徴とする請求項７又は８に記載の画像処理方法。
【請求項１０】
前記パラメータの推定において、
入力画像の周囲の色、影、画像に含まれる物の少なくとも１つを考慮したパラメータを推定する
ことを特徴とする請求項６乃至９のいずれか１項に記載の画像処理方法。
【請求項１１】
入力画像を基に比較に用いる入力パッチを生成する処理と、
入力画像を基に劣化変形で用いるパラメータを推定する処理と、
前記パラメータを用いて学習画像を基に劣化画像を生成する処理と、
前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成する処理と、
前記入力パッチを基に復元画像の合成に用いるパッチペアを選択する処理と、
前記選択手段が選択したパッチペアを基に復元画像を合成する処理と
をコンピュータに実行させるプログラム。
【請求項１２】
前記選択したパッチペアを評価する処理と、
前記評価の結果を基に前記パラメータを推定する処理と
をコンピュータに実行させることを特徴とする請求項１１に記載のプログラム。
【請求項１３】
前記評価の処理において、
前記合成の結果を評価する処理
をコンピュータに実行させることを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記評価の処理を所定回数又は評価結果が所定の範囲に入るまで繰り返す
ことを特徴とする請求項１２又は１３に記載のプログラム。
【請求項１５】
前記パラメータの推定の処理において、
入力画像の周囲の色、影、画像に含まれる物の少なくとも１つを考慮したパラメータを推定する処理をコンピュータに実行させる
ことを特徴とする請求項１１乃至１４のいずれか１項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、画像の解像度を高める画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルの画像データが広く用いられるのに伴い、画像データを処理する技術が、広く用いられている。【０００３】
例えば、画像データを用いる画像処理装置は、必要に応じて、画像データの解像度を変更する（例えば、特許文献１参照）。【０００４】
一方、複数の撮影装置と画像を処理する画像処理装置を用いた遠隔監視システムが、広く採用されている。【０００５】
このような遠隔監視システムにおいて、撮影された画像データは、撮影装置の性能や外部要因のため、必要な解像度より低い解像度となる場合がある。【０００６】
超解像技術は、このような画像データの解像度を処理する技術の１つであり、特に、画像データの解像度を高める技術である。【０００７】
超解像技術は、次のような技術がある。【０００８】
１つ目の超解像技術は、複数枚超解像技術である。複数枚超解像技術は、動画又は連写の複数の画像データ（複数フレーム）を用いて、１枚の高解像度画像データを生成する技術である（例えば、特許文献２参照）。このように、複数枚超解像技術は、高解像度を実現するために複数枚の画像データが必要である。そのため、複数枚超解像技術は、１枚の画像データから高解像画像データを生成できない。【０００９】
２つ目の超解像技術は、学習型超解像技術である。学習型超解像技術は、予め、学習を基に辞書を作成し、その辞書を用いて１枚の画像データの解像度を高める技術である（例えば、特許文献３参照）。学習型超解像技術は、辞書を用いるため、複数枚超解像技術より解像度が高い超解像を実現できる。【００１０】
学習型超解像技術を用いる画像処理装置について、図面を参照して、更に説明する。【００１１】
学習型超解像技術を用いる画像処理装置は、一般的に、学習フェーズと超解像フェーズとを含む。【００１２】
図７は、学習型超解像技術を用いる画像処理装置９１０を含む画像処理システム９００の構成の一例を示すブロック図である。【００１３】
画像処理システム９００は、画像処理装置９１０と、学習装置９２０と、辞書９３０とを含む。【００１４】
学習装置９２０は、学習画像５１を用いて、辞書９３０に保持するデータ（辞書データ）を作成する。つまり、学習装置９２０は、学習フェーズを処理する。【００１５】
図８及び図９を参照して、学習装置９２０及び学習フェーズについて説明する。【００１６】
図８は、学習装置９２０の構成の一例を示すブロック図である。【００１７】
図９は、学習フェーズを説明するための図である。【００１８】
学習装置９２０は、受信部９２１と、劣化画像生成部９２２と、パッチペア生成部９２３と、登録部９２４とを含む。【００１９】
受信部９２１は、学習のための高解像画像（学習画像５１）を受け取り、学習画像５１を劣化画像生成部９２２とパッチペア生成部９２３とに送る。【００２０】
劣化画像生成部９２２は、学習画像５１を基に、解像度を落とした低解像画像（劣化画像５２）を生成する。劣化画像生成部９２２は、図９に示すように、複数の劣化画像５２を生成しても良い。劣化画像生成部９２２は、劣化画像５２をパッチペア生成部９２３に送る。【００２１】
パッチペア生成部９２３は、学習画像５１から、所定に範囲の画像（高解像パッチ５１１）を切り出す。そして、パッチペア生成部９２３は、劣化画像５２から、切り出した高解像パッチ５１１に対応する画像（低解像パッチ５２１）を、切り出す。パッチペア生成部９２３は、高解像パッチ５１１と低解像パッチ５２１とを組み合わせたパッチペア５３１を生成する。パッチペア生成部９２３は、登録部９２４に、パッチペア５３１を送る。【００２２】
登録部９２４は、辞書９３０に、パッチペア５３１を保存する。【００２３】
図７を参照した説明に戻る。【００２４】
辞書９３０は、既に説明したとおり、パッチペア５３１を保存する。【００２５】
画像処理装置９１０は、辞書９３０のパッチペア５３１を用いて、入力画像５４を高解像化した復元画像５５を合成する。つまり、画像処理装置９１０は、超解像フェーズを処理する。【００２６】
図１０及び図１１を参照して、画像処理装置９１０及び超解像フェーズを説明する。【００２７】
図１０は、画像処理装置９１０の構成の一例を示すブロック図である。【００２８】
図１１は、超解像フェーズを説明するための図である。【００２９】
画像処理装置９１０は、パッチ生成部９１１と、選択部９１２と、合成部９１３とを含む。【００３０】
パッチ生成部９１１は、入力画像５４を受け取る。そして、パッチ生成部９１１は、入力画像５４を基に、パッチペア５３１の低解像パッチ５２１と比較するためのパッチ（入力パッチ５４１）を生成する。パッチ生成部９１１は、選択部９１２に、生成した入力パッチ５４１を送る。【００３１】
選択部９１２は、入力パッチ５４１を基に、辞書９３０のパッチペア５３１を選択する。より具体的には、選択部９１２は、例えば、次に説明の様に動作する。選択部９１２は、入力パッチ５４１と、パッチペア５３１の全ての低解像パッチ５２１との類似度を算出する。そして、選択部９１２は、最も類似する低解像パッチ５２１を含むパッチペア５３１を、選択する。選択されたパッチペア５３１の高解像パッチ５１１は、合成に用いるパッチ（復元パッチ５５１）となる。【００３２】
選択部９１２は、全ての入力パッチ５４１に対応するパッチペア５３１を選択し、合成部９１３に選択したパッチペア５３１を通知する。【００３３】
合成部９１３は、通知されたパッチペア５３１の高解像パッチ５１１を復元パッチ５５１として用いて、復元画像５５を合成する。
【先行技術文献】
【特許文献】
【００３４】
【特許文献１】特開２０１１−０８１４７６
【特許文献２】特開２００９−１８１５０８
【特許文献３】特開２０１１−１７０４５６
【発明の概要】
【発明が解決しようとする課題】
【００３５】
上記の画像処理システム９００は、学習フェーズにおいて、低解像パッチ５２１と高解像パッチ５１１とを含むパッチペア５３１を生成し、辞書９３０にパッチペア５３１を保存する。【００３６】
ただし、入力画像５４が低解像となる要因は、１つではなく、複数である。さらに、複数の要因が、組み合わさって発生する場合がある。さらに、各要因の組み合わせにおける影響の程度は、異なる場合がある。そのため、画像処理システム９００は、多くの場合を想定した劣化画像５２を作成し、辞書９３０にそれらを保存する必要がある。【００３７】
つまり、上記の画像処理システム９００は、辞書９３０に大きな容量を必要とし、辞書９３０の作成に大きな工数を必要とする問題点があった。【００３８】
そこで、特許文献３に記載の技術は、辞書の容量を減らすため、高解像パッチ５１１を保存せず、低解像パッチ５２１に所定の補間フィルタリングを施し、代表画像を選出して保存する。そして、特許文献３に記載の技術は、代表画像の補間（補間フィルタリング）を用いて、高解像画像を合成する。【００３９】
このように、特許文献３に記載の技術は、辞書の容量を減らし、補間フィルタリングに適用する復元画像５５を合成できる。【００４０】
ただし、低解像画像５２では類似度が高いが、相互には類似度が低い学習画像５１がある。このような場合、本発明に関連する画像処理システム９００は、学習画像５１又は学習画像５１の情報を含むパッチペア５３１を用いて、適切な復元画像５５を合成できる。【００４１】
しかし、特許文献３に記載の技術は、代表画像に含まれなかった低解像画像５２に対応する学習画像５１についての情報を保存しない。つまり、特許文献３に記載の技術は、学習画像５１を有効に利用できないという問題点があった。【００４２】
また、入力画像５４は、劣化状態が変化する。そのため、入力画像５４に適する画像処理は、一定とは限らず、また、予め想定できない。【００４３】
しかし、上記の特許文献３に記載の技術は、代表画像を作成するときに補間フィルタリングのパラメータを設定する。そのため、特許文献３に記載の技術は、入力画像５４に適した処理ができないという問題点があった。【００４４】
本発明の目的は、上記問題点を解決し、辞書の作成工数を削減し、学習画像５１を有効に利用し、入力画像５４に適した画像処理を実現できる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００４５】
本発明の画像処理装置は、入力画像を基に比較に用いる入力パッチを生成するパッチ生成手段と、入力画像を基に劣化変形で用いるパラメータを推定する変形パラメータ推定手段と、前記パラメータを用いて学習画像を基に劣化画像を生成する劣化画像生成手段と、前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成するパッチペア生成手段と、前記入力パッチを基に復元画像の合成に用いるパッチペアを選択する選択手段と、前記選択手段が選択したパッチペアを基に復元画像を合成する合成手段とを含む。【００４６】
本発明の画像処理方法は、入力画像を基に比較に用いる入力パッチを生成し、入力画像を基に劣化変形で用いるパラメータを推定し、前記パラメータを用いて学習画像を基に劣化画像を生成し、前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成し、前記入力パッチを基に復元画像の合成に用いるパッチペアを選択し、前記選択手段が選択したパッチペアを基に復元画像を合成する。【００４７】
本発明のプログラムは、入力画像を基に比較に用いる入力パッチを生成する処理と、入力画像を基に劣化変形で用いるパラメータを推定する処理と、前記パラメータを用いて学習画像を基に劣化画像を生成する処理と、前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成する処理と、前記入力パッチを基に復元画像の合成に用いるパッチペアを選択する処理と、前記選択手段が選択したパッチペアを基に復元画像を合成する処理とをコンピュータに実行させる。
【発明の効果】
【００４８】
本発明によれば、辞書作成の工数を削減し、学習画像を有効に利用し、入力画像に適した画像処理ができる。
【図面の簡単な説明】
【００４９】
【図１】図１は、本発明における第１の実施形態に係る画像処理装置を含む画像処理システムの一例を示すブロック図である。
【図２】図２は、図１に示す画像処理システムに含まれる学習装置の構成の一例を示すブロック図である。
【図３】図３は、第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図４】図４は、第１の実施形態に係る画像処理装置の動作を説明するための図である。
【図５】図５は、第１の実施形態に係る画像処理装置の別の構成の一例を示すブロック図である。
【図６】図６は、第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図７】図７は、一般的な画像処理システムの構成の一例を示すブロック図である。
【図８】図８は、一般的な学習装置の構成の一例を示すブロック図である。
【図９】図９は、学習フェーズを説明するための図である。
【図１０】図１０は、一般的な画像処理装置の構成の一例を示すブロック図である。
【図１１】図１１は、超解像フェーズを説明するための図である。
【発明を実施するための形態】
【００５０】
次に、本発明の実施形態について図面を参照して説明する。
【００５１】
なお、各図面は、本発明の実施形態を説明するものである。そのため、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。
【００５２】
（第１の実施形態）
図１は、本発明における第１の実施形態に係る画像処理装置１０を含む画像処理システム４０の構成の一例を示す、ブロック図である。
【００５３】
画像処理システム４０は、画像処理装置１０と、学習装置２０と、辞書３０とを含む。
【００５４】
本実施形態の画像処理装置１０は、辞書３０を用いて、入力画像５４に対応する復元画像５５を合成する。
【００５５】
ただし、後ほど更に詳細に説明するとおり、画像処理装置１０は、辞書３０のデータとして、パッチペア５３１ではなく、学習画像５１を使用する。
【００５６】
そのため、画像処理システム４０は、学習装置２０を含まなくても良い。この場合、画像処理システム４０は、予め、図示しない装置から学習画像５１を受け取り、それを辞書３０に保存すればよい。
【００５７】
ただし、画像処理システム４０は、学習画像５１に所定の事前処理を実施してから、学習画像５１を辞書３０に保存しても良い。ここで、事前処理は、特に制限はない。例えば、事前処理は、学習画像５１における不要な部分の削除、又は、画像フォーマットや形状の正規化でも良い。あるいは、事前処理は、画像処理装置１０で処理しない画像の劣化処理でも良い。
【００５８】
そのため、学習装置２０は、学習画像５１の事前処理を実施し、実施済みの学習画像５１を辞書３０に保存する。
【００５９】
図２は、学習装置２０の構成の一例を示すブロック図である。
【００６０】
学習装置２０は、受信部２１０と、画像加工部２２０と、登録部２３０とを含む。
【００６１】
受信部２１０は、図示しない装置から学習画像５１を受信する。受信部２１０は、画像加工部２２０に、学習画像５１を送る。
【００６２】
画像加工部２２０は、学習画像５１に、所定の事前処理（加工）を実施する。画像加工部２２０は、加工後の学習画像５１を、登録部２３０に、送る。
【００６３】
登録部２３０は、加工後の学習画像５１を、辞書３０に、登録する。
【００６４】
なお、学習装置２０は、全ての学習画像５１について、同じ加工を実施する必要はない。例えば、学習装置２０は、所定の範囲の学習画像５１を加工し、他の学習画像５１を加工しなくても良い。また、学習装置２０は、複数の加工処理を切り換えても良い。
【００６５】
あるいは、図示しない画像処理システム４０の管理装置が、学習装置２０を経由して辞書３０に学習画像５１の一部を保存し、学習装置２０を経由しないで辞書３０に他の学習画像５１を保存しても良い。
【００６６】
以下、学習装置２０が加工した学習画像５１及び加工しない学習画像５１を合わせて学習画像５１と言う。
【００６７】
図１を参照した説明に戻る。
【００６８】
辞書３０は、画像処理装置１０が超解像フェーズで使用するデータを保存する。
【００６９】
既に説明したとおり、辞書３０は、パッチペア５３１ではなく、学習画像５１を受け取り、学習画像５１を保存する。つまり、画像処理装置１０が使用する辞書３０は、劣化処理に対応したパッチペア５３１を保存する必要がない。
【００７０】
このように、辞書３０を作成するときに、パッチペア５３１を作成する必要がないため、本実施形態の画像処理装置１０は、辞書３０の作成工数を削減できる。
【００７１】
さらに、パッチペア５３１を辞書３０に保存する必要がないため、本実施形態の画像処理装置１０は、一般的な学習型高解像の技術を用いられる辞書９３０に比べ、辞書３０に必要な容量を削減できる。
【００７２】
なお、学習画像５１は、プライバシーに関連する画像の場合もある。そのため、辞書３０は、学習画像５１を、暗号化してから保存しても良い。さらに、辞書３０は、容量を削減するため、学習画像５１を可逆圧縮してから保存しても良い。
【００７３】
なお、学習装置２０が、事前処理として、学習画像５１を暗号化又は可逆圧縮してもよい。
【００７４】
次に、図面を参照して本実施形態の画像処理装置１０について説明する。
【００７５】
図３は、画像処理装置１０の構成の一例を示すブロック図である。
【００７６】
図４は、画像処理装置１０の動作（超解像フェーズ）を説明するための図である。
【００７７】
画像処理装置１０は、学習画像５１を用いて、入力画像５４に対応する復元画像５５を合成する。
【００７８】
そのため、画像処理装置１０は、パッチ生成部１１０と、選択部１２０と、合成部１３０と、変形パラメータ推定部１４０と、劣化画像生成部１５０と、パッチペア生成部１６０とを含む。
【００７９】
パッチ生成部１１０は、入力画像５４を基に、処理単位であるパッチ（入力パッチ５４１）を生成する。パッチ生成部１１０は、選択部１２０に入力パッチ５４１を送る。
【００８０】
変形パラメータ推定部１４０は、入力画像５４を基に、劣化画像生成部１５０が用いる劣化処理（劣化変形）のパラメータを推定し、それを劣化画像生成部１５０に送る。
【００８１】
劣化画像生成部１５０は、受け取ったパラメータを用いて、辞書３０が保存している学習画像５１を基に、劣化画像５２を生成する。つまり、本実施形態の劣化画像生成部１５０は、入力画像５４に適した劣化画像５２を生成できる。
【００８２】
なお、劣化画像生成部１５０は、受け取ったパラメータをそのまま用いず、パラメータを変化させて用いても良い。例えば、劣化画像生成部１５０は、受け取ったパラメータを用いた劣化画像５２と、所定の範囲で変化させたパラメータを用いた劣化画像５２とを生成しても良い。なお、劣化画像生成部１５０は、複数の変化させたパラメータを用いて劣化画像５２を生成することが望ましい。
【００８３】
また、劣化画像生成部１５０の劣化処理（劣化変形）は、特に制限はない。劣化画像生成部１５０は、劣化処理として、ぼけ、縮小、ずれ、明度変更、輝度変更、周波数成分除去又は姿勢変動（回転、傾き）を用いても良い。
【００８４】
例えば、劣化画像生成部１５０は、ニアレストネイバー法、バイリニア法又はバイキュービック法を使用しても良い。また、劣化画像生成部１５０は、学習画像５１の高周波成分を取り除いて（ボケ強度を強めて）、劣化画像５２を生成しても良い。また、劣化画像生成部１５０は、学習画像５１の姿勢を変化させて、劣化画像５２を生成しても良い。また、劣化画像生成部１５０は、学習画像５１の輝度値を減少させて（明度を低くし）、劣化画像５２を生成しても良い。また、劣化画像生成部１５０は、縮小として、学習画像５１のデータを一定間隔で取り出しても良い。（この縮小処理は、サブサンプリングとも言われる。）また、劣化画像生成部１５０は、ずれ（特に微小なずれ）として、学習画像５１からデータを取り出す位置を変更して、劣化画像５２を生成しても良い。
【００８５】
なお、劣化画像生成部１５０は、複数の劣化処理を用いて、複数の劣化画像５２を生成することが望ましい。この場合、劣化画像生成部１５０は、複数の劣化変形のパラメータとして、共通のパラメータを受け取っても良く、各劣化変形のためのパラメータを受け取っても良い。
【００８６】
また、劣化画像生成部１５０は、一般的な画像処理の仕組みを利用しても良い。例えば、画像処理用として、多くのＧＰＵ（Graphics Processing Unit）が、開発されている。ＧＰＵは、並列処理を用いて画像処理を高速に実施する。そのため、劣化画像生成部１５０は、劣化画像５２の生成にＧＰＵを用いて、劣化画像５２の生成の処理時間を削減できる。
【００８７】
また、劣化画像生成部１５０は、劣化画像５２を生成するときに使用する劣化変形を、１つに限る必要はない。劣化画像生成部１５０は、複数の劣化変形を用いて、劣化画像５２を作成しても良い。
【００８８】
劣化画像生成部１５０は、パッチペア生成部１６０に、劣化画像５２を送る。
【００８９】
なお、変形パラメータ推定部１４０から劣化画像生成部１５０におくるデータは、劣化変形のためのパラメータに限る必要はない。
【００９０】
例えば、変形パラメータ推定部１４０は、入力画像５４を基に適正な劣化変形を推定し、劣化画像生成部１５０に劣化画像生成部１５０で実施する劣化変形についての情報を通知しても良い。
【００９１】
あるいは、例えば、変形パラメータ推定部１４０は、入力画像５４に含まれる影の影響の状態を解析し、劣化画像生成部１５０に影の影響を受けにくい劣化変形の情報を通知しても良い。この場合、劣化画像生成部１５０は、影の影響を受けにくい劣化変形を用いて、劣化画像５２を生成すればよい。
【００９２】
あるいは、変形パラメータ推定部１４０は、入力画像５４に写り込まれている物の特性を解析し、劣化画像生成部１５０に解析した物の情報を通知しても良い。この場合、劣化画像生成部１５０は、物に対応した劣化変形を用いて、劣化画像５２を生成すればよい。
【００９３】
例えば、横書きの文章が多い場合、劣化画像生成部１５０は、横方向の関係を保存する劣化変形を用いても良い。また、縦書きの文章が多い場合、劣化画像生成部１５０は、縦方向の関係を保存する劣化変形を用いても良い。
【００９４】
あるいは、変形パラメータ推定部１４０は、目的とする被写体以外の物体を判別して、その判別を基にパラメータを推定しても良い。
【００９５】
以下、実施する劣化変形を含めてパラメータと言う。
【００９６】
なお、入力画像５４は、独立した画像に限る必要はない。例えば、入力画像５４は、大きな画像の一部でも良い。そのような場合、入力画像５４は、少なくとも周囲の一部に、別の物体の画像がある。劣化画像生成部１５０が、周囲に別の画像がある入力画像５４を用いて劣化画像５２を生成すると、入力画像５４の周囲の画像の色が、劣化画像５２の内側ににじみ出る場合がある。そのため、変形パラメータ推定部１４０は、パラメータとして、入力画像５４の周囲の色を通知しても良い。劣化画像生成部１５０は、学習画像５１を基に劣化画像５２を作成するときに、受け取った周囲の色を適用した劣化画像５２を生成する。
【００９７】
パッチペア生成部１６０は、学習画像５１の高解像パッチ５１１と、学習画像５１に対応する劣化画像５２の低解像パッチ５２１との組み合わせを含むパッチペア５３１を生成する。パッチペア生成部１６０は、学習画像５１の全ての高解像パッチ５１１に対して、パッチペア５３１を生成する。また、パッチペア生成部１６０は、学習画像５１に対応する全ての劣化画像５２の低解像パッチ５２１に対して、パッチペア５３１を生成する。
【００９８】
なお、本実施形態のパッチペア生成部１６０は、全ての学習画像５１に対応するパッチペア５３１を作成すれば良い。ただし、パッチペア生成部１６０は、例えば、入力画像５４に関する情報を基に、パッチペア５３１を生成する学習画像５１を選別しても良い。
【００９９】
既に説明したとおり、劣化画像生成部１５０は、入力画像５４に適した劣化画像５２を生成する。そのため、本実施形態のパッチペア生成部１６０は、入力画像５４に適した低解像パッチ５２１を含むパッチペア５３１を生成できる。
【０１００】
パッチペア生成部１６０は、選択部１２０にパッチペア５３１を送る。
【０１０１】
選択部１２０は、パッチ生成部１１０からの入力パッチ５４１に対応するパッチペア５３１を選択する。パッチペア生成部１６０は、入力画像５４に適したパッチペア５３１を生成する。そのため、選択部１２０は、入力画像５４に適したパッチペア５３１を選択できる。
【０１０２】
なお、本実施形態の選択部１２０は、パッチペア５３１の選択に、特に制限はない。例えば、選択部１２０は、パッチ間の輝度の類似度を基に、パッチペア５３１を選択しても良い。輝度の類似度として、選択部１２０は、例えば、パッチの画素の輝度の差の二乗和又は画素の輝度差の絶対値の和を用いても良い。あるいは、選択部１２０は、パッチをベクトルデータとした場合のベクトル間の角度を基に、パッチペア５３１を選択しても良い。
【０１０３】
選択部１２０は、選択したパッチペア５３１を合成部１３０に送る。
【０１０４】
合成部１３０は、受け取ったパッチペア５３１を基に、復元画像５５を合成する。選択部１２０は、入力画像５４に適したパッチペア５３１を選択する。そのため、合成部１３０は、入力画像５４に適した復元画像５５を合成できる。
【０１０５】
なお、ここまでの説明において、画像処理装置１０の各構成は、作成したデータを、次の構成に送るとして説明した。しかし、本実実施形態の画像処理装置１０の構成は、これに限る必要はない。
【０１０６】
例えば、画像処理装置１０が、図示しない記憶部を含んでも良い。この場合、画像処理装置１０の各構成は、生成したデータを記憶部に保存しても良い。そして、画像処理装置１０の各構成は、記憶部から必要なデータを読み出しても良い。
【０１０７】
このように、本実施形態の画像処理装置１０は、辞書３０の作成の工数を削減し、学習画像５１を有効に利用し、入力画像５４に適した画像処理ができる。
【０１０８】
その理由は、次のとおりである。
【０１０９】
画像処理装置１０は、辞書３０のデータとして学習画像５１を保存し、超解像フェーズで使用する。
【０１１０】
辞書３０は、学習画像５１を保存すればよい。そのため、画像処理装置１０は、辞書３０に保存するデータを作成するための工数を削減できる。
【０１１１】
また、画像処理装置１０は、復元画像５５の合成において、学習画像５１を基に、劣化画像５２を生成する。そのため、画像処理装置１０は、学習画像５１を有効に利用できる。
【０１１２】
さらに、画像処理装置１０の変形パラメータ推定部１４０は、劣化画像生成部１５０に、入力画像５４に適した劣化変形を通知する。そのため、画像処理装置１０は、入力画像５４に適した復元画像５５を合成できる。
【０１１３】
＜変形例＞
画像処理装置１０の構成は、これまでの説明に限らない。
【０１１４】
例えば、画像処理装置１０は、辞書３０を含んでも良い。
【０１１５】
また、画像処理装置１０は、各構成を複数の構成に分けても良い。例えば、変形パラメータ推定部１４０は、各変形に対応する構成に分かれても良い。
【０１１６】
また、画像処理装置１０は、複数の構成を１つの構成としても良い。例えば、劣化画像生成部１５０とパッチペア生成部１６０は、学習画像５１からパッチペア５３１を生成する１つの構成としても良い。
【０１１７】
さらに、本実施形態の画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、ＩＯ（Input/Output unit）と、ＮＩＣ（Network Interface Circuit又はNetwork interface Card）とを含むコンピュータとして実現しても良い。
【０１１８】
図５は、本実施形態の別の構成である画像処理装置６０の構成の一例を示すブロック図である。
【０１１９】
画像処理装置６０は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯ６５０と、入力機器６６０と、表示機器６７０と、ＮＩＣ６８０とを含み、コンピュータを構成している。
【０１２０】
ＣＰＵ６１０は、ＲＯＭ６２０又は内部記憶装置６４０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、図３の画像処理装置１０のパッチ生成部１１０と、選択部１２０と、合成部１３０と、変形パラメータ推定部１４０と、劣化画像生成部１５０と、パッチペア生成部１６０としての各機能を実現する。ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０及び内部記憶装置６４０を一時記憶として使用する。また、ＣＰＵ６１０は、ＩＯ６５０を介して、入力機器６６０から入力データを受信し、表示機器６７０にデータを表示する。また、ＣＰＵ６１０は、プログラムをＲＡＭ６３０に保存し、ＲＡＭ６４０に保存したプログラムに基づいて動作しても良い。
【０１２１】
なお、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでも良い。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取っても良い。
【０１２２】
ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ(Programmable-ROM）やフラッシュＲＯＭである。このように、ＲＯＭ６２０は、非一時的な記憶装置である。
【０１２３】
ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラムやデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。このように、ＲＡＭ６３０は、一時的な記憶装置である。
【０１２４】
内部記憶装置６４０は、画像処理装置６０が長期的に保存するデータ又はプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作しても良い。また、内部記憶装置６４０は、劣化画像５２又はパッチペア５３１を保存しても良い。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。このように、内部記憶装置６４０は、非一時的な記憶装置である。
【０１２５】
なお、内部記憶装置６４０又はＲＡＭ６３０は、辞書３０として動作しても良い。
【０１２６】
ＩＯ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯ６５０は、例えば、ＩＯインターフェースカードである。
【０１２７】
入力機器６６０は、画像処理装置６０の操作者からの入力指示を受信する入力部である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。
【０１２８】
表示機器６７０は、画像処理装置６０の表示部である。表示機器６７０は、例えば、液晶ディスプレイである。
【０１２９】
ＮＩＣ６８０は、ネットワークを介した他の装置（例えば、図示しない入力画像５４を送信する装置）との情報のやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。
【０１３０】
このように構成された画像処理装置６０は、画像処理装置１０と同様の効果を得ることができる。
【０１３１】
その理由は、画像処理装置６０のＣＰＵ６１０が、プログラムに基づいて画像処理装置１０と同様の動作を実現できるためである。
【０１３２】
（第２の実施形態）
画像処理装置１０は、これまで説明した処理を繰り返しても良い。
【０１３３】
図６は、第２の実施形態の画像処理装置１１の構成の一例を示すブロック図である。
【０１３４】
画像処理装置１１は、画像処理装置１０の構成に加え、評価部１７０を含む。
【０１３５】
なお、画像処理装置１１は、評価部１７０に関係する構成と動作を除き、第１の実施形態の画像処理装置１０と同様のため、同様の構成及び動作の説明を省略する。
【０１３６】
また、本実施形態の画像処理装置１１は、図３に示す画像処理装置１０と同様に、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０とを含むコンピュータで実現されても良い。
【０１３７】
評価部１７０は、選択部１２０が選択したパッチペア５３１の適正の程度を評価し、評価結果として適正の程度を示す値（以下、「適応度」と言う）を算出する。
【０１３８】
なお、評価部１７０が評価に用いる手法は、特に制限はない。
【０１３９】
例えば、評価部１７０は、選択されたパッチペア５３１に含まれる高解像パッチ５１１（つまり復元パッチ５５１）と隣の復元パッチ５５１との重複部分の画素の一致の程度を評価し、適応度を算出しても良い。さらに、評価部１７０は、重複部分の一致の評価する復元パッチ５５１を、縦方向及び横方向に隣り合う復元パッチ５５１としても良く、縦方向又は横方向のどちらかの復元パッチ５５１としても良い。また、評価部１７０は、一致の程度の分布を評価し、適応度を算出しても良い。あるいは、評価部１７０は、選択されたパッチペア５３１の低解像パッチ５２１と入力パッチ５４１との類似度を評価して、適応度を算出しても良い。
【０１４０】
評価部１７０は、変形パラメータ推定部１４０に評価結果（適応度）を通知する。
【０１４１】
変形パラメータ推定部１４０は、評価部１７０の評価結果を基に、パラメータを変更し、劣化画像生成部１５０に変更したパラメータを送る。つまり、変形パラメータ推定部１４０は、選択されたパッチペア５３１を基に、パラメータを改善できる。
【０１４２】
劣化画像生成部１５０は、改善されたパラメータを基に、劣化画像５２を生成する。
【０１４３】
パッチペア生成部１６０は、改善された劣化画像５２を基に、パッチペア５３１を生成する。
【０１４４】
選択部１２０は、改善されたパッチペア５３１から、入力パッチ５４１に対応するパッチペア５３１を選択する。
【０１４５】
合成部１３０は、改善されたパッチペア５３１を基に、復元画像５５を合成する。そのため、合成部１３０は、復元画像５５を改善できる。
【０１４６】
このように、画像処理装置１１は、選択されたパッチペア５３１を基に、復元画像５５を改善できる。
【０１４７】
画像処理装置１１は、この処理を、１回に限る必要はない。画像処理装置１１は、この処理を、評価部１７０の評価が所定の範囲に収束するまで繰り返してもよい。また、画像処理装置１１は、この処理を、所定の回数、繰り返しても良い。
【０１４８】
変形パラメータ推定部１４０は、複数の評価結果を用いてパラメータを変更しても良い。
【０１４９】
また、画像処理装置１１は、改善の程度を制限してもよい。例えば、変形パラメータ推定部１４０は、パラメータの変更量を所定の範囲に限っても良い。変更量が大きい場合、変更に基づく改善効果が、収束しにくい場合がある。このような場合、画像処理装置１１は、変更量の範囲の限定を基に、改善処理の収束状態を改善できる。
【０１５０】
なお、評価部１７０は、選択部１２０の選択に加え、合成部１３０での合成処理の状況について評価しても良い。例えば、評価部１７０は、パッチペア５３１の高解像パッチ５１１と復元パッチ５５１との類似度を評価しても良い。
【０１５１】
この場合、画像処理装置１１は、パッチペア５３１に加え、復元画像５５の状態に基づいて、復元画像５５の合成を改善できる。
【０１５２】
このように、第２の実施形態の画像処理装置１１は、画像処理装置１１の効果に加え、更に適切な復元画像５５を合成できる効果を得ることができる。
【０１５３】
その理由は、次のとおりである。
【０１５４】
画像処理装置１１は、評価部１７０のパッチペア５３１の評価を基に、パッチペア５３１を改善する。その結果、画像処理装置１１は、復元画像５５を改善できるためである。
【０１５５】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１５６】
この出願は、２０１２年１１月６日に出願された日本出願特願２０１２−２４４１８７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０１５７】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１５８】
（付記１）  入力画像を基に比較に用いる入力パッチを生成するパッチ生成手段と、入力画像を基に劣化変形で用いるパラメータを推定する変形パラメータ推定手段と、前記パラメータを用いて学習画像を基に劣化画像を生成する劣化画像生成手段と、前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成するパッチペア生成手段と、前記入力パッチを基に復元画像の合成に用いるパッチペアを選択する選択手段と、前記選択手段が選択したパッチペアを基に復元画像を合成する合成手段とを含む画像処理装置。
【０１５９】
（付記２）  前記選択部が選択したパッチペアを評価する評価手段を更に含み、前記変形パラメータ推定手段は、前記評価の結果を基に前記パラメータを推定することを特徴とする付記１に記載の画像処理装置。
【０１６０】
（付記３）  前記評価手段が、前記合成手段の結果を評価することを特徴とする付記２に記載の画像処理装置。
【０１６１】
（付記４）  前記評価手段の評価を所定回数又は評価結果が所定の範囲に入るまで繰り返すことを特徴とする付記２又は３に記載の画像処理装置。
【０１６２】
（付記５）  前記変形パラメータ推定手段が、
入力画像の周囲の色、影、画像に含まれる物の少なくとも１つを考慮したパラメータを推定することを特徴とする付記１乃至４のいずれか１項に記載の画像処理装置。
【０１６３】
（付記６）  入力画像を基に比較に用いる入力パッチを生成し、入力画像を基に劣化変形で用いるパラメータを推定し、前記パラメータを用いて学習画像を基に劣化画像を生成し、前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成し、前記入力パッチを基に復元画像の合成に用いるパッチペアを選択し、前記選択手段が選択したパッチペアを基に復元画像を合成する画像処理方法。
【０１６４】
（付記７）  前記選択したパッチペアを評価し、前記評価の結果を基に前記パラメータを推定することを特徴とする付記６に記載の画像処理方法。
【０１６５】
（付記８）  前記評価において、前記合成の結果を評価することを特徴とする付記７に記載の画像処理方法。
【０１６６】
（付記９）  前記評価を所定回数又は評価結果が所定の範囲に入るまで繰り返すことを特徴とする付記７又は８に記載の画像処理方法。
【０１６７】
（付記１０）  前記パラメータの推定において、入力画像の周囲の色、影、画像に含まれる物の少なくとも１つを考慮したパラメータを推定することを特徴とする付記６乃至９のいずれか１項に記載の画像処理方法。
【０１６８】
（付記１１）  入力画像を基に比較に用いる入力パッチを生成する処理と、入力画像を基に劣化変形で用いるパラメータを推定する処理と、前記パラメータを用いて学習画像を基に劣化画像を生成する処理と、前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成する処理と、前記入力パッチを基に復元画像の合成に用いるパッチペアを選択する処理と、前記選択手段が選択したパッチペアを基に復元画像を合成する処理とをコンピュータに実行させるプログラム。
【０１６９】
（付記１２）  前記選択したパッチペアを評価する処理と、前記評価の結果を基に前記パラメータを推定する処理とをコンピュータに実行させることを特徴とする付記１１に記載のプログラム。
【０１７０】
（付記１３）  前記評価の処理において、前記合成の結果を評価する処理をコンピュータに実行させることを特徴とする付記１２に記載のプログラム。
【０１７１】
（付記１４）  前記評価の処理を所定回数又は評価結果が所定の範囲に入るまで繰り返すことを特徴とする付記１２又は１３に記載のプログラム。
【０１７２】
（付記１５）  前記パラメータの推定の処理において、入力画像の周囲の色、影、画像に含まれる物の少なくとも１つを考慮したパラメータを推定する処理をコンピュータに実行させることを特徴とする付記１１乃至１４のいずれか１項に記載のプログラム。
【０１７３】
（付記１６）
入力画像の劣化の程度に基づいて、予め記憶されている学習画像から劣化画像を生成する劣化画像生成手段と、
前記入力画像の一部分と類似する前記劣化画像の一部分に対応する学習画像の一部分を選択する選択手段と、
前記選択手段が選択した学習画像の一部分を基に復元画像を合成する合成手段と
を含む画像処理装置。
【０１７４】
（付記１７）
入力画像の劣化の程度に基づいて、予め記憶されている学習画像から劣化画像を生成し、
前記入力画像の一部分と類似する前記劣化画像の一部分に対応する学習画像の一部分を選択し、
前記選択した学習画像の一部分を基に復元画像を合成する
画像処理方法。
【０１７５】
（付記１８）
入力画像の劣化の程度に基づいて、予め記憶されている学習画像から劣化画像を生成する処理と、
前記入力画像の一部分と類似する前記劣化画像の一部分に対応する学習画像の一部分を選択する処理と、
前記選択した学習画像の一部分を基に復元画像を合成する処理と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１７６】
１０  画像処理装置
１１  画像処理装置
２０  学習装置
３０  辞書
４０  画像処理システム
５１  学習画像
５２  劣化画像
５４  入力画像
５５  復元画像
６０  画像処理装置
１１０  パッチ生成部
１２０  選択部
１３０  合成部
１４０  変形パラメータ推定部
１５０  劣化画像生成部
１６０  パッチペア生成部
１７０  評価部
２１０  受信部
２２０  画像加工部
２３０  登録部
５１１  高解像パッチ
５２１  低解像パッチ
５３１  パッチペア
５４１  入力パッチ
５５１  復元パッチ
６１０  ＣＰＵ
６２０  ＲＯＭ
６３０  ＲＡＭ
６４０  内部記憶装置
６５０  ＩＯ
６６０  入力機器
６７０  表示機器
６８０  ＮＩＣ
７００  記憶媒体
９００  画像処理システム
９１０  画像処理装置
９１１  パッチ生成部
９１２  選択部
９１３  合成部
９２０  学習装置
９２１  受信部
９２２  劣化画像生成部
９２３  パッチペア生成部
９２４  登録部
９３０  辞書
【図１】
2014073198.tif 000003
【図２】
2014073198.tif 000004
【図３】
2014073198.tif 000005
【図４】
2014073198.tif 000006
【図５】
2014073198.tif 000007
【図６】
2014073198.tif 000008
【図７】
2014073198.tif 000009
【図８】
2014073198.tif 000010
【図９】
2014073198.tif 000011
【図１０】
2014073198.tif 000012
【図１１】
2014073198.tif 000013
【手続補正書】
【提出日】平成27年4月21日(2015.4.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を基に比較に用いる入力パッチを生成するパッチ生成手段と、
入力画像を基に劣化変形で用いるパラメータを推定する変形パラメータ推定手段と、
前記パラメータを用いて学習画像を基に劣化画像を生成する劣化画像生成手段と、
前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成するパッチペア生成手段と、
前記入力パッチを基に復元画像の合成に用いるパッチペアを選択する選択手段と、
前記選択手段が選択したパッチペアを基に復元画像を合成する合成手段と
を含む画像処理装置。
【請求項２】
前記選択手段が選択したパッチペアを評価する評価手段を更に含み、
前記変形パラメータ推定手段は、前記評価の結果を基に前記パラメータを推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価手段が、
前記合成手段の結果を評価する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記評価手段の評価を
所定回数又は評価結果が所定の範囲に入るまで繰り返す
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記変形パラメータ推定手段が、
入力画像の周囲の色、影、画像に含まれる物の少なくとも１つを考慮したパラメータを推定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
入力画像を基に比較に用いる入力パッチを生成し、
入力画像を基に劣化変形で用いるパラメータを推定し、
前記パラメータを用いて学習画像を基に劣化画像を生成し、
前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成し、
前記入力パッチを基に復元画像の合成に用いるパッチペアを選択し、
選択されたパッチペアを基に復元画像を合成する
画像処理方法。
【請求項７】
前記選択したパッチペアを評価し、
前記評価の結果を基に前記パラメータを推定する
ことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記評価において、
前記合成の結果を評価する
ことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記評価を所定回数又は評価結果が所定の範囲に入るまで繰り返す
ことを特徴とする請求項７又は８に記載の画像処理方法。
【請求項１０】
前記パラメータの推定において、
入力画像の周囲の色、影、画像に含まれる物の少なくとも１つを考慮したパラメータを推定する
ことを特徴とする請求項６乃至９のいずれか１項に記載の画像処理方法。
【請求項１１】
入力画像を基に比較に用いる入力パッチを生成する処理と、
入力画像を基に劣化変形で用いるパラメータを推定する処理と、
前記パラメータを用いて学習画像を基に劣化画像を生成する処理と、
前記劣化画像と前記学習画像を基に復元画像の合成に用いるパッチペアを生成する処理と、
前記入力パッチを基に復元画像の合成に用いるパッチペアを選択する処理と、
選択されたパッチペアを基に復元画像を合成する処理と
をコンピュータに実行させるプログラム。
【請求項１２】
前記選択したパッチペアを評価する処理と、
前記評価の結果を基に前記パラメータを推定する処理と
をコンピュータに実行させることを特徴とする請求項１１に記載のプログラム。
【請求項１３】
前記評価の処理において、
前記合成の結果を評価する処理
をコンピュータに実行させることを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記評価の処理を所定回数又は評価結果が所定の範囲に入るまで繰り返す
をコンピュータに実行させることを特徴とする請求項１２又は１３に記載のプログラム。
【請求項１５】
前記パラメータの推定の処理において、
入力画像の周囲の色、影、画像に含まれる物の少なくとも１つを考慮したパラメータを推定する処理をコンピュータに実行させる
ことを特徴とする請求項１１乃至１４のいずれか１項に記載のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
本実施形態の画像処理装置１０は、辞書３０を用いて、入力画像５４に対応する復元画像５５を合成する。ここで、復元画像５５の合成とは、復元パッチ５５の合成を用いて復元画像５５を生成することを意味する。
【国際調査報告】
2014073198.tif 000014
2014073198.tif 000015