(57)【要約】  本発明は、低品質画像である入力画像に含まれる本来の画像に、正しく対応する復元画像を出力する確率を向上させる画像処理装置を提供する。その画像処理装置は、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、その所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、その入力画像から生成する画像群生成手段と、生成されたその複数の復元画像候補をクラスタリングし、そのクラスタリングした結果に基づいて、その復元画像候補を選択し、出力する画像選択提示手段と、を含む。
2014087652.tif 000002
【特許請求の範囲】
【請求項１】
所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成する画像群生成手段と、
前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する画像選択提示手段と、を含む
画像処理装置。
【請求項２】
前記画像群生成手段が生成した復元画像候補のそれぞれの信頼度を算出する信頼度算出手段を更に含み、
前記画像選択提示手段は、前記信頼度に基づいて前記復元画像候補を選択する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記信頼度算出手段は、前記復元画像から低品質化画像を生成し、前記低品質化画像と前記入力画像との差分に基づいて、前記信頼度を算出する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記信頼度算出手段は、前記復元画像を生成した場合の、隣接する前記復元パッチ間の差分に基づいて、前記信頼度を算出する
ことを特徴とする請求項２または３記載の画像処理装置。
【請求項５】
前記信頼度算出手段は、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、前記信頼度を算出する
ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記信頼度算出手段は、前記複数の復元画像候補の統計的偏りに基づいて、前記信頼度を算出する
ことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記信頼度算出手段は、前記クラスタリングされた復元画像候補のクラス毎に前記信頼度を算出し、
前記画像選択提示手段は、前記クラス毎に算出された信頼度に基づいて、前記クラス毎に前記復元画像候補を選択し、出力する
ことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像選択提示手段は、前記複数の復元画像候補のそれぞれの特定の一部分である特定部分復元画像候補を切り出し、前記特定部分復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記特定部分復元画像候補を選択し、出力する
ことを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記信頼度算出手段は、前記特定部分復元画像候補の信頼度を算出することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記画像選択提示手段は、前記複数の復元画像候補のそれぞれを複数の分割復元画像候補に分割し、同じ位置に対応する前記分割復元画像候補から成るグループのそれぞれをクラスタリングし、前記クラスタリングした結果に基づいて、前記グループ毎に前記分割復元画像候補を選択し、前記選択した分割復元画像候補を合成して復元画像を生成し、出力する
ことを特徴とする請求項２乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記信頼度算出手段は、前記分割復元画像候補の信頼度を算出することを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記画像群生成手段は、ハイパーパラメータが異なる複数の前記確率分布関数の最大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画像群生成手段は、前記入力画像と前記入力画像に対応する復元画像候補とパッチペアとの関係をモデル化した確率分布関数の複数の極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記画像群生成手段は、ハイパーパラメータが異なる複数の前記確率分布関数のそれぞれの極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する
ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記画像群生成手段は、前記入力画像から切り出した入力パッチのそれぞれについて、前記入力パッチとの類似度が閾値以上の複数の劣化パッチに対応する複数の復元パッチを選択し、前記入力パッチのそれぞれに対応する前記選択した復元パッチのそれぞれを組み合わせて、前記複数の復元画像候補を生成する
ことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記複数のパッチペアを格納する辞書手段と、
前記パッチペアを作成し、前記辞書手段に出力する学習手段と、を更に含む
ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
【請求項１７】
コンピュータが、
所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成し、
前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する
画像処理方法。
【請求項１８】
前記コンピュータが、
前記生成した復元画像候補のそれぞれの信頼度を算出し、
前記信頼度に基づいて前記復元画像候補を選択する
ことを特徴とする請求項１７記載の画像処理方法。
【請求項１９】
コンピュータに、
所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を１つの前記入力画像から生成する処理と、
前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する処理と、を実行させる
画像処理用プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
【請求項２０】
前記コンピュータに、
前記生成した復元画像候補のそれぞれの信頼度を算出する処理と、
前記信頼度に基づいて前記復元画像候補を選択する処理と、を実行させる
ことを特徴とする請求項１９記載の画像処理用プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
【請求項２１】
入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する画像群生成手段と、
前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像選択提示手段と、を含む
画像処理装置。
【請求項２２】
コンピュータが、
入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成し、
前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する
画像処理方法。
【請求項２３】
コンピュータに、
入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する処理と、
前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する処理と、を実行させる
画像処理用プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、劣化画像から復元画像を生成する画像処理装置、画像処理方法及び画像処理用プログラムに関する。
【背景技術】
【０００２】
劣化画像から復元画像を生成する技術の一例に、超解像技術が知られている。超解像技術の中で、辞書を用いる方式は、特に学習型超解像技術と呼ばれる。その辞書は、低解像度画像と高解像度画像とが対応付けられた事例を学習して作成された辞書である。【０００３】
学習型超解像技術の一例が非特許文献１に記載されている。非特許文献１に記載された学習型超解像技術では、以下の手法（ここでは、超解像プロセスという）を実行する。【０００４】
まず、その超解像プロセスは、低解像度画像である入力画像を受け付ける。【０００５】
次に、その超解像プロセスは、入力画像から、低周波成分を生成する。【０００６】
次に、その超解像プロセスは、生成したその低周波成分から低周波パッチを切り抜き、該低周波パッチから低周波特徴量を算出する。【０００７】
次に、その超解像プロセスは、その算出した低周波特徴量との距離が近い順に、複数の低周波特徴量学習データを辞書から探索する。そして、その超解像プロセスは、それらの探索した低周波特徴量学習データと組になっている高周波特徴量を読み出す。【０００８】
次に、その超解像プロセスは、探索時の距離や、隣接する高周波ブロックとの整合性や、学習段階で別途学習する低周波特徴量と高周波特徴量との共起確率などを基準として、一つの高周波特徴量を選択する。【０００９】
例えば、特許文献１は、画像処理装置の一例を開示する。【００１０】
特許文献１の画像処理装置において、パラメータ選択部は、入力画像から特定された被写体の属性に基づいて、複数の画像処理パラメータの異なる組み合わせを選択する。次に、画像生成部は、選択されたそれらの複数の画像処理パラメータを用いて、その入力画像に含まれる被写体像を高画質化する。続けて、その画像生成部は、その高画質化により得られた複数の画像の中から、その入力画像との比較に基づいて少なくとも１つの画像を選択し、選択したその画像を高画質画像とする。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１０−２７３３２８号公報
【非特許文献】
【００１２】
【非特許文献１】田口、小野、三田、井田  “画像超解像のための閉ループ学習による代表事例の学習方法”, 電子情報通信学会論文誌. D, 情報・システム J92-D(6), p831-842, 2009-06-01
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述した特許文献１及び非特許文献１に記載された技術においては、そのような低品質画像である入力画像に正しく対応する復元画像が出力されない場合があるという問題点がある。その問題点は、具体的には、以下のような問題点である。その入力画像に含まれる内容が、例えば数字の「７」であるときに、復元画像にその本来の内容とは異なる数字の「９」が出力され、その本来の内容である「７」が出力されない場合がある。この問題点は、その入力画像の劣化（画質の低下）が激しいほど、顕著になる。【００１４】
その理由は、特許文献１及び非特許文献１に記載された技術のいずれにおいても、「入力画像に対して生成した復元画像が誤っている可能性がある」という想定がなされていないからである。換言すると、特許文献１及び非特許文献１に記載された技術のいずれも、本来の内容を示している可能性のある、複数の復元画像を選択する手段を有していないからである。【００１５】
具体的には、非特許文献１に記載された技術においては、ある入力画像に対する超解像画像（復元画像）が、その入力画像との整合性がより高くなるようにだけ考慮されて、選択された高周波成分から作成されるからである。【００１６】
また、上述した特許文献１に記載された技術においては、ある入力画像に対する高画質画像（復元画像）は、高画質化された複数の画像の中から、その入力画像との比較に基づいて選択され、出力されるからである。【００１７】
本発明の目的は、上述した問題点を解決する画像処理装置、画像処理方法及び画像処理用プログラムを提供することにある。
【課題を解決するための手段】
【００１８】
本発明の一様態における第１の画像処理装置は、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成する画像群生成手段と、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する画像選択提示手段と、を含む。【００１９】
本発明の一様態における第２の画像処理装置は、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する画像群生成手段と、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像選択提示手段と、を含む。【００２０】
本発明の一様態における第１の画像処理方法は、コンピュータが、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成し、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する。【００２１】
本発明の一様態における第２の画像処理方法は、コンピュータが、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成し、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する。【００２２】
本発明の一様態におけるコンピュータ読み取り可能な第１の非一時的記録媒体は、コンピュータに、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を１つの前記入力画像から生成する処理と、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する処理とを、実行させる、画像処理用プログラムを記録する。【００２３】
本発明の一様態におけるコンピュータ読み取り可能な第２の非一時的記録媒体は、コンピュータに、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する処理と、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する処理とを、実行させる画像処理用プログラムを記録する。
【発明の効果】
【００２４】
本発明は、低品質画像である入力画像に含まれる本来の画像に、正しく対応する復元画像を出力する確率を向上させることが可能になるという効果がある。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の第１実施形態に係る画像処理システムの構成を示すブロック図である。
【図２】図２は、第１実施形態における学習装置の構成を示すブロック図である。
【図３】図３は、第１実施形態における学習フェーズを説明するための概念図である。
【図４】図４は、第１実施形態における辞書がパッチペアを格納する様子を説明するための概念図である。
【図５】図５は、第１実施形態における学習装置の動作を示すフローチャートである。
【図６】図６は、第１実施形態における復元装置の構成を示すブロック図である。
【図７】図７は、第１実施形態における画像処理装置の構成を示すブロック図である。
【図８】図８は、第１実施形態におけるハイパーパラメータセットの一例を示す図である。
【図９】図９は、確率分布関数とその最大値のイメージを模式的に示す図である。
【図１０】図１０は、第１実施形態における復元フェーズを説明するための概念図である。
【図１１】図１１は、第１実施形態における復元フェーズを説明するための概念図である。
【図１２】図１２は、第１実施形態におけるパッチの一例を示す図である。
【図１３】図１３は、クラスタリングのイメージを模式的に示す図である。
【図１４】図１４は、本来の画像と入力画像と復元画像群の関係の一例を示す図である。
【図１５】図１５は、第１実施形態における復元装置の動作を示すフローチャートである。
【図１６】図１６は、第１実施形態における復元装置の動作を示すフローチャートである。
【図１７】図１７は、本発明の第２実施形態における画像処理装置の構成を示すブロック図である。
【図１８】図１８は、確率分布関数とその極大値のイメージを模式的に示す図である。
【図１９】図１９は、第２実施形態における復元装置の動作を示すフローチャートである。
【図２０】図２０は、本発明の第３実施形態における画像処理装置の構成を示すブロック図である。
【図２１】図２１は、第３実施形態における復元装置の動作を示すフローチャートである。
【図２２】図２２は、本発明の第４実施形態における画像処理装置の構成を示すブロック図である。
【図２３】図２３は、第４実施形態における復元装置の動作を示すフローチャートである。
【図２４】図２４は、本発明の第５実施形態に係る画像処理装置の構成を示すブロック図である。
【図２５】図２５は、本発明の第５実施形態に係る画像処理装置を実現するコンピュータ装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００２６】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。尚、各図面及び明細書記載の各実施形態において、同様の機能を備える構成要素には同様の符号が与えられている。
【００２７】
まず、本発明の実施形態の理解を容易にするため、本発明の背景を説明する。尚、以降の説明は超解像技術を例として行うが、本発明は超解像技術の適用のみに限定されるものではない。本発明は、例えば、ノイズ除去技術、画像修復技術、時間解像度補間技術、ボケ除去技術など、品質の悪い入力画像から復元画像を生成するあらゆる技術に適用可能である。尚、品質の悪い入力画像（低品質画像である入力画像）は、劣化画像とも呼ばれるが、以下の説明においては、後述する高解像画像を劣化させた劣化画像と区別するために、単に入力画像と呼ぶ。
【００２８】
学習型超解像技術には、学習フェーズと復元フェーズとがある。
【００２９】
学習フェーズは、複数の事例を学習して、辞書を作成するフェーズである。その辞書は、各事例におけるパッチペアを辞書データとして含む。
【００３０】
ここで、そのパッチペアは、所定の事例における高解像画像のパッチと劣化画像のパッチとのペアである。その高解像画像（以下、学習画像と呼ぶ）は、その事例に対応する高解像度の画像である。劣化画像は、その高解像画像（学習画像）を劣化させた画像である。以下、学習画像（高解像画像）のパッチを復元パッチ、劣化画像のパッチを劣化パッチと呼ぶ。また、パッチ（例えば、その復元パッチ、その劣化パッチ及び後述の入力パッチ）は、対象の画像の部分的な小領域画像である。例えば、そのパッチは、その対象の画像をブロックに分割して生成されたものである。
【００３１】
復元フェーズは、その学習フェーズで作成した辞書から、画像処理の対象となる入力画像のパッチ（以下、入力パッチと呼ぶ）に対応する最適な復元パッチを探索し、合成処理により超解像画像を生成するフェーズである。ここで、一般的な入力画像は、低解像度であったり、ノイズが混入していたり、部分的に破壊されていたり、或いは部分的に欠落していたりする、品質の悪い画像（低品質画像）である。また、入力画像は、ボケを含んでいたり、姿勢が傾いていたりする、品質の悪い画像（低品質画像）でもある。また、超解像画像は、復元画像とも呼ばれる。
【００３２】
以上が、本発明の背景の説明である。
【００３３】
＜第１実施形態＞
図１は、第１実施形態に係る画像処理システム１０００の構成を示すブロック図である。
【００３４】
図１に示すように、第１実施形態に係る画像処理システム１０００は、学習装置１０１と、辞書２００と、復元装置３０１とを含む。学習装置１０１は、学習画像を受け付け、学習フェーズを実行する。辞書２００は、学習フェーズで作成されたパッチペアを記憶する。復元装置３０１は、入力画像を受け付け、辞書２００を利用して復元フェーズを実行し、復元画像を出力する。
【００３５】
以下、学習フェーズと復元フェーズに分けて、本実施形態を説明する。
【００３６】
（学習フェーズ）
図２〜図５を参照して、第１実施形態における学習フェーズについて説明する。
【００３７】
図２は、学習装置１０１の構成を示すブロック図である。図２に示すように、学習装置１０１は、受付部１１０と、劣化画像生成部１２０と、パッチペア生成部１３０と、登録部１４０とを含む。
【００３８】
学習装置１０１は、学習フェーズを実行して、辞書２００を作成する。
【００３９】
＝＝＝受付部１１０＝＝＝
受付部１１０は、外部から学習画像を受け付ける。受付部１１０は、外部から受け付けた学習画像を劣化画像生成部１２０及びパッチペア生成部１３０に出力する。
【００４０】
＝＝＝劣化画像生成部１２０＝＝＝
劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する。
【００４１】
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対して、複数の劣化処理を施して、複数の劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像に対して、複数の異なる劣化処理を施して複数の劣化画像を生成してもよい。
【００４２】
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対し、サイズ縮小、明度減少、高周波成分除去または姿勢変動の処理のうちの少なくとも一つを施すことで劣化画像を生成してもよい。
【００４３】
劣化画像生成部１２０は、受付部１１０から受け取った学習画像を、例えばＮ分の１に縮小することで劣化画像を生成してもよい。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用してもよい。
【００４４】
劣化画像生成部１２０は、例えば学習画像の高周波成分を取り除くなどして、ボケ強度を強めることで劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像を傾かせて、姿勢を変動させることで劣化画像を生成してもよい。または、劣化画像生成部１２０は、学習画像の輝度値を減少させて明度を低くし、劣化画像を生成してもよい。劣化画像生成部１２０は、既存の様々な手法によって劣化画像を生成してもよい。
【００４５】
劣化画像生成部１２０は、生成した劣化画像を、当該劣化画像に関して、画像の劣化状態を示すパラメータ（以下、「劣化パラメータ」という。）と併せてパッチペア生成部１３０に出力する。ここで、劣化パラメータは、画像の領域毎に、画像の倍率、明度、ボケ強度及び姿勢の傾きのうちの少なくとも一つを数値で表したパラメータでもよい。
【００４６】
＝＝＝パッチペア生成部１３０＝＝＝
パッチペア生成部１３０は、受付部１１０から学習画像を受け取り、劣化画像生成部１２０から学習画像の劣化画像及び劣化画像の劣化パラメータを受け取る。パッチペア生成部１３０は、その学習画像とその劣化画像との対応する位置におけるパッチペアを複数生成する。換言すると、パッチペア生成部１３０は、その学習画像の特定のパッチと、その学習画像上におけるその特定のパッチの位置に対応する、その劣化画像上におけるその位置のその劣化画像のパッチとをパッチペアとする。
【００４７】
パッチペア生成部１３０は、既存の手法によって復元パッチと劣化パッチとの複数のペア（パッチペア）を生成すればよい。
【００４８】
パッチペア生成部１３０は、生成した複数のパッチペアを、対応する劣化パラメータと併せて登録部１４０に出力する。
【００４９】
尚、学習装置１０１の受付部１１０は、学習画像とその学習画像のペアである劣化画像及び劣化パラメータを、外部からを受け付けるようにしてもよい。例えば、学習画像は高解像画像を撮影可能なカメラで撮影した画像であり、劣化画像は性能の低いカメラで撮影した画像（劣化パラメータの画像の倍率を増大した画像）である。また、劣化画像は、意図的にピントを狂わせて（劣化パラメータのボケ強度を増大）、或いは露出時間を不正に設定（劣化パラメータの明度を変更）して、撮影した画像であってよい。また、劣化画像は、ブレ（劣化パラメータの姿勢の傾き）を発生させて撮影した画像であってよい。劣化画像は、その他、あらゆる悪条件で撮影した画像であってよい。こうした場合、学習装置１０１は、劣化画像生成部１２０を含まなくてもよい。また、パッチペア生成部１３０は、受付部１１０から学習画像及び劣化画像を受け取る。
【００５０】
＝＝＝登録部１４０＝＝＝
登録部１４０は、パッチペア生成部１３０から、複数のパッチペアを受け取る。登録部１４０は、複数のパッチペアと、当該パッチペアにおける劣化パッチに対応する劣化パラメータとを対応付けて辞書２００に登録する。
【００５１】
＝＝＝辞書２００＝＝＝
辞書２００は、学習装置１０１によって生成された複数のパッチペア及び劣化パラメータを格納する。
【００５２】
図３は、第１実施形態における学習フェーズを説明するための概念図である。図３に示すように、学習装置１０１は、学習画像１０に１以上の劣化処理を施して劣化画像２０を生成してもよい。図３は、「劣化１」、「劣化２」・・・、というバリエーションの劣化処理を施していることを示す。学習装置１０１は、学習画像１０及び劣化画像２０の対応する位置におけるパッチのペアを、劣化パラメータ２０４と併せて、辞書２００に登録する。図３は、学習装置１０１が、復元パッチ２０１、劣化パッチ２０２及び劣化パラメータ２０４を含むパッチペア２０３を辞書２００に登録することを示す。劣化パラメータ２０４は、ψｋ（ｋは、１からｎまでの整数）で示される。
【００５３】
図４は、辞書２００がパッチペア２０３及び劣化パラメータを格納する様子を説明するための概念図である。図４に示すように、辞書２００は、復元パッチ２０１（１）、２０１（２）、２０１（３）、・・・、２０１（ｎ−１）、２０１（ｎ）を格納する。また、辞書２００は、復元パッチ２０１に対応して劣化パッチ２０２（１）、２０２（２）、２０２（３）、・・・、２０２（ｎ−１）、２０２（ｎ）を格納する。すなわち、辞書２００は、復元パッチ２０１と劣化パッチ２０２のペアであるパッチペア２０３（１）、２０３（２）、２０３（３）、・・・、２０３（ｎ−１）、２０３（ｎ）を格納する。また、辞書２００は、劣化パラメータ２０４（１）、２０４（２）、２０４（３）、・・・、２０４（ｎ−１）、２０４（ｎ）をパッチペア２０３に対応させて格納する。ここでｎは正の整数である。
【００５４】
辞書２００の復元パッチ、劣化パッチ及び劣化パラメータの格納方法は、図４に示すように各パッチを対応付けて格納する方法に限定されない。例えば、辞書２００は、学習画像１０をパッチとしてではなく一枚の画像として格納してもよい。この場合、辞書２００は、インデックスが付された態様により学習データを格納してよいし、その他の方法で格納してもよい。そのインデックスは、劣化パッチ毎に復元画像のどこの領域と対応するか、どのような劣化パラメータと対応するか、を示す。この場合、そのパッチ及びその劣化パラメータの構造は、辞書２００学習データの格納方法に適合する構造であってよい。
【００５５】
次に、図面を参照して、学習装置１０１の動作を説明する。図５は、学習装置１０１の動作を示すフローチャートである。
【００５６】
受付部１１０は、外部から学習画像１０を受け付ける（ステップＡ１）。
【００５７】
劣化画像生成部１２０は、受付部１１０から出力された学習画像１０を、例えばＮ分の１に縮小して、劣化画像２０を生成する（ステップＡ２）。
【００５８】
パッチペア生成部１３０は、学習画像１０と劣化画像２０との対応する位置におけるパッチペア２０３を複数生成し、登録部１４０へ出力する（ステップＡ３）。
【００５９】
次に、登録部１４０は、パッチペア生成部１３０から受け取ったパッチペア２０３を辞書２００へ登録する（ステップＡ４）。
【００６０】
以上が、辞書２００を作成する、学習装置１０１の動作の説明である。
【００６１】
（復元フェーズ）
図６〜図１２を参照して、第１実施形態における復元フェーズについて説明する。
【００６２】
図６は、復元装置３０１の構成を示すブロック図である。図６に示すように、復元装置３０１は、受付部３１０及び画像処理装置１００１を備える。画像処理装置１００１は、画像群生成部５０１及び画像選択提示部５１１を含む。
【００６３】
図７は、画像処理装置１００１の構成を示すブロック図である。画像処理装置１００１の画像群生成部５０１は、パッチ生成部５２１と、ハイパーパラメータセット生成部５３１と、復元画像候補生成部５４１とを含む。
【００６４】
復元装置３０１は、画像処理の対象となる入力画像を外部から受け付けて、その入力画像に画像処理（以下の第１から第３に示す、復元装置３０１の処理）を実行して復元画像を生成する。
【００６５】
第１に、復元装置３０１は、辞書２００を利用して、確率分布関数に基づいて、その受け付けた入力画像の１つに対して、複数の復元画像候補を生成する。ここで、復元画像候補は、複数の異なる内容（画像）のいずれかを含む、超解像画像である。それらの異なる内容（画像）のそれぞれは、その入力画像の本来の内容（画像）である可能性を持つ内容である。確率分布関数の詳細は、後述する。
【００６６】
第２に、復元装置３０１は、それらの複数の復元画像候補をクラスタリングする。続けて、復元装置３０１は、そのクラスタリングした結果に基づいて、それらの複数の復元画像候補の中から、１または複数の復元画像候補を選択する。ここで、復元装置３０１は、予め定められた選択条件に従って復元画像候補を選択するようにしてよい。
【００６７】
第３に、復元装置３０１は、選択した復元画像候補を復元画像として出力する。
【００６８】
次に、復元装置３０１、画像処理装置１００１及び画像群生成部５０１の各構成要素について詳細に説明する。
【００６９】
＝＝＝受付部３１０＝＝＝
復元装置３０１の受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける。例えば、受付部３１０は、ネットワークに接続して入力画像を受信してもよいし、入力画像を記憶するメモリから読み出すことで入力画像を受け付けてもよい。即ち、受付部３１０による入力画像の受け付けの形態は、限定されない。受付部３１０は、受け付けた入力画像を画像群生成部５０１に出力する。
【００７０】
＝＝＝パッチ生成部５２１＝＝＝
画像群生成部５０１のパッチ生成部５２１は、受付部３１０から出力された入力画像から複数のパッチ（入力パッチ）を生成し、復元画像候補生成部５４１に出力する。
【００７１】
＝＝＝ハイパーパラメータセット生成部５３１＝＝＝
画像群生成部５０１のハイパーパラメータセット生成部５３１は、１または複数のハイパーパラメータ（劣化パラメータ）を含む、複数のハイパーパラメータセットを生成する。具体的には、ハイパーパラメータ決定部５３１は、それらのハイパーパラメータの値を変化させた複数のハイパーパラメータセットを生成する。次に、ハイパーパラメータ決定部５３１は、生成した複数のハイパーパラメータセットを復元画像候補生成部５４１に出力する。
【００７２】
ハイパーパラメータは、統計学の分野における確率分布関数を決定するパラメータであるとも言える。即ち、本実施形態においては、劣化パラメータは、ハイパーパラメータに対応するとも言うことができる。
【００７３】
図８は、ハイパーパラメータセット６０の一例を示す図である。図８に示すように、ハイパーパラメータセット６０は、例えば、ハイパーパラメータであるパッチサイズ、ボケの大きさ、姿勢及び距離空間などの任意の組み合わせである。そのパッチサイズは、画素数（５画素や３×４画素など）で示される値である。そのボケの大きさは、画素数（１画素や０．５画素など）で示される値である。その姿勢は、例えば、回転軸と角度（ｘ軸で１度や、ｚ軸で−２度）で示される値である。その距離空間は、パッチ探索に用いる距離空間である。その距離空間は、例えば、Ｌ１ノルムやＬ２ノルムとしてあらわされる。
【００７４】
例えば、ハイパーパラメータセット生成部５３１は、図示しないインタフェースからの指示に基づいて、ハイパーパラメータセット６０を生成する。また、ハイパーパラメータセット生成部５３１は、図示しない手段から入力された操作者の指示に基づいて、ハイパーパラメータセット６０を生成するようにしてもよい。
【００７５】
＝＝＝復元画像候補生成部５４１＝＝＝
画像群生成部５０１の復元画像候補生成部５４１は、以下のような第１の方法により、復元画像候補を生成する。
【００７６】
復元画像候補生成部５４１は、例えば、後述の式１に示すような確率分布関数の最大値を算出する。次に復元画像候補生成部５４１は、その確率分布関数の最大値に対応するように、辞書２００のパッチペア２０３を選択する。次に復元画像候補生成部５４１は、選択したパッチペア２０３の復元パッチ２０１を合成して、復元画像候補を生成する。尚、復元パッチ２０１の合成については、後述の、第２の方法の復元フェーズにおいて詳細に説明する。
【００７７】
図９は、式１で表される確率分布関数とその最大値のイメージを模式的に示す図である。
【００７８】
復元画像候補生成部５４１は、例えば、モンテカルロ法を用いて、その確率分布関数の最大値を求める。そのモンテカルロ法は、マルコフチェインモンテカルロ（メトロポリス法、ギブスサンプリング法）、マルチカノニカルモンテカルロ法、交換モンテカルロ法などであってよい。また、復元画像候補生成部５４１は、モンテカルロ法以外（例えば、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズム）を用いてもよい。
2014087652.tif 000003
【００７９】
式１は、超解像画像（復元画像候補に成り得る画像）の出現確率を示す確率分布関数である。式１に示す確率分布関数は、入力画像及びその入力画像に対応するその超解像画像と辞書２００に格納されているパッチペア２０３との関係、並びにその超解像画像の隣接パッチ間の関係をモデル化した関数である。式１の関数は、劣化画像２０に対応する劣化のパラメータの、任意のものを、ハイパーパラメータとして含む。
【００８０】
具体的には、式１において、Ｅｄａｔａは、入力パッチと劣化パッチ２０２との類似性（例えば、入力パッチと劣化パッチ２０２とのそれぞれの距離空間の類似性）を示す値である。Ｅｓｍｏｏｔｈは、その超解像画像の隣接パッチ間の類似性を示す値である。尚、Ｅｓｍｏｏｔｈは、その超解像画像から切り出したパッチと復元パッチ２０１との類似性であってもよい。
【００８１】
また、式１において、αは、Ｅｓｍｏｏｔｈの重みを決定する値であり、ハイパーパラメータの一つである。尚、ハイパーパラメータは、α以外に、ＥｄａｔａやＥｓｍｏｏｔｈの中に、パッチサイズ、ボケの大きさ、姿勢或いはパッチ探索に用いる距離空間として含まれている。
【００８２】
次に、復元画像候補生成部５４１は、その最大値の出現確率に対応する超解像画像を、復元画像候補として生成する。
【００８３】
換言すると、式１は、超解像画像が式２に示すエネルギーで与えられた場合の、超解像画像Ｘの確率分布関数である。
2014087652.tif 000004
【００８４】
尚、最大値の出現確率に対応する超解像画像は、式２で示すエネルギーが最小値となる超解像画像である。即ち、上述の「復元装置３０１が、確率分布関数に基づいて、その受け付けた入力画像の１つに対して、複数の復元画像候補を生成する」ことは、以下のように換言できる。
【００８５】
復元画像候補生成部５４１は、式２のような算出式で求められるエネルギーＥの最小値を算出する。次に、復元画像候補生成部５４１は、その最小値のエネルギーＥに対応する超解像画像を、復元画像候補として生成する。こうして、復元画像候補生成部５４１は、図８に示すようなハイパーパラメータセット６０のそれぞれに対応する復元画像候補を生成する。
【００８６】
また、復元画像候補生成部５４１は、以下のような第２の方法により、複数の復元画像候補を生成してもよい。以下の第２の方法の場合、画像群生成部５０１は、ハイパーパラメータセット生成部５３１を備えなくてもよい。
【００８７】
復元画像候補生成部５４１は、辞書２００に格納されているパッチペア２０３の中から、類似度に基づいて、入力パッチそれぞれに対応する複数の復元パッチ２０１を選択する。その類似度は、入力パッチと劣化パッチ２０２との類似性を表す値である。例えば、復元画像候補生成部５４１は、その入力パッチに対するその類似度が所定値以上の劣化パッチ２０２に対応する復元パッチ２０１を選択する。また、復元画像候補生成部５４１は、その入力パッチに対するその類似度が大きい順の、所定数の、劣化パッチ２０２に対応する復元パッチ２０１を選択する。
【００８８】
復元画像候補生成部５４１は、複数の復元パッチ２０１を合成して、復元画像候補を生成する。それらの復元パッチ２０１のそれぞれは、入力パッチのそれぞれに対応する複数の復元パッチ２０１の１つである。
【００８９】
そして、復元画像候補生成部５４１は、それらの合成される復元パッチ２０１の組み合わせを変えて、複数の復元画像候補を生成する。
【００９０】
図１０は、第２の方法の復元フェーズを説明するための概念図である。図１０に示すように、復元装置３０１は、入力画像３０の入力パッチ３１と辞書２００中の劣化パッチ２０２との類似性（第１の類似度）に基づいて、復元パッチ２０１を選択する。
【００９１】
また、復元装置３０１は、図１１に示すように、第１の類似度の他に、更に復元画像４０から切り出したパッチと復元パッチ２０１との類似性（第２の類似度）にも基づいて、復元パッチ２０１を選択するようにしてもよい。
【００９２】
次に、２つのパッチ（例えば、入力パッチ３１と劣化パッチ２０２）間の類似度について説明する。
【００９３】
図１２は、パッチ５０の一例を示す図である。図１２に示すように、例えばパッチ５０は、複数の画素５２の画素値を要素として持つ、多次元ベクトルである画素群５１を含む。また、パッチ５０は、パッチ５０を個別に特定するパッチ識別子５３を、メタ情報として含む。尚、パッチ５０は、復元パッチ２０１、劣化パッチ２０２及び入力パッチ３１を含む概念である。また、画素値は、輝度値でもよくこれに限定されない。
【００９４】
この場合、その２つのパッチ間の類似度を示す値とは、それらのパッチ間の各画素５２の輝度値の差に基づく値でもよい。例えば、その２つのパッチ間の類似度を示す値は、それらのパッチ間の各画素５２の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、類似度を示す値は、ＳＳＤを特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＳＤであってよい。または、その２つのパッチ間の類似度を示す値は、パッチ間の各画素５２の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｓｔａｎｃｅ）に基づく値でもよい。例えば、その類似度を示す値は、ＳＡＤを特定の定数から引いた値でもよい。この場合、その特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＡＤであってよい。
【００９５】
他に、例えば、その２つのパッチ間の類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でもよい。または、その２つのパッチ間の類似度を示す値は、正規化相互相関関数により算出される値でもよく、これらに限定されない。
【００９６】
即ち、その２つのパッチ間の類似度は、その２つのパッチそれぞれの画素群５１が表す画像間の類似度である。
＝＝＝画像選択提示部５１１＝＝＝
画像処理装置１００１の画像選択提示部５１１は、画像群生成部５０１が生成したそれらの複数の復元画像候補をクラスタリングする。画像選択提示部５１１は、例えばＫ−ｍｅａｎｓ法や、Ｗａｒｄ法を用いてクラスタリングを行う。
【００９７】
図１３は、そのクラスタリングのイメージを模式的に示す図である。復元画像候補は、それを構成する画素数だけの次数を持つ、多次元のベクトルである。しかし、図１３においては、復元画像候補は、２次元平面上にプロットされている。
【００９８】
図１３において、黒点及び星印は、復元画像候補である。それらの黒点及び星印を囲む線は、クラスを示す。即ち、クラスの線で囲まれたそれらの黒点及び星印は、クラスタリングされた結果の復元画像候補の部分集合である。また、星印は、そのクラスのセントロイドの復元画像候補である。ここで、セントロイドの復元画像候補は、そのクラスの中心に最も近い復元画像候補である。尚、画像選択提示部５１１は、以下の処理において、セントロイドの復元画像候補に替えて、そのクラスの中心に対応するベクトル（画像）を復元画像候補として利用するようにしてもよい。
【００９９】
次に、画像選択提示部５１１は、そのクラスタリングの結果を利用して、予め定められた選択条件に適合する復元画像候補を選択する。そして、画像選択提示部５１１は、選択した復元画像候補を復元画像として出力する。例えば、その選択条件は、図示しないインタフェースを介して、外部から与えられてよい。また、その選択条件は、操作者により図示しない入力手段から与えられてよい。
【０１００】
例えば、その選択条件は、指定する数量ｎ（ｎは、１以上の自然数）の、各クラスのセントロイドの復元画像候補である。この場合、画像選択提示部５１１は、その復元画像候補をｎだけ、各クラスのセントロイドの復元画像候補から、ランダムに選択する。例えば、ｎが「３」の場合、画像選択提示部５１１は、３つのクラスからセントロイドの復元画像候補を選択し、その選択した３つの復元画像候補を復元画像として出力する。
【０１０１】
図１４は、本来の画像とその本来の画像が劣化した入力画像とその入力画像の復元画像との関係を示す図である。図１４に示す入力画像は、図１４に示す本来の画像が何らかの要素（例えば、ぼけ、低解像度化、ノイズ混入など）により低品質画像となったものであることを、点線で表現し、示している。図１４に示す復元画像群は、例えば、図１３の星印で示したセントロイドの復元画像候補に対応する。
【０１０２】
こうして、画像処理装置１００１は、入力画像に含まれる本来の画像（ここでは、「７」）に対して、間違った復元画像（ここでは、「１」及び「９」）だけでなく、正しく対応する復元画像（ここでは、「７」）も出力する。
【０１０３】
また、その選択条件は、指定する数量ｎ（ｎは、１以上の自然数）の、要素数が多い順の各クラスの、セントロイドの復元画像候補であってよい。この場合、画像選択提示部５１１は、その復元画像候補をｎだけ、要素数が多い順の各クラスのセントロイドの復元画像候補から、選択する。
【０１０４】
また、その選択条件は、要素数が閾値以上の各クラスの、セントロイドの復元画像候補であってよい。この場合、画像選択提示部５１１は、要素数が閾値以上の各クラスの、セントロイドの復元画像候補を選択する。
【０１０５】
また、その選択条件は、全ての各クラスの、セントロイドの復元画像候補であってよい。この場合、画像選択提示部５１１は、全ての各クラスの、セントロイドの復元画像候補を選択する。
【０１０６】
また、画像選択提示部５１１は、それらの復元画像候補のそれぞれの特定の一部分を特定部分復元画像候補として切り出し、その特定部分復元画像候補をクラスタリングしてもよい。この場合、画像選択提示部５１１は、それらの特定部分復元画像候補から、上述した選択条件に適合する特定部分復元画像候補を選択する。そして、画像選択提示部５１１は、選択した特定部分復元画像候補、または選択した特定部分復元画像候補に対応する復元画像候補を、復元画像として出力するようにしてよい。
【０１０７】
以上が、復元装置３０１及び画像処理装置１００１の各構成要素についての説明である。
【０１０８】
次に、復元装置３０１の動作について、図面を参照して詳細に説明する。
【０１０９】
図１５及び図１６は、復元装置３０１の動作を示すフローチャートである。図１５に示す復元装置３０１の動作は、復元画像候補生成部５４１が、第１の方法により復元画像候補を生成する場合の動作である。
【０１１０】
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける（ステップＢ１１）。
【０１１１】
次に、パッチ生成部５２１は、受付部３１０から出力された入力画像を、ブロックに分割して複数のパッチ（入力パッチ３１）を生成する（ステップＢ１２）。例えば、パッチ生成部５２１は、縦５個×横５個の計２５個の画素からなる領域を入力パッチ３１のパッチ単位としてもよい。この場合、パッチ生成部５２１は、入力画像に対し、隣接のパッチが１画素ずつずれた関係で入力パッチ３１を生成してもよい。尚、パッチの領域の画素数や、隣接パッチとの関係はこれらに限定されない。例えば、パッチ生成部５２１は、隣接のパッチが３画素ずつずれた関係のパッチとして入力パッチ３１を生成してもよい。尚、入力パッチ３１とそれに隣接するパッチとのずれ画素の数が小さい（隣接のパッチとの重なりが大きい）ほど、復元画像を生成するための細かな合成処理が可能になる。
【０１１２】
次に、ハイパーパラメータセット生成部５３１は、複数のハイパーパラメータを生成する（ステップＢ１３）。
【０１１３】
次に、復元画像候補生成部５４１は、それらのハイパーパラメータ毎に、式１で求められる確率分布関数が最大値となる超解像画像を、復元画像候補として生成する（ステップＢ１４）。尚、復元画像候補生成部５４１は、それらのハイパーパラメータ毎に、式２で求められるエネルギーＥが最小値となる超解像画像を、復元画像候補として生成するようにしてもよい。
【０１１４】
次に、画像選択提示部５１１は、それらの復元画像候補をクラスタリングする（ステップＢ１５）。
【０１１５】
次に画像選択提示部５１１は、そのクラスタリングの結果を利用して、予め定められた選択条件に適合する復元画像候補を選択する（ステップＢ１６）。
【０１１６】
次に、画像選択提示部５１１は、選択した復元画像候補を復元画像として出力する（ステップＢ１７）。
【０１１７】
図１６に示す復元装置３０１の動作は、復元画像候補生成部５４１が、第２の方法により復元画像候補を生成する場合の動作である。図１６に示す復元装置３０１の動作は、図１５に示すフローチャートのステップＢ１３及びステップＢ１４が、以下のステップＢ２１〜ステップＢ２３に置き換わった動作である。
【０１１８】
復元画像候補生成部５４１は、パッチ生成部５２１が生成した入力パッチ３１それぞれについて、辞書２００に含まれる全ての劣化パッチ２０２に対する類似度を算出する（ステップＢ２１）。
【０１１９】
次に、復元画像候補生成部５４１は、辞書２００に格納されているパッチペア２０３のデータの中から、算出した類似度に基づいて、複数の劣化パッチ２０２を取得する。続けて、復元画像候補生成部５４１は、そのパッチ識別子５３のそれぞれに対応するパッチペア２０３の復元パッチ２０１を選択し、出力する（ステップＢ２２）。ここで、そのパッチ識別子５３は、取得した劣化パッチ２０２のパッチ識別子５３である。
【０１２０】
同様に、復元画像候補生成部５４１は、全ての入力パッチ３１それぞれについてステップＢ２２を実行し、復元パッチ２０１を選択する。
【０１２１】
次に、復元画像候補生成部５４１は、全ての入力パッチ３１それぞれに対応する復元パッチ２０１を、組み合わせを変えて合成し、複数の復元画像を生成する（ステップＢ２３）。尚、「画像（パッチ）を合成する」処理は、具体的には、「合成の対象となる全画像（パッチ）の画素値の平均を取る」処理でもよい。ここで、「画素値の平均を取る」とは、各パッチ間で同一位置の画素値毎に、平均値を算出することである。
【０１２２】
具体的には、「合成」とは、全復元パッチ２０１を対応する位置に置いたときに、重なり領域については重なった全ての復元パッチ２０１の画素値の平均を取る処理でもよい。
【０１２３】
以上が復元装置３０１の動作の説明である。
【０１２４】
上述した本実施形態における第１の効果は、入力画像に含まれる本来の画像に、正しく対応する復元画像を出力する確率を向上させることが可能になる点である。
【０１２５】
その理由は、以下の構成を備えるからである。第１に、復元画像候補生成部５４１が、入力画像の本来の内容である可能性を持つ複数の異なる内容を含む複数の復元画像候補を、その１つの入力画像から生成する。第２に、画像選択提示部５１１が復元画像候補をクラスタリングした結果に基づいて、復元画像を出力する。
【０１２６】
＜第２実施形態＞
次に、本発明の第２実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
【０１２７】
図１７は、本発明の第２実施形態の画像処理装置１００２の構成を示すブロック図である。図１７に示す画像処理装置１００２は、例えば図６に示す復元装置３０１に、画像処理装置１００１に替えて含まれる。
【０１２８】
図１７を参照すると、本実施形態における画像処理装置１００２は、画像群生成部５０２と画像選択提示部５１１とを含む。
【０１２９】
画像群生成部５０２は、パッチ生成部５２１、ハイパーパラメータセット生成部５３２及び復元画像候補生成部５４２を含む。
【０１３０】
図６に示す復元装置３０１は、画像処理装置１００１に替えて、画像処理装置１００２を含むようにしてよい。
【０１３１】
＝＝＝ハイパーパラメータセット生成部５３２＝＝＝
ハイパーパラメータセット生成部５３２は、１つのハイパーパラメータセット６０を生成する。
【０１３２】
例えば、ハイパーパラメータセット生成部５３１は、図示しないインタフェースからの指示に基づいて、ハイパーパラメータセット６０を生成する。また、ハイパーパラメータセット生成部５３１は、図示しない手段から入力された操作者の指示に基づいて、ハイパーパラメータセット６０を生成するようにしてもよい。
【０１３３】
＝＝＝復元画像候補生成部５４２＝＝＝
復元画像候補生成部５４２は、そのハイパーパラメータセット６０に対応する確率分布関数の、複数の極大値に対応する復元画像候補を生成する。即ち、復元画像候補生成部５４２は、図７に示す復元画像候補生成部５４１と以下の点で異なる。復元画像候補生成部５４１は、その確率分布関数の最大値を求め、その最大値に対応する超解像画像を、復元画像候補として生成した。これに対して、復元画像候補生成部５４２は、その確率分布関数の複数の極大値を求め、それらの極大値に対応する超解像画像を、復元画像候補として生成する。
【０１３４】
図１８は、式１で表される確率分布関数とその極大値のイメージを模式的に示す図である。
【０１３５】
尚、ハイパーパラメータセット生成部５３２は、ハイパーパラメータセット生成部５３１と同様に、複数のハイパーパラメータセット６０を生成するようにしてもよい。
【０１３６】
この場合、復元画像候補生成部５４２は、それらのハイパーパラメータセット６０のそれぞれに対応する確率分布関数のそれぞれについて、複数の極大値に対応する復元画像候補を生成するようにしてよい。
【０１３７】
次に、本実施形態の動作について、図面を参照して詳細に説明する。
【０１３８】
図１９は、本実施形態に係る画像処理装置１００２を含む復元装置３０１の動作を示すフローチャートである。図１９に示す、画像処理装置１００２を復元装置３０１の動作は、図１５に示すフローチャートのステップＢ１３及びステップＢ１４が、以下のステップＢ３１〜ステップＢ３２に置き換わった動作である。
【０１３９】
ハイパーパラメータセット生成部５３２は、１つまたは複数のハイパーパラメータセット６０を生成する（ステップＢ３１）。
【０１４０】
復元画像候補生成部５４２は、１つまたは複数のハイパーパラメータセット６０毎に、確率分布関数の複数の極大値に対応する復元画像候補を生成する（ステップＢ３２）。
【０１４１】
上述した本実施形態における第１の効果は、第１実施形態と同様に、低品質な入力画像に含まれる本来の画像に正しく対応する復元画像を、出力する確率を向上させることが可能になる点である。
【０１４２】
その理由は、復元画像候補生成部５４２が確率分布関数の複数の極大値に対応する復元画像候補を生成するようにしたからである。
【０１４３】
上述した本実施形態における第２の効果は、入力画像に含まれる本来の画像に正しく対応する復元画像を、出力する確率を更に向上させることが可能になる点である。
【０１４４】
その理由は、復元画像候補生成部５４１が確率分布関数に基づいて、複数のハイパーパラメータセット６０のそれぞれに対応し、更にその確率分布関数の複数の極大値に対応する、復元画像候補を生成するようにしたからである。
【０１４５】
＜第３実施形態＞
次に、本発明の第３実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
【０１４６】
図２０は、本発明の第３実施形態に係る画像処理装置１００３の構成を示すブロック図である。
【０１４７】
図２０を参照すると、本実施形態における画像処理装置１００３は、画像群生成部５０１及び画像選択提示部５１３を含む。尚、画像処理装置１００３は、画像群生成部５０１に替えて、画像群生成部５０２を含むようにしてもよい。図２０に示す画像処理装置１００３は、例えば図６に示す復元装置３０１に、画像処理装置１００１に替えて含まれる。
【０１４８】
＝＝＝画像選択提示部５１３＝＝＝
画像選択提示部５１３は、複数の復元画像候補のそれぞれを複数の部分に分割した分割復元画像候補を生成する。次に、画像選択提示部５１３は、特定の領域の分割復元画像候補から成るグループのそれぞれをクラスタリングする。ここで特定の領域の分割復元画像候補は、それらの復元画像候補のそれぞれ毎の同じ位置に対応する、分割復元画像候補である。次に、画像選択提示部５１３は、そのクラスタリングした結果に基づいて、グループ毎の分割復元画像候補を選択する。次に、画像選択提示部５１３は、選択した分割復元画像候補を合成して超解像画像を生成し、復元画像候補として出力する。
【０１４９】
画像選択提示部５１３は、予め定められた選択条件に適合する分割復元画像候補を選択する。そして、画像選択提示部５１３は、選択した復元画像候補を予め定められた合成条件に基づいて合成する。例えば、その選択条件及びその合成条件は、図示しないインタフェースを介して、外部から与えられてよい。また、その選択条件及びその合成条件は、操作者により図示しない入力手段から与えられてよい。
【０１５０】
画像選択提示部５１３は、その選択条件及びその合成条件に基づいて、例えば、グループ（即ち、各領域）毎に、指定する数量ｎ（ｎは、１以上の自然数）の各クラスのセントロイドの分割復元画像候補をランダムに選択する。そして、画像選択提示部５１３は、それらの選択した分割復元画像候補の組み合わせを変えて、合成する。
【０１５１】
また、画像選択提示部５１３は、その選択条件及びその合成条件に基づいて、グループ毎に、要素数が閾値以上の各クラスの、セントロイドの分割復元画像候補を選択する。そして、画像選択提示部５１３は、それらの選択した分割復元画像候補の組み合わせを変えて、合成する。
【０１５２】
また、画像選択提示部５１３は、その選択条件及びその合成条件に基づいて、グループ毎に、指定する数量ｎの、要素数が多い順の各クラスの、セントロイドの分割復元画像候補を選択する。そして、画像選択提示部５１３は、それらの選択した分割復元画像候補の組み合わせを変えて、合成する。
【０１５３】
また、画像選択提示部５１３は、その選択条件及びその合成条件に基づいて、グループ毎に、指定する数量ｎの、全ての各クラスの、セントロイドの分割復元画像候補を選択する。そして、画像選択提示部５１３は、それらの選択した分割復元画像候補の組み合わせを変えて、合成する。
【０１５４】
次に、画像処理装置１００３を含む復元装置３０１の動作について、図面を参照して詳細に説明する。
【０１５５】
図２１は、画像処理装置１００３を含む復元装置３０１の動作を示すフローチャートである。画像処理装置１００３を含む復元装置３０１の動作は、図１５に示すフローチャートのステップＢ１５及びステップＢ１７が、以下のステップＢ４１〜ステップＢ４５に置き換わった動作である。
【０１５６】
画像選択提示部５１３は、それらの復元画像候補を分割して、分割復元画像候補を生成する（ステップＢ４１）。
【０１５７】
次に、画像選択提示部５１３は、それらの分割復元画像候補をグループ毎にクラスタリングする（ステップＢ４２）。
【０１５８】
次に、画像選択提示部５１３は、そのクラスタリングの結果を利用して、予め定められた選択条件に適合する分割復元画像候補を選択する（ステップＢ４３）。
【０１５９】
次に、画像選択提示部５１３は、選択した分割復元画像候補を合成して復元画像を生成する（ステップＢ４４）。
【０１６０】
次に、画像選択提示部５１３は、生成した復元画像を出力する（ステップＢ４５）。
【０１６１】
上述した本実施形態における効果は、第１の実施形態の効果に加え、入力画像の劣化が一様でない場合においても、所望の復元画像を出力する確率を向上させることが可能になる点である。その所望の復元画像は、入力画像に含まれる本来の画像に正しく対応する復元画像である。
【０１６２】
その理由は、画像選択提示部５１３が、複数の復元画像候補のそれぞれを複数の部分に分割した分割復元画像候補について処理を行うようにしたからである。
【０１６３】
＜第４実施形態＞
次に、本発明の第４実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
【０１６４】
図２２は、本発明の第４実施形態に係る画像処理装置１００４の構成を示すブロック図である。
【０１６５】
図２２を参照すると、本実施形態における画像処理装置１００４は、画像群生成部５０４及び画像選択提示部５１４を含む。画像処理装置１００４の画像群生成部５０４は、パッチ生成部５２１と、ハイパーパラメータセット生成部５３１と、復元画像候補生成部５４１と、信頼度算出部５５４とを含む。尚、画像群生成部５０４は、ハイパーパラメータセット生成部５３１に替えてハイパーパラメータセット生成部５３２を含むようにしてもよい。また、画像群生成部５０４は、復元画像候補生成部５４１に替えて復元画像候補生成部５４２を含むようにしてもよい。図２２に示す画像処理装置１００４は、例えば図６に示す復元装置３０１に、画像処理装置１００１に替えて含まれる。
【０１６６】
＝＝＝信頼度算出部５５４＝＝＝
信頼度算出部５５４は、復元画像候補生成部５４１が生成した復元画像候補のそれぞれの信頼度を算出する。信頼度の算出の詳細は、後述する。
【０１６７】
＝＝＝画像選択提示部５１４＝＝＝
画像選択提示部５１４は、算出されたそれらの信頼度に基づいて復元画像候補を選択し、選択したその復元画像候補を復元画像として出力する。
【０１６８】
具体的には、画像選択提示部５１４は、画像選択提示部５１１と同様に、そのクラスタリングの結果を利用して、予め定められた選択条件に適合するその復元画像候補を選択する。本実施形態において、その選択条件は、信頼度の条件を含む。例えば、その選択条件は、信頼度が最も高いことや、信頼度が所定の閾値以上であることを条件として含む。
【０１６９】
尚、画像選択提示部５１４は、複数の復元画像候補のそれぞれを複数の部分に分割した分割復元画像候補を生成し、信頼度算出部５５４に出力するようにしてもよい。この場合、信頼度算出部５５４は、分割復元画像候補の信頼度を算出するようにしてよい。そして、画像選択提示部５１４は、同じ位置に対応する特定の領域の部分復元画像候補から成るグループのそれぞれをクラスタリングするようにしてよい。そして、画像選択提示部５１４は、そのクラスタリングした結果に基づいて、グループ毎の分割復元画像候補を選択し、選択した分割復元画像候補を合成して出力するようにしてよい。
【０１７０】
次に、画像処理装置１００４を含む復元装置３０１の動作について、図面を参照して詳細に説明する。
【０１７１】
図２３は、画像処理装置１００３を含む復元装置３０１の動作を示すフローチャートである。画像処理装置１００３を含む復元装置３０１の動作は、図１５に示すフローチャートに、以下のステップＢ５１が追加された動作である。
【０１７２】
信頼度算出部５５４は、各復元画像候補の信頼度を算出する（ステップＢ５１）。
【０１７３】
次に、信頼度算出の詳細の例として、第１から第４の信頼度算出手法を説明する。
【０１７４】
第１の信頼度算出手法において、信頼度算出部５５４は、復元画像候補から低品質化画像を生成する。そして、信頼度算出部５５４は、低品質化画像と入力画像との差分に基づいて、信頼度を算出する。
【０１７５】
第２の信頼度算出手法において、信頼度算出部５５４は、復元画像候補を生成した場合の、隣接する復元パッチ２０１間の差分に基づいて、信頼度を算出する。
【０１７６】
第３の信頼度算出手法において、信頼度算出部５５４は、劣化パッチ２０２間の類似度と劣化パッチ２０２に対応する復元パッチ２０１間の類似度との比である危険度に基づいて、信頼度を算出する。
【０１７７】
危険度は、劣化パッチ２０２間の類似度とそれらの劣化パッチ２０２に対応する復元パッチ２０１間の類似度との比である。危険度は、劣化パッチ２０２間の類似度の大きさに対して、それらの劣化パッチ２０２それぞれに対応する復元パッチ２０１間の類似度が相対的に小さいほど、値が大きくなる。即ち、危険度は、劣化パッチ２０２が類似しているにもかかわらず、それらの劣化パッチ２０２それぞれに対応する復元パッチ２０１が似ていない場合に、値が大きくなる。
【０１７８】
例えば、信頼度算出部５５４は、以下の式５、式６及び式７を用いて、危険度Ｋを算出する。
【０１７９】
式５は、選択された劣化パッチ２０２と、そのＫ近傍にある劣化パッチ２０２との距離の平均値ＤＬＲを算出する式である。Ｋ近傍にある劣化パッチ２０２は、選択された劣化パッチ２０２に近い順のＫ（例えば、７）個の劣化パッチ２０２（式５における集合Ｒ）である。式５の右辺の分母は、選択された劣化パッチ２０２のＫ近傍にある劣化パッチ２０２の数（即ち、Ｋ）と劣化パッチ２０２の画素数ＳＬとの積である。また、式５の右辺の分子は、選択された劣化パッチ２０２とＫ近傍の劣化パッチ２０２それぞれとのＬ２ノルムの２乗の総和である。
2014087652.tif 000005
【０１８０】
式６は、選択された復元パッチ２０１と、そのＫ近傍にある劣化パッチ２０２との距離の平均値ＤＨＲを算出する式である。Ｋ近傍にある復元パッチ２０１は、選択された復元パッチ２０１に近い順のＫ（例えば、７）個の復元パッチ２０１（式６における集合Ｒ）である。式６の右辺の分母は、選択された劣化パッチ２０２のＫ近傍にある復元パッチ２０１の数（即ち、Ｋ）と復元パッチ２０１の画素数ＳＨとの積である。また、式６の右辺の分子は、選択された復元パッチ２０１とＫ近傍の復元パッチ２０１それぞれとのＬ２ノルムの２乗の総和である。
2014087652.tif 000006
【０１８１】
式７は、危険度Ｋを算出する式である。αは、ＤＬＲが小さい場合に、Ｋの値域を調整するための定数である。
2014087652.tif 000007
【０１８２】
第４の信頼度算出手法において、信頼度算出部５５４は、複数の復元画像候補の統計的偏りに基づいて、信頼度を算出する。
【０１８３】
信頼度算出部５５４は、復元画像候補の勾配方向ヒストグラムの各値を要素とする特徴ベクトルを生成する。方向ヒストグラムの作成手法は、周知の技術であり、例えば、“D. G. Lowe,  “Object recognition from local scale-invariant features”, Proc. of IEEE International Conference on Computer Vision (ICCV), pp.1150-1157, 1999.”及び“N. Dalal, B. Triggs,  “Histograms of oriented gradients for human detection”, Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 886-893, 2005.”に記載されている。
【０１８４】
次に、信頼度算出部５５４は、それらの特徴ベクトルを特徴空間にマッピングし、距離空間としてＬ２ノルムを算出する。
【０１８５】
次に、信頼度算出部５５４は、それらの算出したＬ２ノルムをサンプルとして、Ｐａｒｚｅｎ窓によるカーネル密度推定でその特徴ベクトルに対応する密度推定値を算出する。次に、信頼度算出部５５４は、その算出した密度推定値をその特徴ベクトルに対応する復元画像候補の信頼度とする。
【０１８６】
尚、信頼度算出部５５４は、画像選択提示部５１４がクラスタリングした復元画像候補のクラス毎に、統計的偏りに基づいて信頼度を算出するようにしてもよい。この場合、画像選択提示部５１４は、クラス毎に算出された信頼度に基づいて、クラス毎に復元画像候補を選択するようにしてもよい。
【０１８７】
以上が、信頼度算出の詳細の例の説明である。
【０１８８】
上述した本実施形態における効果は、第１の実施形態の効果に加えて、入力画像に含まれる本来の画像に正しく対応する復元画像を、出力する確率を、更に向上させることが可能になる点である。
【０１８９】
その理由は、信頼度算出部５５４が復元画像候補の信頼度を算出し、画像選択提示部５１４がその信頼度に基づいて、復元画像を出力するようにしたからである。
【０１９０】
＜第５実施形態＞
次に、本発明の第５実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
【０１９１】
図２４は、第５実施形態に係る画像処理装置１００５の構成を示すブロック図である。
【０１９２】
図２４を参照すると、本実施形態における画像処理装置１００５は、画像群生成部５０５及び画像選択提示部５１５を含む。
【０１９３】
＝＝＝画像群生成部５０５＝＝＝
画像群生成部５０５は、例えば、図１に示す辞書２００を利用し、１つの入力画像から、その入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、生成する。ここで、辞書２００は、第１実施形態で説明したように、所定の画像を劣化させた劣化画像のパッチである劣化パッチ２０２と、その所定の画像のパッチである復元パッチ２０１とを対応付けた複数のパッチペア２０３を格納する。ここで、所定の画像は、例えば、図３に示す学習画像１０である。また、劣化画像は、図３に示す劣化画像２０である。
【０１９４】
＝＝＝画像選択提示部５１５＝＝＝
画像選択提示部５１５は、画像群生成部５０５が生成した複数の復元画像候補をクラスタリングする。次に、画像選択提示部５１５は、そのクラスタリングした結果に基づいて、復元画像候補を選択する。次に、画像選択提示部５１５は、選択した復元画像候補を出力する。
【０１９５】
画像選択提示部５１５は、予め定められた選択条件に適合する復元画像候補を選択するようにしてよい。例えば、その選択条件は、図示しないインタフェースを介して、外部から与えられてよい。また、その選択条件は、操作者により図示しない入力手段から与えられてよい。例えば、画像選択提示部５１５は、複数の復元画像候補を選択し、出力する。また、画像選択提示部５１５は、１つの復元画像候補を選択し、出力してもよい。
【０１９６】
上述のようにして、画像処理装置１００５は、一つの入力画像に対応する複数の復元画像を出力する。
【０１９７】
次に、画像処理装置１００５のハードウェア単位の構成要素について説明する。
【０１９８】
図２５は、本実施形態における画像処理装置１００５を実現するコンピュータ装置のハードウェア構成を示す図である。図２５に示されるように、画像処理装置１００５は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５９１、記憶部５９２、記憶装置５９３、入力部５９４、出力部５９５及び通信部５９６を含む。画像処理装置１００５は、更に、記録媒体５９７を含む。
【０１９９】
ＣＰＵ５９１は、オペレーティングシステム（不図示）を動作させて、画像処理装置１００５の全体の動作を制御する。また、ＣＰＵ５９１は、例えば記憶装置５９３に装着された不揮発性の記録媒体５９７から、プログラムやデータを読み込み、読み込んだプログラムやデータを記憶部５９２に書き込む。そのプログラムは、例えば、図１５、図１６、図１９、図２１及び図２３に示すフローチャートの動作をコンピュータに実行させるプログラムである。そして、ＣＰＵ５９１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図２４に示す画像群生成部５０５及び、画像選択提示部５１５として各種の処理を実行する。
【０２００】
尚、ＣＰＵ５９１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部５９２にプログラムやデータをダウンロードするようにしてもよい。
【０２０１】
記憶部５９２は、プログラムやデータを記憶する。記憶部５９２は、辞書２００を含んでよい。
【０２０２】
記憶装置５９３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、不揮発性の記憶媒体を含む。記憶装置５９３は、プログラムをコンピュータ読み取り可能に記録する。また、記憶装置５９３は、データをコンピュータ読み取り可能に記録してもよい。記憶装置５９３は、辞書２００を含んでよい。
【０２０３】
入力部５９４は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部５９４は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネル、カメラなどでもよい。入力部５９４は、入力画像、選択条件及び合成条件を入力する手段であってよい。
【０２０４】
出力部５９５は、例えばディスプレイで実現され、出力を確認するために用いられる。出力部５９５は、復元画像を出力する手段であってよい。
【０２０５】
通信部５９６は、ネットワークと画像処理装置１００５とのインタフェースを実現する。画像処理装置１００５は、例えば通信部５９６を介して辞書２００と接続されてもよい。通信部５９６は、図示しない外部システムから入力画像、選択条件及び合成条件を受信するようにしてもよい。また、通信部５９６は、図示しない外部システムへ復元画像を送信するようにしてもよい。
【０２０６】
以上が、画像処理装置１００５のハードウェア単位の各構成要素についての説明である。
【０２０７】
以上説明したように、図２４示す機能単位のブロックは、図２５に示すハードウェア構成によって実現される。但し、画像処理装置１００５が備える各部の実現手段は、上記に限定されない。すなわち、画像処理装置１００５は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
【０２０８】
記録媒体５９７は、不揮発性記録媒体であってよい。前述のプログラムを記録した記録媒体５９７が画像処理装置１００５に供給され、画像処理装置１００５は、記録媒体５９７に格納されたプログラムを読み込み、実行してもよい。すなわち、本発明の実施形態は、画像処理装置１００５が実行するプログラムを、一時的にまたは非一時的に、記憶する記録媒体の実施形態を含む。
【０２０９】
上述した本実施形態における第１の効果は、入力画像に含まれる本来の画像に正しく対応する復元画像を、出力する確率を向上させることが可能になる点である。
【０２１０】
その理由は、画像群生成部５０５が１つの入力画像から複数の復元画像候補を生成し、画像選択提示部５１５がそれらの復元画像候補をクラスタリングし、その結果に基づいて復元画像を出力するようにしたからである。
【０２１１】
上述した本実施形態における第２の効果は、画像処理装置１００５を簡便なハードウェア構成で実現することが可能になる点である。
【０２１２】
その理由は、本実施形態の画像処理装置をＣＰＵ５９１上で動作するプログラムで構成するようにしたからである。
【０２１３】
＜各実施形態のハードウェア構成＞
前述の第１乃至第４実施形態で説明した画像処理装置１００１、画像処理装置１００２、画像処理装置１００３及び画像処理装置１００４は、それぞれ図２５に示す画像処理装置１００５と同様、ＣＰＵとプログラムを記憶した記録媒体５９７を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した画像処理装置１００１、画像処理装置１００２、画像処理装置１００３及び画像処理装置１００４の各動作を実行させるためのプログラムであってよい。
【０２１４】
上述した各実施形態は、任意に組み合わせた実施形態であってよい。その任意に組み合わせた実施形態は、例えば、第１〜５実施形態の全ての機能的な構成要素と効果とを含む画像処理装置、画像処理方法及び画像処理用プログラムの実施形態であってもよい。
【０２１５】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０２１６】
（付記１）所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成する画像群生成部と、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する画像選択提示部と、を含む画像処理装置。
【０２１７】
（付記２）前記画像群生成部が生成した復元画像候補のそれぞれの信頼度を算出する信頼度算出部を更に含み、前記画像選択提示部は、前記信頼度に基づいて前記復元画像候補を選択することを特徴とする付記１記載の画像処理装置。
【０２１８】
（付記３）前記信頼度算出部は、前記復元画像から低品質化画像を生成し、前記低品質化画像と前記入力画像との差分に基づいて、前記信頼度を算出することを特徴とする付記２記載の画像処理装置。
【０２１９】
（付記４）前記信頼度算出部は、前記復元画像を生成した場合の、隣接する前記復元パッチ間の差分に基づいて、前記信頼度を算出することを特徴とする付記２または３記載の画像処理装置。
【０２２０】
（付記５）前記信頼度算出部は、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、前記信頼度を算出することを特徴とする付記２乃至４のいずれか１つに記載の画像処理装置。
【０２２１】
（付記６）前記信頼度算出部は、前記複数の復元画像候補の統計的偏りに基づいて、前記信頼度を算出することを特徴とする付記２乃至５のいずれか１つに記載の画像処理装置。
【０２２２】
（付記７）前記信頼度算出部は、前記クラスタリングされた復元画像候補のクラス毎に前記信頼度を算出し、前記画像選択提示部は、前記クラス毎に算出された信頼度に基づいて、前記クラス毎に前記復元画像候補を選択し、出力することを特徴とする付記２乃至６のいずれか１つに記載の画像処理装置。
【０２２３】
（付記８）前記画像選択提示部は、前記複数の復元画像候補のそれぞれの特定の一部分である特定部分復元画像候補を切り出し、前記特定部分復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記特定部分復元画像候補を選択し、出力することを特徴とする付記２乃至７のいずれか１つに記載の画像処理装置。
【０２２４】
（付記９）前記信頼度算出部は、前記特定部分復元画像候補の信頼度を算出することを特徴とする付記８記載の画像処理装置。
【０２２５】
（付記１０）前記画像選択提示部は、前記複数の復元画像候補のそれぞれを複数の分割復元画像候補に分割し、同じ位置に対応する前記分割復元画像候補から成るグループのそれぞれをクラスタリングし、前記クラスタリングした結果に基づいて、前記グループ毎に前記分割復元画像候補を選択し、前記選択した分割復元画像候補を合成して復元画像を生成し、出力することを特徴とする付記２乃至９のいずれか１つに記載の画像処理装置。
【０２２６】
（付記１１）前記信頼度算出部は、前記分割復元画像候補の信頼度を算出することを特徴とする付記１０記載の画像処理装置。
【０２２７】
（付記１２）前記画像群生成部は、ハイパーパラメータが異なる複数の前記確率分布関数の最大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１乃至１１のいずれか１つに記載の画像処理装置。
【０２２８】
（付記１３）前記画像群生成部は、前記入力画像と前記入力画像に対応する復元画像候補と前記パッチペアとの関係をモデル化した確率分布関数の複数の極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１乃至１２のいずれか１つに記載の画像処理装置。
【０２２９】
（付記１４）前記画像群生成部は、ハイパーパラメータが異なる複数の前記確率分布関数のそれぞれの極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１乃至１３のいずれか１つに記載の画像処理装置。
【０２３０】
（付記１５）前記画像群生成部は、前記入力画像から切り出した入力パッチのそれぞれについて、前記入力パッチとの類似度が閾値以上の複数の劣化パッチに対応する複数の復元パッチを選択し、前記入力パッチのそれぞれに対応する前記選択した復元パッチのそれぞれを組み合わせて、前記複数の復元画像候補を生成することを特徴とする付記１乃至１０のいずれか１つに記載の画像処理装置。
【０２３１】
（付記１６）前記複数のパッチペアを格納する辞書部と、前記パッチペアを作成し、前記辞書部に出力する学習部と、を更に含むことを特徴とする付記１乃至１５のいずれか１つに記載の画像処理装置。
【０２３２】
（付記１７）コンピュータが、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成し、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する画像処理方法。
【０２３３】
（付記１８）前記コンピュータが、前記生成した復元画像候補のそれぞれの信頼度を算出し、前記信頼度に基づいて前記復元画像候補を選択することを特徴とする付記１７記載の画像処理方法。
【０２３４】
（付記１９）前記コンピュータが、前記復元画像から低品質化画像を生成し、前記低品質化画像と前記入力画像との差分に基づいて、前記信頼度を算出することを特徴とする付記１８記載の画像処理方法。
【０２３５】
（付記２０）前記コンピュータが、前記復元画像を生成した場合の、隣接する前記復元パッチ間の差分に基づいて、前記信頼度を算出することを特徴とする付記１８または１９記載の画像処理方法。
【０２３６】
（付記２１）前記コンピュータが、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、前記信頼度を算出することを特徴とする付記１８乃至２０のいずれか１つに記載の画像処理方法。
【０２３７】
（付記２２）前記コンピュータが、前記複数の復元画像候補の統計的偏りに基づいて、前記信頼度を算出することを特徴とする付記１８乃至２１のいずれか１つに記載の画像処理方法。
【０２３８】
（付記２３）前記コンピュータが、前記クラスタリングされた復元画像候補のクラス毎に前記信頼度を算出し、前記クラス毎に算出された信頼度に基づいて、前記クラス毎に前記復元画像候補を選択し、出力することを特徴とする付記１８乃至２２のいずれか１つに記載の画像処理方法。
【０２３９】
（付記２４）前記コンピュータが、前記複数の復元画像候補のそれぞれの特定の一部分である特定部分復元画像候補を切り出し、前記特定部分復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記特定部分復元画像候補を選択し、出力することを特徴とする付記１７乃至２３のいずれか１つに記載の画像処理方法。
【０２４０】
（付記２５）前記コンピュータが、前記特定部分復元画像候補の前記信頼度を算出することを特徴とする付記２４記載の画像処理方法。
【０２４１】
（付記２６）前記コンピュータが、前記複数の復元画像候補のそれぞれを複数の分割復元画像候補に分割し、同じ位置に対応する前記分割復元画像候補から成るグループのそれぞれをクラスタリングし、前記クラスタリングした結果に基づいて、前記グループ毎に前記分割復元画像候補を選択し、前記選択した分割復元画像候補を合成して復元画像を生成し、出力することを特徴とする付記１７乃至２５のいずれか１つに記載の画像処理方法。
【０２４２】
（付記２７）前記コンピュータが、前記分割復元画像候補の前記信頼度を算出することを特徴とする付記２６記載の画像処理方法。
【０２４３】
（付記２８）前記コンピュータが、ハイパーパラメータが異なる複数の前記確率分布関数の最大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１７乃至２７のいずれか１つに記載の画像処理方法。
【０２４４】
（付記２９）前記コンピュータが、前記入力画像と前記入力画像に対応する復元画像候補とパッチペアとの関係をモデル化した確率分布関数の複数の極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１７乃至２８のいずれか１つに記載の画像処理方法。
【０２４５】
（付記３０）前記コンピュータが、前記ハイパーパラメータが異なる複数の前記確率分布関数のそれぞれの極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする付記１７乃至２９のいずれか１つに記載の画像処理方法。
【０２４６】
（付記３１）前記コンピュータが、前記入力画像から切り出した入力パッチのそれぞれについて、前記入力パッチとの類似度が閾値以上の複数の劣化パッチに対応する複数の復元パッチを選択し、前記入力パッチのそれぞれに対応する前記選択した復元パッチのそれぞれを組み合わせて、前記複数の復元画像候補を生成することを特徴とする付記１７乃至３０のいずれか１つに記載の画像処理方法。
【０２４７】
（付記３２）コンピュータに、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を１つの前記入力画像から生成する処理と、前記複数の復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記復元画像候補を選択し、出力する処理とを、実行させる画像処理用プログラム。
【０２４８】
（付記３３）前記コンピュータに、前記生成した復元画像候補のそれぞれの信頼度を算出する処理と、前記信頼度に基づいて前記復元画像候補を選択する処理とを、実行させることを特徴とする付記３２記載の画像処理用プログラム。
【０２４９】
（付記３４）前記コンピュータに、前記復元画像から低品質化画像を生成し、前記低品質化画像と前記入力画像との差分に基づいて、前記信頼度を算出する処理を、実行させることを特徴とする付記３３記載の画像処理用プログラム。
【０２５０】
（付記３５）前記コンピュータに、前記復元画像を生成した場合の、隣接する前記復元パッチ間の差分に基づいて、前記信頼度を算出する処理を、実行させることを特徴とする付記３３または３４記載の画像処理用プログラム。
【０２５１】
（付記３６）前記コンピュータに、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、前記信頼度を算出する処理を、実行させることを特徴とする付記３３乃至３５のいずれか１つに記載の画像処理用プログラム。
【０２５２】
（付記３７）前記コンピュータに、前記複数の復元画像候補の統計的偏りに基づいて、前記信頼度を算出する処理を、実行させることを特徴とする付記３３乃至３６のいずれか１つに記載の画像処理用プログラム。
【０２５３】
（付記３８）前記コンピュータに、前記クラスタリングされた復元画像候補のクラス毎に前記信頼度を算出する処理と、前記クラス毎に算出された信頼度に基づいて、前記クラス毎に前記復元画像候補を選択し、出力する処理とを、実行させることを特徴とする付記３３乃至３７のいずれか１つに記載の画像処理用プログラム。
【０２５４】
（付記３９）前記コンピュータに、前記複数の復元画像候補のそれぞれの特定の一部分である特定部分復元画像候補を切り出す処理と、前記特定部分復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記特定部分復元画像候補を選択し、出力する処理とを、実行させることを特徴とする付記３２乃至３８のいずれか１つに記載の画像処理用プログラム。
【０２５５】
（付記４０）前記コンピュータに、前記特定部分復元画像候補の前記信頼度を算出する処理を、実行させることを特徴とする付記３９記載の画像処理用プログラム。
【０２５６】
（付記４１）前記コンピュータに、前記複数の復元画像候補のそれぞれを複数の分割復元画像候補に分割する処理と、同じ位置に対応する前記分割復元画像候補から成るグループのそれぞれをクラスタリングし、前記クラスタリングした結果に基づいて、前記グループ毎に前記分割復元画像候補を選択し、前記選択した分割復元画像候補を合成して復元画像を生成し、出力する処理とを、実行させることを特徴とする付記３２乃至４０のいずれか１つに記載の画像処理用プログラム。
【０２５７】
（付記４２）前記コンピュータに、前記分割復元画像候補の前記信頼度を算出する処理を、実行させることを特徴とする付記４１記載の画像処理用プログラム。
【０２５８】
（付記４３）前記コンピュータに、ハイパーパラメータが異なる複数の前記確率分布関数の最大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する処理を、実行させることを特徴とする付記３２乃至４２のいずれか１つに記載の画像処理用プログラム。
【０２５９】
（付記４４）前記コンピュータに、前記入力画像と前記入力画像に対応する復元画像候補とパッチペアとの関係をモデル化した確率分布関数の複数の極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する処理を、実行させることを特徴とする付記３２乃至４３のいずれか１つに記載の画像処理用プログラム。
【０２６０】
（付記４５）前記コンピュータに、前記ハイパーパラメータが異なる複数の前記確率分布関数のそれぞれの極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成する処理を、実行させることを特徴とする付記３２乃至４４のいずれか１つに記載の画像処理用プログラム。
【０２６１】
（付記４６）前記コンピュータに、前記入力画像から切り出した入力パッチのそれぞれについて、前記入力パッチとの類似度が閾値以上の複数の劣化パッチに対応する複数の復元パッチを選択する処理と、前記入力パッチのそれぞれに対応する前記選択した復元パッチのそれぞれを組み合わせて、前記複数の復元画像候補を生成する処理とを、実行させることを特徴とする付記３２乃至４５のいずれか１つに記載の画像処理用プログラム。
【０２６２】
（付記４７）付記３２乃至４６のいずれか1つに記載の画像処理用プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
【０２６３】
（付記４８）入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する画像群生成部と、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像選択提示手段と、を含む画像処理装置。
【０２６４】
（付記４９）コンピュータが、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成し、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像処理方法。
【０２６５】
（付記５０）コンピュータに、入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する処理と、前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する処理とを、実行させる画像処理用プログラム。
【０２６６】
以上、各実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０２６７】
この出願は、２０１２年１２月６日に出願された日本出願特願２０１２−２６７４０２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０２６８】
１０    学習画像
２０    劣化画像
３０    入力画像
３１    入力パッチ
４０    復元画像
５０    パッチ
５１    画素群
５２    画素
５３    パッチ識別子
６０    ハイパーパラメータセット
１０１    学習装置
１１０    受付部
１２０    劣化画像生成部
１３０    パッチペア生成部
１４０    登録部
２００    辞書
２０１    復元パッチ
２０２    劣化パッチ
２０３    パッチペア
３０１    復元装置
３１０    受付部
５０１    画像群生成部
５０２    画像群生成部
５０４    画像群生成部
５０５    画像群生成部
５１１    画像選択提示部
５１３    画像選択提示部
５１４    画像選択提示部
５１５    画像選択提示部
５２１    パッチ生成部
５３１    ハイパーパラメータセット生成部
５３２    ハイパーパラメータセット生成部
５４１    復元画像候補生成部
５４２    復元画像候補生成部
５５４    信頼度算出部
５９１    ＣＰＵ
５９２    記憶部
５９３    記憶装置
５９４    入力部
５９５    出力部
５９６    通信部
５９７    記録媒体
１０００    画像処理システム
１００１    画像処理装置
１００２    画像処理装置
１００３    画像処理装置
１００４    画像処理装置
１００５    画像処理装置
【図１】
2014087652.tif 000008
【図２】
2014087652.tif 000009
【図３】
2014087652.tif 000010
【図４】
2014087652.tif 000011
【図５】
2014087652.tif 000012
【図６】
2014087652.tif 000013
【図７】
2014087652.tif 000014
【図８】
2014087652.tif 000015
【図９】
2014087652.tif 000016
【図１０】
2014087652.tif 000017
【図１１】
2014087652.tif 000018
【図１２】
2014087652.tif 000019
【図１３】
2014087652.tif 000020
【図１４】
2014087652.tif 000021
【図１５】
2014087652.tif 000022
【図１６】
2014087652.tif 000023
【図１７】
2014087652.tif 000024
【図１８】
2014087652.tif 000025
【図１９】
2014087652.tif 000026
【図２０】
2014087652.tif 000027
【図２１】
2014087652.tif 000028
【図２２】
2014087652.tif 000029
【図２３】
2014087652.tif 000030
【図２４】
2014087652.tif 000031
【図２５】
2014087652.tif 000032
【手続補正書】
【提出日】平成27年5月21日(2015.5.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成する画像群生成手段と、
前記復元画像候補から低品質化画像を生成し、前記低品質化画像と前記入力画像との差分に基づいて、前記復元画像候補の信頼度を算出する信頼度算出手段と、
前記信頼度に基づいて、前記復元画像候補を選択し、出力する画像選択提示手段と、
を含む画像処理装置。
【請求項２】
前記信頼度算出手段は、前記復元画像を生成した場合の、隣接する前記復元パッチ間の差分に基づいて、前記信頼度を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記信頼度算出手段は、前記劣化パッチ間の類似度と前記劣化パッチに対応する前記復元パッチ間の類似度との比である危険度に基づいて、前記信頼度を算出することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記信頼度算出手段は、前記複数の復元画像候補の統計的偏りに基づいて、前記信頼度を算出することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記信頼度算出手段は、前記複数の復元画像候補がクラスタリングされたことによる前記復元画像候補のクラス毎に前記信頼度を算出し、
前記画像選択提示手段は、前記クラス毎に算出された信頼度に基づいて、前記クラス毎に前記復元画像候補を選択し、出力することを特徴とする請求項１乃至請求項４の何れか一つに記載の画像処理装置。
【請求項６】
前記画像選択提示手段は、前記複数の復元画像候補のそれぞれの特定の一部分である特定部分復元画像候補を切り出し、前記特定部分復元画像候補をクラスタリングし、前記クラスタリングした結果に基づいて、前記特定部分復元画像候補を選択し、出力することを特徴とする請求項１乃至請求項５の何れか一つに記載の画像処理装置。
【請求項７】
前記信頼度算出手段は、前記特定部分復元画像候補の信頼度を算出することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記画像選択提示手段は、前記複数の復元画像候補のそれぞれを複数の分割復元画像候補に分割し、同じ位置に対応する前記分割復元画像候補から成るグループのそれぞれをクラスタリングし、前記クラスタリングした結果に基づいて、前記グループ毎に前記分割復元画像候補を選択し、前記選択した分割復元画像候補を合成して復元画像を生成し、出力することを特徴とする請求項１乃至請求項７の何れか一つに記載の画像処理装置。
【請求項９】
前記信頼度算出手段は、前記分割復元画像候補の信頼度を算出することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記画像群生成手段は、ハイパーパラメータが異なる複数の確率分布関数の最大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする請求項１乃至請求項９の何れか一つに記載の画像処理装置。
【請求項１１】
前記画像群生成手段は、前記入力画像と前記入力画像に対応する前記復元画像候補と前記パッチペアとの関係をモデル化した確率分布関数の複数の極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする請求項１乃至請求項１０の何れか一つに記載の画像処理装置。
【請求項１２】
前記画像群生成手段は、ハイパーパラメータが異なる複数の前記確率分布関数のそれぞれの極大値のそれぞれに対応する、前記複数の復元画像候補を前記入力画像から生成することを特徴とする請求項１乃至請求項１１の何れか一つに記載の画像処理装置。
【請求項１３】
前記画像群生成手段は、前記入力画像から切り出した入力パッチのそれぞれについて、前記入力パッチとの類似度が閾値以上の複数の前記劣化パッチに対応する複数の前記復元パッチを選択し、前記入力パッチのそれぞれに対応する前記選択した復元パッチのそれぞれを組み合わせて、前記複数の復元画像候補を生成することを特徴とする請求項１乃至請求項１２の何れか一つに記載の画像処理装置。
【請求項１４】
前記複数のパッチペアを格納する辞書手段と、
前記パッチペアを作成し、前記辞書手段に出力する学習手段と、
を更に含むことを特徴とする請求項１乃至請求項１３の何れか一つに記載の画像処理装置。
【請求項１５】
コンピュータが、
所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を、１つの前記入力画像から生成し、
前記復元画像候補から低品質化画像を生成し、
前記低品質化画像と前記入力画像との差分に基づいて、前記復元画像候補の信頼度を算出し、
前記信頼度に基づいて、前記復元画像候補を選択し、出力する画像処理方法。
【請求項１６】
コンピュータに、
所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた複数のパッチペアを格納する辞書を利用し、入力画像の本来の内容である可能性を持つ、複数の異なる内容を含む複数の復元画像候補を１つの前記入力画像から生成する処理と、
前記復元画像候補から低品質化画像を生成する処理と、
前記低品質化画像と前記入力画像との差分に基づいて、前記復元画像候補の信頼度を算出する処理と、
前記信頼度に基づいて、前記復元画像候補を選択し、出力する処理と、
を実行させるコンピュータプログラム。
【請求項１７】
入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する画像群生成手段と、
前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像選択提示手段と、
を含む画像処理装置。
【請求項１８】
コンピュータが、
入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成し、
前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する画像処理方法。
【請求項１９】
コンピュータに、
入力画像に類似する、複数の異なる内容を含む複数の復元画像候補を生成する処理と、
前記複数の復元画像候補をクラスタリングし、少なくとも２以上のクラスから復元画像候補を選択し、出力する処理と、
を実行させるコンピュータプログラム。
【国際調査報告】
2014087652.tif 000033
2014087652.tif 000034