(57)【要約】本発明は、辞書のサイズを削減するための処理コストを低減できる画像処理システムを提供する。その画像処理システムは、画素群で構成される画像を特定するパッチの候補である候補パッチと、既保存パッチを取得し、候補パッチ及び既保存パッチ間の類似度を算出し、出力する類似度算出手段と、その類似度が類似度閾値以上の場合に、候補パッチ及び既保存パッチの内のいずれの一方を保存パッチとし他の一方を削除パッチとするかを示す、枝刈情報を出力する保存パッチ選択手段とを備える。
2013089260.tif 000002
【特許請求の範囲】
【請求項１】
画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチと、を取得し、前記候補パッチと前記既保存パッチとの類似度を算出する類似度算出手段と、
前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する保存パッチ選択手段と、
を含む画像処理システム。
【請求項２】
前記画素群は各画素値を要素とする多次元ベクトルであって、
前記保存パッチに関連する全ての前記削除パッチの、画素群の積算値と前記削除パッチの数とを前記既保存パッチに紐付けて保持する統計情報保持手段と、
前記統計情報保持手段を参照し、前記積算値と前記削除パッチの数とに基づいて前記既保存パッチに対応する平均画素群を算出し、前記算出した平均画素群を含む平均パッチを出力する平均画素群算出手段とを更に含み、
前記類似度算出手段は、前記積算値を算出し、前記積算値と前記削除パッチの数とを、前記既保存パッチとした前記保存パッチに紐付けて出力し、
前記保存パッチ選択手段は、前記候補パッチ又は前記既保存パッチのいずれか一方を削除すると判定した場合に、前記候補パッチ及び前記既保存パッチのそれぞれの前記平均パッチに対する前記類似度を用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を前記保存パッチとして選択し、前記選択した結果に基づいて前記刈取情報を出力する
ことを特徴とする請求項１記載の画像処理システム。
【請求項３】
前記画素群は各画素値を要素とする多次元ベクトルであって、
前記パッチの内から、少なくとも前記類似度閾値より小さい代表類似度閾値未満の前記類似度を互いに有する、複数の代表パッチを選択し、保持し、出力する代表選択手段と、
前記類似度算出手段は、前記代表パッチに対応する範囲として分割される多次元ベクトル空間の分割範囲内において、前記２つのパッチの類似度を算出し、出力する
ことを特徴とする請求項１又は２記載の画像処理システム。
【請求項４】
前記パッチは、ある画像の部分画像であって、前記画像上の位置情報を含み、
前記類似度算出手段は、前記候補パッチの位置情報と前記既保存パッチの位置情報とが予め定められた位置範囲内の前記候補パッチと前記既保存パッチとの間の類似度を算出し、出力する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
【請求項５】
複数の任意の前記パッチの相互の前記類似度を算出し、算出した前記類似度の分布率に基づいて、前記既保存パッチの数が予め定められた範囲の数になるように、前記類似度閾値を決定し、出力する閾値決定手段を更に含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
【請求項６】
前記保存パッチ選択手段は、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定しなかった場合に、
前記保存パッチを選択せず、前記刈取情報を出力しない
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
【請求項７】
コンピュータが、
画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチと、を取得し、前記候補パッチと前記既保存パッチとの類似度を算出し、
前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する、
画像処理方法。
【請求項８】
コンピュータに、
画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチを取得し、前記候補パッチと前記既保存パッチとの類似度を算出する処理と、
前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する処理とを、
実行させる画像処理用プログラムを記録した不揮発性記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、劣化画像から復元画像を生成する画像処理システム、画像処理方法及び画像処理用プログラムに関する。
【背景技術】
【０００２】
劣化画像から復元画像を生成する技術の一例に、超解像技術が知られている。超解像技術の中で、低解像度画像と高解像度画像とが対応付けられた事例を学習して作成された辞書を用いる方式は、特に学習型超解像技術と呼ばれる。ここで、その辞書は、低解像度画像と高解像度画像とが対応付けられた事例を学習することによって、作成された辞書である。
学習型超解像技術の一例が非特許文献１に記載されている。非特許文献１に記載された学習型超解像技術では、以下の手法（ここでは、超解像プロセスという）を実行する。
まず、その超解像プロセスは、低解像度画像である入力画像を受け付ける。
更に、その超解像プロセスは、入力画像から、低周波成分を生成する。
その超解像プロセスは、生成した低周波成分から低周波パッチを切り抜き、該低周波パッチから低周波特徴量を算出する。
その超解像プロセスは、その算出した低周波特徴量との距離が近い順に複数の低周波特徴量学習データを辞書から探索する。そして、その超解像プロセスは、それらの探索した低周波特徴量学習データと組になっている高周波特徴量を読み出す。
そして、その超解像プロセスは、探索時の距離や、隣接する高周波ブロックとの整合性や、学習段階で別途学習する低周波特徴量と高周波特徴量との共起確率などを基準として、一つの高周波特徴量を選択する。
非特許文献１に記載の技術は、互いに類似した低周波特徴量同士を一つの代表にまとめた一対多対応の辞書構造を採用することで、メモリ量を抑制し、また、計算コストを削減する。
更に、画像処理に関し、以下のような様々な関連技術が知られている。
例えば、特許文献１は、画像処理装置の一例を開示する。その画像処理装置は、再構成型超解像手法のアップサンプリング処理に際して、学習データを利用した学習型超解像処理を実行する。
例えば、特許文献２は、顔画像高解像度化装置の一例を開示する。第一に、その顔画像高解像度化装置は、複数の学習画像から統計処理によってモデルを生成する。第２に、その顔画像高解像度化装置は、拡大画像をモデルに適応させることによって、顔器官の輪郭位置情報を抽出する。第３に、その顔画像高解像度化装置は、輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する。第４に、その顔画像高解像度化装置は、高解像度化された顔器官画像を組み合わせることにより、顔高解像度画像を生成する
例えば、特許文献３は、撮像画像処理装置の一例を開示する。その撮像画像処理装置は、パターン画像の画素の明度が、撮像画像とパターン画像とがマッチングしたときのその撮像画像の画素の明度になるように、パターン画像の画素の明度のデータを更新する。その撮像画像処理装置は、その更新を、パターンマッチングが行われる毎に、逐次行う。
例えば、特許文献４は、特定パターン認識装置の一例を開示する。その特定パターン認識装置は、同じパターンを撮影して得た認識基準画像を含む複数のデジタル画像を、教示用画像として用いる場合、局所パターンデータ及び連結パターンデータの画像間変動を正規化して統合する。こうして、その特定パターン認識装置は、単一の教示用画像のみから認識用モデルを構築する場合よりも信頼性の高い認識が可能な、認識用モデルを構築する。
例えば、特許文献５は、画像識別学習装置の一例を開示する。その画像識別学習装置は、画像変化モデルにより、対象が質的に変化したときの画像又は撮像系の変化により撮影画像が変化したときの画像を合成する。こうして、その画像識別学習装置は、少数の学習用画像から多数の学習用画像を生成する。
例えば、特許文献６は、辞書データの登録装置の一例を開示する。その辞書データの登録装置は、姿勢を変動させた登録者の顔を撮影した複数の顔画像から姿勢変動データを収集する。その辞書データの登録装置は、更に、実際に通路を歩行している登録者の顔を撮影した顔画像から歩行データを収集する。そして、その辞書データの登録装置は、姿勢変動データと歩行データとを融合させた辞書データを作成する。
例えば、特許文献７は、画像検索システムの一例を開示する。第一に、その画像検索システムは、画像の種類によって異なる、検索のための適切な特徴量のうちの１つに対して１種類の画像を登録した辞書データと、他の特徴量に対して全ての種類の画像を登録した辞書データとを用意する。第二に、その画像検索システムは、検索元画像の種類に応じて、検索する特徴量とそれに対応する辞書データとを切り換える。
上述の特許文献で開示される学習型超解像技術において、超解像処理は、学習データを保持する記憶手段（以下、辞書と表記する）を参照する。一般的に、学習データが多いほど、超解像処理が出力する超解像画像は、復元性のよい（真の画像に近い）画像となる。即ち、復元性のよい画像を得ることができる超解像処理においては、その辞書、及びその辞書を参照する超解像処理のコストが大きいという問題があった。
この問題を解決する辞書を作成する技術が、上述した非特許文献１に記載されている。非特許文献１に記載の技術は、辞書に登録されている互いに類似した低周波特徴量同士を、Ｋ−ｍｅａｎｓ法を用いて、一つの代表にまとめる。
また、特許文献８は、辞書作成装置の一例を開示する。第一に、その辞書作成装置は、認識語彙の表記・読みと、言い換え生成尤度計算手段にて計算された言い換え生成尤度とを入力として読み込む。第二に、その辞書作成装置は、入力された複数の文字列情報のそれぞれ毎に生成される認識語彙とその尤度を生成する。第三に、その辞書作成装置は、それらの認識語彙うち、尤度の相対順位、及び尤度としきい値との比較結果の少なくともいずれかの条件により選んだ認識語彙のみを語彙記録部へ登録する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１８０７９８号公報
【特許文献２】特開２０１１−０７０２８３号公報
【特許文献３】特開平０８−３３３０８６号公報
【特許文献４】特開２００３−２１６９３１号公報
【特許文献５】特開２００８−２８７３７８号公報
【特許文献６】特開２００８−２４３０９３号公報
【特許文献７】特開２００７−１４８８７１号公報
【特許文献８】特開２００４−１３３００３号公報
【非特許文献】
【０００４】
【非特許文献１】田口、小野、三田、井田“画像超解像のための閉ループ学習による代表事例の学習方法，”電子情報通信学会論文誌．Ｄ，情報・システム  Ｊ９２−Ｄ（６），８３１−８４２，２００９−０６−０１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した非特許文献１に記載された技術においては、辞書サイズを削減するためのコストが大きいという問題点がある。
その理由は、非特許文献１に記載された技術は、最適な代表を選定するために、辞書に登録されている全低周波特徴量（後述の劣化パッチに対応）について、それらの低周波特徴量間の距離の演算を複数回繰り返して実行する必要があるからである。
また、上述した特許文献８に記載された技術は、学習型超解像処理が参照する辞書には適用できない。
その理由は、その辞書に登録する学習データの性質上、特許文献８における言い換え生成尤度に対応するような、尤度を計算することができないからである。
本発明の目的は、上述した問題点を解決する画像処理システム、画像処理方法及び画像処理用プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の画像処理システムは、画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチと、を取得し、前記候補パッチと前記既保存パッチとの類似度を算出する類似度算出手段と、前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する保存パッチ選択手段とを含む。
本発明の画像処理方法は、コンピュータが、画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチと、を取得し、前記候補パッチと前記既保存パッチとの類似度を算出し、前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する。
本発明の画像処理用プログラムは、コンピュータに、画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチを取得し、前記候補パッチと前記既保存パッチとの類似度を算出する処理と、前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する処理とを、実行させる。
【発明の効果】
【０００７】
本発明は、辞書のサイズを削減するための処理コストを低減することを可能にするという効果がある。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１実施形態に係る画像処理システム構成を示すブロック図である。
【図２】図２は、第１実施形態における学習装置の構成を示すブロック図である。
【図３】図３は、第１実施形態における枝刈部の構成を示すブロック図である。
【図４】図４は、第１実施形態におけるパッチの一例を示す図である。
【図５】図５は、第１実施形態における学習フェーズを説明するための概念図である。
【図６】図６は、第１実施形態における辞書がパッチペアを格納する様子を説明するための概念図である。
【図７】図７は、第１実施形態における学習装置の動作を示すフローチャートである。
【図８】図８は、第１実施形態における画像処理装置の構成を示すブロック図である。
【図９】図９は、第１実施形態における復元フェーズを説明するための概念図である。
【図１０】図１０は、第１実施形態における画像処理装置の動作を示すフローチャート図である。
【図１１】図１１は、第２実施形態における枝刈部の構成を示すブロック図である。
【図１２】図１２は、第２実施形態における統計情報の一例を示す図である。
【図１３】図１３は、第３実施形態における枝刈部の構成を示すブロック図である。
【図１４】図１４は、第３実施形態における既保存パッチの一例を示す図である。
【図１５】図１５は、第４実施形態における枝刈部の構成を示すブロック図である。
【図１６】図１６は、第４実施形態における既保存パッチの一例を示す図である。
【図１７】図１７は、第５実施形態における枝刈部の構成を示すブロック図である。
【図１８】図１８は、第５実施形態における類似度分布率の一例を示す図である。
【図１９】図１９は、第５実施形態における枝刈部の構成を示すブロック図である。
【図２０】図２０は、第１乃至５実施形態における枝刈部を実現するコンピュータ装置のハードウェア構成を示すブロック図である。
【図２１】図２１は、プログラムを記録した不揮発性記録媒体の例を示すブロック図である。
【発明を実施するための形態】
【０００９】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。
まず、本発明の実施形態の理解を容易にするため、本発明の背景を説明する。尚、以降の説明は超解像技術を例として行うが、本発明は超解像技術の適用のみに限定されるものではない。本発明は、例えば、ノイズ除去技術、画像修復技術、時間解像度補間技術、ボケ除去技術など、品質の悪い入力画像から復元画像を生成するあらゆる技術に適用可能である。
学習型超解像技術には、学習フェーズと復元フェーズとがある。
学習フェーズは、複数の事例を学習して、各事例におけるパッチペアを辞書データとして含む、辞書を作成するフェーズである。
復元フェーズは、学習フェーズで作成した辞書から、画像処理の対象となる入力画像のパッチ（以下、入力パッチと呼ぶ）に対応する最適なパッチを探索し、合成処理により超解像画像（復元画像）を生成するフェーズである。ここで、一般的な入力画像は、低解像度であったり、ノイズが混入していたり、部分的に破壊されていたり、或いは部分的に欠落していたりする、品質の悪い画像である。
ここで、パッチペアは、所定の事例における高解像画像のパッチと低解像画像のパッチとのペアである。高解像画像（以下、学習画像と呼ぶ）は、その事例に対応する高解像度の画像である。低解像画像（以下、劣化画像と呼ぶ）は、その高解像画像を劣化させた画像である。以下、学習画像（高解像画像）のパッチを復元パッチ、劣化画像（低解像画像）のパッチを劣化パッチと呼ぶ。また、パッチは、対象の画像の部分的な小領域画像であり、例えばその対象の画像をブロックに分割して生成されたものである。
本発明に関連する技術として、例えば非特許文献１は、互いに類似した低周波特徴量（前述の劣化パッチに対応）同士を一つの代表にまとめた、一対多対応の辞書構造を採用する。非特許文献１は、その辞書構造を採用することで、メモリ量を抑制し、また、計算コストを削減する技術を記載している。その技術は、Ｋ−ｍｅａｎｓ法を用いた技術である。
非特許文献１に記載された学習型超解像技術の手法は、互いに類似した低周波特徴量同士をまとめた代表の低周波特徴量を得るために、選択の対象となる低周波特徴量間の距離の演算を、代表の低周波特徴量が収束するまで複数回繰り返し実行する。
非特許文献１に記載の技術のように、結果が収束するまで演算を繰り返して代表となる低周波特徴量を収束計算する場合、その収束計算の対象となる低周波特徴量の数が多くなると演算コストは膨大になりやすい。また、非特許文献１に記載された手法においては、上述の演算を開始する時点で、その収束計算の対象となる低周波特徴量の全てが入力される必要がある。
以下の各実施形態は、辞書に格納するパッチペアを選択する処理を、辞書へ格納する候補である全てのパッチペアについて逐次的に実行することにより、上述の問題を解決する。その辞書に格納するパッチペアを選択する処理は、二つのパッチペアそれぞれの特徴の類似度に基づいて、それらのパッチペアのいずれか一方を辞書に格納するパッチペアとして選択する処理である。
ここで、特徴の類似度は、例えば、パッチペアそれぞれの劣化画像のパッチに基づいて算出される類似度である。その特徴の類似度は、例えば、パッチペアそれぞれの高解像度の画像のパッチに基づいて算出される類似度であってもよい。その特徴の類似度は、例えば、パッチペアそれぞれの劣化画像のパッチと、パッチペアそれぞれの高解像度の画像のパッチとの両方に基づいて算出される類似度であってもよい。
以下の各実施形態において、上述の特徴の類似度は、パッチペアそれぞれの劣化画像のパッチに基づいて算出される類似度（以下、「パッチ間の類似度」、「パッチとパッチとの類似度」、或いは単に「類似度」と呼ぶ）である。
＜第１実施形態＞
図１は、第１実施形態に係る画像処理システム１０００の構成を示すブロック図である。
図１に示すように、第１実施形態に係る画像処理システム１０００は、学習装置１００と、辞書２００と、画像処理装置３００とを含む。学習装置１００は、学習画像を受け付け、学習フェーズを実行する。辞書２００は、学習フェーズで作成されたパッチペアを記憶する。画像処理装置３００は、入力画像を受け付け、辞書２００を利用して復元フェーズを実行し、復元画像を出力する。
以下、学習フェーズと復元フェーズに分けて、本実施形態を説明する。
（学習フェーズ）
図２〜図７を参照して、第１実施形態における学習フェーズについて説明する。
図２は、学習装置１００の構成を示すブロック図である。図２に示すように、学習装置１００は、受付部１１０と、劣化画像生成部１２０と、パッチペア生成部１３０と、登録部１４０と、枝刈部５０１とを含む。
学習装置１００は、学習フェーズを実行して、辞書２００を作成する。
受付部１１０は、外部から学習画像を受け付ける。受付部１１０は、外部から受け付けた学習画像を劣化画像生成部１２０及びパッチペア生成部１３０に出力する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対して、複数の劣化処理を施して、複数の劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像に対して複数の異なる劣化処理を施して複数の劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対し、サイズ縮小、明度減少、高周波成分除去又は姿勢変動の処理のうちの少なくとも一つを施すことで劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から受け取った学習画像を、例えばＮ分の１に縮小することで劣化画像を生成してもよい。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用してもよい。
劣化画像生成部１２０は、例えば学習画像の高周波成分を取り除く等してボケ強度を強めることで劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像を傾かせて姿勢を変動させることで劣化画像を生成してもよい。又は劣化画像生成部１２０は、学習画像の輝度値を減少させて明度を低くし、劣化画像を生成してもよい。劣化画像生成部１２０は、既存の様々な手法によって劣化画像を生成してもよい。
劣化画像生成部１２０は、学習画像から生成した劣化画像を、パッチペア生成部１３０に出力する。
パッチペア生成部１３０は、受付部１１０から学習画像を受け取り、劣化画像生成部１２０から学習画像の劣化画像を受け取る。パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する。
パッチペア生成部１３０は、既存の手法によって復元パッチと劣化パッチとの複数のペア（パッチペア）を生成すればよい。
パッチペア生成部１３０は、生成した複数のパッチペアを登録部１４０に、順次出力する。また、パッチペア生成部１３０は、登録部１４０に出力するパッチペアに含まれる劣化パッチを、登録部１４０への出力に同期して枝刈部５０１に出力する。
尚、学習装置１００の受付部１１０は、学習画像及びその学習画像のペアである劣化画像の両方を、外部から受け付けるようにしてもよい。例えば、学習画像は高解像度画像を撮影可能なカメラで撮影した画像であり、劣化画像は性能の低いカメラで撮影した画像である。また、劣化画像は、意図的にピントを狂わせて、或いは露出時間を不正に設定して、撮影した画像であってよい。また、劣化画像は、ブレを発生させて撮影した画像であってよい。劣化画像は、その他、あらゆる悪条件で撮影した画像であってよい。こうした場合、学習装置１００は、劣化画像生成部１２０を含まなくてもよい。また、パッチペア生成部１３０は、受付部１１０から学習画像及び劣化画像を受け取る。
枝刈部５０１は、選択の対象となるパッチペアの内、二つのパッチペアの特徴の類似度に基づいて、辞書に格納するパッチペアを示す枝刈情報を出力する。
具体的には、枝刈部５０１は、二つのパッチペアそれぞれの劣化パッチ間の類似度に基づいて、辞書に格納する劣化パッチを示す枝刈情報を出力する。それらの二つの劣化パッチの内の一つは、パッチペア生成部１３０から受け取った劣化パッチであって、辞書手段に保存する候補である候補パッチである。それらの二つの劣化パッチの内の他の一つは、枝刈部５０１が保持する劣化パッチであって、既に辞書手段に保存すると判定された既保存パッチである。
図３は、枝刈部５０１の構成を示すブロック図である。図３に示すように枝刈部５０１は、類似度算出部５１０、保存パッチ選択部５２０及び既保存パッチ保持部５３０を含む。
類似度算出部５１０は、候補パッチと既保存パッチ保持部５３０に保持されている各既保存パッチとの２つのパッチ間の類似度を算出する。続けて、類似度算出部５１０は、算出した類似度を順次、保存パッチ選択部５２０へ出力する。尚、類似度算出部５１０は、既保存パッチが存在しない場合（例えば、初期状態）、類似度を０として出力してよい。
類似度算出部５１０は、後述する枝刈情報を受け取った場合、現在処理中の候補パッチに関する類似度の算出処理を終了する。その理由は、枝刈情報が、現在処理中の候補パッチを削除パッチとすることを示しているからである。また、類似度算出部５１０は、パッチ間の類似度を算出し、出力した後、予め定められた期間を経過しても枝刈情報受け取らなかった場合、その候補パッチを既保存パッチとして、既保存パッチ保持部５３０に出力する。ここで、そのパッチ間の類似度は、現在処理中の候補パッチと全ての既保存パッチそれぞれとの類似度である。
尚、類似度算出部５１０は、辞書２００に格納されているパッチペアに含まれる劣化パッチを既保存パッチとして取得し、この既保存パッチと候補パッチとのパッチ間の類似度を算出するようにしてもよい。この場合、枝刈部５０１は、既保存パッチ保持部５３０を含まなくてもよい。
ここで、２つのパッチ（例えば、入力パッチと劣化パッチ）間の類似度について説明する。
図４は、パッチ５０の一例を示す図である。図４に示すように、例えばパッチ５０は、複数の画素５２の画素値を要素として持つ、多次元ベクトルである画素群５１を含む。また、パッチ５０は、パッチ５０を個々に特定するパッチ識別子５３を、メタ情報として含む。尚、パッチ５０は、復元パッチ、劣化パッチ及び入力パッチを含む概念である。また、画素値は、輝度値でもよくこれに限定されない。
この場合、２つのパッチ間の類似度を示す値とは、パッチ間の各画素５２の輝度値の差に基づく値でもよい。例えば、２つのパッチ間の類似度を示す値は、パッチ間の各画素５２の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｓｔａｎｃｅ）を、特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＳＤであってよい。又は、２つのパッチ間の類似度を示す値は、パッチ間の各画素の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｓｔａｎｃｅ）を、特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＡＤであってよい。
他に、例えば、２つのパッチ間の類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でもよい。又は、２つのパッチ間の類似度を示す値は、正規化相互相関関数により算出される値でもよく、これらに限定されない。
即ち、２つのパッチ間の類似度は、２つのパッチそれぞれの画素群が表す画像間の類似度である。
図３に戻って、保存パッチ選択部５２０は、算出した類似度が類似度閾値以上の場合に、枝刈を指示する枝刈情報を、登録部１４０及び類似度算出部５１０へ出力する。
ここで、類似度閾値は、候補パッチ及び既保存パッチのいずれか一方を削除するか否かを判断する場合に利用される、類似度の基準である。即ち、保存パッチ選択部５２０は、類似度閾値以上の類似度を持つ劣化パッチが保存されないように、枝刈情報を出力する。
また、枝刈情報は、算出した類似度が類似度閾値以上の場合、候補パッチ又は既保存パッチのいずれの一方を辞書２００に保存する保存パッチとし、他の一方を辞書２００に保存しない削除パッチとするかを示す情報である。本実施形態の保存パッチ選択部５２０は、算出した類似度が類似度閾値以上の場合、既保存パッチを辞書２００に保存する保存パッチとし、候補パッチを辞書２００に保存しない削除パッチとすることを示す、その枝刈情報を出力する。
また、枝刈部５０１は、算出した類似度が類似度閾値未満の場合、枝刈情報を出力しない。
既保存パッチ保持部５３０は、類似度算出部５１０から受け取った既保存パッチを保持する。
尚、枝刈部５０１は、二つのパッチペアそれぞれの学習パッチ間の類似度に基づいて、辞書に格納する学習ペア（或いは、パッチペア）を示す枝刈情報を出力するようにしてもよい。こうした場合、パッチペア生成部１３０は、登録部１４０に出力するパッチペアに含まれる学習パッチを、登録部１４０への出力に同期して枝刈部５０１に出力する。また、類似度算出部５１０は、パッチペア生成部１３０から受け取った学習パッチを、候補パッチとする。また、既保存パッチ保持部５３０は、学習パッチを既保存パッチとして保持する。
また、枝刈部５０１は、二つのパッチペアそれぞれの学習パッチ間の類似度及び劣化パッチ間の類似度に基づいて、辞書に格納するパッチペアを示す枝刈情報を出力するようにしてもよい。こうした場合、パッチペア生成部１３０は、登録部１４０に出力するパッチペアを、登録部１４０への出力に同期して枝刈部５０１に出力する。また、類似度算出部５１０は、パッチペア生成部１３０から受け取ったパッチペアの学習パッチ及び劣化パッチを、候補パッチとする。また、既保存パッチ保持部５３０は、パッチペアの学習パッチ及び劣化パッチを、既保存パッチとして保持する。類似度算出部５１０は、例えば、学習パッチ間の類似度と劣化パッチ間の類似度とに対して、予め定められた演算（例えば、加算）を施して、候補パッチと既保存パッチとの類似度を算出するようにしてよい。
図２に戻って、登録部１４０は、パッチペア生成部１３０から、パッチペアを受け取る。また、登録部１４０は、枝刈部５０１から、枝刈情報を受け取る。
登録部１４０は、枝刈情報を受け取った場合、パッチペア生成部１３０から受け取ったパッチペアを辞書２００に登録しない。即ち、登録部１４０は、枝刈情報を受け取った場合、何もしない。その理由は、枝刈情報が、辞書２００に既に保存されているパッチペアに含まれる既保存パッチを保存パッチとしたことを示しているからである。
一方、登録部１４０は、期待する特定のタイミングで枝刈情報を受け取らなかった場合、パッチペア生成部１３０から受け取ったパッチペアを辞書２００に登録する。
即ち、本実施形態の学習装置１００は、外部から学習画像を受け付ける。次に、学習装置１００は、その学習画像から複数のパッチペアを生成する。次に、学習装置１００は、それらのパッチペアに含まれる劣化パッチ相互間の類似度が類似度閾値未満の、劣化パッチを含むパッチペアを枝刈した辞書２００を作成する。
尚、本実施形態の保存パッチ選択部５２０は、算出した類似度が類似度閾値以上の場合、既保存パッチを辞書２００に保存しない削除パッチとし、候補パッチを辞書２００に保存する保存パッチとすることを示す、枝刈情報を出力するようにしてもよい。この場合、登録部１４０は、枝刈情報を受け取った場合、パッチペア生成部１３０から受け取ったパッチペアを辞書２００に登録し、辞書２００に登録されている、既保存パッチに対応する、パッチペアを削除するようにしてもよい。この場合、登録部１４０は、期待する特定のタイミングで枝刈情報を受け取らなかった場合、何もしない。更に、類似度算出部５１０は、枝刈情報を受け取った場合、候補パッチを既保存パッチ保持部５３０へ出力し、同時に、対応する既保存パッチを削除する指示を既保存パッチ保持部５３０に出力し、現在処理中の候補パッチの関する類似度の算出処理を終了する。また、類似度算出部５１０は、何もしない。
辞書２００は、学習装置１００によって生成され、枝刈された複数のパッチペアを格納する。
図５は、学習フェーズを説明するための概念図である。図５に示すように、学習装置１００は、学習画像１０及び劣化画像２０の対応する位置におけるパッチペアを辞書２００に登録する。
図６は、辞書２００がパッチペアを格納する様子を説明するための概念図である。図６に示すように、辞書２００は、復元パッチ２０１（１）、２０１（２）、２０１（３）、・・・、２０１（ｎ−１）、２０１（ｎ）を格納する。また、辞書２００は、復元パッチ２０１に対応して劣化パッチ２０２（１）、２０２（２）、２０２（３）、・・・、２０２（ｎ−１）、２０２（ｎ）を格納する。すなわち、辞書２００は、復元パッチ２０１と劣化パッチ２０２のペアであるパッチペア２０３（１）、２０３（２）、２０３（３）、・・・、２０３（ｎ−１）、２０３（ｎ）を格納する。ここでｎは整数である。
辞書２００のパッチペアの格納方法は、図６に示すように各パッチを対応付けて格納する方法に限定されない。例えば辞書２００は、学習画像をパッチとしてではなく一枚の画像として格納し、劣化パッチ毎に学習画像のどこの領域と対応するかを示すインデックスが付された態様により学習データを格納してもよいし、その他の方法で格納してもよい。この場合、パッチの構造は、辞書２００のパッチペアの格納方法に適合する構造であってよい。
次に、図面を参照して、学習装置１００の動作を説明する。図７は、学習装置１００の動作を示すフローチャート図である。
受付部１１０は、外部から学習画像を受け付ける（ステップＡ１）。
劣化画像生成部１２０は、受付部１１０から出力された学習画像を、例えばＮ分の１に縮小して、劣化画像を生成する（ステップＡ２）。
パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する（ステップＡ３）。
次に、パッチペア生成部１３０は、一つのパッチペアを登録部１４０へ出力し、そのパッチペアに含まれる劣化パッチを候補パッチとして枝刈部５０１へ出力する（ステップＡ４）。
枝刈部５０１の類似度算出部５１０は、受け取った候補パッチと既保存パッチとの２つのパッチ間の類似度を算出する（ステップＡ５）。
枝刈部５０１の保存パッチ選択部５２０は、類似度算出部５１０から受け取った類似度が類似度閾値以上か否かを判定する（ステップＡ６）。
類似度が類似度閾値以上の場合（ステップＡ６でＹＥＳ）、保存パッチ選択部５２０は、枝刈情報を出力する（ステップＡ７）。そして、処理はステップＡ４に戻る。
類似度が類似度閾値未満の場合（ステップＡ６でＮＯ）、類似度算出部５１０は全ての既保存パッチについて処理が終了したか否かを確認する（ステップＡ８）。
処理が終了していない既保存パッチが残っている場合（ステップＡ８でＮＯ）、処理はステップＡ５へ戻る。
全ての既保存パッチについて処理が終了した場合（ステップＡ８でＹＥＳ）、類似度算出部５１０は、受け取った候補パッチを、既保存パッチとして既保存パッチ保持部５３０に出力する（ステップＡ９）
次に、登録部１４０は、ステップＡ４においてパッチペア生成部１３０から受け取ったパッチペアを辞書２００へ出力する（ステップＡ１０）。
次に、パッチペア生成部１３０は、全てのパッチペアについて処理が終了したか否かを確認する（ステップＡ１１）。
処理が終了していないパッチペアが残っている場合（ステップＡ１１でＮＯ）、処理はステップＡ４へ戻る。
全ての既保存パッチについて処理が終了した場合（ステップＡ１１でＹＥＳ）、処理は終了する。
以上が、辞書２００を作成する、学習装置１００の動作の説明である。
尚、保存パッチ選択部５２０は、候補パッチのパッチ識別子、既保存パッチのパッチ識別子及びパッチペアの識別子の内の任意の情報を、枝刈情報として出力するようにしてもよい。この場合、登録部１４０は、受け取った枝刈情報に基づいて、予め定められた基準に従って、辞書２００へのパッチペアの登録、辞書２００からのパッチペアの削除を実行する。また、類似度算出部５１０は、受け取った枝刈情報に基づいて、予め定められた基準に従って、既保存パッチ保持部５３０の内容を更新する。
（復元フェーズ）
図８〜図１０を参照して、第１実施形態における復元フェーズについて説明する。
図８は、画像処理装置３００の構成を示すブロック図である。図８に示すように、画像処理装置３００は、受付部３１０と、パッチ生成部３３０と、選択部３４０と、合成部３５０とを含む。
画像処理装置３００は、画像処理の対象となる入力画像を外部から受け付けて、その入力画像に画像処理を実行して復元画像を生成する。具体的には、画像処理装置３００は、入力画像をブロックに分割して生成した複数のパッチ（入力パッチ）と、辞書２００に格納されている劣化パッチとの、類似度に基づいて復元パッチを選択する。次に、画像処理装置３００は、選択した複数の復元パッチを合成することにより、復元画像を生成する。入力パッチと劣化パッチとの類似度は、学習フェーズで説明した、２つのパッチ間の類似度と同様である。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける。受付部３１０は、ネットワークに接続して入力画像を受信してもよいし、入力画像を記憶するメモリから読み出すことで入力画像を受け付けてもよく、受け付けの形態は限定されない。受付部３１０は、受け付けた入力画像をパッチ生成部３３０に出力する。
パッチ生成部３３０は、受付部３１０から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する。パッチ生成部３３０は、生成した複数の入力パッチを選択部３４０に出力する。
選択部３４０は、パッチ生成部３３０から、複数の入力パッチを受け取る。選択部３４０は、辞書２００に格納されるパッチペアのデータの中から、入力パッチと辞書２００中の劣化パッチとの類似度を示す値（以下、「劣化類似値」という。）に基づいて、複数の入力パッチのそれぞれ毎に復元パッチのそれぞれを選択する。選択部３４０は、選択した複数の復元パッチを合成部３５０に出力する。
合成部３５０は、選択部３４０から出力された複数の復元パッチを合成して、復元画像を生成する。
図９は、復元フェーズを説明するための概念図である。図９に示すように、画像処理装置３００は、入力画像３０の入力パッチ３１と辞書２００中の劣化パッチ２０２との類似性を考慮して、復元画像４０を生成するための復元パッチ２０１を選択する。
次に、画像処理装置３００の動作について、図面を参照して詳細に説明する。
図１０は、画像処理装置３００の動作を示すフローチャートである。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける（ステップＢ１）。
パッチ生成部３３０は、受付部３１０から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する（ステップＢ２）。例えば、パッチ生成部３３０は、縦５個×横５個の計２５個の画素からなる領域を入力パッチのパッチ単位としてもよい。この場合、パッチ生成部３３０は、入力画像に対し、隣接のパッチが１画素ずつずれた関係で入力パッチを生成してもよい。尚、パッチの領域の画素数や、隣接パッチとの関係はこれらに限定されない。例えば、パッチ生成部３３０は、隣接のパッチが３画素ずつずれた関係のパッチとして入力パッチを生成してもよい。尚、入力パッチとそれに隣接するパッチとのずれ画素の数が小さい（隣接のパッチとの重なりが大きい）ほど、復元画像を生成するための細かな合成処理が可能になる。
選択部３４０は、入力パッチと劣化類似値とに基づいて、入力パッチに最も類似する劣化パッチを探索し、最も類似する劣化パッチとペアになっている復元パッチを選択する（ステップＢ３）。ここで、劣化類似値は、辞書２００中の劣化パッチとの類似度を示す値である。
ステップＢ３は、全ての入力パッチについて繰り返し実行される。
尚、ステップＢ３では、選択部３４０は、入力パッチに最も類似する一枚の劣化パッチを探索することとした。しかし、ステップＢ３の動作は、この動作に限定されない。例えば、選択部３４０は、最も類似するパッチから順に選択した複数の復元パッチを合成して、新たに復元パッチを生成してもよい。尚、「画像（パッチ）を合成する」処理は、具体的には、「合成の対象となる全画像（パッチ）の画素値の平均を取る」処理でもよい。ここで、「画素値の平均を取る」とは、各パッチ間で同一位置の画素値毎に、平均値を算出することである。
次に、合成部３５０は、選択部３４０が出力した複数の復元パッチを合成して、復元画像を生成する（ステップＢ４）。ここで、「合成」とは、上述のように画素値の平均を取る処理でもよい。具体的には、「合成」とは、全復元パッチを対応する位置に置いたときに、重なり領域については重なった全ての復元パッチの画素値の平均を取る処理でもよい。
以上が画像処理装置３００の動作の説明である。
上述した本実施形態における第１の効果は、辞書２００のサイズを削減するための処理コストを低減することが可能になる点である。
その理由は、類似度算出部５１０が算出した候補パッチ及び既保存パッチ間の類似度に基づいて、保存パッチ選択部５２０が候補パッチ及び既保存パッチのいずれか一方を削除するか否かを判断するようにしたからである。
上述した本実施形態における第２の効果は、最初の学習画像の入力から、サイズを削減した辞書２００を得るまでの時間を短縮することが可能になる点である。
その理由は、枝刈部５０１は、パッチペア生成部１３０が生成した候補画像を順次受け取って、類似度算出部５１０と保存パッチ選択部５２０とによる処理を逐次的に実行するようにしたからである。
＜第２実施形態＞
次に、本発明の第２実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１１は、本発明の第２実施形態に係る枝刈部５０２の構成を示すブロック図である。
図１１を参照すると、本実施形態における枝刈部５０２は、第１の実施形態のそれと比べて、類似度算出部５１０に替えて類似度算出部５１２を保存パッチ選択部５２０に替えて保存パッチ選択部５２２を有する。また、枝刈部５０２は、既保存パッチ保持部５３０に替えて統計情報保持部５４０を有する。更に、枝刈部５０２は、平均画素群算出部５５０を更に含む。
図１２は、統計情報５４１の一例を示す図である。図１２を参照すると統計情報５４１は、既保存パッチ５４２と積算パッチ５４３と削除パッチ数５４４との組を１以上含む。
積算パッチ５４３は、対応する既保存パッチ５４２に関連する削除パッチの画素群を積算した画素群を含む。削除パッチ数５４４は、対応する既保存パッチ５４２に関連する削除パッチの数である。
類似度算出部５１２は、枝刈情報を受け取ると、その枝刈情報が示す保存パッチに対応する既保存パッチ５４２に、対応する積算パッチ５４３と削除パッチ数５４４とを統計情報保持部５４０から取得する。ここで、その枝刈情報が示す保存パッチに対応する既保存パッチ５４２は、現在、類似度算出の対象としている既保存パッチである。
類似度算出部５１２は、その枝刈情報で示される削除パッチの画素群と取得した積算パッチ５４３の画素群とを加算した画素群で、積算パッチ５４３を更新する。同時に、類似度算出部５１２は、削除パッチ数５４４に１を加算して更新する。類似度算出部５１２は、更新した積算パッチ５４３と削除パッチ数５４４とその枝刈情報で示される保存パッチである既保存パッチ５４２との組を統計情報５４１として出力する。
統計情報保持部５４０は、類似度算出部５１２が出力する統計情報５４１を受け取り、保持している統計情報５４１を更新する。即ち、統計情報保持部５４０は、受け取った統計情報５４１の既保存パッチ５４２を含む、統計情報５４１を既に保持している場合は、積算パッチ５４３と削除パッチ数５４４を上書きする。また、統計情報保持部５４０は、受け取った統計情報５４１の既保存パッチ５４２を含む、統計情報５４１を保持していない場合は、受け取った統計情報５４１を保持する。
平均画素群算出部５５０は、統計情報保持部５４０から積算パッチ５４３と削除パッチ数５４４とを取得し、平均画素群を算出する。平均画素群は、積算パッチ５４３に含まれる画素群と既保存パッチ５４２に含まれる画素群とを更に加算した画素群の各要素を、削除パッチ数５４４に１加算した数で除した値を各要素とする。
保存パッチ選択部５２２は、候補パッチと既保存パッチ５４２との間の類似度が類似度閾値以上の場合に、候補パッチ及び既保存パッチ５４２それぞれに含まれる画素群と平均画素群との間の類似度を算出する。保存パッチ選択部５２２は、候補パッチ及び既保存パッチ５４２の内、算出した類似度が高い方を保存パッチとして選択する。
尚、保存パッチ選択部５２２は、平均画素群を含む平均パッチを登録部１４０へ出力するようにしてもよい。この場合、登録部１４０は、パッチペアの劣化パッチを平均パッチに替えて、辞書２００へ登録するようにしてもよい。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、辞書２００に登録されるパッチペアの分布バランスが良くなるように、削除パッチの情報を考慮して保存パッチを選択することが可能になるという効果がある。
その理由は、以下の構成を備えるようにしたからである。第一に、統計情報保持部５４０が削除パッチの統計情報５４１を保持する。第二に、平均画素群算出部５５０がその統計情報５４１に基づいて平均画素群を算出する。第三に、保存パッチ選択部５２２がその平均画素群に基づいて保存パッチを選択する。
＜第３実施形態＞
次に、本発明の第３実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１３は、本発明の第３実施形態に係る枝刈部５０３の構成を示すブロック図である。
図１３を参照すると、本実施形態における枝刈部５０３は、第１の実施形態のそれと比べて、類似度算出部５１０に替えて類似度算出部５１３を有する。また、枝刈部５０３は、代表選択部５６０を更に含む。
図１４は、本実施形態の既保存パッチ６０の一例を示す図である。図１４に示すように、既保存パッチ６０は、図４に示すパッチ５０に比べて、代表パッチ識別子６４を更に含む。
代表選択部５６０は、パッチペアに含まれる劣化パッチの内から代表類似度閾値未満の類似度を互いに有する、複数の劣化パッチを選択する。そして、代表選択部５６０は、選択した劣化パッチを代表パッチとして保持し、出力する。ここで、代表類似度閾値は、類似度閾値に比べて、一桁以上小さい値であることが望ましい。
代表パッチは、図４に示すパッチ５０又は図１４に示す既保存パッチ６０と同様の構造を有する。例えば、特定の代表パッチに対応する既保存パッチ６０として類似度算出部５１３が代表選択部５６０に出力したパッチを、代表選択部５６０が代表パッチとして選択した場合の代表パッチの構造は、既保存パッチ６０と同じ構造である。
具体的には、代表選択部５６０は、類似度算出部５１３から、既保存パッチ（例えば、既保存パッチ６０であってもよい）を受け取る。
次に、代表選択部５６０は、一つも代表パッチを保持していない場合は、受け取った既保存パッチを代表パッチとして保持する。
また、代表選択部５６０は、少なくとも１つの代表パッチを保持している場合は、受け取った既保存パッチと保存している全ての代表パッチそれぞれとの類似度を算出する。
次に代表選択部５６０は、算出した全ての類似度が代表類似度閾値より小さい場合、その既保存パッチを代表パッチとして保持する。
代表選択部５６０は、類似度算出部５１３へ代表パッチを出力する。
尚、代表選択部５６０は、パッチペア生成部１３０から、任意の複数の劣化パッチを取得し、この中から互いの類似度が代表類似度閾値未満の劣化パッチを任意の数だけ選択し、選択した劣化パッチを代表パッチとしてもよい。
類似度算出部５１３は、まず、候補パッチと代表パッチそれぞれとの間の類似度を算出し、算出した類似度のうち最も大きい類似度に対応する代表パッチを特定する。類似度算出部５１３は、特定した代表パッチに対応する既保存パッチ６０と候補パッチとの間の類似度を算出し、その算出した類似度を保存パッチ選択部５２０へ出力する。尚、類似度算出部５１３は、例えば初期状態において、代表パッチが存在しない場合或いは既保存パッチ６０が存在しない場合、類似度を０として出力する。
類似度算出部５１３は、既保存パッチを既保存パッチ保持部５３０へ出力する場合に、特定した代表パッチのパッチ識別情報を付加して出力する。この場合、既保存パッチ保持部５３０が保持する既保存パッチ６０は、代表パッチ識別情報を含む既保存パッチである。
上述のように、本実施形態においては、代表パッチに対応する分割範囲は、代表パッチ間の各次元の要素の中間点で決定される。
尚、例えば、類似度算出部５１３は、代表パッチを取得した場合に、代表パッチの画素群に基づいて木構造を生成し、その生成した木構造に基づいて候補パッチがいずれの代表パッチに対応するかを決定してもよい。ここで、その木構造は、例えば、ｋ−ｄｉｍｅｎｓｉｏｎａｌ  ｔｒｅｅ（ｋ次元のユークリッド空間にある点を分類する空間分割データ構造）である。
こうした場合、類似度算出部５１３による距離計算の回数は、Ｎ個の既保存パッチに対する１個の候補パッチについて、類似度が類似度閾値以上の既保存パッチが検出されない場合、“Ｎ２”から“ｌｏｇ（ｋ）（Ｎ／ｋ）２）”に削減される。但し、ｋは、代表パッチの個数である。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、辞書２００のサイズを削減するための処理コストを更に低減することが可能になるという効果がある。
その理由は、代表選択部５６０が代表パッチを選択し、類似度算出部５１３が代表パッチに基づいて分割される分割範囲内で候補パッチと既保存パッチとの間の類似度を算出するようにしたからである。
＜第４実施形態＞
次に、本発明の第４実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１５は、本発明の第４実施形態に係る枝刈部５０４の構成を示すブロック図である。
図１５を参照すると、本実施形態における枝刈部５０４は、第１の実施形態のそれと比べて、類似度算出部５１０に替えて類似度算出部５１４を有する。
図１６は、本実施形態の劣化パッチ７０の例を示す図である。図１６に示すように、劣化パッチ（候補パッチ及び既保存パッチ）７０は、図４に示すパッチ５０に比べて、位置情報７５を更に含む。位置情報７５は、例えば、劣化画像２０をｘｙ平面とした場合の、劣化パッチ７０（劣化パッチ２１２）の中心の座標である。図１６の位置情報７５のｘｘはｘ軸の座標を、ｙｙはｙ軸の座標を示す。
類似度算出部５１４は、候補パッチの位置情報７５に対応する位置範囲を取得する。位置範囲は、例えば、ｘｙ座標上における候補パッチの原点の座標を中心とする円である。位置範囲は、左記以外の任意の範囲であってよい。類似度算出部５１４は、ｘｙ座標上における既保存パッチの原点の座標が位置範囲に含まれるか否かを判定し、含まれる場合にその既保存パッチとその候補パッチとの間の類似度を算出し、保存パッチ選択部５２０へ出力する。
こうした場合、類似度算出部５１４による距離計算の回数は、Ｎ個の既保存パッチに対する１個の候補パッチについて、類似度が類似度閾値以上の既保存パッチが検出されない場合、“Ｎ２”から“（Ｎ／ｋ）２”に削減される。但し、ｋは、位置範囲の個数である。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、辞書２００のサイズを削減するための処理コストを更に低減することが可能になるという効果がある。
その理由は、類似度算出部５１４が候補パッチの位置情報７５と既保存パッチの位置情報７５とが予め定められた位置範囲内である候補パッチと既保存パッチとの間の類似度を算出するようにしたからである。
＜第５実施形態＞
次に、本発明の第５実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１７は、本発明の第５実施形態に係る枝刈部５０５の構成を示すブロック図である。
図１７を参照すると、本実施形態における枝刈部５０５は、第１の実施形態の枝刈部５０１と比べて、保存パッチ選択部５２０に替えて保存パッチ選択部５２５を有する。また、枝刈部５０５は、閾値決定部５８０を更に含む。
閾値決定部５８０は、パッチペア生成部１３０から任意の数の劣化パッチを取得する。次に、閾値決定部５８０は、取得した劣化パッチ相互間の類似度を算出し、類似度の分布に基づいて類似度閾値を決定する。
図１８は、類似度分布率６５０を示す図である。図１８に示すように類似度分布率６５０は、類似度と分布率の対応を示す情報である。類似度分布率６５０の分布率は、閾値決定部５８０が算出した類似度の、分布率である。
例えば、辞書２００に登録するパッチペアの数（即ち、既保存パッチの数）が、３００個未満と定められているとする。また、パッチペア生成部１３０が生成するパッチペアの数が１０００個であるとする。
この場合。閾値決定部５８０は、類似度の小さい分布率から順番に加算した合計値が３００／１０００＝０．３を超えない範囲で、最大の類似度（図１８の例の場合、７）を類似度閾値として、決定し、出力する。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、類似度閾値を自動的に決定することが可能になるという効果がある。
その理由は、閾値決定部５８０が、任意の数の劣化パッチの相互間の類似度に基づいて、類似度閾値を算出するようにしたからである。
＜第６実施形態＞
次に、本発明の第６実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１９は、本発明の第６実施形態に係る枝刈部５０６の構成を示すブロック図である。
図１９を参照すると、本実施形態における枝刈部５０６は、類似度算出部５１０及び保存パッチ選択部５２０を含む。
類度算出部５１０は、候補パッチと既保存パッチとを取得し、取得した候補パッチと既保存パッチとの間の類似度を算出する。類似度算出部５１０は、例えば、図２に示すパッチペア生成部１３０から候補パッチを取得する。類似度算出部５１０は、例えば、図２に示す辞書２００から既保存パッチを取得する。
類似度算出部５１０は、算出した類似度を順次、保存パッチ選択部５２０へ出力する。
保存パッチ選択部５２０は、受け取った類似度が類似度閾値以上の場合に、枝刈を指示する枝刈情報を出力する。
次に、枝刈部５０６のハードウェア単位の構成要素について説明する。
図２０は、本実施形態における枝刈部５０６を実現するコンピュータ装置のハードウェア構成を示す図である。図２０に示されるように、枝刈部５０６は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５９１、記憶部５９２、記憶装置５９３、入力部５９４、出力部５９５及び通信部５９６を含む。
ＣＰＵ５９１は、オペレーティングシステム（不図示）を動作させて、枝刈部５０６の全体の動作を制御する。また、ＣＰＵ５９１は、例えば記憶装置５９３に装着された不揮発性の記録媒体（不図示）から、プログラム（例えば、図１０に示すフローチャートの動作をコンピュータに実行させるプログラム）やデータを読み込み、読み込んだプログラムやデータを記憶部５９２に書き込む。そして、ＣＰＵ５９１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図１９に示す類似度算出部５１０及び保存パッチ選択部５２０として各種の処理を実行する。
尚、ＣＰＵ５９１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部５９２にプログラムやデータをダウンロードするようにしてもよい。
記憶部５９２は、プログラムやデータを記憶する。
記憶装置５９３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、不揮発性の記憶媒体を含む。記憶装置５９３は、プログラムをコンピュータ読み取り可能に記録する。また、記憶装置５９３は、データをコンピュータ読み取り可能に記録してもよい。
入力部５９４は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部５９４は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネル、加速度計、ジャイロセンサ、カメラなどでもよい。
出力部５９５は、例えばディスプレイで実現され、出力を確認するために用いられる。
通信部５９６は、ネットワークと枝刈部５０６とのインタフェースを実現する。枝刈部５０６は、例えば通信部５９６を介して辞書２００と接続されてもよい。
以上が、枝刈部５０６のハードウェア単位の各構成要素についての説明である。
以上説明したように、図１９に示す機能単位のブロックは、図２０に示すハードウェア構成によって実現される。但し、枝刈部５０６が備える各部の実現手段は、上記に限定されない。すなわち、枝刈部５０６は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されてもよい。
図２１は、プログラムを記録した記録媒体（又は記憶媒体）５９７の例を示すブロック図である。記録媒体５９７は、不揮発性記録媒体であってよい。前述のプログラムを記録した記録媒体５９７が枝刈部５０６に供給され、枝刈部５０６は、記録媒体５９７に格納されたプログラムを読み込み、実行してもよい。すなわち、本発明の実施形態は、枝刈部５０６が実行するプログラムを、一時的に又は非一時的に、記憶する記録媒体の実施形態を含む。
上述した本実施形態における効果は、辞書のサイズを削減するための処理コストを低減することが可能になるという効果がある。
その理由は、類似度算出部５１０が算出した候補パッチ及び既保存パッチ間の類似度に基づいて、保存パッチ選択部５２０が候補パッチ及び既保存パッチのいずれか一方を削除するか否かを判断するようにしたからである。
＜各実施形態のハードウェア構成＞
前述の第１乃至第５実施形態で説明した枝刈部５０１−５０５は、それぞれ図２０に示す枝刈部５０６と同様、ＣＰＵとプログラムを記憶した不揮発性記録媒体を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した枝刈部５０１−５０５の各動作を実行させるためのプログラムであればよい。
また、本発明では、学習装置１００、画像処理装置３００は、それぞれ図２０に示すようなＣＰＵとプログラムを記憶した不揮発性記録媒体を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した学習装置１００、画像処理装置３００の各動作を実行させるためのプログラムであればよい。
以上、各実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年１２月１２日に出願された日本出願特願２０１１−２７１５３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００１０】
１０    学習画像
２０    劣化画像
３０    入力画像
３１    入力パッチ
４０    復元画像
５０    パッチ
５１    画素群
５２    画素
５３    パッチ識別子
６０    既保存パッチ
６４    代表パッチ識別子
７０    劣化パッチ
７５    位置情報
１００    学習装置
１１０    受付部
１２０    劣化画像生成部
１３０    パッチペア生成部
１４０    登録部
２００    辞書
２０１    復元パッチ
２０２    劣化パッチ
２０３    パッチペア
３００    画像処理装置
３１０    受付部
３３０    パッチ生成部
３４０    選択部
３５０    合成部
５０１    枝刈部
５０２    枝刈部
５０３    枝刈部
５０４    枝刈部
５０５    枝刈部
５０６    枝刈部
５１０    類似度算出部
５１２    類似度算出部
５１３    類似度算出部
５１４    類似度算出部
５２０    保存パッチ選択部
５２２    保存パッチ選択部
５２５    保存パッチ選択部
５３０    既保存パッチ保持部
５４０    統計情報保持部
５４１    統計情報
５４２    既保存パッチ
５４３    積算パッチ
５４４    削除パッチ数
５５０    平均画素群算出部
５６０    代表選択部
５８０    閾値決定部
５９１    ＣＰＵ
５９２    記憶部
５９３    記憶装置
５９４    入力部
５９５    出力部
５９６    通信部
５９７    記録媒体
６５０    類似度分布率
１０００    画像処理システム
【図１】
2013089260.tif 000003
【図２】
2013089260.tif 000004
【図３】
2013089260.tif 000005
【図４】
2013089260.tif 000006
【図５】
2013089260.tif 000007
【図６】
2013089260.tif 000008
【図７】
2013089260.tif 000009
【図８】
2013089260.tif 000010
【図９】
2013089260.tif 000011
【図１０】
2013089260.tif 000012
【図１１】
2013089260.tif 000013
【図１２】
2013089260.tif 000014
【図１３】
2013089260.tif 000015
【図１４】
2013089260.tif 000016
【図１５】
2013089260.tif 000017
【図１６】
2013089260.tif 000018
【図１７】
2013089260.tif 000019
【図１８】
2013089260.tif 000020
【図１９】
2013089260.tif 000021
【図２０】
2013089260.tif 000022
【図２１】
2013089260.tif 000023
【手続補正書】
【提出日】平成26年6月10日(2014.6.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
コンピュータに、
画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチを取得し、前記候補パッチと前記既保存パッチとの類似度を算出する処理と、
前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する処理とを、
実行させる画像処理用プログラム。
【国際調査報告】
2013089260.tif 000024
2013089260.tif 000025