【手続補正書】
【提出日】平成25年1月10日(2013.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処理対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成する高周波成分抽出工程と、
前記高周波低画質画像の値に応じて、前記高周波低画質画像の処理対象に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かを判断する判断工程と、
前記判断工程において補間演算処理を実行すると判断された前記高周波低画質画像の処理対象に対して前記補間演算処理に用いられる補間フィルタ係数を設定する設定工程と、
前記高周波低画質画像の処理対象に前記設定された補間フィルタ係数が用いられた補間演算処理を施して、前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように、前記低画質画像に拡大処理を施す拡大処理工程と、
前記拡大処理工程の処理結果と前記高画質画像生成工程における補間演算処理の処理結果とを加算する加算工程と、
を含むことを特徴とする画像処理方法。
【請求項３】
請求項１又は２に記載の画像処理方法において、
前記判断工程に用いられる閾値を取得する閾値取得工程を含み、
前記判断工程は、前記取得された閾値と前記高周波低画質画像の値との比較結果に基づいて前記補間演算処理を実行するか否かを判断することを特徴とする画像処理方法。
【請求項４】
請求項１乃至３のいずれかに記載の画像処理方法において、
前記判断工程は、前記高周波低画質画像が有する高周波成分の振幅情報、高周波成分の頻度情報及び、高周波成分の累積振幅情報の少なくともいずれか１つの情報に基づいて補間演算処理をするか否かを判断することを特徴とする画像処理方法。
【請求項５】
請求項１乃至４のいずれかに記載の画像処理方法において、
前記高周波低画質画像に正規化処理を施す正規化処理工程を含むことを特徴とする画像処理方法。
【請求項６】
請求項２に記載の画像処理方法において、
前記低画質画像を複数の領域に分割する分割工程を含み、
前記判断工程は、前記分割された領域ごとに補間演算処理を実行するか否かを判断し、
前記高画質画像生成工程は、前記補間演算処理を実行すると判断された領域について補間演算処理を施すとともに、
前記加算工程は、前記補間演算処理を実行すると判断された領域について、前記拡大処理工程の処理結果に対して前記高画質画像生成工程における前記補間演算処理の処理結果を加算することを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法において、
前記拡大処理工程は、前記判断工程において補間演算処理を実行しないと判断された領域に対して、処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように拡大処理を施し、
前記判断工程において補間演算処理を実行すると判断された領域の前記加算工程の処理結果を出力するか、前記判断工程において補間演算処理を実行しないと判断された領域の前記拡大処理工程の処理結果を出力するかを選択的に切り換えて出力する選択工程を含むことを特徴とする画像処理方法。
【請求項８】
請求項６に記載の画像処理方法において、
前記拡大処理工程は、前記判断工程において補間演算処理を実行しないと判断された領域に対して、処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように拡大処理を施し、
前記補間演算処理を実行すると判断された領域の前記加算工程の処理結果及び前記補間演算処理を実行しないと判断された領域の前記拡大処理工程の処理結果のそれぞれについて、所定の重み係数を乗じた値を加算して出力する重み付け加重演算工程を含むことを特徴とする画像処理方法。
【請求項９】
請求項１乃至８のいずれかに記載の画像処理方法において、
前記高画質画像生成工程における補間演算処理に用いられる前記補間フィルタ係数を取得する取得工程を含むことを特徴とする画像処理方法。
【請求項１０】
請求項１乃至９のいずれかに記載の画像処理方法において、
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、
前記低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成工程と、
前記生成された高周波低画質画像が予め設定された数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法において、
前記代表高周波画像を生成する際の分類数に対応する学習代表数を取得する学習代表数取得工程を含むことを特徴とする画像処理方法。
【請求項１２】
請求項１乃至１１のいずれかに記載の画像処理方法において、
前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、
前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴領域以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、
前記判断工程は、少なくとも前記特徴領域に対して補間演算処理が実行されるように補間演算処理が実行されるか否かを判断することを特徴とする画像処理方法。
【請求項１３】
高画質学習画像から前記高画質学習画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、
前記高周波高画質画像及び前記代表高周波画像から補間フィルタ係数が生成される補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１４】
処理対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成する高周波成分抽出手段と、
前記高周波低画質画像の値に応じて、前記高周波低画質画像の処理対象に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かを判断する判断手段と、
前記判断手段において補間演算処理を実行すると判断された前記高周波低画質画像の処理対象に対して前記補間演算処理に用いられる補間フィルタ係数を設定する設定手段と、
前記高周波低画質画像の処理対象に前記設定された補間フィルタ係数が用いられた補間演算処理を施して、前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項１５】
コンピュータに、
処理対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成する高周波成分抽出手段と、
前記高周波低画質画像の値に応じて、前記高周波低画質画像の処理対象に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かを判断する判断手段と、
前記判断手段において補間演算処理を実行すると判断された前記高周波低画質画像の処理対象に対して補間演算処理に用いられる補間フィルタ係数を設定する設定手段と、
前記高周波低画質画像の処理対象に前記設定された補間フィルタ係数が用いられた補間演算処理を施して、前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段、
として機能させることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
代表ベクトルμｉの生成手法として、例えば、ＧＭＭ（ガウシアンミクスチャモデル）に対してＥＭアルゴリズムが適用された手法が挙げられる。このようにして、クラスタベクトルＹが代表値化された代表ベクトルμｉを求めることで、データベース数の大幅な削減が実現されている。そして、高解像画像ｘ、低解像画像ｚ、クラスタベクトルＹ、代表ベクトルμｉから補間フィルタ係数Ａｉ、Ｂｉ、πｉ（ｉはクラス番号）が生成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
学習ステップで生成された補間フィルタ係数Ａｉ、Ｂｉ、πｉは、図２２（ｂ）に図示した復元ステップにおいて使用される。ここで、補間フィルタ係数Ａｉは、低解像画像における低周波成分から中周波成分の周波数成分を復元するために、クラスタベクトルＹよりも大きなサイズが必要である。例えば、補間フィルタ係数Ａｉとして、注目画素を中心とした５×５程度のサイズ（２５次元程度のベクトル）が必要である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
発明６に係る画像処理方法は、発明２に記載の画像処理方法において、前記低画質画像を複数の領域に分割する分割工程を含み、前記判断工程は、前記分割された領域ごとに補間演算処理を実行するか否かを判断し、前記高画質画像生成工程は、前記補間演算処理を実行すると判断された領域について補間演算処理を施すとともに、前記加算工程は、前記補間演算処理を実行すると判断された領域について、前記拡大処理工程の処理結果に対して前記高画質画像生成工程における前記補間演算処理の処理結果を加算することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
発明８に係る画像処理方法は、発明６に記載の画像処理方法において、前記拡大処理工程は、前記判断工程において補間演算処理を実行しないと判断された領域に対して、処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように拡大処理を施し、前記補間演算処理を実行すると判断された領域の前記加算工程の処理結果及び前記補間演算処理を実行しないと判断された領域の前記拡大処理工程の処理結果のそれぞれについて、所定の重み係数を乗じた値を加算して出力する重み付け加重演算工程を含むことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
発明１２に記載の画像処理方法は、発明１乃至１１のいずれかに記載の画像処理方法において、前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴領域以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、前記判断工程は、少なくとも前記特徴領域に対して補間演算処理が実行されるように補間演算処理が実行されるか否かを判断することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
発明１３に係る画像処理装置は、高画質学習画像から前記高画質学習画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、前記高周波高画質画像及び前記代表高周波画像から補間フィルタ係数が生成される補間フィルタ係数生成工程と、を含むことを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
図１（ａ）に示す学習ステップは、高解像画像ｘfile（学習画像ｘ）に対して、縮小処理（例えば、１画素ごとに画素を間引く処理）又はローパスフィルタ(LPF)などを用いたフィルタリング処理が施され、高解像画像ｘfileよりも解像度が低い低解像画像ｚfileが生成される低解像画像生成工程（＃１０）と、学習画像ｘ及び低解像画像ｚfileに対してハイパスフィルタ(HPF)を用いたフィルタリング処理（高周波成分の抽出処理）が施され、高周波高解像画像ｘ’fileと高周波低解像画像ｚ’file（画像ベクトルｚ’）のペア（パッチペア）が生成される高周波成分抽出工程（＃１２）と、高周波低解像画像ｚ’fileからクラスごとの代表高周波画像ｚ’ｉ（ｉはクラス番号）が生成される代表高周波画像生成工程（＃１４）と、高周波高解像画像ｘ’file、高周波低解像画像ｚ’file及び代表高周波画像ｚ’ｉに基づいて補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉが算出される補間フィルタ係数生成工程（＃１６）と、を含んで構成されている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
補間フィルタ係数生成工程（＃１６）は、復元工程における補間演算に用いられる補間フィルタ係数が生成される工程である。補間フィルタ係数生成工程において、高周波高解像画像ｘ’file及び高周波低解像画像ｚ’fileのペアと代表高周波画像ｚ’ｉとを入力として、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉが生成される。補間フィルタ係数Ａ’ｉは補間行列あり、次式（５）により表される。また、補間フィルタ係数Ｂ’ｉはバイアスベクトルであり、次式（６）により表される。π’ｉはｉ番目のクラスの存在確率（寄与率）であり、すべてのクラスの合計が１となるように正規化され、上記式（２）で表される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
【数２】
2011171843.tif 000001
なお、上記した補間フィルタＡ’ｉ、Ｂ’’ｉ、π’ｉ係数はあくまでも一例であり、復元工程における補間演算に応じて補間フィルタ係数は適宜決められている。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
以上説明した学習ステップにおいて生成された代表高周波画像ｚ’ｉ及び補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉは、次に説明する復元ステップに提供される。なお、図示は省略するが、補間フィルタ係数生成工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉが所定のメモリに記憶される記憶工程を含む態様が好ましい。また、学習ステップは後述する復元ステップにおける復元条件に合わせた学習が行なわれることが好ましい。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
図１（ｂ）に示す復元ステップは、復元対象の低解像画像ｚから高周波成分が抽出され、画像ベクトルｚ’が生成される高周波成分抽出工程（＃２０）と、入力された低解像画像ｚの画素ごとに、図１（ａ）に示す学習ステップにおいて生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉが設定される補間フィルタ係数設定工程（＃２２）と、低解像画像ｚから生成された画像ベクトルｚ’に対して、補間フィルタ係数設定工程において設定された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉを用いたフィルタリング処理が施される補間フィルタリング工程（＃２４）と、低解像画像ｚに対してバイキュービックなどの手法を用いた拡大処理が施される拡大処理工程（＃２６）と、補間フィルタリング工程により生成された高解像画像の超高周波成分に、拡大処理工程において拡大された高解像画像の低周波成分から高周波成分が加算され、低周波成分から超高周波成分にわたる全周波数成分を含む高解像画像が生成される加算工程（＃２８）と、を含んで構成されている。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
補間フィルタ係数設定工程は、学習ステップにおいて予め生成されている補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉが設定されるとともに、入力された低解像画像ｚに応じた重み係数ｗｉが設定される。補間フィルタリング工程は、補間フィルタ係数設定工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉを用いて、画像ベクトルｚ’を超高周波の高解像画像（低周波画像ｚに存在していない情報が補間された画像）に変換する処理が実行される。かかる変換処理は、次式（７）により表される混合ガウスモデル（混合ガウス分布）が仮定される。なお、混合ガウスモデルに代わり混合ディリクレモデル等の混合多孔分布を仮定してもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
【数３】
2011171843.tif 000002
すなわち、画像ベクトルｚ’に対して各処理対象画素に対応するクラスｉの補間行列Ａ’ｉを乗じるとともに、この乗算結果にバイアスベクトルＢ’ｉが加算される。また、各処理対象画素に対応して算出された重みｗｉにより重み付けがされ、すべてのクラスについて加重和が求められる。重みｗｉは代表高周波画像ｚ’ｉと画像ベクトルｚ’との差分（ベクトル空間におけるユークリッド距離）及び対象画素のクラスごとの寄与率π’ｉに応じて算出される。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
上記の如く構成された画像処理方法によれば、復元対象を高周波成分に限定することで、補間に用いられる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉのサイズが小型化され、高速処理が可能となるとともに補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉが記憶される記憶容量の削減が可能となる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
すなわち、学習対象の画像に応じて適宜学習代表数を決められるので、学習ステップにおいて効率よく各工程を実行することができ、学習ステップにおいて求められる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉの数が最適化される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
図４（ｂ）に示す復元ステップは、図１（ｂ）に図示した復元ステップに、外部から補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉを取得する補間フィルタ係数取得工程（＃３０）と、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉを用いた補間処理を実行するか否かを判定する補間実行判定工程（＃３２）と、補間実行判定に用いられる判定閾値を外部から取得する閾値取得工程（＃３４）と、高周波低解像画像ｚ’fileに正規化処理を施す正規化処理工程（＃３６）と、補間実行判定工程の判定結果に従って、加算工程（＃２８）において加算された低周波成分から超高周波成分までの全周波数領域の情報を含む画像と拡大処理工程（＃２６）により拡大された画像とのいずれかを選択的に出力する選択出力（セレクタ）工程（＃３８）と、を含んで構成される。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
補間実行判定工程（＃３２）は、高周波画像ｚ’fileに応じた補間実行判定が行なわれる。すなわち、補間実行判定工程の判定結果に応じて、補間フィルタ係数設定工程、補間フィルタリング工程、加算工程及び選択出力工程の処理が決められる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
補間実行判定には、高周波画像ｚ’fileの持つデータの高周波成分の大きさ（振幅）、高周波成分の頻度（局所領域内の閾値を超えるデータを持つ画素数、局所領域内の累積振幅数）等を用いることが可能である。図５は、高周波成分の大きさ（データの絶対値）に対して所定の閾値ＴＨが設定された例を示す図である。かかる場合において、処理対象の高周波画像ｚ’のデータの絶対値が閾値ＴＨを超える場合（図５中、破線を超えるデータを有する位置）は、補間フィルタ係数設定工程において補間フィルタ係数が設定され、補間フィルタリング工程においてフィルタリング処理が実行され、加算工程において加算処理が実行され、選択出力工程において加算処理された高解像画像を出力するように指示される。