【手続補正書】
【提出日】平成25年1月10日(2013.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類のいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定工程と、
復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成工程と、
前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記補間フィルタ係数及び前記代表高周波画像を取得する取得工程を含むことを特徴とする画像処理方法。
【請求項３】
請求項１又は２に記載の画像処理方法において、
前記補間フィルタ係数及び前記代表高周波画像は、互いに画質が異なる高画質学習画像及び低画質学習画像を含む学習画像対を用いた学習工程において生成され、
前記学習工程は、前記高画質学習画像から前記低画質学習画像を生成する低画質学習画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
前記高画質画像の高周波成分が抽出された高周波高画質画像が生成される高周波高画質画像生成工程と、
前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数を生成する補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、
前記学習代表数を取得する学習代表数取得工程を含むことを特徴とする画像処理方法。
【請求項５】
請求項１乃至４のいずれかに記載の画像処理方法において、
前記高画質画像生成工程は、前記代表高周波画像、前記高周波低画質画像、前記補間フィルタ係数、及び分類ごとの復元対象の低画質画像に応じた重みを用いて、少なくとも前記高周波低画質画像がパラメータに含まれる補間係数演算と、少なくとも前記高周波低画質画像がパラメータに含まれる重み係数との積の形式で表される混合ガウス分布又は混合多項分布の少なくともいずれかの分類数についての多重和で表される補間処理を実行して、前記高周波低画質画像に存在しない超高周波成分を生成することを特徴とする画像処理方法。
【請求項６】
請求項１乃至５のいずれかに記載の画像処理方法において、
復元対象の低画質画像の画素数を復元後の高画質画像の画素数に対応させるように、前記低画質画像に拡大処理を施す拡大工程と、
前記拡大工程の処理結果と前記高画質画像生成工程の処理結果とを加算する加算工程と、
を含むことを特徴とする画像処理方法。
【請求項７】
請求項１乃至６のいずれかに記載の画像処理方法において、
前記生成された高周波低画質画像に正規化処理を施す正規化処理工程を含むことを特徴とする画像処理方法。
【請求項８】
請求項６に記載の画像処理方法において、
前記高画質画像生成工程は、前記高周波低画質画像が有するデータ値の大きさ、所定の大きさを超えるデータ値の頻度、及び所定の大きさを超えるデータ値の累積値のいずれかに応じて補間演算処理を実行するか否かを判定する補間演算処理実行判定工程を含むことを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法において、補間演算処理を実行するか否かを判定するための閾値を取得する閾値取得工程を含むことを特徴とする画像処理方法。
【請求項１０】
請求項８に記載の画像処理方法において、
前記加算工程は、前記補間演算処理実行判定工程において前記高画質画像生成工程における補間演算処理を実行する判断したときは、前記高画質画像生成工程の処理結果と前記拡大工程の処理結果とを加算する処理を実行することを特徴とする画像処理方法。
【請求項１１】
請求項８に記載の画像処理方法において、
前記加算工程の処理結果を出力するか、前記拡大工程の処理結果を出力するかを選択的に切り換える切換工程を含み、
前記切換工程は、前記補間演算処理実行判定工程において前記高画質画像生成工程における補間演算処理を実行すると判定されたときに前記加算工程の処理結果を出力し、前記補間演算処理実行判定工程において前記高画質画像生成工程における補間演算処理を実行しないと判定されたときに前記拡大工程の処理結果を出力することを特徴とする画像処理方法。
【請求項１２】
請求項１乃至１１のいずれかに記載の画像処理方法において、
前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、
前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴領域以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、
前記高画質画像生成工程は、前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理を少なくとも前記特徴領域に対して施すことを特徴とする画像処理方法。
【請求項１３】
高画質学習画像から前記高画質学習画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、
前記高周波高画質画像及び前記代表高周波画像から補間フィルタ係数が生成される補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１４】
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、
復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、
前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項１５】
コンピュータを、
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、
復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、
前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段、
として機能させることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
代表ベクトルμｉの生成手法として、例えば、ＧＭＭ（ガウシアンミクスチャモデル）に対してＥＭアルゴリズムが適用された手法が挙げられる。このようにして、クラスタベクトルＹが代表値化された代表ベクトルμｉを求めることで、データベース数の大幅な削減が実現されている。そして、高解像画像ｘ、低解像画像ｚ、クラスタベクトルＹ、代表ベクトルμｉから補間フィルタ係数Ａｉ、Ｂｉ、πｉ（ｉはクラス番号）が生成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
学習ステップで生成された補間フィルタ係数Ａｉ、Ｂｉ、πｉは、図２２（ｂ）に図示した復元ステップにおいて使用される。ここで、補間フィルタ係数Ａｉは、低解像画像における低周波成分から中周波成分の周波数成分を復元するために、クラスタベクトルＹよりも大きなサイズが必要である。例えば、補間フィルタ係数Ａｉとして、注目画素を中心とした５×５程度のサイズ（２５次元程度のベクトル）が必要である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
発明８に係る画像処理方法は、発明６に記載の画像処理方法において、前記高画質画像生成工程は、前記高周波低画質画像が有するデータ値の大きさ、所定の大きさを超えるデータ値の頻度、及び所定の大きさを超えるデータ値の累積値のいずれかに応じて補間演算処理を実行するか否かを判定する補間演算処理実行判定工程を含むことを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
発明１０に係る画像処理方法は、発明８に記載の画像処理方法において、前記加算工程は、前記補間演算処理実行判定工程において前記高画質画像生成工程における補間演算処理を実行する判断したときは、前記高画質画像生成工程の処理結果と前記拡大工程の処理結果とを加算する処理を実行することを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
発明１１に係る画像処理方法は、発明８に記載の画像処理方法において、前記加算工程の処理結果を出力するか、前記拡大工程の処理結果を出力するかを選択的に切り換える切換工程を含み、前記切換工程は、前記補間演算処理実行判定工程において前記高画質画像生成工程における補間演算処理を実行すると判定されたときに前記加算工程の処理結果を出力し、前記補間演算処理実行判定工程において前記高画質画像生成工程における補間演算処理を実行しないと判定されたときに前記拡大工程の処理結果を出力することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
発明１２に記載の画像処理方法は、発明１乃至１１のいずれかに記載の画像処理方法において、前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴領域以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、前記高画質画像生成工程は、前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理を少なくとも前記特徴領域に対して施すことを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
発明１３に係る画像処理方法は、高画質学習画像から前記高画質学習画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、前記高周波高画質画像及び前記代表高周波画像から補間フィルタ係数が生成される補間フィルタ係数生成工程と、を含むことを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
図１（ａ）に示す学習ステップは、高解像画像ｘfile（学習画像ｘ）に対して、縮小処理（例えば、１画素ごとに画素を間引く処理）又はローパスフィルタ(LPF)などを用いたフィルタリング処理が施され、高解像画像ｘfileよりも解像度が低い低解像画像ｚfileが生成される低解像画像生成工程（＃１０）と、学習画像ｘ及び低解像画像ｚfileに対してハイパスフィルタ(HPF)を用いたフィルタリング処理（高周波成分の抽出処理）が施され、高周波高解像画像ｘ’fileと高周波低解像画像ｚ’file（画像ベクトルｚ’）のペア（パッチペア）が生成される高周波成分抽出工程（＃１２）と、高周波低解像画像ｚ’fileからクラスごとの代表高周波画像ｚ’ｉ（ｉはクラス番号）が生成される代表高周波画像生成工程（＃１４）と、高周波高解像画像ｘ’file、高周波低解像画像ｚ’file及び代表高周波画像ｚ’ｉに基づいて補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉが算出される補間フィルタ係数生成工程（＃１６）と、を含んで構成されている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
補間フィルタ係数生成工程（＃１６）は、復元工程における補間演算に用いられる補間フィルタ係数が生成される工程である。補間フィルタ係数生成工程において、高周波高解像画像ｘ’file及び高周波低解像画像ｚ’fileのペアと代表高周波画像ｚ’ｉとを入力として、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉが生成される。補間フィルタ係数Ａ’ｉは補間行列あり、次式（５）により表される。また、補間フィルタ係数Ｂ’ｉはバイアスベクトルであり、次式（６）により表される。π’ｉはｉ番目のクラスの存在確率（寄与率）であり、すべてのクラスの合計が１となるように正規化され、上記式（２）で表される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
【数２】
2011170456.tif 000001
なお、上記した補間フィルタＡ’ｉ、Ｂ’’ｉ、π’ｉ係数はあくまでも一例であり、復元工程における補間演算に応じて補間フィルタ係数は適宜決められている。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
以上説明した学習ステップにおいて生成された代表高周波画像ｚ’ｉ及び補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉは、次に説明する復元ステップに提供される。なお、図示は省略するが、補間フィルタ係数生成工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉが所定のメモリに記憶される記憶工程を含む態様が好ましい。また、学習ステップは後述する復元ステップにおける復元条件に合わせた学習が行なわれることが好ましい。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
〔復元ステップの説明〕
次に、復元ステップについて説明する。復元ステップは、入力画像（低解像画像ｚ）から高解像画像が生成され、出力される。復元ステップは入力画像を所定のサイズに分割したパッチごとに処理を行ってもよいし、画素ごとに処理を行ってもよい。本例では、入力画像を所定サイズの複数のパッチに分割し、該パッチごとに処理を行うことを前提とする。図１（ｂ）に示す復元ステップは、復元対象の低解像画像ｚから高周波成分が抽出され、画像ベクトルｚ’が生成される高周波成分抽出工程（＃２０）と、入力された低解像画像ｚの画素ごとに、図１（ａ）に示す学習ステップにおいて生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉが設定される補間フィルタ係数設定工程（＃２２）と、低解像画像ｚから生成された画像ベクトルｚ’に対して、補間フィルタ係数設定工程において設定された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉを用いたフィルタリング処理が施される補間フィルタリング工程（＃２４）と、低解像画像ｚに対してバイキュービックなどの手法を用いた拡大処理が施される拡大処理工程（＃２６）と、補間フィルタリング工程により生成された高解像画像の超高周波成分に、拡大処理工程において拡大された高解像画像の低周波成分から高周波成分が加算され、低周波成分から超高周波成分にわたる全周波数成分を含む高解像画像が生成される加算工程（＃２８）と、を含んで構成されている。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
補間フィルタ係数設定工程は、学習ステップにおいて予め生成されている補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉが設定されるとともに、入力された低解像画像ｚに応じた重み係数ｗｉが設定される。補間フィルタリング工程は、補間フィルタ係数設定工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉを用いて、画像ベクトルｚ’を超高周波の高解像画像（低周波画像ｚに存在していない情報が補間された画像）に変換する処理が実行される。かかる変換処理は、次式（７）により表される混合ガウスモデル（混合ガウス分布）が仮定される。なお、混合ガウスモデルに代わり混合ディリクレモデル等の混合多孔分布を仮定してもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
【数３】
2011170456.tif 000002
すなわち、画像ベクトルｚ’に対して各処理対象画素に対応するクラスｉの補間行列Ａ’ｉを乗じるとともに、この乗算結果にバイアスベクトルＢ’ｉが加算される。また、各処理対象画素に対応して算出された重みｗｉにより重み付けがされ、すべてのクラスについて加重和が求められる。重みｗｉは代表高周波画像ｚ’ｉと画像ベクトルｚ’との差分（ベクトル空間におけるユークリッド距離）及び対象画素のクラスごとの寄与率π’ｉに応じて算出される。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
上記の如く構成された画像処理方法によれば、復元対象を高周波成分に限定することで、補間に用いられる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉのサイズが小型化され、高速処理が可能となるとともに補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉが記憶される記憶容量の削減が可能となる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
すなわち、学習対象の画像に応じて適宜学習代表数を決められるので、学習ステップにおいて効率よく各工程を実行することができ、学習ステップにおいて求められる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉの数が最適化される。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
図４（ｂ）に示す復元ステップは、図１（ｂ）に図示した復元ステップに、外部から補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉを取得する補間フィルタ係数取得工程（＃３０）と、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、π’ｉ及び代表高周波画像ｚ’ｉを用いた補間処理を実行するか否かを判定する補間実行判定工程（＃３２）と、補間実行判定に用いられる判定閾値を外部から取得する閾値取得工程（＃３４）と、高周波低解像画像ｚ’fileに正規化処理を施す正規化処理工程（＃３６）と、補間実行判定工程の判定結果に従って、加算工程（＃２８）において加算された低周波成分から超高周波成分までの全周波数領域の情報を含む画像と拡大処理工程（＃２６）により拡大された画像とのいずれかを選択的に出力する選択出力（セレクタ）工程（＃３８）と、を含んで構成される。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
補間実行判定工程（＃３２）は、高周波画像ｚ’fileに応じた補間実行判定が行なわれる。すなわち、補間実行判定工程の判定結果に応じて、補間フィルタ係数設定工程、補間フィルタリング工程、加算工程及び選択出力工程の処理が決められる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
補間実行判定には、高周波画像ｚ’fileの持つデータの高周波成分の大きさ（振幅）、高周波成分の頻度（局所領域内の閾値を超えるデータを持つ画素数、局所領域内の累積振幅数）等を用いることが可能である。図５は、高周波成分の大きさ（データの絶対値）に対して所定の閾値ＴＨが設定された例を示す図である。かかる場合において、処理対象の高周波画像ｚ’のデータの絶対値が閾値ＴＨを超える場合（図５中、破線を超えるデータを有する位置）は、補間フィルタ係数設定工程において補間フィルタ係数が設定され、補間フィルタリング工程においてフィルタリング処理が実行され、加算工程において加算処理が実行され、選択出力工程において加算処理された高解像画像を出力するように指示される。