(57)【要約】【課題】低画質画像から高画質画像を生成する際の補間処理における処理速度の高速化が実現された好ましい画像処理技術を提供する。【解決手段】入力された復元対象の低画質画像の高周波成分が抽出され高周波低画質画像が生成され(#20)、高周波低画質画像の値に応じて、該高周波低画質画像に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かが判断され(#32)、補間演算処理が実行されると判断された場合に、当該補間演算処理に用いられる補間フィルタ係数が設定され(#22)、高周波低画質画像の画素ごとに設定された補間フィルタ係数が用いられた補間演算処理が施される(#24)。補間演算処理の処理結果と低画質画像に拡大処理が施された処理結果が加算され、低画質画像よりも高い画質を有する高画質画像が復元される。【選択図】図４
2011171843.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成する高周波成分抽出工程と、
前記高周波低画質画像の値に応じて、前記高周波低画質画像の処理対象に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かを判断する判断工程と、
前記判断工程において補間演算処理を実行すると判断された前記高周波低画質画像の処理対象に対して前記補間演算処理に用いられる補間フィルタ係数を設定する設定工程と、
前記高周波低画質画像の処理対象に前記設定された補間フィルタ係数が用いられた補間演算処理を施して、前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように、前記低画質画像に拡大処理を施す拡大処理工程と、
前記拡大処理工程の処理結果と前記高画質画像生成工程における補間演算処理の処理結果とを加算する加算工程と、
を含むことを特徴とする画像処理方法。
【請求項３】
請求項１又は２に記載の画像処理方法において、
前記判断工程に用いられる閾値を取得する閾値取得工程を含み、
前記判断工程は、前記取得された閾値と前記高周波低画質画像の値との比較結果に基づいて前記補間演算処理を実行するか否かを判断することを特徴とする画像処理方法。
【請求項４】
請求項１乃至３のいずれかに記載の画像処理方法において、
前記判断工程は、前記高周波低画質画像が有する高周波成分の振幅情報、高周波成分の頻度情報及び、高周波成分の累積振幅情報の少なくともいずれか１つの情報に基づいて補間演算処理をするか否かを判断することを特徴とする画像処理方法。
【請求項５】
請求項１乃至４のいずれかに記載の画像処理方法において、
前記高周波低画質画像に正規化処理を施す正規化処理工程を含むことを特徴とする画像処理方法。
【請求項６】
請求項２乃至５のいずれかに記載の画像処理方法において、
前記低画質画像を複数の領域に分割する分割工程を含み、
前記判断工程は、前記分割された領域ごとに補間演算処理を実行するか否かを判断し、
前記高画質画像生成工程は、前記補間処理演算を実行すると判断された領域について補間演算処理を施すとともに、
前記加算工程は、前記補間処理演算を実行すると判断された領域について、前記拡大処理工程の処理結果に対して前記高画質画像生成工程における補間演算処理の処理結果を加算することを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法において、
前記拡大処理工程は、前記判断工程において補間演算処理を実行しないと判断された領域に対して、処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように拡大処理を施し、
前記判断工程において補間演算処理を実行すると判断された領域の前記加算工程の処理結果を出力するか、前記判断工程において補間演算処理を実行しないと判断された領域の前記拡大処理工程の処理結果を出力するかを選択的に切り換えて出力する選択工程を含むことを特徴とする画像処理方法。
【請求項８】
請求項６に記載の画像処理方法において、
前記拡大処理工程は、前記判断工程において補間演算処理を実行しないと判断された領域に対して、処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように拡大処理を施し、
前記補間処理を実行すると判断された領域の前記加算工程の処理結果及び前記補間処理を実行しないと判断された領域の前記拡大処理工程の処理結果のそれぞれについて、所定の重み係数を乗じた値を加算して出力する重み付け加重演算工程を含むことを特徴とする画像処理方法。
【請求項９】
請求項１乃至８のいずれかに記載の画像処理方法において、
前記高画質画像生成工程における補間演算処理に用いられる前記補間フィルタ係数を取得する取得工程を含むことを特徴とする画像処理方法。
【請求項１０】
請求項１乃至９のいずれかに記載の画像処理方法において、
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、
前記低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成工程と、
前記生成された高周波低画質画像が予め設定された数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法において、
前記代表高周波画像を生成する際の分類数に対応する学習代表数を取得する学習代表数取得工程を含むことを特徴とする画像処理方法。
【請求項１２】
請求項１乃至１１のいずれかに記載の画像処理方法において、
前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、
前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴部分以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、
前記判断工程は、少なくとも前記特徴領域に対して補間演算処理が実行されるように補間演算処理が実行されるか否かを判断することを特徴とする画像処理方法。
【請求項１３】
高画質学習画像から前記高画質画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、
前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１４】
処理対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成する高周波成分抽出手段と、
前記高周波低画質画像の値に応じて、前記高周波低画質画像の処理対象に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かを判断する判断手段と、
前記判断手段において補間演算処理を実行すると判断された前記高周波低画質画像の処理対象に対して前記補間演算処理に用いられる補間フィルタ係数を設定する設定手段と、
前記高周波低画質画像の処理対象に前記設定された補間フィルタ係数が用いられた補間演算処理を施して、前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項１５】
コンピュータに、
処理対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成する高周波成分抽出手段と、
前記高周波低画質画像の値に応じて、前記高周波低画質画像の処理対象に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かを判断する判断手段と、
前記判断手段において補間演算処理を実行すると判断された前記高周波低画質画像の処理対象に対して補間演算処理に用いられる補間フィルタ係数を設定する設定手段と、
前記高周波低画質画像の処理対象に前記設定された補間フィルタ係数が用いられた補間演算処理を施して、前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法及び装置並びにプログラムに係り、特に低画質情報から処理前に存在しない高画質情報を生成（復元）するための補間、拡大、符号化処理に関する。
【背景技術】
【０００２】
低解像（低画質）の入力画像から高解像（高画質）の出力画像を生成する方法として、予め多数の画像内容について低解像度の画像と高解像画像のペア（対）を学習し、低解像の情報から高解像の情報への変換関係を求めておき、この変換関係を用いて低解像の入力画像から高解像の情報を含んだ画像を生成（復元）する様々な技術が提案されている。例えば、３次補間法として知られているバイキュービック法は、ニアレストネイバー法やバイリニア法などと比較して情報の損失が少なく、自然な画像が得られる手法であるものの、画像がぼけてしまう。
【０００３】
一方、低解像画像と高解像画像との対応関係を予め学習するとともに、低解像画像と高解像画像とのパッチ（所定の画素数ごとに分割された領域）ごとのペアとしてデータベース化して記憶しておき、この低解像画像と高解像画像とのパッチペアのデータベースを参照しながら低解像画像を高解像画像へ変換する方法が知られている。かかる手法は、データベース数×フィルタサイズ×画素数に比例する処理時間を必要とし、６４０×４８０画素程度の高解像画像を得る場合にはデータベース数が１０万個程度となり、データベースの記憶に必要な記憶容量が増大するとともに、変換処理に多くの処理時間が必要となる。
【０００４】
上記課題を解決する手法として、次の手法が知られている。図２２（ａ），（ｂ）は、上記課題を解決するための画像処理方法の概略構成を示す図である。同図に示す画像処理方法は、図２２（ａ）に図示される学習ステップにおいて、高解像画像ｘに対して縮小（間引き）処理を施し、高解像画像ｘとのペアとなる低解像画像ｚが得られる。そして、低解像画像ｚにおける注目画素とベクトルフィルタとの差分として、クラスタベクトルＹが生成される。
【０００５】
図２３（ａ），（ｃ）に図示した３×３サイズの９画素のうち、中心に位置するデータ値「１４」の１画素が注目画素であり、その周囲の８画素がベクトルフィルタである。図２３（ａ）に図示した注目画素ベクトルフィルタとの差分を演算（微分処理及び正規化処理）することで、図２３（ｂ）に図示した８次元のクラスタベクトルＹが生成される。同様に図２３（ｃ）に図示した注目画素とベクトルフィルタと差分を演算することで図２３（ｄ）に図示したクラスタベクトルＹが生成される。このクラスタベクトルＹは、低解像画素（低解像画素と高解像画素のペア）における画素ごとに生成される。
【０００６】
低解像画像の画素数と同数のクラスタベクトルＹが生成されると、クラスタベクトルＹの代表として代表ベクトルμｉ（ｉはクラス番号）が生成される。すなわち、低解像画像の画素数と同数のクラスタベクトルＹから、低解像画像の画素数よりも少ない数の代表ベクトルμｉが生成される。例えば、１０万個のクラスタベクトルに対して１００個程度の代表ベクトルμｉが生成される。この代表ベクトルμｉによって低解像画像の各画素は、ｉ個のクラスのいずれかに分類（クラス化）される。
【０００７】
代表ベクトルμｉの生成手法として、例えば、ＧＭＭ（ガウシアンミクスチャモデル）に対してＥＭアルゴリズムが適用された手法が挙げられる。このようにして、クラスタベクトルＹが代表値化された代表ベクトルμｉを求めることで、データベース数の大幅な削減が実現されている。そして、高解像画像ｘ、低解像画像ｚ、クラスタベクトルＹ、代表ベクトルμｉから補間フィルタ係数Ａｉ、Ｂｉ、μｉ（ｉはクラス番号）が生成される。
【０００８】
学習ステップで生成された補間フィルタ係数Ａｉ、Ｂｉ、μｉは、図２２（ｂ）に図示した復元ステップにおいて使用される。ここで、補間フィルタ係数Ａｉは、低解像画像における低周波成分から中周波成分の周波数成分を復元するために、クラスタベクトルＹよりも大きなサイズが必要である。例えば、補間フィルタ係数Ａｉとして、注目画素を中心とした５×５程度のサイズ（２５次元程度のベクトル）が必要である。
【０００９】
一方、図２２（ｂ）に示す復元ステップでは、入力された低解像画像ｚの高周波成分から画素ごとにクラスタベクトルＹが生成されるとともに、入力された低解像画像ｚとクラスタベクトルＹに応じた補間フィルタ係数Ａｉ、Ｂｉ、πｉ及び代表ベクトルμｉが設定される。すなわち、補間フィルタ係数Ａｉ、Ｂｉを用いた補間演算（（Ａｉ×ｚ）＋Ｂｉ））に対して、クラスタベクトルＹ及び代表ベクトルμｉ、補間フィルタ係数πｉを用いて決められた重み（ｗｉ（（μｉ−Ｙ），πｉ））により重み付けがされ、クラスごとに求められた演算結果がすべて加算され、出力としての高周波画像が生成される。
【００１０】
すなわち、入力された低解像画像ｚに対して合成行列（フィルタ係数）Ａｉを乗じ、バイアスＢｉを付加するとともに、代表ベクトルμｉと入力画素ごとのクラスタベクトルＹとの差分（μｉ−Ｙ）に応じた重みが乗じられる。この演算をｉについて繰り返し、すべてのクラスの加重和が算出され、高周波画像として出力される。かかる補間フィルタリング処理は、Σ（（Ａｉ・ｚ）＋Ｂｉ）・ｗｉ（（μｉ−Ｙ），πｉ）と表すことができる。なお、πｉは正規化処理における寄与率（クラスごとの寄与率）を意味し、Σπｉ＝１（すべてのクラスのπの合計が１）となっている。
【００１１】
非特許文献１には、前記した手法と同様の画像処理方法が開示されている。ここで、非特許文献１に係る画像処理方法の概略を説明する。非特許文献１に係る画像処理方法は、高解像画像ｘ（High-resolution pixels x）と低解像画像ｚ(Low-resolution image)とのペア（パッチペア）の代表値の組み合わせにより補間演算を行い、低解像画像ｚに存在していない高解像画像ｘの情報を補間し、低解像画像ｚを高解像画像ｘへ変換している。
【００１２】
図２４に示す入力の低解像画像(inputpixel)は、５×５サイズのウインドウの中心に置かれ、この入力画素の周辺画素である５×５サイズのウインドウはベクトル化され、１×２５列の観測ベクトル(observation vector)ｚが生成される。この観察ベクトルｚが低周波成分から高周波成分までの全周波数領域に対する演算に用いられる。
【００１３】
一方、観測ベクトルｚに対して射影演算子(projection operator f)が適用され、クラスタベクトルｙ(cluster vectory)が生成される。クラスタベクトルｙは入力画素ごとに生成され、入力画素を特徴化してコンテクストクラス(classify)へ関連付けするためのものであり、上述したように、入力された低解像画像の注目画素を中心とする３×３サイズのウインドウから８次元のベクトルとして生成される（図２３（ａ）〜（ｄ）参照）。さらに、トレーニングステップにおいて、予め求められている分布パラメータθに基づき、コンテクストクラスごとの重み付けｗｉが決められる。
【００１４】
一方、オフラインのトレーニング手法により、前記した分布パラメータθ及び補間フィルタ係数Ψが予め求められる。この補間フィルタ係数Ψが適用されるフィルタリング(linear filter)によって高解像画像が生成される。この補間フィルタ係数Ψによるフィルタリングは、ｘ＝Σ（ｗｉ×（Ａ×ｚ＋β））と表すことができる。なお、Ａは補間関数、βはバイアスベクトルであり、先に説明したＡｉ及びＢｉと等価である。非特許文献１に開示された手法においても、入力画素ごとに求められるクラスタベクトルｙを代表値化することでデータベース数の大幅な削減が実現されている。
【００１５】
特許文献１に開示されたデジタル画像の解像度向上方法及び装置は、周波数特性判定部において入力画像信号（ＳＤ信号）を所定のブロック単位ごとに周波数特性を分類評価し、この分類結果に基づいて、複数の画素パターンから所定の画素パターンをブロック単位の入力画像信号に対して設定して空間クラスを設定するとともに、データ圧縮クラス分類部において、画素の量子化ビット数を切り替えてクラスコードを設定することによってクラス分類し、このクラス分類結果に基づいた予測係数又は予測値を用いて入力画像信号の補間画素を得るように構成されている。
【００１６】
また、特許文献２に開示された画像信号記録再生装置は、入力画像にハイパスフィルタ処理を施し、周波数成分の解析結果から解像度変換ブロックの動作が制御され、解像度変換ブロックの入力が撮影時のＳＤカメラの画素数になるようにＨＤ／ＳＤ変換器の動作を制御するように構成されている。
【先行技術文献】
【非特許文献】
【００１７】
【非特許文献１】“OPTIMAL IMAGE SCALING USINGPIXEL CLASSIFICATION”(https://engineering.purdue.edu/~bouman/publications / pdf/icip01atkins.pdf,C. Brian Atkins, Charles A. Bouman,Jan P. Allebach)
【特許文献】
【００１８】
【特許文献１】特開平８−２６５７１１号公報
【特許文献２】特開２００９−３３５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
しかしながら、上記に説明した従来技術に係る画像処理方法は、全画素についてクラス数にフィルタサイズを乗じた回数の補間処理を実行する必要がある。例えば、クラス数を１００、フィルタサイズを５×５とすると、全画素のそれぞれについて２５００回の補間処理を実行しなければならず、かかる補間処理は画像処理全体の高速化の障害となっている。
【００２０】
本発明はこのような事情に鑑みてなされたもので、低画質画像から高画質画像を生成する際の補間処理における処理速度の高速化が実現された好ましい画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００２１】
前記目的を達成するために以下の発明態様を提供する。
【００２２】
発明１に係る画像処理方法は、処理対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成する高周波成分抽出工程と、前記高周波低画質画像の値に応じて、前記高周波低画質画像の処理対象に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かを判断する判断工程と、前記判断工程において補間演算処理を実行すると判断された前記高周波低画質画像の処理対象に対して前記補間演算処理に用いられる補間フィルタ係数を設定する設定工程と、前記高周波低画質画像の処理対象に前記設定された補間フィルタ係数が用いられた補間演算処理を施して、前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成工程と、を含むことを特徴とする。
【００２３】
発明１における高周波成分抽出工程は、低画質画像のサイズを拡大する拡大工程が含まれていてもよい。また、発明１における「高周波低画質画像の値」とは、低画質画像の高周波成分の振幅、頻度、高周波成分の累積頻度などを含む概念である。
【００２４】
発明１に係る画像処理方法において、補間フィルタ係数を記憶する記憶工程を含む態様が好ましい。また、補間フィルタ係数の一例として、補間行列、バイアスベクトル、分類ごとの寄与率やこれらの組み合わせが挙げられる。
【００２５】
「高画質画像」は、低画質画像に存在しない情報が含まれる画像を包括する概念であり、その一例として、低画質画像（低解像画像）よりも解像度が高い高解像画像や、低画質画像と同一の解像度を有し、例えば、低画質画像に存在しない超高周波成分が含まれる画像などが挙げられる。
【００２６】
補間演算処理の一例として、高周波低画質画像が予め設定された数の分類に代表値化され、該分類のいずれかに対応する代表高周波画像と、高周波低画質画像と、補間フィルタ係数と、分類ごとの復元対象の低画質画像に応じた重みを用いて、少なくとも前記高周波低画質画像がパラメータに含まれる補間係数演算と、少なくとも前記高周波低画質画像がパラメータに含まれる重み係数との積の形式で表される混合ガウス分布又は混合多項分布の少なくともいずれかの分類数についての多重和で表される補間演算処理が挙げられる。
【００２７】
また、代表高周波画像の一例として、処理対象画素の画素値と該処理対象画素を中心とするｍ×ｎ（但し、ｍ、ｎは任意の正の整数であり、ｍ＝ｎでもよい）サイズの範囲に含まれる周辺画素の画素値との平均値から、処理対象画素及び周辺画素の画素値が減算された多次元（ｍ×ｎ次元）ベクトルで表される態様が挙げられる。
【００２８】
発明２に係る画像処理方法は、発明１に記載の画像処理方法において、処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように、前記低画質画像に拡大処理を施す拡大処理工程と、前記拡大処理工程の処理結果と前記高画質画像生成工程における補間演算処理の処理結果とを加算する加算工程と、を含むことを特徴とする。
【００２９】
発明２に係る画像処理方法における「拡大処理」は、画素数を変更せずに画像サイズを変更する態様や、画像サイズを変更せずに画素数を変更する態様、画像サイズ及び画素数のいずれも変更する態様があり得る。
【００３０】
発明３に係る画像処理方法は、発明１又は２に記載の画像処理方法において、前記判断工程に用いられる閾値を取得する閾値取得工程を含み、前記判断工程は、前記取得された閾値と前記高周波低画質画像の値との比較結果に基づいて前記補間演算処理を実行するか否かを判断することを特徴とする。
【００３１】
発明３に係る画像処理方法において、復元対象の入力画像の内容や、補間演算処理の内容等に応じて予め複数の閾値を準備しておき、当該複数の閾値の中から１つ又は２つ以上の閾値を選択的に用いる態様が好ましい。
【００３２】
発明４に係る画像処理方法は、発明１乃至３のいずれかに記載の画像処理方法において、前記判断工程は、前記高周波低画質画像が有する高周波成分の振幅情報、高周波成分の頻度情報及び、高周波成分の累積振幅情報の少なくともいずれか１つの情報に基づいて補間演算処理をするか否かを判断することを特徴とする。
【００３３】
発明４に係る画像処理方法における「高周波成分の頻度情報」の一例として、所定の閾値を超える振幅を持つ画素数の情報が挙げられる。また、「高周波成分の累積振幅情報」の一例として、所定の閾値を超える振幅を持つ画素の累積数が挙げられる。
【００３４】
発明５に係る画像処理方法は、発明１乃至４のいずれかに記載の画像処理方法において、前記高周波低画質画像に正規化処理を施す正規化処理工程を含むことを特徴とする。
【００３５】
発明５に係る画像処理方法によれば、特定の少数クラス（分類）に寄与率が偏り過ぎる場合に、複数のクラスに寄与率を分散させることができる。
【００３６】
発明６に係る画像処理方法は、発明２乃至５のいずれかに記載の画像処理方法において、前記低画質画像を複数の領域に分割する分割工程を含み、前記判断工程は、前記分割された領域ごとに補間演算処理を実行するか否かを判断し、前記高画質画像生成工程は、前記補間処理演算を実行すると判断された領域について補間演算処理を施すとともに、前記加算工程は、前記補間処理演算を実行すると判断された領域について、前記拡大処理工程の処理結果に対して前記高画質画像生成工程における補間演算処理の処理結果を加算することを特徴とする。
【００３７】
発明６に係る画像処理方法によれば、分割された領域ごとに補間演算処理を実行するか否かが判断されるので、すべての画素について補間演算処理が実行される場合と比較して、全体の処理時間が大幅に削減される。
【００３８】
低画質画像を複数の領域に分割する態様として、所定の画素数を有するパッチに分割する態様や、画像データ値を分類し、分類ごとに分割する態様などが挙げられる。
【００３９】
発明７に係る画像処理方法は、発明６に記載の画像処理方法において、前記拡大処理工程は、前記判断工程において補間演算処理を実行しないと判断された領域に対して、処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように拡大処理を施し、前記判断工程において補間演算処理を実行すると判断された領域の前記加算工程の処理結果を出力するか、前記判断工程において補間演算処理を実行しないと判断された領域の前記拡大処理工程の処理結果を出力するかを選択的に切り換えて出力する選択工程を含むことを特徴とする。
【００４０】
発明７に係る画像処理方法によれば、補間演算処理が施された領域の処理結果が含まれた高画質の出力画像を得ることができる。
【００４１】
発明８に係る画像処理方法は、発明６に記載の画像処理方法において、前記拡大処理工程は、前記判断工程において補間演算処理を実行しないと判断された領域に対して、処理対象の低画質画像の画素数を処理後の高画質画像の画素数に対応させるように拡大処理を施し、前記補間処理を実行すると判断された領域の前記加算工程の処理結果及び前記補間処理を実行しないと判断された領域の前記拡大処理工程の処理結果のそれぞれについて、所定の重み係数を乗じた値を加算して出力する重み付け加重演算工程を含むことを特徴とする。
【００４２】
発明８に係る画像処理方法において、補間演算処理が施された領域の重み係数と拡大処理が施された領域の重み係数との和が１となるようにそれぞれの重み係数を決めるとよい。
【００４３】
発明９に係る画像処理方法は、発明１乃至８のいずれかに記載の画像処理方法において、前記高画質画像生成工程における補間演算処理に用いられる前記補間フィルタ係数を取得する取得工程を含むことを特徴とする。
【００４４】
発明９に係る画像処理方法において、いくつかの復元条件に対応して複数の補間フィルタ係数（補間フィルタ群）を予め求めて所定の記憶手段に記憶しておき、該記憶手段から復元条件に対応した補間フィルタ係数を取得する態様が好ましい。
【００４５】
発明１０に係る画像処理方法は、発明１乃至９のいずれかに記載の画像処理方法において、互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、前記低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成工程と、前記生成された高周波低画質画像が予め設定された数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成工程と、を含むことを特徴とする。
【００４６】
発明１０に係る画像処理方法において、復元条件に対応して補間フィルタ係数を生成する態様が好ましい。
【００４７】
発明１１に係る画像処理方法は、発明１０に記載の画像処理方法において、前記代表高周波画像を生成する際の分類数に対応する学習代表数を取得する学習代表数取得工程を含むことを特徴とする。
【００４８】
発明１１に係る画像処理方法において、復元条件に対応した学習代表数を取得する態様が好ましい。
【００４９】
発明１２に記載の画像処理方法は、発明１乃至１１のいずれかに記載の画像処理方法において、前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴部分以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、前記判断工程は、少なくとも前記特徴領域に対して補間演算処理が実行されるように補間演算処理が実行されるか否かを判断することを特徴とする。
【００５０】
発明１２において、特徴領域として特定されない領域について補間演算により求められた演算結果について、第２の特徴領域を特定する第２の特徴領域特定工程を具備し、特徴領域及び第２の特徴領域を第１の圧縮強度で圧縮し、他の領域を第２の圧縮強度で圧縮する圧縮工程を具備する態様も可能である。
【００５１】
発明１３に係る画像処理装置は、高画質学習画像から前記高画質画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成工程と、を含むことを特徴とする。
【００５２】
発明１３に係る画像処理方法において、代表学習数を取得する取得工程を含む態様が好ましい。
【００５３】
発明１４に係る画像処理装置は、処理対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成する高周波成分抽出手段と、前記高周波低画質画像の値に応じて、前記高周波低画質画像の処理対象に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かを判断する判断手段と、前記判断手段において補間演算処理を実行すると判断された前記高周波低画質画像の処理対象に対して前記補間演算処理に用いられる補間フィルタ係数を設定する設定手段と、前記高周波低画質画像の処理対象に前記設定された補間フィルタ係数が用いられた補間演算処理を施して、前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段と、を備えたことを特徴とする。
【００５４】
発明１４に係る画像処理装置において、代表学習数を取得する代表学習数取得手段を含む態様が好ましい。また、発明２乃至１２のいずれかに記載の各工程に対応する機能を有する手段（ハードウェア）を備える態様も可能である。
【００５５】
発明１５に係るプログラムは、コンピュータに、処理対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成する高周波成分抽出手段と、前記高周波低画質画像の値に応じて、前記高周波低画質画像の処理対象に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間演算処理を実行するか否かを判断する判断手段と、前記判断手段において補間演算処理を実行すると判断された前記高周波低画質画像の処理対象に対して補間演算処理に用いられる補間フィルタ係数を設定する設定手段と、前記高周波低画質画像の処理対象に前記設定された補間フィルタ係数が用いられた補間演算処理を施して、前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段、として機能させることを特徴とする。
【００５６】
発明１５に係るプログラムにおいて、コンピュータを、高画質学習画像から前記高画質画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成手段と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成手段と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成手段と、前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成手段と、前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成手段として機能させることを特徴とするプログラムが含まれていてもよい。
【００５７】
また、発明１５に係るプログラムにおいて、発明２乃至１２のいずれかに記載の各工程に対応する手段（ハードウェア）として機能させるプログラムを構成することも可能である。
【発明の効果】
【００５８】
本発明に係る画像処理方法によれば、高周波低画質画像の値に応じて、該高周波低画質画像に対して該高周波低画質画像に含まれていない超高周波成分を補間する補間処理演算を実行するか否かを判断する判断工程を具備し、該判断工程において、補間演算を実行すると判断された高周波低画質画像の処理対象には、補間フィルタ係数が設定され、補間演算処理が実行され、低画質画像に含まれていない超高周波成分が復元されるので、補間演算処理の処理時間が大幅に削減されるとともに、当該画像処理の処理時間も大幅に削減される。
【００５９】
また、低画質画像が複数の領域に分割され、該分割された領域ごと補間処理演算の有無が判断されるように構成することで、すべての画素について補間演算処理を実行する必要がなくなり、処理時間を大幅に削減することができる。
【００６０】
すなわち、従来は全画素に対して高画質処理（超解像処理）が施されるので、より高い画質を有する復元画像を得ることができる一方、多くの処理時間が必要とされる高画質処理を行わざる得ない課題が存在した。また、拡大処理などの他の処理を単純に組み合わせると当該追加された処理の分だけ演算量が多くなるという課題も存在した。
【００６１】
本願発明は、必要な処理対象（画素、パッチ等）に対して、低画質画像の高周波成分から求められた補間フィルタ係数を用いた補間演算（高画質変換処理）を施し、かかる補間演算により求められた超高周波成分を求め、該超高周波成分は補間演算の非対象に加算されるので、そもそも高周波復元をする必要のない低周波の低画質画像に対しては高画質変換処理が行われず、処理全体として演算量が削減される。
【００６２】
さらに、補間処理を実行するか否かの判断として、また、補間演算処理の入力として、高周波低画質画像を共通に与えることが可能となり、補間演算処理の処理時間が高速化される効果が生まれる。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施形態に係る画像処理方法の概略構成を示す全体構成図
【図２】画像ベクトルの説明図
【図３】本発明の実施形態に係る画像処理方法における高周波成分及び超高周波成分の説明図
【図４】図１に示す画像処理方法の他の態様の説明図
【図５】図４に示す補間実行判定工程の説明図
【図６】重み付け加重和処理工程の説明図
【図７】本発明の実施形態に係る画像処理システムの一例を示す構成図
【図８】図７中の画像処理装置２２０の構成例を示すブロック図
【図９】図８中の特徴領域特定部２２６の構成例を示すブロック図
【図１０】画像内から特徴領域を特定する処理の一例を示す説明図
【図１１】画像内から特徴領域を特定する処理の他の例を示す説明図
【図１２】図９中の第２特徴領域特定部６２０による特徴領域の判断処理の一例を示す説明図
【図１３】図８中の圧縮部２３２の構成例を示すブロック図
【図１４】圧縮部２３２の他の構成例を示すブロック図
【図１５】図７中の画像処理装置２５０の構成例を示すブロック図
【図１６】図１５中の画像処理部３３０の構成例を示すブロック図
【図１７】図１６中のパラメータ格納部１０１０が格納しているパラメータの一例をテーブル形式で示す図
【図１８】特定パラメータの重み付けの一例を示す図
【図１９】図７中の表示装置２６０の構成例を示すブロック図
【図２０】画像の表示エリアの一例を示す図
【図２１】他の実施形態に係る画像処理システムの例を示す構成図
【図２２】従来技術に係る画像処理方法の概略構成を示す全体構成図
【図２３】従来技術に係る画像処理方法におけるクラスタベクトルの説明図
【図２４】非特許文献１に記載された画像処理方法の説明図
【発明を実施するための形態】
【００６４】
以下、添付図面に従って本発明の実施形態について詳細に説明する。
【００６５】
〔概要〕
以下に説明する画像処理方法は、低解像の入力画像から高解像の画像を復元するものであり、低解像画像と高解像画像との変換関係を規定するための補間フィルタ係数を用いた変換（補間）演算により低解像画像に存在していない情報が補間され、高解像の情報が補間された高解像画像が生成される。
【００６６】
なお、本発明に係る画像処理方法は、解像度の変更を伴う画像変換処理に限定されるものではなく、同一の解像度を有する高画質画像及び低画質画像において、低画質画像には存在しない情報が補間された高画質画像を復元する画像処理への適用も可能である。以下の説明では、３２０×２４０画素を有する低解像画像から、６４０×４８０画素を有する高解像画像を生成する（低解像画像の１画素から高解像画像の４画素を生成する）処理を前提として説明する。
【００６７】
〔学習ステップの説明〕
画像処理を行うための準備段階として、事前に高解像画像から低解像画像を作成してデータを学習し、変換関係を規定する補間フィルタ係数を求めておく。このような処理を学習ステップという。そして、この学習ステップで得られた補間フィルタ係数を用いて、任意の低解像の入力画像から高解像の出力画像を得る工程を復元ステップと呼ぶ。
【００６８】
図１(ａ)は、学習ステップの概略構成を示す全体構成図である。また、図１（ｂ）は復元ステップの概略構成を示す全体構成図である。
【００６９】
図１（ａ）に示す学習ステップは、高解像画像ｘfile（学習画像ｘ）に対して、縮小処理（例えば、１画素ごとに画素を間引く処理）又はローパスフィルタ(LPF)などを用いたフィルタリング処理が施され、高解像画像ｘfileよりも解像度が低い低解像画像ｚfileが生成される低解像画像生成工程（＃１０）と、学習画像ｘfile及び低解像画像ｚfileに対してハイパスフィルタ(HPF)を用いたフィルタリング処理（高周波成分の抽出処理）が施され、高周波高解像画像ｘ’fileと高周波低解像画像ｚ’fileのペア（パッチペア）が生成される高周波成分抽出工程（＃１２）と、高周波高解像画像ｚ’fileからクラスごとの代表高周波画像ｚ’ｉ（ｉはクラス番号）が生成される代表高周波画像生成工程（＃１４）と、高周波高解像画像ｘ’file、高周波低解像画像ｚ’file及び代表高周波画像ｚ’ｉに基づいて補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉが算出される補間フィルタ係数生成工程（＃１６）と、を含んで構成されている。
【００７０】
低解像画像生成工程（＃１０）は、入力された高解像の学習画像ｘを、例えば、（１／２）×（１／２）や（１／４）×（１／４）などのように指定されたサイズへ縮小する処理が施される。同工程に適用される縮小法には、バイキュービック法、Ｂスプライン法、バイリニア法、ニアレストネイバー法などの手法を適用することができる。
【００７１】
高周波成分抽出工程（＃１２）は、入力された学習画像ｘ及び低解像画像ｚfileから高周波成分が抽出される処理（入力された学習画像ｘ及び低解像画像ｚfileに対して低周波成分及び中周波成分が抑制される処理）が施される。高周波成分抽出工程に適用されるフィルタの例として、アンシャープマスクに用いられるフィルタ（入力‐平均フィルタ）、ラプラシアン（二次微分）、グラジエント（一次微分）等が挙げられる。
【００７２】
高周波成分抽出工程において抽出される高周波成分の一例として、サンプリング定理におけるナイキスト周波数が挙げられる。すなわち、入力画像について、出力画像におけるナイキスト周波数に対応する周波数をしきい値として、高周波成分抽出処理を行なうことで、入力画像の低周波成分に含まれる画質劣化要因を取り除くことができ、好ましい高画質画像が復元される。
【００７３】
なお、高周波成分抽出工程において抽出される高周波成分は、いわゆるカットオフ周波数（レスポンスが-3dBとなる周波数）としてもよく、入力画像（低解像画像）や出力画像（高周波画像）の解像度などの条件に応じて適宜設定される。
【００７４】
すなわち、高周波成分抽出工程では低解像画像ｚfileから高周波低解像画像ｚ’file（画像ベクトルｚ’）が生成される。図２（ａ）〜（ｄ）は、高周波成分抽出工程における入力と出力との関係が模式的に表された図である。図２（ａ）は、低解像画像ｚfileの注目画素（データ値「１４」の画素）と、該注目画素を中心とした周辺画素（３×３サイズのデータ値「５」の画素）が図示されている。各画素の値と注目画素及び注目画素の周辺画素の平均（（５×８）＋１４）／９＝６との差分を演算することで、図２（ｂ）に示すように、９次元の画像ベクトルｚ’が生成される。同様に、図２（ｃ）に示す３×３サイズの入力から図２（ｄ）に示す９次元の画像ベクトルｚ’が生成される。
【００７５】
代表高周波画像生成工程（＃１４）は、画像ベクトルｚ’を代表値化する工程であり、クラス数と同数の代表高周波画像ｚ’ｉが生成される。代表高周波画像ｚ’ｉは、従来技術におけるクラスタベクトルｙから代表ベクトルμｉを生成する手法と同様に、ＧＭＭ（混合正規分布モデル）にＥＭアルゴリズムが適用された手法が適用される。すなわち、ＥＭアルゴリズムのＥステップにおいて条件確率の推測が行なわれ、ＭステップにおいてＥステップの推測値を用いた尤度関数の最大化が行なわれ、現在の条件確率で尤度関数が最大化され、次の条件確率が求められ、尤度関数の出力が安定するまでＥステップとＭステップのループ演算が繰り返し実行される。
【００７６】
なお、ＧＭＭの他に混合ディリクレモデル等を用いてもよいし、ＥＭアルゴリズムに代わり、変分ベイズ法、ＭＣＭＣ（マルコフ連鎖モンテカルロ）、ギブスサンプラー等を用いてもよい。
【００７７】
かかる演算において、k-means法により画像ベクトルｚ’のクラスごとの重心を求めて分類し、初期状態の設定としてもよい。例えば、１００クラスで１０万画素を学習するには、１万回程度の学習が行なわれる。この場合の収束条件はｅ−１０である。代表高周波画像生成工程における処理は、次式（１）〜（４）で表される演算処理が繰り返し実行される。
【００７８】
【数１】
2011171843.tif 000003
なお、式（１）における「Ｎ」は高解像画像ｘfile及び低解像画像ｚfileのペア（トレーニングセット）から生成されるトレーニングベクトル（ｚ，ｘ）の数、トレーニングセットのペアにおける低解像画像の画素のセットをＳとしたときのトレーニングセットから抽出されたトレーニングベクトルを｛（ｚｓ，ｘｓ）｝ｓ∈Ｓと表す。
【００７９】
式（２）における「πｉ」はｉ番目のクラスの存在確率であり、式（３）における「ｐｉ｜ｚ’（ｉ｜ｚ’，θ）」は高周波画像ｚ’がクラスｉに存在する確率、「ｐｉ｜ｚ’（ｉ｜ｚ’）」はｉ、ｚ’についての多変量ガウス型密度式や多変量ディリクレ型密度式である。（４）における「σ２」は画像ベクトルｚ’の要素の標本分散の平均、「ｄ」は画像ベクトルｚ’の要素数、Ｍはクラス数である。なお、式（２）における「θ」はＥＭアルゴリズムによって最尤推定され（θmaxが決定され）、これが代入されるため変数としては存在しなくなる。
【００８０】
補間フィルタ係数生成工程（＃１６）は、復元工程における補間演算に用いられる補間フィルタ係数が生成される工程である。補間フィルタ係数生成工程において、高周波高解像画像ｘ’file及び高周波低解像画像ｚ’fileのペアと代表高周波画像ｚ’ｉとを入力として、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉが生成される。補間フィルタ係数Ａ’ｉは補間行列あり、次式（５）により表される。また、補間フィルタ係数Ｂ’ｉはバイアスベクトルであり、次式（６）により表される。πｉはｉ番目のクラスの存在確率（寄与率）であり、すべてのクラスの合計が１となるように正規化され、上記式（２）で表される。
【００８１】
【数２】
2011171843.tif 000004
なお、上記した補間フィルタＡ’ｉ、Ｂ’ｉ、πｉ係数はあくまでも一例であり、復元工程における補間演算に応じて補間フィルタ係数は適宜決められている。
【００８２】
以上説明した学習ステップにおいて生成された代表高周波画像ｚ’ｉ及び補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉは、次に説明する復元ステップに提供される。なお、図示は省略するが、補間フィルタ係数生成工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉが所定のメモリに記憶される記憶工程を含む態様が好ましい。また、学習ステップは後述する復元ステップにおける復元条件に合わせた学習が行なわれることが好ましい。
【００８３】
復元条件として、復元対象の低解像画像と復元後の高解像画像との解像度比、低解像画像と高解像画像とのサイズ比、復元対象の（復元後の高解像画像に付加される）周波数成分、復元後の高解像画像の記憶容量などが挙げられる。
【００８４】
以上説明した学習ステップでは、従来技術に係る学習ステップにおいて補間フィルタ係数を生成するためのクラスタベクトルｙを画像ベクトルｚ’に置き換えることができるので、クラスタベクトルｙが不要となり、該クラスタベクトルｙを生成する工程（図２２、２４（ａ）参照）を備える必要がない。
【００８５】
〔復元ステップの説明〕
次に、復元ステップについて説明する。復元ステップは、入力画像（低解像画像ｚ）から高解像画像が生成され、出力される。復元ステップは入力画像を所定のサイズに分割したパッチごとに処理を行ってもよいし、画素ごとに処理を行ってもよい。本例では、入力画像を所定サイズの複数のパッチに分割し、該パッチごとに処理を行うことを前提とする。
【００８６】
図１（ｂ）に示す復元ステップは、復元対象の低解像画像ｚから高周波成分が抽出され、画像ベクトルｚ’が生成される高周波成分抽出工程（＃２０）と、入力された低解像画像ｚの画素ごとに、図１（ａ）に示す学習ステップにおいて生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定される補間フィルタ係数設定工程（＃２２）と、低解像画像ｚから生成された画像ベクトルｚ’に対して、補間フィルタ係数設定工程において設定された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ’及び代表高周波画像ｚ’ｉを用いたフィルタリング処理が施される補間フィルタリング工程（＃２４）と、低解像画像ｚに対してバイキュービックなどの手法を用いた拡大処理が施される補間フィルタ係数設定工程（＃２６）と、補間フィルタリング工程により生成された高解像画像の超高周波成分に、拡大処理工程において拡大された高解像画像の低周波成分から高周波成分が加算され、低周波成分から超高周波成分にわたる全周波数成分を含む高解像画像が生成される加算工程（＃２８）と、を含んで構成されている。
【００８７】
図１（ｂ）に示す復元ステップにおける各工程を経て、入力された低解像画像ｚの１画素に対する出力として、低解像画像に存在していない情報が補間された高解像画像の４画素が得られる。
【００８８】
すなわち、補間フィルタ係数を用いた変換処理が施されて生成された高解像画像の超高周波成分に、低解像画像ｚに対して拡大処理が施されて生成された高解像画像の低中高周波成分が加算され、低解像画像ｚに存在していない超高周波成分の情報が含まれる高解像画像が生成される。
【００８９】
高周波成分抽出工程は、ハイパスフィルタを用いた低周波成分及び中周波成分の抑制処理（高周波成分抽出処理）に拡大処理を加えた構成としてもよい。高周波成分抽出工程における高周波成分抽出処理の内容は図１（ａ）に図示した処理と共通しているので、ここでは説明を省略する。
【００９０】
補間フィルタ係数設定工程は、学習ステップにおいて予め生成されている補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定されるとともに、入力された低解像画像ｚに応じた重み係数ｗｉが設定される。補間フィルタリング工程は、補間フィルタ係数設定工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いて、画像ベクトルｚ’を超高周波の高解像画像（低周波画像ｚに存在していない情報が補間された画像）に変換する処理が実行される。かかる変換処理は、次式（７）により表される混合ガウスモデル（混合ガウス分布）が仮定される。なお、混合ガウスモデルに代わり混合ディリクレモデル等の混合多孔分布を仮定してもよい。
【００９１】
【数３】
2011171843.tif 000005
すなわち、画像ベクトルｚ’に対して各処理対象画素に対応するクラスｉの補間行列Ａ’ｉを乗じるとともに、この乗算結果にバイアスベクトルＢ’ｉが加算される。また、各処理対象画素に対応して算出された重みｗｉにより重み付けがされ、すべてのクラスについて加重和が求められる。重みｗｉは代表高周波画像ｚ’ｉと画像ベクトルｚ’との差分（ベクトル空間におけるユークリッド距離）及び対象画素のクラスごとの寄与率πｉに応じて算出される。
【００９２】
このようにして、高周波低解像画像ｚ’（入力ｚ’）の高周波成分（図３（ａ）において斜線ハッチが付された周波周領域）が有する情報に基づいて、高解像画像ｘ’（出力ｘ’）における超高周波成分（図３（ｂ）において斜線ハッチが付され領域）の情報が補間される。かかる超高周波成分のデータに対して、拡大処理工程により処理が施された高周波画像における低周波成分から高周波成分までのデータが加算され、低周波成分から超高周波成分までのすべての周波数成分を有する出力画像（高解像画像）が生成される。
【００９３】
本例では、画素数を増やして出力用の超高周波成分から成る画像の画素数と、低周波成分画像から高周波成分の周波数成分から成る画像の画素数と、を一致させる機能としての高周波低解像画像ｚ’fileに対する拡大処理が、補間フィルタリング工程の中で超高周波成分に変換される機能と一括して行われる態様を例示したが、高周波低解像画像ｚ’fileに対する拡大処理は、高周波成分抽出工程の前段や高周波成分抽出工程の後段で実行されてもよい。
【００９４】
上記の如く構成された画像処理方法によれば、復元対象を高周波成分に限定することで、補間に用いられる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉのサイズが小型化され、高速処理が可能となるとともに補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが記憶される記憶容量の削減が可能となる。
【００９５】
また、クラスタリング対象のバリエーションを削減するためのクラスタベクトル生成をやめ、クラスタリング対象と復元対象とを共通に高周波化することで、両者が異なることによる復元画像における不整合解消され、パッチ周期で出現するアーチファクトが低減化される。さらに、図２（ａ）〜（ｄ）に示したように、パッチ（画像ベクトルを構成する３×３サイズの画素）中心の輝度を表現するためのベクトル要素についてクラスタリング対象と復元対象を一致させ、結果的に新たなベクトル要素を１次元設けることで（９次元の画像ベクトルを生成することで）、輝度正規化基準がパッチ中心の画素からパッチ全体となり、パッチ間のつながり度合いが向上される。
【００９６】
さらに、復元対象を低解像画像の高周波成分に限定するために設けられたハイパスフィルタによって、低解像画像の低周波成分から中周波成分までに重畳されたノイズ成分が除去されるという効果が得られる。
【００９７】
なお、上記実施形態では画像処理方法について説明したが、上記に説明した各工程と同一の機能が実現されるハードウェアに置き換えることも可能である。例えば、図１（ａ）の低解像画像生成工程（＃１０）、高周波成分抽出工程（＃１２）、代表高周波画像生成工程（＃１４）、補間フィルタ係数生成工程（＃１６）をそれぞれ、低解像画像生成部、高周波成分抽出部、代表画像生成部、補間フィルタ係数生成部に置き換えるとともに、高周波成分抽出工程（＃２０）、補間フィルタ係数設定工程（＃２２）、補間フィルタリング工程（＃２４）、拡大処理工程（＃２６）、加算工程（＃２８）をそれぞれ、高周波成分抽出部、補間フィルタ係数設定部、補間フィルタリング部，拡大処理部、加算部に置き換えて画像処理装置を構成することも可能である。また、上記した画像処理方法の各工程をコンピュータにより実現するプログラムとして構成することも可能である。
【００９８】
〔第２実施形態〕
次に、本発明の第２実施形態に係る画像処理方法について説明する。以下に説明する第２実施形態は、先に説明した第１実施形態に係る画像処理方法に対して新たな機能が追加されている。なお、以降の説明において、先の説明と同一又は類似する部分には同一の符号を付し、その説明は省略する。
【００９９】
図４（ａ）は、本発明の第２実施形態に係る学習ステップの概略構成を示す全体構成図であり、図４（ｂ）は復元ステップの概略構成を示す全体構成図である。図４（ａ）に示す学習ステップは、図１（ａ）に図示した学習ステップに、学習代表数（クラス数、代表高周波画像ｚ’ｉの数）を外部から取得する学習代表数取得工程（＃１９）が追加されている。
【０１００】
すなわち、学習対象の画像に応じて適宜学習代表数を決められるので、学習ステップにおいて効率よく各工程を実行することができ、学習ステップにおいて求められる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉの数が最適化される。
【０１０１】
図４（ｂ）に示す復元ステップは、図１（ｂ）に図示した復元ステップに、外部から補間フィルタ係数Ａｉ、Ｂｉ、πｉ及び代表高周波画像ｚ’ｉを取得する補間フィルタ係数取得工程（＃３０）と、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いた補間処理を実行するか否かを判定する補間実行判定工程（＃３２）と、補間実行判定に用いられる判定閾値を外部から取得する閾値取得工程（＃３４）と、高周波低解像画像ｚ’fileに正規化処理を施す正規化処理工程（＃３６）と、補間実行判定工程の判定結果に従って、加算工程（＃２８）において加算された低周波成分から超高周波成分までの全周波数領域の情報を含む画像と拡大工程（＃２６）により拡大された画像とのいずれかを選択的に出力する選択出力（セレクタ）工程（＃３８）と、を含んで構成される。
【０１０２】
また、加算工程（＃２８）は、補間実行判定工程における判定結果に応じて加算処理が実行されるように構成されている。
【０１０３】
補間実行判定工程（＃３２）は、高周波画像ｚ’Fileに応じた補間実行判定が行なわれる。すなわち、補間実行判定工程の判定結果に応じて、補間フィルタ係数設定工程、補間フィルタリング工程、加算工程及び選択出力工程の処理が決められる。
【０１０４】
補間実行判定には、高周波画像ｚ’Fileの持つデータの高周波成分の大きさ（振幅）、高周波成分の頻度（局所領域内の閾値を超えるデータを持つ画素数、局所領域内の累積振幅数）等を用いることが可能である。図５は、高周波成分の大きさ（データの絶対値）に対して所定の閾値ＴＨが設定された例を示す図である。かかる場合において、処理対象の高周波画像ｚ’のデータの絶対値が閾値ＴＨを超える場合（図５中、破線を超えるデータを有する位置）は、補間フィルタ係数設定工程において補間フィルタ係数が設定され、補間フィルタリング工程においてフィルタリング処理が実行され、加算工程において加算処理が実行され、選択出力工程において加算処理された高解像画像を出力するように指示される。
【０１０５】
一方、処理対象の高周波画像ｚ’のデータの絶対値が所定の閾値以下の場合（図５中、破線以下のデータを有する位置）は、補間フィルタ係数設定工程、補間フィルタリング工程、及び加算工程に処理停止が指示されるとともに、選択出力工程において拡大処理工程により拡大処理された画像を出力するように指示される。
【０１０６】
すなわち、処理速度を重視する場合において、閾値判定により処理対象画素（領域）について復元処理が必要であるか否かが判断され、復元処理が必要である画素のみに復元処理が実行される。このようにして、補間処理が施される復元処理の対象を制限することで処理速度を向上させることが可能となる。
【０１０７】
例えば、人物の顔がデータ値１又は０の二値で表現された二値画像に対する処理を考えたときに、データ値１で表される領域（黒領域）は補間フィルタ係数を用いたフィルタリング処理（高解像化処理）を施し、データ値０で表される領域（白領域）は拡大処理などの高解像化処理以外の処理を施すことで、処理時間がかかる高解像化処理を施す領域を限定して、全体として処理速度の高速化を図ることが考えられる。
【０１０８】
なお、選択出力工程に変わり、重み付け加重和処理工程を具備する態様も好ましい。重み付け加重和処理工程は、加算工程の処理結果（出力Ｉ１）及び拡大処理工程の処理結果（出力Ｉ２）に対して、処理対象の高周波画像ｚ’のデータの絶対値から求めた重みｗ１、ｗ２（＝１−ｗ１）を乗じ、重み付けされた処理結果（Ｉ１×ｗ１＋Ｉ２×ｗ２）が加算されるように構成される。処理対象の高周波画像ｚ’のデータの絶対値が大きいほど加算工程の処理結果が支配的になるように（ｗ１の値がｗ２の値に対して大きくなるように）重みが決められる。重み付け加重和処理工程は画質重視の処理を実行する場合に有効である。
【０１０９】
図６に示すように、重み付け加重和処理工程に用いられる重みｗ１（ｗ２）は線形でもよいし、非線形（閾値ＴＨまでの線形関数やシグモナイド関数等）でもよい。
【０１１０】
正規化処理工程（＃３６）は、入力された高周波低解像画像ｚ’fileのｎ乗ノルム｜ｚ’｜が算出され、ｚ’／｜ｚ’｜が出力される。ｎは１前後の値から任意に選択される。正規化処理工程を具備する構成によれば、特定の少数のクラスに寄与率が偏り過ぎる場合に複数のクラスに寄与率を分散させることができ、フィルタリングされた画像の頑健性向上が見込まれる。一方、正規化処理による均一化によりクラス数が増え、演算量が増える可能性がある。なお、正規化処理工程は、補間実行判定工程の結果に従って処理を実行するか否かが決められる。なお、本発明に係る画像処理方法は、正規化処理工程を備える態様が好ましいが必須の構成ではない。
【０１１１】
なお、第１実施形態と同様に、図４（ａ）及び図４（ｂ）に図示した各工程と同一の機能を有するハードウェアを用いて画像処理装置を構成することが可能である。また、図４（ａ）及び図４（ｂ）に図示した各工程の機能をコンピュータに実行させるプログラムを作成することも可能である。
【０１１２】
本例に示す画像処理方法において、学習ステップに用いられる学習画像セットの対象を限定することは必須ではないが、自然物、ＣＧ（コンピューターグラフィックス）といった復元対象に適合した対象とすることが好ましい。また、学習画像セットを以下のように限定することで、さらなる高画質化が期待される。
【０１１３】
例えば、学習画像セットの対象として人物の顔が挙げられる。また、顔の他に頭部または人物の手等の人体の一部の部位、或いは人体以外の生体の少なくとも一部を含む領域に対象を限定することが考えられる。なお、「生体」とは、生体内部の血管等のように生体内部に存在する特定の組織が含まれる。また、内視鏡システムや顕微鏡システムにおける、生体内部の腫瘍組織、細胞、タンパク質、ＤＮＡ、ＲＮＡ等の高分子、低分子の物質を対象とすることも可能である。
【０１１４】
さらに、生体の他にも、薬等の化合物や、認証システムにおける貨幣、キャッシュカード等のカード類、監視カメラシステムにおける車両や車両のナンバープレート、複写機等のスキャナ機器により読み取られたドキュメントの画像、文字、図形、表、写真などを対象とすることも可能である。
【０１１５】
また、本例では、超解像処理について説明したが、本発明を適用可能な画像処理は超解像処理に限定されず、折り返し成分を低減した縮小処理、多色数化処理、多階調化処理、ノイズ低減化処理、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減化させるアーチファクト低減化処理、ボケ低減化処理、シャープネス化処理、高フレームレート化処理、広ダイナミックレンジ化処理、色階調補正処理、歪み収差化処理、符号化などの射影処理にも適用可能である。
【０１１６】
例えば、ノイズ低減化処理の場合、ノイズが含まれる画像とノイズが含まれない画像とをペアとして射影関係が学習される。すなわち、処理前の画像と処理後の画像とのペアを準備し、それぞれの処理前画像と処理後画像との射影関係を学習しておき、かかる射影処理に適用される演算子や関数等が予め準備される。
【０１１７】
〔応用例〕
次に、本発明の実施形態に係る応用例として、監視システムへの適用例について説明する。監視システムにおいて、監視カメラにより取得された低画質画像を高画質画像へ変換し、該高画質画像をモニタに表示することや印刷装置により該高画質画像を印刷することが可能となる。
【０１１８】
図７は、本発明の実施形態に係る画像処理システム２００の一例を示す。以下に説明
する画像処理システム２００は、一例として監視システムとして機能することができる。
【０１１９】
画像処理システム２００は、監視対象空間２０２を撮像する複数の撮像装置２１０ａ−ｄと、これら撮像装置２１０ａ−ｄにより撮像された撮像画像を処理する画像処理装置２２０、通信ネットワーク２４０、画像処理装置２５０、画像データベース（ＤＢ）２５５、及び複数の表示装置２６０ａ−ｅを備える。画像処理装置２５０は、監視対象空間２０
２とは異なる空間２０５（例えば、監視対象空間２０２から遠く離れた場所）に設置することができ、表示装置２６０ａ−ｅについても監視対象空間２０２や画像処理装置２５０の設置空間２０５とは異なる空間２０６に設けることができる。
【０１２０】
撮像装置２１０ａは、撮像部２１２ａ及び撮像画像圧縮部２１４ａを有している。撮像部２１２ａは、監視対象空間２０２を連続して撮像することによって複数の撮像画像を撮像する。撮像部２１２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部２１４ａは、撮像部２１２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む動画をＭＰＥＧ符号化その他の符号化方式により圧縮して動画データを生成する。撮像装置２１０ａは当該生成した動画データを画像処理装置２２０に出力する。
【０１２１】
他の撮像装置２１０ｂ、２１０ｃ、２１０ｄもそれぞれ撮像装置２１０ａと同様の構成を有し、各撮像装置２１０ａ−ｄにより生成された動画データは画像処理装置２２０に送られる。なお、以下の説明において、撮像装置２１０ａ−ｄを撮像装置２１０と総称する場合がある。同様に、表示装置２６０ａ−ｅを表示装置２６０と総称する場合があり、以後の説明においては、類似する構成要素に付した符号の末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。
【０１２２】
画像処理装置２２０は、撮像装置２１０から取得した動画データを復号することにより、動画を取得する。画像処理装置２２０は、取得した動画に含まれる複数の撮像画像のそれぞれから、人物２７０が撮像された領域、車輌等の移動体２８０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置２２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。
【０１２３】
また、画像処理装置２２０は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、若しくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。
画像処理装置２２０は、当該生成した特徴領域情報を圧縮動画データに付帯して、通信ネットワーク２４０を通じて画像処理装置２５０に送信する。
【０１２４】
画像処理装置２５０は、特徴領域情報が対応付けられた圧縮動画データを画像処理装置２２０から受信する。画像処理装置２５０は、圧縮動画データに対応付けられている特徴領域情報に対応付けて、当該圧縮動画データを画像ＤＢ２５５に記憶させる。なお、画像ＤＢ２５５は、ハードディスク等の不揮発性の記憶媒体に圧縮動画データを記憶してよい。このように、画像ＤＢ２５５は、圧縮された撮像画像を記憶する。
【０１２５】
また、画像処理装置２５０は、表示装置２６０からの要求に応じて、画像ＤＢ２５５から圧縮動画データ及び特徴領域情報を読み出し、当該読み出した圧縮動画データをこれに付帯する特徴領域情報を利用して伸張して表示用動画を生成して、通信ネットワーク２４０を通じて表示装置２６０に送信する。表示装置２６０は、画像の検索条件などを入力し得るユーザーインターフェースを具備し、画像処理装置２５０に対して各種の要求を送信できるとともに、画像処理装置２５０から受信した表示用動画を表示する。
【０１２６】
また、上記の動画表示に代えて、又は、これと組み合わせて、画像処理装置２５０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像並びにその特徴領域を特定することも可能である。そして、画像処理装置２５０は、この特定した撮像画像を復号して、表示装置２６０に提供することにより、要求にかかる検索条件に合致した画像を表示装置２６０に表示させてもよい。
【０１２７】
なお、画像処理装置２５０は、画像処理装置２２０から取得した圧縮動画データを、これに対応する特徴領域情報を利用して伸張して表示用動画を生成してから画像ＤＢ２５５に記憶させてもよい。また、このとき画像処理装置２５０は、特徴領域情報を対応付けて表示用動画を画像ＤＢ２５５に記憶させてもよい。かかる態様によれば、画像処理装置２５０は、表示装置２６０からの要求に応じて画像ＤＢ２５５から表示用動画（伸張済み）を読み出して、特徴領域情報とともに表示装置２６０に送信し得る。
【０１２８】
また、画像処理装置２５０から伸張済みの表示用動画を表示装置２６０に提供する態様に代えて、表示装置２６０内で圧縮動画データを伸張処理して表示用画像を生成してもよい。すなわち、表示装置２６０は、画像処理装置２５０又は画像処理装置２２０から特徴領域情報及び圧縮動画データを受信してもよい。かかる態様において、表示装置２６０は、受信した圧縮動画データを復号して表示装置２６０に表示させる場合に、復号して得られた撮像画像における特徴領域を一旦単純拡大して表示装置２６０に表示させてよい。
【０１２９】
更に、表示装置２６０は、表示装置２６０における処理容量に応じて各特徴領域の画質を決定して、決定した画質で特徴領域の画像を高画質化してもよい。表示装置２６０は、表示装置２６０が表示している撮像画像における特徴領域の画像を、高画質化した特徴領域の画像で差し替えて表示装置２６０に表示させてもよい。この差し替え表示を行う際の高画質化の処理手段として本発明に係る画像処理方法を利用した超解像の手段を利用することができる。つまり、表示装置２６０内に本発明に係る画像処理方法が適用された画像処理装置を搭載することができる。
【０１３０】
本例の画像処理システム２００によると、特徴領域を示す情報を動画に対応付けて記憶しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、本例の画像処理システム２００によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
【０１３１】
なお、図７に示した記録媒体２９０は、画像処理装置２２０、画像処理装置２５０、表示装置２６０用のプログラムを記憶している。記録媒体２９０が記憶しているプログラムは、本実施形態に係る画像処理装置２２０、画像処理装置２５０、表示装置２６０としてそれぞれ機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、図７及び以後の図面に関連して説明される画像処理装置２２０、画像処理装置２５０、表示装置２６０などとして当該コンピュータを機能させる。
【０１３２】
記録媒体２９０としては、ＣＤ−ＲＯＭの他に、ＤＶＤ又はＰＤ等の光学記録媒体、ＭＯ又はＭＤなどの光磁気記録媒体、テープ媒体又はハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワーク或いはインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置が記録媒体２９０として機能することもできる。
【０１３３】
以下、本例の画像処理システム２００における画像処理装置２２０、２５０、表示装置２６０の構成例について更に詳細に説明する。
【０１３４】
（画像処理装置２２０の説明）
図８は、画像処理装置２２０のブロック構成の一例を示す。画像処理装置２２０は、画像取得部２２２、特徴領域特定部２２６、外部情報取得部２２８、圧縮制御部２３０、圧縮部２３２、対応付け処理部２３４、及び出力部２３６を備える。画像取得部２２２は、圧縮動画取得部２２３及び圧縮動画伸張部２２４を有する。
【０１３５】
圧縮動画取得部２２３は、撮像装置２１０（図７参照）が生成した、符号化された動画データを取得する。圧縮動画伸張部２２４は、圧縮動画取得部２２３が取得した動画データを伸張することにより、動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２２４は、圧縮動画取得部２２３が取得した、符号化された動画データを復号して、動画に含まれる複数の撮像画像を抽出する。なお、動画に含まれる撮像画像は、フレーム画像であってよく、フィールド画像であってもよい。
【０１３６】
圧縮動画伸張部２２４によって得られた複数の撮像画像は、特徴領域特定部２２６及び圧縮部２３２に供給される。特徴領域特定部２２６は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域特定部２２６は、複数の撮像画像のそれぞれから特徴領域を検出する。
【０１３７】
例えば、特徴領域特定部２２６は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域特定部２２６は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。特徴領域特定部２２６は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出し得る。
【０１３８】
特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標として分類される種類であってよい。また、オブジェクトの種類は、オブジェクトの形状又はオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域特定部２２６は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
【０１３９】
（特徴領域検出方法の例１）
例えば、特徴領域特定部２２６は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域特定部２２６は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。
【０１４０】
特徴領域特定部２２６は、上記の人物の顔の他にも、人物の頭部又は人物の手等の人体の一部の部位、或いは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。
【０１４１】
画像処理システム２００と同様の構成を内視鏡システムに応用した場合など、生体内部の画像を処理する場合には、生体内部の血管等のように、生体の内部に存在する特定の組織や生体内部の腫瘍組織を対象とすることもできる。生体以外にも、特徴領域特定部２２６は、貨幣、キャッシュカード等のカード、車輌、或いは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
【０１４２】
（特徴領域検出方法の例２）
また、特徴領域特定部２２６は、テンプレートマッチング等によるパターンマッチングの他にも、例えば、特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域特定部２２６は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。
【０１４３】
上述の例１、２に限らず、様々な方法によって特徴領域を検出することが可能であり、特徴領域特定部２２６は、適宜の方法により、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域特定部２２６は、検出した特徴領域を示す情報を、圧縮制御部２３０に供給する。なお、特徴領域を示す情報には、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、及び特徴領域が検出された動画を識別する情報を含めることができる。
【０１４４】
圧縮制御部２３０は、特徴領域特定部２２６から取得した特徴領域を示す情報に基づいて、圧縮部２３２による動画の圧縮処理を制御する。圧縮部２３２は、圧縮制御部２３０による制御により、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で撮像画像を圧縮する。例えば、圧縮部２３２は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を、特徴領域より低減することにより、撮像画像を圧縮する。このように、圧縮部２３２は、撮像画像における各画像領域のそれぞれを、画像領域の重要度に応じた強度で圧縮する。
【０１４５】
なお、特徴領域特定部２２６が複数の特徴領域を検出した場合、圧縮部２３２は、撮像画像における複数の特徴領域の画像を、それぞれ特徴領域の特徴の種類に応じた強度で圧縮してよい。例えば、圧縮部２３２は、撮像画像における複数の特徴領域の画像の解像度を、特徴領域の特徴の種類に応じて定められた解像度に低減してよい。
【０１４６】
対応付け処理部２３４は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応付ける。具体的には、対応付け処理部２３４は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応付ける。そして、出力部２３６は、対応付け処理部２３４によって特徴領域を特定する情報が対応付けされた圧縮動画データを、画像処理装置２５０に出力する。
【０１４７】
外部情報取得部２２８は、特徴領域特定部２２６が特徴領域を特定する処理に用いるデータを、画像処理装置２２０の外部から取得する。特徴領域特定部２２６は、外部情報取得部２２８が取得したデータを用いて特徴領域を特定する。外部情報取得部２２８が取得するデータについては、後述の図９に示したパラメータ格納部６５０との関連で説明する。
【０１４８】
（特徴領域特定部２２６の構成例）
図９は、特徴領域特定部２２６のブロック構成の一例を示す。特徴領域特定部２２６は、第１特徴領域特定部６１０、第２特徴領域特定部６２０、領域推定部６３０、高画質化領域決定部６４０、パラメータ格納部６５０、及び画像生成部６６０を有する。第２特徴領域特定部６２０は、部分領域判断部６２２及び特徴領域判断部６２４を含む。
【０１４９】
第１特徴領域特定部６１０は、画像取得部２２２から動画に含まれる動画構成画像である撮像画像を取得し、この取得した撮像画像から特徴領域を特定する。第１特徴領域特定部６１０は、既述の「特徴領域検出方法の例１，例２」で例示した検出方法を用いて特徴領域を検出することにより、撮像画像から特徴領域を特定してよい。
【０１５０】
画像生成部６６０は、第１特徴領域特定部６１０により特徴領域（「第１特徴領域」に相当）として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成する。この画像生成部６６０における高画質画像を生成する手段には、本発明に係る画像処理方法を利用することができる。
【０１５１】
第２特徴領域特定部６２０は、画像生成部６６０で生成された高画質画像から特徴領域（「第２特徴領域」に相当）を探索する。第１特徴領域特定部６１０及び第２特徴領域特定部６２０が特定した特徴領域は、いずれも特徴領域特定部２２６が特定した特徴領域として圧縮制御部２３０に供給される。
【０１５２】
なお、第２特徴領域特定部６２０は、画像生成部６６０から得た高画質画像を基に、第１特徴領域特定部６１０よりも一層詳細に特徴領域を探索してよい。例えば、第２特徴領域特定部６２０は、第１特徴領域特定部６１０で特徴領域を特定する検出精度よりも高精度に特徴領域を検出する検出器が実装されてよい。すなわち、第１特徴領域特定部６１０として実装する検出器の検出精度よりも高精度に検出することができる検出器を第２特徴領域特定部６２０として実装してよい。
【０１５３】
また、別の形態として、第２特徴領域特定部６２０は、第1特徴領域特定部６１０に入力されるものと同じ入力画像（高画質化処理をしない画像）から、第１特徴領域特定部６１０よりも一層詳細に特徴領域を探索してもよい。
【０１５４】
画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより優先的に高画質化した高画質画像を、撮像画像から生成してよい。また、画像生成部６６０は、撮像画像に対する画像処理により、高画質画像を生成してよい。
【０１５５】
画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定した後に、第１特徴領域特定部６１０により特徴領域として特定されなかった領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成してよい。このように、「第１特徴領域特定部６１０により特徴領域として特定されない領域」とは、第１特徴領域特定部６１０が特定した段階においては、第１特徴領域特定部６１０により特徴領域として特定されなかった領域であってよい。この場合、第２特徴領域特定部６２０により、特徴領域が再度探索されることになる。
【０１５６】
他にも、「第１特徴領域特定部６１０による特徴領域として特定されない領域」とは、第１特徴領域特定部６１０が特定していない段階においては、第１特徴領域特定部６１０により特定されないことが予測される領域であってよい。例えば、第１特徴領域特定部６１０が予め定められた条件に適合する領域を特徴領域として検出する場合において、「第１特徴領域特定部６１０による特徴領域として特定されない領域」とは、当該条件に適合しない領域であってよい。画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定していない段階で、高画質画像を生成してよい。
【０１５７】
なお、本ブロック図（図９）では、第１特徴領域特定部６１０及び第２特徴領域特定部６２０は、異なる機能ブロックで示されているが、単一の機能要素で実装され得ることは当然である。例えば、第１特徴領域特定部６１０及び第２特徴領域特定部６２０は、特徴領域検出用の電気回路などのハードウェア要素、特徴領域検出用のソフトウェアなどのソフトウェア要素などを、少なくとも一部共有することができる。
【０１５８】
上記において、画像生成部６６０が入力画像を高画質化した画像を生成する場合を例に挙げて説明したが、画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定する特徴領域特定処理の対象とした画像より高画質な画像を生成して、第２特徴領域特定部６２０に提供してよい。例えば、第１特徴領域特定部６１０が、入力画像に所定の画像処理を施して特徴領域を特定する場合に、画像生成部６６０は、当該画像処理より得られる画像より高画質な画像を生成して、第２特徴領域特定部６２０に提供してよい。
【０１５９】
画像生成部６６０が生成する高画質画像は、第１特徴領域特定部６１０が特徴領域特定処理に用いる画像より高画質な画像であればよく、入力画像より高画質な画像と入力画像より低画質な画像のいずれをも含む。このように、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域を、特徴領域として特定される可能性に応じた画質に変更した高画質画像を、入力画像から生成する。また、画像生成部６６０は、特徴領域として特定される可能性に応じた精度の画質の高画質画像を生成してよい。
【０１６０】
領域推定部６３０は、撮像画像において特徴領域として特定されるべき領域を推定する。例えば、特徴領域特定部２２６が、動画において動くオブジェクトの領域を特徴領域として特定すべき場合に、領域推定部６３０は、動画において動くオブジェクトが存在する領域を推定する。例えば、領域推定部６３０は、同じ動画に含まれる動画構成画像としての他の１以上の撮像画像から抽出された動くオブジェクトの位置、他の撮像画像が撮像されたタイミングなどに基づき、動くオブジェクトが存在する位置を推定する。そして、領域推定部６３０は、推定した位置を含む所定の大きさの領域を、動画において動くオブジェクトが存在する領域として推定してよい。
【０１６１】
この場合、第１特徴領域特定部６１０は、撮像画像における領域推定部６３０が推定した領域から、動くオブジェクトの領域を特徴領域として特定する。そして、画像生成部６６０は、領域推定部６３０が推定した領域のうち、第１特徴領域特定部６１０により動くオブジェクトの領域が特定されなかった領域をより高画質にした高画質画像を生成してよい。
【０１６２】
これにより、動くオブジェクトが存在する可能性が高い領域から、動くオブジェクトが検出できなかった場合に、再探索により動くオブジェクトを抽出することができる可能性が高まる。このように、特徴領域特定部２２６において特徴領域の検出もれが生じる確率を低減することができる。
【０１６３】
部分領域判断部６２２は、特定の画像領域において予め定められた位置に存在する１以上の部分領域の画像が、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部６２４は、部分領域判断部６２２による判断結果に基づき、特定の画像領域が特徴領域であるか否かを判断する。例えば、特定の画像領域が特徴領域であるか否かを判断する場合に、部分領域判断部６２２は、特定の画像領域上の異なる複数の部分領域のそれぞれに対して、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部６２４は、否の判断結果が得られた部分領域の数が予め定められた値より小さい場合に、特定の画像領域が特徴領域であると判断する。
【０１６４】
特定の画像領域が特徴領域であるか否かを判断する場合に、第２特徴領域特定部６２０が、当該特定の画像領域において予め定められた位置に存在する１以上の部分領域に対して上述の処理により判断する場合に、画像生成部６６０は、当該特定の画像領域を高画質化した高画質画像を生成する場合において、当該１以上の部分領域を高画質化してよい。これにより、特徴領域検出処理に有効な領域だけ高画質化することができるので、特徴領域の再検出処理にかかる演算量を低減することができる。
【０１６５】
高画質化領域決定部６４０は、画像生成部６６０が高画質化する領域を決定する。具体的には、高画質化領域決定部６４０は、画像生成部６６０が高画質化する領域を、当該領域が特徴領域として特定される可能性がより低い場合に、より広く決定する。画像生成部６６０は、高画質化領域決定部６４０が決定した領域をより高画質にした高画質画像を生成する。これにより、再探索により動くオブジェクトを抽出することができる可能性を高めることができ、特徴領域特定部２２６において特徴領域の検出もれが生じる確率を低減することができる。
【０１６６】
パラメータ格納部６５０は、画像から抽出された特徴量に対応付けて、当該画像を高画質化すべく用いられる画像処理パラメータを格納する。そして、画像生成部６６０は、高画質化の対象領域から抽出された特徴量に適合する特徴量に対応付けてパラメータ格納部６５０が格納している画像処理パラメータを用いて、高画質化の対象領域を高画質化した高画質画像を生成する。パラメータ格納部６５０は、互いに類似する特徴量が抽出された複数の画像を教師画像として用いた学習により算出された画像処理パラメータを、当該類似する特徴量を代表する特徴量に対応付けて格納してよい。
【０１６７】
なお、画像処理パラメータとしては、高画質化対象の画像データに加算すべきより高い周波数領域の空間周波数成分を有する画像データであってよい。他にも、画像処理パラメータとしては、複数画素の画素値のデータ又は複数の特徴量成分のデータを入力データとした場合に、高画質画像を表すデータに入力データを変換するベクトル、行列、テンソル、ｎ次元混合正規分布、ｎ次元混合多項分布等を例示することができる。なお、ここでのｎは、１以上の整数であるとする。画像処理パラメータについては、画像処理装置２５０の動作に関連して後述する。
【０１６８】
図７に示した外部情報取得部２２８は、パラメータ格納部６５０（図９に記載）が格納する画像処理パラメータ及び特徴量の少なくとも一方を、外部から取得する。パラメータ格納部６５０は、外部情報取得部２２８が取得した画像処理パラメータ及び特徴量の少なくとも一方を格納する。
【０１６９】
図１０は、特徴領域特定部２２６における特徴領域の特定処理の一例を示す。ここでは、撮像画像７００における特徴領域を特定する処理を説明する。
【０１７０】
第１特徴領域特定部６１０（図９参照）は、図１０のように撮像画像７００の複数の画像領域に対して、予め定められた条件への適合度を算出する。そして、第１特徴領域特定部６１０は、撮像画像において予め定められた条件への適合度が第１閾値より大きい領域７１０−１及び領域７１０−２を、特徴領域として特定する。
【０１７１】
また、高画質化領域決定部６４０（図９参照）は、撮像画像において予め定められた条件への適合度が第１閾値以下である第２閾値より大きい、領域７１０−３及び領域７１０−４を選択する（図１０参照）。そして、高画質化領域決定部６４０は、領域７１０−３を含み、上記条件に対する領域７１０−３の画像の適合度に応じた大きさの領域７１０−５を、画像生成部６６０による高画質化の対象領域として決定する。また、高画質化領域決定部６４０は、領域７１０−４を含み、上記条件に対する領域７１０−４の画像の適合度に応じた大きさの領域７１０−６を、画像生成部６６０による高画質化の対象領域として決定する。
【０１７２】
図１０の例では、領域７１０−３よりも領域７１０−４に対して小さい適合度が算出されているとして、高画質化領域決定部６４０は、領域７１０−４をより大きい拡大率で拡大した領域７１０−６を、画像生成部６６０（図９参照）による高画質化の対象領域として決定する。このように、高画質化領域決定部６４０は、条件への適合度が予め定められた第２閾値より大きい領域を適合度に応じた拡大率で拡大して得られた領域を、画像生成部６６０による高画質化の対象領域として決定する。
【０１７３】
そして、第２特徴領域特定部６２０（図９参照）は、高画質化された領域７１０−５及び領域７１０−６の画像から、特徴領域を探索する（図１０参照）。第２特徴領域特定部６２０は、第１特徴領域特定部６１０と同様の処理により、高画質化された領域７１０−５及び領域７１０−６の画像から、上記条件に適合する領域を探索してよい。ここで、第２特徴領域特定部６２０が、高画質化された領域７１０−５の画像７２０において、領域７２２が上記条件に適合すると判断したとする。この場合、特徴領域特定部２２６は、第１特徴領域特定部６１０が特定した領域７１０−１及び領域７１０−２に加えて、画像７２０上の領域７２２に対応する領域７１０−７を、特徴領域として特定する。
【０１７４】
このように、画像生成部６６０（図９参照）は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、所定の条件への適合度がより大きい領域をより高画質にした高画質画像を、撮像画像から生成する。具体的には、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、上記条件への適合度が予め定められた第２閾値より大きい領域をより高画質にした高画質画像を生成する。これにより、特徴領域である可能性が高い領域から、特徴領域が抽出される可能性を高めることができ、特徴領域の検出もれが生じる確率を低減することができる。
【０１７５】
以上説明したように、第１特徴領域特定部６１０により特徴領域として特定された領域及び高画質化の対象領域を除く領域は、特徴領域ではない非特徴領域と決定される。なお、第１特徴領域特定部６１０及び第２特徴領域特定部６２０による特徴領域の特定結果、事前の試験結果、又は事後の試験結果などに基づき、特徴領域ではない領域が特徴領域として特定される確率が予め定められた値より大きくなるよう第１閾値の値を設定してよい。これにより、第１特徴領域特定部６１０が特徴領域として特定した領域に、非特徴領域が含まれる可能性を低減することができる。非特徴領域についても第１閾値に近い適合度が算出される場合があるが、上記のように第１閾値を設定することにより、このような領域が特徴領域として誤検出されてしまう可能性を低減することができる。
【０１７６】
また、第１特徴領域特定部６１０及び第２特徴領域特定部６２０による特徴領域の特定結果、事前の試験結果、又は事後の試験結果などに基づき、特徴領域から算出された適合度が第２閾値以上になるよう第２閾値の値を設定してよい。これにより、第２閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性を低減することができる。特徴領域についても第２閾値に近い適合度が算出される場合があるが、上記のように第２閾値を設定することにより、このような領域が非特徴領域とされてしまう可能性を低減することができる。
【０１７７】
一方、第１閾値及び第２閾値の設定により、第２閾値より大きく第１閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性がある。特徴領域特定部２２６によると、このような領域については、高画質化されてから第２特徴領域特定部６２０により特徴領域が探索されるので、特徴領域と非特徴領域とを適切に切り分けることができ、特徴領域を検出し損ねてしまう確率及び非特徴領域を特徴領域として検出してしまう確率のいずれをも低減することができる。このように、特徴領域特定部２２６によると、感度及び特異度がともに高い特徴領域検出器を提供することができる。
【０１７８】
なお、画像生成部６６０は、上記のように適合度と閾値との関係で高画質化処理の有無を決定することの他に、入力画像の少なくとも一部の画像領域を、上記条件への適合度に応じた高画質化精度で高画質化した高画質画像を生成してよい。この場合、高画質化精度は、適合度に応じた連続関数又は不連続関数で定められてよい。
【０１７９】
図１１は、特徴領域特定部２２６における特徴領域の特定処理の他の一例を示す。ここでは特に、動画から動くオブジェクトの領域を特徴領域として特定する場合の特徴領域特定部２２６の処理の一例を示す。
【０１８０】
第１特徴領域特定部６１０又は第２特徴領域特定部６２０（図９参照）により、図１１のように、撮像画像８００−１及び撮像画像８００−２において、それぞれ領域８１０−１及び領域８１０−２が特徴領域として特定されているものとする。ここで、領域８１０−１及び領域８１０−２には、同じ被写体が撮像されたオブジェクトが存在しているとする。
【０１８１】
この場合、領域推定部６３０（図９参照）は、領域８１０−１及び領域８１０−２のそれぞれの画像上の位置、撮像画像８００−１及び撮像画像８００−２のそれぞれが撮像されたタイミング、並びに、撮像画像８００−３が撮像されたタイミングに基づき、撮像画像８００−３において、同じ被写体のオブジェクトが存在すべき領域として、領域８１０−３を決定する（図１１）。例えば、領域推定部６３０は、領域８１０−１及び領域８１０−２のそれぞれの画像上の位置、撮像画像８００−１及び撮像画像８００−２のそれぞれが撮像されたタイミングから動くオブジェクトの画像領域上の速度を算出して、算出した速度、領域８１０−２の位置、及び撮像画像８００−２が撮像されたタイミングと撮像画像８００−３が撮像されたタイミングとの間の時間差に基づき、同じ被写体のオブジェクトが存在すべき領域として領域８１０−３を決定する。
【０１８２】
第１特徴領域特定部６１０（図９参照）は、領域８１０−３から、動くオブジェクトを探索する（図１１）。第１特徴領域特定部６１０により領域８１０−３から動くオブジェクトが検出されなかった場合に、画像生成部６６０は領域８１０−３を高画質化した高画質画像８２０−４を生成する（図１１）。そして、第２特徴領域特定部６２０は、高画質画像８２０−４から動くオブジェクトを探索する。これにより、動くオブジェクトが検出される可能性が高い領域から当該オブジェクトを抽出される可能性を高めることができ、動くオブジェクトの検出もれが生じる確率を低減することができる。
【０１８３】
なお、画像生成部６６０（図９参照）は、領域８１０−３内のより中央の領域をより高画質化した高画質画像８２０−４を生成してもよい。これにより、動くオブジェクトが存在する確率の低い領域については高画質化の強度を低くすることができる。このため、全体を高強度で一様に高画質化する場合に比べて、高画質化にかかる演算量を低減することができる場合がある。
【０１８４】
図１２は、図９に記載した第２特徴領域特定部６２０による特徴領域の判断処理の一例を示す。第２特徴領域特定部６２０は、特定の画像領域９００が特徴領域であるか否かを判断するにあたり、画像領域９００内の所定の位置関係にある部分領域９１０−１〜４から、特徴量を抽出する。このとき、第２特徴領域特定部６２０は、部分領域９１０のそれぞれから、画像領域９００内における部分領域９１０のそれぞれの位置に応じて予め定められた種類の特徴量を抽出する。
【０１８５】
第２特徴領域特定部６２０は、予め定められた条件に対する部分領域９１０の画像から抽出された特徴量の適合度を、部分領域９１０毎に算出する。第２特徴領域特定部６２０は、部分領域９１０毎に算出した適合度に基づき、画像領域９００が特徴領域であるか否かを判断する。第２特徴領域特定部６２０は、適合度の重み付き合計値が予め定められた値より大きい場合に、画像領域９００が特徴領域であると判断してよい。また、第２特徴領域特定部６２０は、予め定められた値より大きい適合度が算出された部分領域９１０の数が予め定められた値より大きい場合に、画像領域９００が特徴領域であると判断してもよい。
【０１８６】
上述した特徴量の抽出から適合度算出までの処理は、画像フィルタにより実装され得る。また、当該処理は、弱識別器として実装され得る。また、部分領域９１０の位置は、特徴領域として抽出すべきオブジェクトの種類に応じて定められてよい。例えば、人物の顔のオブジェクトを含む領域を特徴領域として検出すべき場合には、部分領域９１０は、人物の顔のオブジェクトに対して判別力が予め定められた値より高くなる位置に定められてよい。判別力が高いとは、人物の顔のオブジェクトに対しては判別結果が真となる確率が高く、人物の顔以外のオブジェクトに対しては判別結果が偽となる確率が高いことを意味してよい。
【０１８７】
ここで、画像生成部６６０（図９参照）は、部分領域９１０以外の領域を高画質化せず、部分領域９１０だけを高画質化する。そして、上述したように、第２特徴領域特定部６２０は、高画質化された画像から特徴領域を抽出して、画像領域９００が特徴領域であるか否かを判断する。これにより、高画質化する画像領域を限定しつつ特徴領域の検出確率を高めることができ、ひいては高速かつ高確率で特徴領域を検出することができる。なお、上記の説明では、第２特徴領域特定部６２０おける特徴領域の判断処理について説明したが、第１特徴領域特定部６１０も同じ処理により特徴領域であるか否かを判断してよい。
【０１８８】
第１特徴領域特定部６１０及び第２特徴領域特定部６２０における処理は、複数の弱識別器により実装することができる。全Ｎ個の弱識別器を用いて実装する場合を例に挙げて以下に説明する。第１特徴領域特定部６１０においては、Ｎｆ個の弱識別器を用いて、特徴領域であるか否かが判別される。適合度は判別結果に基づき算出され、上述したように、適合度が第１閾値より大きい領域は特徴領域として決定され、適合度が第２閾値以下である領域は非特徴領域として決定される。
【０１８９】
適合度が第１閾値以下であり第２閾値より大きい領域は、画像生成部６６０により高画質化される。第２特徴領域特定部６２０においては、高画質化された画像は、第１特徴領域特定部６１０が用いたＮｆ個の弱識別器と、当該Ｎｆ個の弱識別器以外のＮｂ個の弱識別器とを用いて、特徴領域であるか否かが判別される。例えば、Ｎｆ＋Ｎｂ個の弱識別器の各判別結果から算出された適合度に基づき、特徴領域であるか否かが判別されてよい。
【０１９０】
第１特徴領域特定部６１０により特徴領域として特定されなかった領域のうち、第１閾値より小さく第２閾値より大きい第３閾値と適合度との比較結果に応じて定まる複数の領域を、互い異なる処理で特徴領域が特定されてよい。例えば、第３閾値より大きい適合度が算出された領域については画像生成部６６０により高画質化せずに、第２特徴領域特定部６２０においてＮｆ＋Ｎｂ個の弱識別器により特徴領域であるか否かが判別されてよい。一方、第３閾値以下の適合度が算出された領域については画像生成部６６０により高画質化され、第２特徴領域特定部６２０においてＮｆ＋Ｎｂ個の弱識別器により特徴領域であるか否かが判別されてよい。
【０１９１】
第２特徴領域特定部６２０の処理において用いられる弱識別器の数Ｎｂは、適合度に応じて調整されてよい。例えば、適合度が小さいほど、第２特徴領域特定部６２０においてより多くの弱識別器を用いて特徴領域であるか否かが判別されてよい。
【０１９２】
以上説明したように、第２特徴領域特定部６２０は、適合度が低いほどより詳細に画質変更画像から特徴領域を探索してよい。上記第１特徴領域特定部６１０及び第２特徴領域特定部６２０の少なくとも一方における弱識別器構成としては、アダブーストによる弱識別器構成を例示することができる。
【０１９３】
第１特徴領域特定部６１０及び第２特徴領域特定部６２０は、それぞれ多重解像度表現により構成された低解像度画像群から特徴領域を検出してもよい。この場合に、画像生成部６６０は、第１特徴領域特定部６１０における多重解像度化より高精度に多重解像度化することにより低解像度画像群を生成してよい。第１特徴領域特定部６１０における多重解像度化処理としては、バイキュービック法による縮小処理を例示することができる。
【０１９４】
また、第２特徴領域特定部６２０における多重解像度化処理としては、事前学習に基づく縮小処理を例示することができる。第２特徴領域特定部６２０は、原寸の画像と目標解像度の画像とを用いた学習により得られた画像処理パラメータを用いて、入力画像から低解像度画像群を生成してよい。なお、学習には、折り返し雑音がより小さい目標解像度の画像を用いることがより好ましい。例えば、異なる数の撮像素子を有する異なる撮像装置により得られた画像を学習に用いることができる。
【０１９５】
図９から図１２に関連して説明した高画質化処理として、本発明に係る画像処理方法を適用できる。すなわち、画像生成部６６０は、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を生成するにあたり、図１〜図６で例示した本発明による高画質化の画像処理技術を用いてよい。
【０１９６】
高画質化処理は、高解像度化の処理に限らず、階調数を増加する多階調数化処理、色数を増加する多色数化処理を例示することができ、これらの処理には本発明による画像処理方法を適用できる。
【０１９７】
なお、高画質化の対象となる撮像画像が動画の動画構成画像（フレーム画像やフィールド画像）である場合、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化、高フレームレート化などの高画質化処理においては、他の撮像画像の画素値を用いて高画質化してもよい。例えば、撮像タイミングの違いによる動体の撮像位置のずれを利用することにより高画質化してもよい。すなわち、画像生成部６６０は、動画に含まれる動画構成画像である撮像画像及び当該動画に含まれる他の動画構成画像を用いて、高画質画像を生成してよい。
【０１９８】
ノイズ低減化処理としては、複数の動画構成画像を用いた処理の他、特開２００８−１６７９４９号公報、特開２００８−１６７９５０号公報、特開２００８−１６７９４８号公報、及び特開２００８−２２９１６１号公報に記載された処理を例示することができる。例えば、画像生成部６６０は、ノイズ量がより多い画像とノイズ量のより少ない画像とを用いた事前学習の結果を用いて、ノイズを低減することができる。本実施形態のように可視光で撮像された画像のノイズ量を低減する場合には、特開２００８−１６７９４９号公報に記載されたように少線量で撮像した画像を事前学習に用いることに代えて、より少ない光量の環境光下で撮像した画像を事前学習に用いることができる。また、シャープネス化処理において、より高精度なシャープネス化処理としては、より大きいフィルタサイズのフィルタを用いた処理、より多くの方向にシャープネス化する処理を例示することができる。
【０１９９】
（圧縮部２３２の構成例）
図１３は、図８に記載した圧縮部２３２のブロック構成の一例を示す。圧縮部２３２は、画像分割部２４２、複数の固定値化部２４４ａ−ｃ（以下、固定値化部２４４と総称する場合がある。）、及び複数の圧縮処理部２４６ａ−ｄ（以下、圧縮処理部２４６と総称する場合がある。）を有する。
【０２００】
画像分割部２４２は、画像取得部２２２から複数の撮像画像を取得する。そして、画像分割部２４２は、複数の撮像画像のそれぞれを、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２４２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。そして、圧縮処理部２４６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２４６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【０２０１】
より具体的には、画像分割部２４２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２４４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。
【０２０２】
具体的には、固定値化部２４４は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部２４６ａ−ｃは、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧその他の符号化形式により圧縮する。
【０２０３】
固定値化部２４４ａ−ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、及び第３の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部２４６ａ−ｃは、それぞれ固定値化部２４４ａ−ｃにより固定値化した第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、及び第３の特徴の種類の特徴領域動画を圧縮する。
【０２０４】
なお、圧縮処理部２４６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２４６は、特徴領域の特徴の種類に応じて予め定められた異なる解像度の動画に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２４６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合に、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
【０２０５】
また、圧縮処理部２４６ｄは、背景領域動画を圧縮する。この圧縮処理部２４６ｄは、圧縮処理部２４６ａ−ｃのいずれによる圧縮強度より高い強度で、背景領域動画を圧縮してよい。圧縮処理部２４６によって圧縮された特徴領域動画及び背景領域動画は、対応付け処理部２３４（図８参照）に供給される。
【０２０６】
図１３で説明したように、特徴領域以外の領域は固定値化部２４４によって固定値化さるので、圧縮処理部２４６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。このため、圧縮部２３２は、特徴領域動画をより高い圧縮率で圧縮することができる。
【０２０７】
なお、図１３の構成では、圧縮部２３２が有する複数の圧縮処理部２４６のそれぞれが複数の特徴領域の画像及び背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２３２は一の圧縮処理部２４６を有してよく、一の圧縮処理部２４６が、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像及び背景領域の画像が一の圧縮処理部２４６に時分割で順次供給され、一の圧縮処理部２４６が、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
【０２０８】
他にも、一の圧縮処理部２４６は、複数の特徴領域の画像情報及び背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像及び背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２４６に供給され、一の圧縮処理部２４６が、複数の特徴領域の画像及び背景領域の画像をそれぞれ圧縮してよい。また、上記のように一の圧縮処理部２４６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２４６が圧縮する形態では、一の圧縮処理部２４６は、一の画像の全体を圧縮してもよく、本図で説明したように画像分割部２４２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２４６が一の画像の全体を圧縮する場合には、画像分割部２４２による分割処理及び固定値化部２４４による固定値化処理はなされなくてよいので、圧縮部２３２は、画像分割部２４２及び固定値化部２４４を有しなくてよい。
【０２０９】
（圧縮部２３２の構成例２）
図１４は、図８に記載した圧縮部２３２のブロック構成の他の一例を示す。本構成における圧縮部２３２は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
【０２１０】
図１４に示す圧縮部２３２は、画質変換部５１０、差分処理部５２０、及び符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。
【０２１１】
画質変換部５１０は、画像取得部２２２から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域特定部２２６が検出した特徴領域を特定する情報及び特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
【０２１２】
例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（以後、第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（以後、第２解像度画像と呼ぶ。）、及び第３の特徴の種類に応じた第３解像度に変換された撮像画像（以後、第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
【０２１３】
そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、及び第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、及び階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。
【０２１４】
なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。
【０２１５】
階層間差分処理部５２２ｄ及び符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
【０２１６】
また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂ及び階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画及び複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａ及び符号器５３２ａの具体的な動作について説明する。
【０２１７】
階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａ及び符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎に施されてよい。
【０２１８】
階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像又は予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像又は予測画像との間で差分をとらなくてもよい。
【０２１９】
また、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
【０２２０】
階層間差分処理部５２２ｂ及び符号器５３２ｂの動作は、第２解像度画像を符号化するという点、及び第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂ及び符号器５３２ｂの動作は階層間差分処理部５２２ａ及び符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃ及び符号器５３２ｃの動作は、第３解像度画像を符号化するという点、及び第３解像度画像を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａ及び符号器５３２ａの動作と略同一であるので、説明を省略する。
【０２２１】
以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、及び少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像及び低画質画像をそれぞれ符号化する。
【０２２２】
また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領
域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【０２２３】
以上説明したように、圧縮部２３２は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３２による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置２５０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
【０２２４】
（画像処理装置２５０の説明）
図１５は、図７に示した画像処理装置２５０のブロック構成の一例を示す。図１５に示すように、画像処理装置２５０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、外部情報取得部３８０、及び画像処理部３３０を備える。伸張部３２０は、複数の復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）を有する。
【０２２５】
圧縮画像取得部３０１は、画像処理装置２５０により圧縮された圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、複数の特徴領域動画及び背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。
【０２２６】
対応付け解析部３０２は、圧縮動画を、複数の特徴領域動画及び背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画及び背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置及び特徴の種類を伸張制御部３１０及び画像処理部３３０に供給する。
【０２２７】
伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置及び特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置及び特徴の種類に応じて圧縮部２３２が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
【０２２８】
復号器３２２は、符号化された複数の特徴領域動画及び背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、及び復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動画、及び背景領域動画を復号する。
【０２２９】
画像処理部３３０は、伸張部３２０によって伸張された複数の特徴領域動画及び背景領域動画を合成して、一の動画を生成する。具体的には、画像処理部３３０は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。なお、画像処理部３３０は、特徴領域を背景領域より高画質化した表示動画を生成してもよい。この高画質化の変換処理について、本発明に係る画像処理方法を利用できる。
【０２３０】
そして、画像処理部３３０は、対応付け解析部３０２から取得した特徴領域情報及び表示動画を表示装置２６０又は画像ＤＢ２５５に出力する（図７参照）。画像ＤＢ２５５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応付けて、ハードディスク等の不揮発性の記録媒体に記録してよい。
【０２３１】
外部情報取得部３８０は、画像処理部３３０における画像処理に用いるデータを、画像処理装置２５０の外部から取得する。画像処理部３３０は、外部情報取得部３８０が取得したデータを用いて画像処理する。外部情報取得部３８０が取得するデータについては、図１６に関連して説明する。
【０２３２】
（画像処理部３３０の構成例）
図１６は、図１５で説明した画像処理装置２５０が有する画像処理部３３０のブロック構成の一例を示す。図１６に示すように、画像処理部３３０は、パラメータ格納部１０１０、属性特定部１０２０、特定オブジェクト領域検出部１０３０、パラメータ選択部１０４０、重み決定部１０５０、パラメータ生成部１０６０、及び画像生成部１０７０を含む。
【０２３３】
パラメータ格納部１０１０は、被写体像についての複数の属性にそれぞれ対応付けて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像の属性を特定する。ここでいう入力画像とは、伸張部３２０により得られたフレーム画像であってよい。パラメータ選択部１０４０は、属性特定部１０２０により特定された属性により適合する属性に対応付けてパラメータ格納部１０１０が格納している複数の画像処理パラメータをより優先して選択する。画像生成部１０７０は、パラメータ選択部１０４０により選択された複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する。この高画質化の変換処理について、本発明に係る画像処理方法が利用される。
【０２３４】
ここで、属性としては、被写体の向きなど、被写体の状態を例示することができる。すなわち、パラメータ格納部１０１０は、被写体像として撮像された被写体の状態を示す複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された被写体の状態を、当該被写体像から特定する。
【０２３５】
被写体の状態としては、撮像されたときの被写体の向きを例示することができる。被写体の向きとは、例えば、被写体の一例としての人物の顔の向きであってよい。この場合、パラメータ格納部１０１０は、被写体像として撮像された被写体の向きを示す複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された被写体の向きを、当該被写体像から特定する。
【０２３６】
その他、属性とは、被写体の種別であってもよい。被写体の種別としては、例えば、被写体としての人物の性別、人物の年齢、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物の人種、撮像された人物が着用している着用物（メガネ、サングラス、マスク、帽子など）、照明状態などを例示することができる。パラメータ格納部１０１０は、これら各種の属性の少なくともいずれかを含む複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納してよい。この場合、属性特定部１０２０は、入力画像に含まれる被写体像として撮像された人物の対応する属性を、当該被写体像から特定する。
【０２３７】
重み決定部１０５０は、入力画像に含まれる被写体像を高画質化する場合における、複数の画像処理パラメータに対する重みを決定する。そして、画像生成部１０７０は、重み決定部１０５０が決定した重みに基づいて、パラメータ選択部１０４０により選択された複数の画像処理パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。なお、重み決定部１０５０は、特定された属性に対する適合度がより大きい属性に対応付けられた画像処理パラメータに対する重みづけがより大きい重みを決定してよい。
【０２３８】
パラメータ生成部１０６０は、パラメータ選択部１０４０が選択した複数の画像処理パラメータを合成した合成パラメータを生成する。そして、画像生成部１０７０は、パラメータ生成部１０６０が生成した合成パラメータを用いて入力画像に含まれる被写体像を高画質化することにより、高画質画像を生成する。
【０２３９】
なお、上記においては、被写体の属性に応じて画像処理パラメータを生成することについて説明した。その他画像処理部３３０は、高画質化の強度を画像上で変化させてもよい。
【０２４０】
パラメータ格納部１０１０は、特定のオブジェクトの画像を高画質化すべく用いられる画像処理パラメータである特定パラメータ、及び、オブジェクトが特定されない画像を高画質化すべく用いられる画像処理パラメータである非特定パラメータを格納する。非特定パラメータは、後に説明するように、オブジェクトによらず高画質化の効果をある程度有する汎用の画像処理パラメータであってよい。
【０２４１】
特定オブジェクト領域検出部１０３０は、入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する。特定オブジェクトとは、特徴領域として検出されるべき被写体のオブジェクトであってよい。そして、重み決定部１０５０は、特定オブジェクト領域が検出された入力画像を高画質化する場合における、特定パラメータ及び非特定パラメータの重みを決定する。
【０２４２】
重み決定部１０５０は、入力画像における特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけが非特定パラメータより大きい重みを決定する。これにより、特徴領域として検出されるべき特定オブジェクトをきちんと高画質化することができる。また、重み決定部１０５０は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、非特定パラメータに対する重みづけが特定パラメータより大きい重みを決定する。これにより、特定のオブジェクト専用の画像処理パラメータで高画質化することを未然に防ぐことができる。
【０２４３】
画像生成部１０７０は、重み決定部１０５０が決定した重みに基づいて、特定パラメータ及び非特定パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。
【０２４４】
パラメータ格納部１０１０は、特定のオブジェクトの複数の画像を学習画像（「訓練画像」ともいう。）として用いた学習により算出された特定パラメータ、及び、特定のオブジェクトの画像ではない複数の画像を学習画像として用いた学習により算出された非特定パラメータを格納する。これにより、特定オブジェクトに特化した特定パラメータを算出することができる。また、多様なオブジェクトに対する汎用の特定パラメータを算出することができる。
【０２４５】
なお、事前学習では、学習画像の輝度情報そのものではなく、学習画像のエッジ情報などの空間変化情報を利用した画像処理パラメータが学習されていることが望ましい。低空間周波数領域の情報を低減したエッジ情報を用いることにより、照明変動、特に、低周波の照明変化に対してロバストな高画質化処理を実現することができる。
【０２４６】
パラメータ生成部１０６０は、非特定パラメータと特定パラメータとを、重み決定部１０５０が決定した重みで合成することにより、合成パラメータを生成してよい。画像生成部１０７０は、パラメータ生成部１０６０が生成した合成パラメータを用いて入力画像を高画質化することにより、高画質画像を生成してよい。
【０２４７】
上記の例では、属性特定部１０２０が特定した被写体の属性に基づき選択された複数の画像処理パラメータを用いて、高画質画像を生成する場合の動作について説明した。その他にも、画像生成部１０７０は、複数の画像処理パラメータの異なる組み合わせを用いて入力画像に含まれる被写体像を高画質化してよい。例えば、画像生成部１０７０は、予め定められた複数の画像処理パラメータの異なる組み合わせを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部１０７０は、高画質化して得られた複数の画像の中から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像としてよい。例えば、画像生成部１０７０は、高画質化して得られた複数の画像のうち、入力画像に画像内容がより類似する画像を、高画質画像としてより優先して選択してよい。
【０２４８】
パラメータ選択部１０４０は、入力画像から特定された被写体の属性に基づいて複数の画像処理パラメータの異なる組み合わせを選択してよい。画像生成部１０７０は、選択された複数の画像処理パラメータを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部１０７０は、高画質化により得られた複数の画像の中から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像としてもよい。
【０２４９】
以上説明したように、画像処理装置２５０は、パラメータ格納部１０１０が限られた数の画像処理パラメータを格納していても、多様な属性の被写体の画像に対処することができる画像処理パラメータを用いて高画質化することができる。なお、高画質化としては、高解像度化、多階調数化、多色数化の他、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化、高フレームレート化などを例示することができる。パラメータ格納部１０１０は、これらの各種高画質化処理用の画像処理パラメータを格納することができる。
【０２５０】
図１５に記載した外部情報取得部３８０は、パラメータ格納部１０１０（図１６参照）が格納する画像処理パラメータを、外部から取得する。パラメータ格納部１０１０は、外部情報取得部３８０が取得した画像処理パラメータを格納する。具体的には、外部情報取得部３８０は、特定パラメータ及び非特定パラメータの少なくとも一方を、外部から取得する。パラメータ格納部１０１０は、外部情報取得部３８０が取得した特定パラメータ及び非特定パラメータの少なくとも一方を格納する。
【０２５１】
図１７は、パラメータ格納部１０１０が格納しているパラメータの一例をテーブル形式で示す。パラメータ格納部１０１０は、人物の顔用の画像処理パラメータである特定パラメータＡ０、Ａ１・・・を、顔の向きに対応付けて格納している。特定パラメータＡ０、Ａ１は、対応する顔の向きの画像を学習画像とした事前学習により、予め算出されている。
【０２５２】
ここで、注目画素の周辺画素の画素値を加重加算することによる高解像度化処理を例に挙げて、事前学習による特定パラメータＡの算出処理を説明する。ここでは、注目画素の画素値ｙが、ｎ個の周辺画素の画素値ｘｉ（ただし、ｉ＝１〜ｎ）の加重加算により算出されると仮定する。すなわち、ｙ＝Σ（ｗｉ×ｉ）と仮定する。ここで、Σは、ｉにわたる加算を示している。ｗｉは、周辺画素の画素値ｘｉに対する加重係数であり、加重係数ｗｉが事前学習により算出されるべき特定パラメータＡとなる。
【０２５３】
特定の向きの顔が撮像されたｍ個の顔画像を学習画像として用いるとする。ｋ番目（但し、ｋ＝１〜ｍ）の学習画像の注目画素の画素値をｙｋとすると、ｙｋ＝Σｗｉ×ｋｉで表されることになる。この場合、加重係数ｗｉは、最小二乗法などの演算処理によって算出することができる。例えば、ｋ番目の成分ｅｋがｅｋ＝ｙｋ−Σ（ｗｉ×ｋｉ）で表されるベクトルの２乗を実質的に最小化するｗｉを、最小二乗法などの演算処理より算出することができる。上記の特定パラメータの算出処理を、複数の顔向きの顔画像について行うことで、各顔向きに対応する特定パラメータＡを算出することができる。
【０２５４】
また、パラメータ格納部１０１０は、人物の顔でないオブジェクトに対して、非特定パラメータＢを格納している。非特定パラメータＢは、多種多様な被写体の画像を学習画像とした事前学習により、予め算出されている。なお、非特定パラメータＢは、特定パラメータＡと同様の事前学習処理により算出することができる。例えば、特定パラメータＡを算出する事前学習処理において、学習画像として顔画像ではなく人物以外の画像を用いることで、非特定パラメータＢを算出することができる。
【０２５５】
図１８は、特定パラメータの重みづけの一例を示す。特徴領域として、画像１２００内の太線の内部の領域１２１０及び領域１２２０が、特徴領域として検出されているとする。重み決定部１０５０（図１６参照）は、この特徴領域のより内部の領域１２１０には、特定パラメータの重み係数を１００％、非特定パラメータの重み係数を０％に決定する。また、特徴領域内（太線枠の内側）における領域１２１０の外側の非特徴領域寄りの領域１２２０には、特定パラメータの重み係数を８０％、非特定パラメータの重み係数を２０％に決定する。
【０２５６】
また、特徴領域の外側の領域に対しては、特徴領域の近傍の領域１２３０には、特定パラメータの重み係数を５０％、非特定パラメータの重み係数を５０％に決定する。そして、更に外側の領域１２５０には、特定パラメータの重み係数を０％、非特定パラメータの重み係数を１００％に決定する。
【０２５７】
このように、重み決定部１０５０（図１６参照）は、入力画像における特定オブジェクト領域のより内側の領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定する。また、重み決定部１０５０は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、特定オブジェクト領域に近いほど、特定パラメータに対する重みづけがより大きい重みを決定する。このように、重み決定部１０５０は、特徴領域の中心から外側に向けて、特徴領域から非特徴領域に向けて特定パラメータの重み係数が段階的に減少させる。また、重み決定部１０５０は、重み係数を段階的に減少させることの他に、特徴領域の中心からの距離、又は、特徴領域の周囲領域等からの距離に比例して、重み係数を連続的に減少させてもよい。例えば、重み決定部１０５０は、距離ｘに対して重み係数の値を１／ｘ、１／ｘ２、ｅ−ｘなどの関数に従って減少させるなど、距離ｘに対して累乗的、又は指数関数的に減少する値の重み係数を決定してよい。
【０２５８】
なお、重み決定部１０５０は、特徴領域としての検出信頼度に応じて重み係数を制御してもよい。具体的には、重み決定部１０５０は、特定オブジェクトの領域としての検出信頼度がより大きい特定オブジェクト領域の画像に対して、特定パラメータに対する重み付けがより大きい重みを決定する。
【０２５９】
特徴領域として検出されなかった領域に特定オブジェクトが存在していたとすると、その領域を汎用の非特定パラメータで高画質化しても、特定オブジェクトが存在するかどうか判別できない場合がある。画像処理部３３０によると、特徴領域として検出されなかった領域でも、特定オブジェクト用の特定パラメータの効果を有する高画質化処理を行うので、高画質化した画像から特定オブジェクトが存在するか否かを容易に判別することができる場合がある。
【０２６０】
なお、特定パラメータは、図１７に関連して説明した複数の画像処理パラメータを合成した画像処理パラメータであってよい。例えば、検出された特徴領域内に、正面顔から１５°横を向いた人物の顔の画像が含まれているとする。この場合、重み決定部１０５０は、特定パラメータＡ０に対する重み係数を２５％に決定して、特定パラメータＡ１に対する重み係数を７５％に決定する。そして、パラメータ生成部１０６０は、特定パラメータＡ０と特定パラメータＡ１とを、それぞれ重み係数を２５％及び７５％で合成した合成パラメータを生成する。そして、画像生成部１０７０は、パラメータ合成部が生成した合成パラメータと、非特定パラメータとを、図１８に図示した割合の重みづけして得られた画像処理パラメータを用いて高画質化する。
【０２６１】
例えば、周辺画素の加重加算により高画質化する画像処理パラメータ（特定パラメータ又は非特定パラメータ）を用いる場合、パラメータ生成部１０６０は、画像処理パラメータの加重係数を、重み決定部１０５０が決定した重み係数で重み付け加算して、得られた加重係数により表される合成パラメータを算出してよい。可加算な画像処理パラメータとしては、加重係数の他に、空間周波数領域での空間周波数成分又は画素データそのもの（例えば、高周波数成分の画像データ）を例示することができる。
【０２６２】
他にも、高画質化処理が、特徴量ベクトルなどに対するベクトル演算、行列演算、又はテンソル演算で表される場合には、パラメータ生成部１０６０は、それら画像処理パラメータとしてのベクトル、行列、テンソル、ｎ次元混合正規分布、又はｎ次元混合多項分布の重み付け加算又は乗算により、合成パラメータを生成してよい。なお、ここでのｎは、１以上の整数であるとする。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減できる場合がある。例えば、０°の向きの特徴ベクトルに係数０．２５を乗じた特徴ベクトルと、２０°の向きの特徴ベクトルに係数０．７５を乗じた特徴ベクトルとの和を、１５°の向きの特徴ベクトルとする演算を、１例として示すことができる。また、既述した局所保存投影（ＬＰＰ）の空間上で補間することにより、更に合成ボケを軽減することができる場合がある。なお、パラメータ生成部１０６０は、特定パラメータと非特定パラメータとから合成パラメータを算出することができる。また、パラメータ生成部１０６０は、異なる複数の特定パラメータから合成パラメータを算出することもできる。
【０２６３】
画像生成部１０７０は、特定パラメータと非特定パラメータとを用いて高画質画像を生成する場合に、特定パラメータを用いて画像処理して得られた画像情報と、非特定パラメータを用いて画像処理して得られた画像情報とを、重み決定部１０５０が決定した重み係数で加算することにより、高画質画像を生成してよい。その他、画像生成部１０７０は、特定パラメータを用いて画像処理して得られた画像情報に対して、非特定パラメータを用いて画像処理することにより、高画質画像を生成してもよい。同様の処理は、複数の特定パラメータを用いた高画質化処理に適用することができる。ここでいう画像データとしては、画素値そのもの、特徴量空間における特徴量ベクトル、行列、ｎ次元混合正規分布、ｎ次元混合多項分布などを例示することができる。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減することができる場合がある。
【０２６４】
図１７及び図１８にかけて説明した高画質化処理では、特徴領域内の画像から特定された人物の顔の向きに基づき、特徴領域を高画質化する場合に用いる複数の画像処理パラメータがパラメータ選択部１０４０により選択された。そして、画像生成部１０７０は、パラメータ選択部１０４０により選択された複数の画像処理パラメータを用いて、１つの高画質化画像を生成した。
【０２６５】
その他にも、画像生成部１０７０は、画像生成部１０７０が格納している画像処理パラメータの複数の組み合わせのそれぞれから、特徴領域を高画質化した画像を複数生成してもよい。そして、画像生成部１０７０は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してよい。
【０２６６】
例えば、画像生成部１０７０は、０°の向きに対応する特定パラメータＡ０と２０°の向きに対応する特定パラメータＡ１との合成パラメータを用いて、特徴領域の画像を高画質化した画像を生成する。画像生成部１０７０は、更に、他の１以上の組み合わせの特定パラメータの合成パラメータを用いて、特徴領域の画像を高画質化した１以上の画像を生成する。
【０２６７】
そして、画像生成部１０７０は、生成した複数の画像のそれぞれを特徴領域内の画像と比較して、画像内容の一致度を算出する。画像生成部１０７０は、生成した複数の画像のうち、最も高い一致度が得られた画像を、高画質画像として決定する。
【０２６８】
なお、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部１０７０は、予め定められた特定パラメータの複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化してよい。この場合、属性特定部１０２０が顔の向きを特定する処理をすることなく、パラメータ選択部１０４０が予め定められた特定パラメータの複数の組を選択してよい。
【０２６９】
その他にも、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部１０４０が特定パラメータの組を複数選択してよい。例えば、パラメータ選択部１０４０は、特定パラメータの複数の組を特定する情報と人物の顔の向きを特定する情報とを対応付けて記憶しており、特徴領域内の画像から特定された人物の顔の向きに対応付けて記憶している特定パラメータの複数の組を選択してよい。そして、選択した複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化することで、特徴領域の画像を高画質化した画像を複数生成してもよい。
【０２７０】
また、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部１０７０は、複数の特定パラメータのそれぞれにより特徴領域内の画像を高画質化してもよい。そして、画像生成部１０７０は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してもよい。この場合においても、属性特定部１０２０が顔の向きを特定する処理をすることなく、パラメータ選択部１０４０が予め定められた複数の特定パラメータを選択してよいし、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部１０４０が特定パラメータを複数選択してもよい。
【０２７１】
図１７に関連して説明したように、特定の顔向きの学習画像から、特定の顔向きの顔画像を高画質化する画像処理パラメータ（特定パラメータ）を算出することができる。他の複数の顔向きについてもそれぞれ同様にして画像処理パラメータを算出することで、複数の顔向きのそれぞれに対応する画像処理パラメータを算出することができる。そして、パラメータ格納部１０１０は、算出されたそれぞれの画像処理パラメータを、対応する顔向きに対応付けて予め格納する。なお、顔画像を高画質化する画像処理パラメータとしては、顔全体を高画質化する画像処理パラメータであってよいが、目の画像、口の画像、鼻の画像、耳の画像など、顔画像に含まれる少なくとも一部のオブジェクトを高画質化する画像処理パラメータであってもよい。
【０２７２】
顔向きは、被写体の向きの一例であり、他の被写体物の向きについても、顔向きと同様にして、複数の被写体の向きにそれぞれ対応する複数の画像処理パラメータを算出することができる。被写体が人物である場合には、被写体の向きとして人体の向きを例示することができ、より具体的には体部の向き、手の向きなどを人体の向きとして例示することができる。また、被写体が人物以外である場合にも、顔画像と同様にして、複数の方向の被写体が撮像された被写体像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。
【０２７３】
被写体の向きは、被写体の状態の一例であり、被写体の状態は、更に、人物の表情により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の表情をしている顔の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、人物が喜怒哀楽のそれぞれの状態にあるときの顔、人物が緊張状態にあるときの顔などをそれぞれ高画質化する。
【０２７４】
また、被写体の状態は、人物のしぐさにより分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定のしぐさをしている状態の人物の画像を高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、走っている状態の人物像、足早に歩いている状態の人物像、走り出そうとしている状態の人物像、物を物色している状態の人物像などをそれぞれ高画質化する。
【０２７５】
また、被写体の状態は、人物の姿勢により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の姿勢をしている状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、背をかがめた状態の人物像、手をポケットに入れている状態の人物像、腕組みしている状態の人物像、顔と体の向きとが一致していない状態の人物像などをそれぞれ高画質化する。
【０２７６】
また、被写体の状態は、人物の着用物により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の着用物を着用している状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、メガネを着用している人物像、サングラスを着用している人物像、マスクをしている人物像、帽子を着用している人物像などをそれぞれ高画質化する。
【０２７７】
以上に説明したように、被写体の複数の状態に対応して被写体が複数の属性に分類される。他にも、被写体は、被写体の種別によって複数の属性に分類されることができる。被写体の種別としては、人物の人種を例示することができる。人物の人種としては、アジア系の人種、欧州系の人種など地域的に分類された人種、形質人類学的に分類された人種などを例示することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ対応する人種に分類された人物の画像をそれぞれ高画質化する。
【０２７８】
また、被写体の種別としては、男性・女性のように人物の性別で分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、男性の画像又は女性など、対応する性別の人物の画像をそれぞれ高画質化する。また、被写体の種別としては、人物の年齢層で分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、十代の人物の画像、二十代の人物の画像など、対応する年代の人物の画像をそれぞれ高画質化する。
【０２７９】
上記において例示された被写体の種別、被写体の複数の状態、又はそれらの組み合わせにより、被写体像の属性が規定される。そして、パラメータ格納部１０１０は、規定された属性のそれぞれに対応付けて、各属性に属する被写体像を高画質化する画像処理パラメータを予め格納する。パラメータ格納部１０１０により格納される画像処理パラメータは、各顔向き用の画像処理パラメータの算出方法と同様の方法により、算出することができる。例えば、表情で属性が規定されている場合には、笑っている顔が撮像された複数の画像を学習画像として事前学習することにより、笑い顔の画像を高画質化する画像処理パラメータを算出することができる。怒り顔の画像など、他の表情の画像についてもそれぞれ同様に事前学習することで、各表情の顔画像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。しぐさ、姿勢、着用物、人種、性別、年齢などにより規定される各属性についても、同様にして画像処理パラメータを算出することができる。
【０２８０】
属性特定部１０２０は、例えばアダブーストなどによりブースティングにより予め算出された識別器を被写体像に適用することにより、被写体像の属性を特定することができる。例えば、特定の向きの顔が撮像された複数の顔画像を教師画像として用いて、弱識別器をブースティング処理により統合して識別器を生成する。生成された識別器に被写体像を適用した場合に得られた正誤の識別結果に応じて、特定の顔向きの顔画像であるか否かを判定することができる。例えば、正の識別結果が得られた場合には、入力された被写体像は、特定の顔向きの顔画像であると判定することができる。
【０２８１】
他の複数の顔向きについても同様にブースティング処理により識別器を生成することにより、各顔向きにそれぞれ対応する複数の識別器を生成することができる。属性特定部１０２０は、これら複数の識別器を被写体像にそれぞれ適用して、各識別器から得られた正誤の識別結果に基づいて顔向きを特定することができる。顔向きの他、表情、性別などで規定される他の１以上の属性についても、それぞれブースティング処理により属性毎に生成された識別器を適用することにより特定することができる。属性特定部１０２０は、ブースティングによる学習の他、線形判別法、混合ガウシアンモデルなど種々の方法で属性毎に学習された識別器を被写体像に適用することで、属性を特定することができる。
【０２８２】
〔表示装置２６０の構成例〕
図１９は、図７中の表示装置２６０のブロック構成の一例を示す。図１９に示すように、表示装置２６０は、画像取得部１３００、第１画像処理部１３１０、特徴領域特定部
１３２０、パラメータ決定部１３３０、表示制御部１３４０、第２画像処理部１３５０、外部情報取得部１３８０、及び表示部１３９０を有する。
【０２８３】
画像取得部１３００は、入力画像を取得する。ここでいう入力画像は、画像処理装置２５０から受け取った動画に含まれるフレーム画像であってよい。第１画像処理部１３１０は、予め定められた画像処理パラメータを用いて入力画像を高画質化した所定画質画像を生成する。例えば第１画像処理部１３１０は、高解像度化する場合には、単純補間拡大処理など、所要演算量が予め定められた値より小さい方式の画像処理パラメータを用いて、所定画質画像を生成する。
【０２８４】
表示制御部１３４０は、第１画像処理部１３１０が生成した所定画質画像を、表示部１３９０に表示させる。このように、表示部１３９０は、所定画質画像を表示する。
【０２８５】
特徴領域特定部１３２０は、入力画像における複数の特徴領域を特定する。特徴領域特定部１３２０は、表示部１３９０が所定画質画像を表示している状態で、入力画像における複数の特徴領域を特定してよい。なお、画像処理装置２５０は、特徴領域を特定する情報を動画に付帯情報として付帯して表示装置２６０に送信してよい。特徴領域特定部１３２０は、画像取得部１３００が取得した動画の付帯情報から特徴領域を特定する情報を抽出することにより、複数の特徴領域を特定してよい。
【０２８６】
パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を更に高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。例えば、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を、異なる強度で高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。「異なる強度で高画質化する」とは、異なる演算量で高画質化すること、単位面積あたりに異なる演算量で高画質化すること、異なる所要演算量の高画質化方式で高画質化すること、などを意味してよい。
【０２８７】
第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高画質化した複数の高画質特徴領域画像を生成する。表示制御部１３４０は、表示部１３９０が表示している所定画質画像における複数の特徴領域に、複数の特徴領域画像を表示させる。このように、表示制御部１３４０は、高画質画像が生成された段階で、表示部１３９０が既に表示している所定画質画像に代えて、高画質画像を表示させる。表示部１３９０は、所定画質画像を速やかに生成して表示するので、ユーザーは実質的に遅滞なく、ある程度の画質の監視映像を観察することができる。
【０２８８】
パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像の重要度に基づいて、複数の特徴領域毎に画像処理パラメータを決定してよい。重要度を示す情報は、上記付帯情報に付帯されてよい。また、重要度は、特徴領域の被写体の種別に応じて予め定められていてよい。被写体の種別毎の重要度は、表示部１３９０を観察するユーザーにより設定されてもよい。パラメータ決定部１３３０は、重要度がより大きい特徴領域をより大きい強度で高画質化する画像処理パラメータを決定する。このため、ユーザーは、重要な特徴領域がより高画質な画像を観察することができる。
【０２８９】
パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像の特徴の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。また、パラメータ決定部１３３０は、複数の特徴領域内に撮像されている被写体の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定してもよい。このように、パラメータ決定部１３３０は、被写体の種類に応じて直接的に画像処理パラメータを決定してよい。
【０２９０】
なお、パラメータ決定部１３３０は、第２画像処理部１３５０において複数の特徴領域をそれぞれ高画質化するのに要する処理所要量に基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、処理所要量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定する。
【０２９１】
例えば、パラメータ決定部１３３０は、複数の特徴領域の面積がより小さい場合に、より大きい強度で高解像度化する画像処理パラメータを決定してよい。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。また、パラメータ決定部１３３０は、複数の特徴領域の画素数がより少ない場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。
【０２９２】
また、パラメータ決定部１３３０は、第２画像処理部１３５０において許容された処理量である処理可能容量に基づき、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、処理可能容量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。
【０２９３】
このため、第２画像処理部１３５０が処理可能な演算量に応じて、高画質化の程度を制御することができる。このため、表示部１３９０の負荷が高画質化処理により過負荷に陥って、画像の表示が遅延することを未然に防ぐことができる場合がある。表示部１３９０の演算量に余裕があれば、速やかに高画質画像が生成されるので、観察することができる。
【０２９４】
上述したように、高画質化としては、高解像度化を例示することができる。具体的には、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を高解像度化する画像処理パラメータを、複数の特徴領域毎に決定する。第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。ここで、大きい強度で高解像度化するとは、高精度に高解像度化すること、及び、より多い画素数の高画質画像を生成することを含む。
【０２９５】
高画質化処理としては、高解像度化の他、多階調数化、多色数化処理、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化を例示することができる。これらの各種の高画質化についても、高解像度化と同様、パラメータ決定部１３３０が各種の高画質化をする画像処理パラメータを複数の特徴領域毎に決定して、第２画像処理部１３５０が、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ各種の高画質化をした複数の高画質特徴領域画像を生成することができる。
【０２９６】
なお、上述したように、画像取得部１３００は、動画に含まれる複数の動画構成画像を入力画像として取得してよい。パラメータ決定部１３３０は、複数の特徴領域のそれぞれを高フレームレート化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、高フレームレート化した複数の高画質特徴領域画像を生成してよい。
【０２９７】
パラメータ決定部１３３０は、動画のフレームレートに基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、動画のフレームレートがより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。第２画像処理部１３５０は、決定した画像処理パラメータを用いて、入力画像をそれぞれ高画質化することにより、高画質化された動画を生成してよい。なお、第２画像処理部１３５０による高画質化についても、画像処理装置２５０による高画質化と同様、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化の概念を含んで良く、第２画像処理部１３５０はこれらの処理により高画質化画像を生成することができる。
【０２９８】
このように、表示装置２６０は、高画質化すべき画像のデータ量、高画質化処理に割り当てることができる演算量に応じて、高画質化の強度を決定することができる。表示装置２６０によると、ある程度の品質の画像を速やかにユーザーに提供することができるとともに、高画質化処理された画像の表示が極度に遅延してしまうことを未然に防ぐことができる。このため、表示装置２６０は、高画質化処理により過負荷になることを未然に防ぐことができ、画像処理装置２５０から提供された動画をスムーズに再生することができる。
【０２９９】
なお、外部情報取得部１３８０は、特徴領域毎に画像処理パラメータを決定する決定条件を、表示装置２６０の外部から取得する。パラメータ決定部１３３０は、外部情報取得部１３８０が取得した決定条件に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。決定条件としては、特徴領域の重要度、特徴領域の特徴の種類、処理所要量、特徴領域の面積、特徴領域の画素数、処理可能容量などをパラメータとした条件を例示することができる。
【０３００】
図２０は、画像の表示エリア１４００の一例を示す。表示エリア１４００は、表示部１３９０により入力画像が表示される領域であるとする。ここでは、入力画像から３つの特徴領域が特定されているとする。これらの特徴領域の画像は、表示エリア１４００のうち、特徴領域エリア１４１０、特徴領域エリア１４２０、及び特徴領域エリア１４３０に表示されるとする。
【０３０１】
図１９で説明した画像取得部１３００が入力画像を取得した場合に、表示制御部１３４０は、取得した入力画像を、表示部１３９０の表示エリア１４００にそのまま表示させる。
【０３０２】
入力画像が表示された状態で、第２画像処理部１３５０は、各特徴領域の画像に、単純補間などの、所要演算量が予め定められた値より小さい所定の高解像度化処理を施して、各特徴領域の画像の所定画質画像を生成する（第１高解像度化段階）。この第１高解像度化段階では、高解像度化の強度は特徴領域の画素数、フレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、並びに第２画像処理部１３５０における演算許容量になどによらず、第２画像処理部１３５０は所定強度の高解像度化処理を施す。なお、当該所定強度の高解像度化処理を入力画像の全域に施すのに要する演算量が、第２画像処理部１３５０に常時割り当てられてよい。
【０３０３】
第１高解像度化段階が完了して、所定画質画像１４１２、所定画質画像１４２２、及び所定画質画像１４３２が生成されると、表示制御部１３４０は、所定画質画像１４１２、所定画質画像１４２２、及び所定画質画像１４３２をそれぞれ対応する特徴領域エリア１４１０、特徴領域エリア１４２０、及び特徴領域エリア１４３０に表示させる。
【０３０４】
所定画質画像１４１２、所定画質画像１４２２、及び所定画質画像１４３２が表示された状態で、第２画像処理部１３５０は、パラメータ決定部１３３０が特徴領域毎に決定した強度で、高解像度化処理を行い、各特徴領域の画像の高画質画像を生成する（第２高解像度化段階）。この第２高解像度化段階では、高解像度化の強度は、パラメータ決定部１３３０により決定された強度であり、特徴領域の画素数及びフレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、並びに第２画像処理部１３５０における演算許容量に依存する。
【０３０５】
第２高解像度化段階が完了して、高画質画像１４１４、高画質画像１４２４、及び高画質画像１４３４が生成されると、表示制御部１３４０は、高画質画像１４１４、高画質画像１４２４、及び高画質画像１４３４を、それぞれ対応する特徴領域エリア１４１０、特徴領域エリア１４２０、及び特徴領域エリア１４３０に表示させる。
【０３０６】
このように、第２画像処理部１３５０は、現在の負荷量、高画質化に要する演算量に応じた強度で高解像度化するので、提供可能な範囲内で高画質な画像を速やかにユーザーに提供することができる。
【０３０７】
（画像処理システムの他の形態例）
図２１は、他の実施形態に係る画像処理システム２０１の一例を示す。本実施形態における画像処理システム２０１の構成は、撮像装置２１０ａ−ｄがそれぞれ画像処理部８０４ａ−ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図７で説明した画像処理システム２００の構成と同じとなっている。
【０３０８】
画像処理部８０４は、図７で説明した画像処理装置２２０に含まれる構成要素のうち、画像取得部２２２を除く構成要素を有している。そして、画像処理部８０４に含まれる各構成要素の機能及び動作は、画像処理装置２２０に含まれる各構成要素が圧縮動画伸張部２２４による伸張処理によって得られた動画を処理することに替えて、撮像部２１２によって撮像された動画を処理するという点を除いて、画像処理装置２２０に含まれる各構成要素の機能及び動作と略同一であってよい。このような構成の画像処理システム２０１においても、図７から図２０にかけて画像処理システム２００に関連して説明した効果と同様の効果が得ることができる。
【０３０９】
画像処理部８０４は、撮像部２１２からＲＡＷ形式で表された複数の撮像画像を含む動画を取得して、取得した動画に含まれるＲＡＷ形式で表された複数の撮像画像をＲＡＷ形式のまま圧縮してよい。なお、画像処理部８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む動画を圧縮してよい。なお、画像処理部８０４は、動画を、図７〜図１２に関連して画像処理装置２２０の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置２５０は、画像処理部８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像を取得することができる。画像処理装置２５０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置２５０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
【０３１０】
なお、画像処理装置２５０は、同時化処理によって得られた撮像画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置２５０における超解像処理として、本発明に係る画像処理方法を適用することができる。
【０３１１】
また、画像処理装置２５０は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置２５０は、オブジェクトの一例としての顔部位（例えば、目、鼻、口など）毎に、超解像処理を施す。この場合、画像処理装置２５０は、特開２００６−３５０４９８号公報に記載されたようなモデル等の学習データを、顔部位（例えば、目、鼻、口など）毎に記憶しておく。そして、画像処理装置２５０は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
【０３１２】
モデル等の学習データは、複数の表情、複数の顔方向、複数の照明条件のそれぞれの組み合わせ毎に記憶されてよい。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、及び真顔を含み、顔方向としては、正面、上方、下方、右方、左方、及び後方を含む。照明条件としては、照明強度及び照明の方向についての条件を含む。画像処理装置２５０は、顔の表情、顔方向、照明条件の組み合わせに対応する学習データを用いて、顔画像に超解像処理を施してよい。
【０３１３】
顔の表情及び顔の方向は、特徴領域に含まれる顔画像の画像内容に基づいて特定することができる。また、表情は、口及び／又は目の形状から特定することができ、顔の方向は、目、口、鼻、及び耳の位置関係等から特定することができる。顔への照明強度及び照明方向は、影の位置及び大きさなど、顔画像の画像内容に基づき特定することができる。顔の表情、顔方向、照明条件は画像処理部８０４において特定され、出力部２３６から画像に対応付けて、特定された顔の表情、顔方向、照明条件が送信されてよい。画像処理装置２５０は、出力部２３６から受信した顔の表情、顔方向、照明条件に対応する学習データを利用して、超解像処理を施してよい。
【０３１４】
また、モデル等の学習データとしては、顔全体を表現するモデルの他に、顔の部位毎のモデルを用いることができる。他にも、性別及び／又は人種毎の顔のモデルを用いることができる。モデルとしては人物に限らず、車両、船舶など、監視対象となる物体の種別毎にモデルを格納することができる。
【０３１５】
なお、図７〜２７に関連して説明した画像処理システム２００の構成においても、画像処理装置２５０又は表示装置２６０は、高画質化処理として、特徴領域の画像に上述した超解像処理を施すことができる。また、画像処理システム２００及び画像処理システム２０１において、圧縮部２３２は、上述した画像処理装置２２０と同様に、画像を主成分ベクトル及び重みづけ係数で表すことによって、撮像画像を更に圧縮することもできる。
【０３１６】
以上、画像処理システム２００、２０１としての動作を、監視システムを例に挙げて説明した。この発明の他の用途としては、複写機等のスキャナ機器によりスキャニングされたドキュメントに対する高画質化処理及び符号化に適用することができる。例えば、文字、図面、表、写真などの各領域を特徴領域とみなすと、それらの領域に対する高解像度化処理として、上記の超解像処理などの高画質化処理を適用することができる。また、それら特徴領域の検出、符号化に、上記の特徴領域検出処理、圧縮処理を適用することができる。同様に、内視鏡システムにおいても、体内部位の検出、高画質化、及び符号化に、上記の特徴領域検出処理、高画質化処理、圧縮処理を適用することができる。
【０３１７】
〔変形例１〕
上述の画像処理システム２００、２０１では、複数の撮像装置２１０ａ−ｄを備えた例
を述べたが、撮像装置２１０の台数は特に限定されず、１台であってもよい。また、表示
装置２６０の台数も特に限定されず、１台であってもよい。
【０３１８】
〔変形例２〕
上述の画像処理システム２００、２０１では、動画データの中の撮像画像（フレーム画像、或いはフィールド画像）から特徴領域を特定したが、動画データに限らず、静止画データについても適用可能である。もちろん、上述した第１実施形態についても、動画データ、静止画データのいずれにも適用可能である。
【０３１９】
〔変形例３〕
上述の画像処理システム２００、２０１では、１つの撮像画像から複数の特徴領域を検出し得る構成を説明したが、本発明に係る画像処理方法における特徴領域の数は特に限定されず、１つの撮像画像につき、特徴領域は１つであってもよい。
【０３２０】
〔変形例４〕
学習画像群を取得する手段について、予め高画質画像と低画質画像の対の画像群を用意しておく態様に限らず、高画質画像のみを与え、その高画質画像から低画質画像を生成することにより画像対を得てもよい。例えば、画像処理装置内に低画質化の処理を行うための処理手段（低画質化処理手段）を備え、高画質の学習画像を入力することにより、同装置内でこれを低画質化して学習画像対を取得する態様も可能である。
【０３２１】
また、図７、図２１で説明した画像処理システム２００、２０１のような場合、学習画像は予め用意されたデータベースなどから提供される態様に限らず、システムの稼働により、実際に撮像装置２１０によって取り込まれた画像やその画像内から切り出された画像（部分画像）を元に学習内容を更新することもできる。システムの用途や撮像装置の設置場所に応じて、適切な学習画像を取り込み、学習ステップをやり直すことにより、変換精度の更なる向上を図ることができる。もちろん、上述した第１実施形態についても、適切な学習画像を取り込み、学習ステップをやり直すことにより、変換精度の更なる向上を図ることが可能である。
【０３２２】
以上、説明した本発明に係る第１、第２実施形態、及び応用例、変形例は、本発明の趣旨を逸脱しない範囲で構成要件の変更、追加、削除が可能である。
【符号の説明】
【０３２３】
１０…低解像画像生成工程、１２…高周波成分抽出工程、１４…代表画像ベクトル生成工程、１６…補間フィルタ係数生成工程、１９…学習代表数取得工程、２０…高周波成分抽出工程、２２…補間フィルタ係数設定工程、２４…補間フィルタリング工程、２６…拡大処理工程、２８…加算工程、３０…補間フィルタ係数取得工程、３２…補間実行判定工程、３４…閾値取得工程、３６…正規化工程、３８…選択工程
【図１】
2011171843.tif 000006
【図２】
2011171843.tif 000007
【図３】
2011171843.tif 000008
【図４】
2011171843.tif 000009
【図５】
2011171843.tif 000010
【図６】
2011171843.tif 000011
【図７】
2011171843.tif 000012
【図８】
2011171843.tif 000013
【図９】
2011171843.tif 000014
【図１０】
2011171843.tif 000015
【図１１】
2011171843.tif 000016
【図１２】
2011171843.tif 000017
【図１３】
2011171843.tif 000018
【図１４】
2011171843.tif 000019
【図１５】
2011171843.tif 000020
【図１６】
2011171843.tif 000021
【図１７】
2011171843.tif 000022
【図１８】
2011171843.tif 000023
【図１９】
2011171843.tif 000024
【図２０】
2011171843.tif 000025
【図２１】
2011171843.tif 000026
【図２２】
2011171843.tif 000027
【図２３】
2011171843.tif 000028
【図２４】
2011171843.tif 000029