(57)【要約】【課題】  原画像の細部まで正確に復元された高解像度画像を得る。【解決手段】  類似度検出手段１３は、原画像のテクスチャの特徴量と各代表画像のテクスチャの特徴量を演算し、演算したテクスチャの特徴量を比較して原画像と各代表画像の類似度を検出する。学習データセット選択手段１５は、各代表画像によりそれぞれ生成された複数の学習データセットのうち、類似度検出手段１３により検出された最も類似度が高い代表画像に対応する学習データセットを選択する。超解像度処理手段１６は学習データセット選択手段１５により選択された学習データセットを使用して原画像の超解像度処理を行う。【選択図】        図１
2005253000.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる複数の代表画像により構成されるインデックス画像を格納しているインデックス画像格納手段と、
高解像度化の対象となる原画像のテクスチャの特徴量と上記インデックス画像格納手段に格納されている各代表画像のテクスチャの特徴量を演算し、演算した上記原画像のテクスチャの特徴量と上記各代表画像のテクスチャの特徴量を比較して、上記原画像と上記各代表画像の類似度を検出する類似度検出手段と、
上記各代表画像によりそれぞれ生成された複数の学習データセットを格納している学習データセット格納手段と、
上記学習データセット格納手段に格納されている複数の学習データセットのうち、上記類似度検出手段により検出された最も類似度が高い代表画像に対応する学習データセットを選択する学習データセット選択手段と、
上記学習データセット選択手段により選択された学習データセットを使用して上記原画像の超解像度処理を行う超解像度処理手段とを備えた画像処理装置。
【請求項２】
類似度検出手段は、原画像の全体領域又は部分領域のテクスチャの特徴量を演算することを特徴とする請求項１記載の画像処理装置。
【請求項３】
類似度検出手段は、原画像のテクスチャの特徴量及び各代表画像のテクスチャの特徴量として、上記原画像及び上記各代表画像の各領域における輝度値のヒストグラムから得られる平均、分散、歪度、尖度の統計量のうち少なくとも一つを使用して、上記原画像と上記各代表画像の類似度を検出することを特徴とする請求項１記載の画像処理装置。
【請求項４】
インデックス画像を構成する互いに異なる複数の代表画像の特徴ベクトルを格納している代表画像特徴ベクトル格納手段と、
高解像度化の対象となる原画像から特徴ベクトルを抽出する原画像特徴ベクトル抽出手段と、
上記原画像特徴ベクトル抽出手段により抽出された原画像の特徴ベクトルを格納する原画像特徴ベクトル格納手段と、
上記原画像特徴ベクトル格納手段に格納されている原画像の特徴ベクトルと、上記代表画像特徴ベクトル格納手段に格納されている各代表画像の特徴ベクトルとの距離を演算し、演算した各距離を比較する特徴ベクトル比較手段と、
上記各代表画像によりそれぞれ生成された複数の学習データセットを格納している学習データセット格納手段と、
上記学習データセット格納手段に格納されている複数の学習データセットのうち、上記特徴ベクトル比較手段により演算された最も距離が短い代表画像に対応する学習データセットを選択する学習データセット選択手段と、
上記学習データセット選択手段により選択された学習データセットを使用して上記原画像の超解像度処理を行う超解像度処理手段とを備えた画像処理装置。
【請求項５】
原画像特徴ベクトル抽出手段は、原画像の全体領域又は部分領域の特徴ベクトルを抽出することを特徴とする請求項４記載の画像処理装置。
【請求項６】
互いに異なる複数の代表画像により構成されるインデックス画像を格納しているインデックス画像格納手段と、
上記インデックス画像格納手段に格納されている各代表画像から各特徴ベクトルを抽出する代表画像特徴ベクトル抽出手段とを備え、
代表画像特徴ベクトル格納手段は上記代表画像特徴ベクトル抽出手段により抽出された各代表画像の特徴ベクトルを格納することを特徴とする請求項４記載の画像処理装置。
【請求項７】
特徴ベクトル比較手段は、原画像及び各代表画像の特徴ベクトルとして差分統計量を使用して、距離を演算することを特徴とする請求項４記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は低解像度の原画像を高解像度の画像に変換する画像処理装置に関するものである。
【背景技術】
【０００２】
低解像度の原画像から、カメラやレンズ等の性能のため写っていない、画像中には存在しない本来の高解像度部分を推測し、低解像度の原画像を高解像度の画像に変換する処理を超解像度処理という。超解像度処理には、あらかじめいくつかの画像の高解像度と低解像度の関係を学習しておく方法がある。動画像の場合には、ある時間のフレームの画像を高解像度化したいときに、そのフレームの時間的に前後するフレームの情報を用いて、存在しない高解像度部分を推定することができることがある。
【０００３】
しかし、一般の静止画像の場合には、高解像度化の対象となる原画像がどのような画像であるかは、あらかじめ全く不明であることが多い。このような一般の静止画像の場合には、従来の技術では、原画像とは関係のない一般的な画像から作成された学習データセットを使用して原画像の高解像度部分を推定し、原画像を高解像度画像に変換することにより超解像度処理を行っている。
【０００４】
例えば、特許文献１では、高解像度化の対象となる低解像度の原画像を互いにオーバーラップする細かいパッチに分割し、各パッチに対応する高解像度のパッチをトレーニングデータ（学習データセット）から選択し、低解像度の原画像を拡大した画像に、選択された高解像度のパッチを足し合わせていくことにより超解像度処理を行っている。
【０００５】
【特許文献１】特開２００３−１８３９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の画像処理装置は以上のように構成されているので、どのような学習データセットを使用したら良いかについて明確な指針はなく、一般的な画像から作成された学習データセットは固定であり、高解像度化の対象となる原画像が持つテクスチャに似たテクスチャを学習データセットが持っていない場合には、原画像の細部まで正確に復元された高解像度画像を得ることができないという課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、原画像が持つテクスチャに近いテクスチャを持つ学習データセットを選択することにより、原画像の細部まで正確に復元された高解像度画像を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像処理装置は、互いに異なる複数の代表画像により構成されるインデックス画像を格納しているインデックス画像格納手段と、高解像度化の対象となる原画像のテクスチャの特徴量と上記インデックス画像格納手段に格納されている各代表画像のテクスチャの特徴量を演算し、演算した上記原画像のテクスチャの特徴量と上記各代表画像のテクスチャの特徴量を比較して、上記原画像と上記各代表画像の類似度を検出する類似度検出手段と、上記各代表画像によりそれぞれ生成された複数の学習データセットを格納している学習データセット格納手段と、上記学習データセット格納手段に格納されている複数の学習データセットのうち、上記類似度検出手段により検出された最も類似度が高い代表画像に対応する学習データセットを選択する学習データセット選択手段と、上記学習データセット選択手段により選択された学習データセットを使用して上記原画像の超解像度処理を行う超解像度処理手段とを備えたものである。
【発明の効果】
【０００９】
この発明は原画像の細部まで正確に復元された高解像度画像を得ることができるという効果がある。
【発明を実施するための最良の形態】
【００１０】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置の構成を示すブロック図である。この図１に示す画像処理装置は、原画像格納手段１１、インデックス画像格納手段１２、類似度検出手段１３、学習データセット格納手段１４、学習データセット選択手段１５及び超解像度処理手段１６を備えている。
【００１１】
原画像格納手段１１は高解像度化の対象となる原画像を格納し、インデックス画像格納手段１２は互いに異なる複数の代表画像１，２，３，４により構成されるインデックス画像を格納している。類似度検出手段１３は、原画像のテクスチャの特徴量と各代表画像１，２，３，４のテクスチャの特徴量を演算し、演算した原画像のテクスチャの特徴量と各代表画像１，２，３，４のテクスチャの特徴量を比較して原画像と各代表画像１，２，３，４の類似度を検出する。学習データセット格納手段１４は各代表画像１，２，３，４によりそれぞれ生成された複数の学習データセット１，２，３，４を格納している。学習データセット選択手段１５は、学習データセット格納手段１４に格納されている複数の学習データセット１，２，３，４のうち、類似度検出手段１３により検出された最も類似度が高い代表画像に対応する学習データセットを選択する。超解像度処理手段１６は学習データセット選択手段１５により選択された学習データセットを使用して原画像の超解像度処理を行う。ここで、代表画像及び学習データセットの数を４個としているが、個数に限定はなくｍ個とする。
【００１２】
次に動作について説明する。
図２は図１に示す画像処理装置の処理の流れを示すフローチャートである。ステップＳＴ１１において、類似度検出手段１３は、高解像度化の対象となる原画像のテクスチャの特徴量と、インデックス画像格納手段１２に格納されているインデックス画像を構成する各代表画像１，２，３，４のテクスチャの特徴量を演算し、演算した原画像のテクスチャの特徴量と各代表画像１，２，３，４のテクスチャの特徴量を比較して原画像と各代表画像１，２，３，４の類似度を検出する。
【００１３】
ステップＳＴ１２において、学習データセット選択手段１５は、学習データセット格納手段１４に格納されている複数の学習データセット１，２，３，４のうち、類似度検出手段１３により検出された最も類似度が高い代表画像に対応する学習データセットを選択する。
【００１４】
ステップＳＴ１３において、超解像度処理手段１６は学習データセット選択手段１５により選択された学習データセットを使用して原画像の超解像度処理を行う。このように、原画像との類似度が最も高い代表画像に対応する学習データセットを使用して、原画像を超解像度処理することにより、原画像の持つテクスチャに近いテクスチャを持った学習データセットを使用して高解像度化されるので、原画像の細部まで正確に復元された高解像度画像を得ることができる。
【００１５】
上記ステップＳＴ１における類似度検出手段１３によるテクスチャの特徴量の比較について、さらに詳細に説明する。
ここでは、例えば、原画像の全体領域、又は原画像の中で特に詳細に高解像度化したい部分領域を選択して、その領域の輝度値のヒストグラムＰ（ｊ）を演算する。ただし、ｊ＝０，１，…，ｎ−１とする。このヒストグラムＰ（ｊ）は総和が１になるように正規化しておき、ヒストグラムＰ（ｊ）から得られる特徴量としての統計量を使用してテクスチャ解析を行う。使用する統計量としては、例えば、平均ｍ、分散ｖ、歪度ｓ、尖度ｋ等があり、それぞれ次の式（１）、式（２）、式（３）、式（４）により演算する。
【数１】
2005253000.tif 000003
ただし、σ2 ＝ｖである。
【００１６】
テクスチャの特徴量の比較は、上記の統計量の１つを選択し、例えば歪度ｓを選択し、原画像全体、又は原画像の部分領域の歪度ｓ（０）と、インデックス画像を構成する代表画像１〜ｍの歪度ｓ（１），ｓ（２），…，ｓ（ｍ）を比較する。代表画像１〜ｍの歪度の中で、ｓ（０）と最も近い歪度がｌ番目の歪度ｓ（ｌ）の場合には、代表画像ｌを使用して生成した学習データセットｌを用いて原画像の超解像度処理を行う。
【００１７】
また、テクスチャの特徴量の比較には、上記の統計量の内２つ以上を選んでも良い。例えば、分散ｖと尖度ｋを選ぶとする。このとき、原画像の全体領域、又は原画像の中の部分領域の分散ｖ（０）、尖度ｋ（０）と、インデックス画像を構成する代表画像１〜ｍの分散ｖ（１），ｖ（２），…，ｖ（ｍ）、尖度ｋ（１），ｋ（２），…，ｋ（ｍ）を比較し、次の式（５）によって代表画像ｌを選択する。
ｌ＝ａｒｇｍｉｎ（｜ｖ（０）−ｖ（ｌ）｜＋ａ｜ｋ（０）−ｋ（ｌ）｜）    （５）
１≦ｌ≦ｍ
ただし、ａは正定数である。このとき、代表画像ｌを使用して生成した学習データセットｌを用いて原画像の超解像度処理を行う。統計量が３つ以上であっても同様な式によって部分画像を選ぶことができる。なお、上記式（５）では、統計量の差の絶対値の（重みつき）和をとっているが、例えば、統計量の差の（重みつき）２乗和にしても構わない。
【００１８】
また、この実施の形態１では、テクスチャの特徴量比較方法として、フラクタル次元による解析を使う例が考えられる。原画像の全体領域又は部分領域に対して、フラクタル次元又は局所フラクタル次元を求める。一方、インデックス画像を構成する各代表画像毎に、あらかじめ、原画像に対して求めるのと同じフラクタル次元又は局所フラクタル次元を求めておく。原画像のフラクタル次元又は局所フラクタル次元に最も近いフラクタル次元又は局所フラクタル次元を持つ代表画像を検出し、該代表画像を使用して生成された学習データセットを用いて原画像の超解像度処理を行っても良い。
【００１９】
以上のように、この実施の形態１によれば、類似度検出手段１３が原画像のテクスチャの特徴量と各代表画像のテクスチャの特徴量を演算し、演算した原画像のテクスチャの特徴量と各代表画像のテクスチャの特徴量を比較して、原画像と各代表画像の類似度を検出し、学習データセット選択手段１５が、各代表画像によりそれぞれ生成された複数の学習データセットのうち、類似度検出手段１３により検出された最も類似度が高い代表画像に対応する学習データセットを選択し、超解像度処理手段１６が選択された学習データセットを使用して原画像の超解像度処理を行うことにより、原画像の細部まで正確に復元された高解像度画像を得ることができるという効果が得られる。
【００２０】
実施の形態２．
図３はこの発明の実施の形態２による画像処理装置の構成を示すブロック図である。この図３に示す画像処理装置は、原画像格納手段１１、インデックス画像格納手段１２、原画像特徴ベクトル抽出手段１７、原画像特徴ベクトル格納手段１８、代表画像特徴ベクトル抽出手段１９、代表画像特徴ベクトル格納手段２０、特徴ベクトル比較手段２１、学習データセット格納手段１４、学習データセット選択手段２２及び超解像度処理手段１６を備えている。
【００２１】
原画像特徴ベクトル抽出手段１７は原画像から特徴ベクトルを抽出し、原画像特徴ベクトル格納手段１８は抽出された原画像の特徴ベクトルを格納する。代表画像特徴ベクトル抽出手段１９はインデックス画像を構成する各代表画像１，２，３，４から各特徴ベクトルを抽出し、代表画像特徴ベクトル格納手段２０は抽出された各代表画像１，２，３，４の特徴ベクトルを格納する。特徴ベクトル比較手段２１は、原画像特徴ベクトル格納手段１８に格納されている原画像の特徴ベクトルと、代表画像特徴ベクトル格納手段２０に格納されている各代表画像１，２，３，４の特徴ベクトルとの距離を演算する。学習データセット選択手段２２は、学習データセット格納手段１４に格納されている複数の学習データセット１，２，３，４のうち、特徴ベクトル比較手段２１により演算された最も距離が短い代表画像に対応する学習データセットを選択する。原画像格納手段１１、インデックス画像格納手段１２及び超解像度処理手段１６の処理は、実施の形態１と同様である。
【００２２】
次に動作について説明する。
図４は図２に示す画像処理装置の処理の流れを示すフローチャートである。ステップＳＴ２１において、代表画像特徴ベクトル抽出手段１９は、あらかじめインデックス画像を構成する各代表画像１，２，３，４から各特徴ベクトルを抽出して、代表画像特徴ベクトル格納手段２０に抽出した各代表画像１，２，３，４の特徴ベクトルを格納する。特徴ベクトルの空間の中で、各代表画像の特徴ベクトルは１つの点になる。ステップＳＴ２２において、原画像特徴ベクトル抽出手段１７は高解像度化の対象となる原画像から特徴ベクトルを抽出して、原画像特徴ベクトル格納手段１８に抽出した原画像の特徴ベクトルを格納する。
【００２３】
ステップＳＴ２３において、特徴ベクトル比較手段２１は、原画像特徴ベクトル格納手段１８に格納されている原画像の特徴ベクトルと、代表画像特徴ベクトル格納手段２０に格納されている各代表画像１，２，３，４の特徴ベクトルとの距離を演算する。ステップＳＴ２４において、学習データセット選択手段２２は、学習データセット格納手段１４に格納されている複数の学習データセット１，２，３，４のうち、特徴ベクトル比較手段２１により演算された最も距離が短い代表画像に対応する学習データセットを選択する。
【００２４】
ステップＳＴ２５において、超解像度処理手段１６は学習データセット選択手段１５により選択された学習データセットを使用して原画像の超解像度処理を行う。このように、原画像の持つ特徴ベクトルに近い特徴ベクトルを持つ代表画像に対応する学習データセットを使用して、原画像を超解像度処理することにより、結果として原画像の持つテクスチャに近いテクスチャを持った学習データセットを使用して高解像度化されるので、原画像の細部まで正確に復元された高解像度画像を得ることができる。
【００２５】
ステップＳＴ２１，ステップＳＴ２２において、画像から抽出される特徴ベクトルとして、差分統計量を用いることができる。差分統計量とは、画像内で一定の変位ｄ＝（ｒ，θ）（ただし、（ｒ，θ）は極座標）だけ離れた２点の輝度の差がｋである確率Ｐｄ（ｋ），（ｋ＝０，１，…，ｎ−１）を求め、そこから次の式（６）、式（７）、式（８）、式（９）に述べる４種類の特徴量（４次元ベクトル）を計算したものである。なお、式（６）はコントラスト（ｃｏｎｔｒａｓｔ）、式（７）はアンギュラーセカンドモーメント（ａｎｇｕｌａｒ  ｓｅｃｏｎｄ  ｍｏｍｅｎｔ）、式（８）はエントロピー（ｅｎｔｒｏｐｙ）、式（９）は平均（ｍｅａｎ）を示す。
【数２】
2005253000.tif 000004
【００２６】
この特徴ベクトルを原画像と各代表画像から抽出し、特徴ベクトル空間で原画像の特徴ベクトルと最も距離の近い特徴ベクトルを持つ代表画像を選び、選ばれた代表画像によって生成された学習データセットを使用して原画像の超解像度処理を行う。
【００２７】
また、画像から抽出される特徴ベクトルとして同時生起行列を用いることができる。同時生起行列とは、画像の輝度ｉの点から一定の変位ｄ＝（ｒ，θ）だけ離れた点の輝度がｊである確率Ｐｄ（ｉ，ｊ），（ｉ，ｊ＝０，１，…，ｎ−１）を要素とする行列のことである。同時生起行列からは、テクスチャを特徴づける１４種類の統計量が計算できる。つまり、同時生起行列からは１４次元の特徴ベクトルが得られる。原画像と各代表画像から同時生起行列を計算して特徴ベクトルを計算する。特徴ベクトル空間で原画像の特徴ベクトルと最も距離の近い特徴ベクトルを持つ代表画像に対応する学習データセットを選択し、選択した学習データセットを使用して原画像の超解像度処理を行う。
【００２８】
さらに、画像から抽出される特徴ベクトルとしてランレングス行列を用いることができる。ランレングス行列から５種類の特徴量が得られので、差分統計量や同時生起行列の場合と同様に、超解像度処理のための学習データセットを選択することができる。
【００２９】
なお、原画像から特徴ベクトルを抽出するとき、原画像の全体領域から抽出するのでなく、原画像の部分領域の画素を用いて特徴ベクトルを抽出しても良い。例えば、原画像の中で特に詳細に復元したい部分を選んで、特徴ベクトルを抽出することができる。
【００３０】
この実施の形態２では、画像から特徴ベクトルをあらかじめ抽出しておいて、特徴ベクトルの空間で距離を計算するのが特徴である。特徴ベクトルの次元は、一般に画像データのデータ量よりはるかに小さいので、高速に学習データセットを選択できるという利点がある。
【００３１】
以上のように、この実施の形態２によれば、特徴ベクトル比較手段２１が、原画像の特徴ベクトルと、各代表画像１，２，３，４の特徴ベクトルとの距離を演算し、学習データセット選択手段２２が、各代表画像によりそれぞれ生成された複数の学習データセットのうち、特徴ベクトル比較手段２１により演算された距離が最も短い代表画像に対応する学習データセットを選択し、超解像度処理手段１６が選択された学習データセットを使用して原画像の超解像度処理を行うことにより、原画像の細部まで正確に復元された高解像度画像を得ることができるという効果が得られる。
【００３２】
また、この実施の形態２によれば、原画像や各代表画像から抽出する特徴ベクトルの次元は、一般に原画像や各代表画像のデータ量よりはるかに小さいので、学習データセットの選択に要する時間を、より短くすることができるという効果が得られる。
【図面の簡単な説明】
【００３３】
【図１】この発明の実施の形態１による画像処理装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による画像処理装置の処理の流れを示すフローチャートである。
【図３】この発明の実施の形態２による画像処理装置の構成を示すブロック図である。
【図４】この発明の実施の形態２による画像処理装置の処理の流れを示すフローチャートである。
【符号の説明】
【００３４】
１１  原画像格納手段、１２  インデックス画像格納手段、１３  類似度検出手段、１４  学習データセット格納手段、１５  学習データセット選択手段、１６  超解像度処理手段、１７  原画像特徴ベクトル抽出手段、１８  原画像特徴ベクトル格納手段、１９  代表画像特徴ベクトル抽出手段、２０  代表画像特徴ベクトル格納手段、２１  特徴ベクトル比較手段、２２  学習データセット選択手段。
【図１】
2005253000.tif 000005
【図２】
2005253000.tif 000006
【図３】
2005253000.tif 000007
【図４】
2005253000.tif 000008