(57)【要約】【課題】移動体の多重化を防止し、処理量を削減する解像度変換システムを提供する。【解決手段】時系列の低解像度の複数の観測画像から基準画像と参照画像を選択する画像選択部１２と、基準画像と参照画像を比較し、参照画像について、撮影位置のずれ以外のずれで移動した画素を有する移動体を含む移動領域と、周辺領域を設定する領域設定部１４と、参照画像の移動領域の画素位置を示すマスクを生成するマスク生成部１６と、基準画像を高解像度画像に変換した推定画像を生成する画像拡大部１８と、参照画像に対する撮影位置のずれを補正した推定画像から、マスクを用いて周辺領域の画素だけにボケ近似を行い、低解像度シミュレーション画像を生成するシミュレーション部２２と、マスクを用いて、シミュレーション画像と参照画像との画素値の差分からなり、移動領域の誤差値を０にした誤差画像を用いて高解像度変換画像を生成する画像変換部２４とを備える。【選択図】図１
2013232063.tif 000002
【特許請求の範囲】
【請求項１】
撮影位置をずらして時系列で取得した第１解像度の複数の観測画像から基準画像及び参照画像を選択する画像選択部と、
前記基準画像と前記参照画像を比較し、前記参照画像について、前記撮影位置のずれ以外のずれで移動した画素を有する移動体を検出して、前記移動体を含む移動領域及び前記移動領域を除外した周辺領域を設定する領域設定部と、
前記参照画像に対して、前記移動領域の画素の位置を示すマスクを生成するマスク生成部と、
前記基準画像を拡大して前記第１解像度より高解像度の第２解像度の画像に変換した画像を推定画像として生成する画像拡大部と、
前記参照画像に対する前記撮影位置のずれを補正した前記推定画像の画像から、前記マスクを用いて前記周辺領域の画素に対してのみボケ近似を行い、前記第１解像度のシミュレーション画像を生成するシミュレーション部と、
前記マスクを用いて、前記周辺領域では前記シミュレーション画像と前記参照画像との対応する画素の誤差値からなり、前記移動領域では誤差値を０にした誤差画像を用いて前記第２解像度の変換画像を生成する画像変換部
とを備えることを特徴とする解像度変換システム。
【請求項２】
同一シーンを撮影位置をずらして時系列で取得した第１解像度の複数の観測画像の中から基準画像及び参照画像を選択し、
前記基準画像と前記参照画像を比較し、前記参照画像について、前記撮影位置のずれ以外のずれで移動した画素を有する移動体を検出して、前記移動体を含む移動領域及び前記移動領域を除外した周辺領域を設定し、
前記参照画像に対して、前記移動領域の画素位置を示すマスクを生成し、
前記基準画像を拡大して前記第１解像度より高解像度の第２解像度の画像に変換した画像を推定画像として生成し、
前記参照画像に対する前記撮影位置のずれを補正した前記推定画像の画像から、前記マスクを用いて前記周辺領域の画素に対してのみボケ近似を行い、前記第１解像度のシミュレーション画像を生成し、
前記マスクを用いて、前記周辺領域では前記シミュレーション画像と前記参照画像との対応する画素の誤差値からなり、前記移動領域では誤差値を０にした誤差画像を用いて前記第２解像度の変換画像を生成し、
前記変換画像を新たな推定画像として、前記シミュレーション画像及び前記変換画像を生成する処理を所定の回数で反復する
ことを含むことを特徴とする解像度変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の解像度変換システム及び解像度変換方法に関する。
【背景技術】
【０００２】
撮影された画像を拡大する解像度変換処理の際、バイリニア法などの手法が用いられる。このような既存の拡大手法では、画像を撮影した光学系や撮像センサの特性により失われた成分を復元することは難しく、結果的にボケた拡大画像になる。
【０００３】
劣化成分を復元する手法として、再構成型超解像処理がある。この処理では、観測された低解像度画像から初期の高解像度画像が推定される。推定した初期画像から劣化モデルに基づき、光学系の伝達関数に相当する点広がり関数と、観測画像である低解像度画像とで畳み込み積分を行うことで、シミュレーション画像が生成される。シミュレーション画像と実際の観測画像の誤差を最小にするように高解像度画像が更新される。収束するまで更新処理を繰り返すことにより、最終的な高解像度画像が求まる。
【０００４】
このような再構成型超解像処理の古典的な手法として、逆投影法が良く知られている。更に、同一シーンを、位置をずらしながら撮影した複数枚の低解像度画像列を用いて、より多くの誤差情報を得て高画質な高解像度画像を構成する複数枚超解像処理と呼ばれる方法がある。複数枚の観測画像を得るために、微妙に位置がずれた複数の撮影系で、同時に撮影する手法がある。それに比較して、一つの撮影系で位置をずらしながら撮影し、複数の観測画像を時系列で得る手法があり、撮影系の規模を削減することができる。
【０００５】
一つの撮影系により、複数枚の観測画像列を時系列で得ることにおいて問題となるのが、画像列中に含まれる移動物体の存在である。運動している移動物体を含む画像列に対して超解像処理を行う場合、構成された高解像度画像上で物体が多重化するのを防ぐために、画像列中の移動物体を抽出する必要がある。
【０００６】
移動物体領域に相当する画素位置での誤差計算結果を強制的に０にするマスク処理を施し、高解像度画像の再構成への寄与を無くすことで、物体の多重化を回避する手法が一般的である。複数枚の観測画像を用いた逆投影法超解像では、処理が複雑で計算量が膨大になるという問題がある。複数枚超解像処理の計算量を削減するため、移動領域を分離して処理する方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の方法では、超解像処理から完全に分離した別系統の処理で、移動領域に対して補間処理を行っている。したがって、移動領域での計算量の削減には限界がある。
【０００９】
本発明の目的は、移動物体の多重化を防止し、処理量を削減することが可能な解像度変換システム及び解像度変換方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一態様によれば、撮影位置をずらして時系列で取得した第１解像度の複数の観測画像から基準画像及び参照画像を選択する画像選択部と、基準画像と参照画像を比較し、参照画像について、撮影位置のずれ以外のずれで移動した画素を有する移動体を検出して、移動体を含む移動領域及び移動領域を除外した周辺領域を設定する領域設定部と、参照画像に対して、移動領域の画素位置を示すマスクを生成するマスク生成部と、基準画像を拡大して第１解像度より高解像度の第２解像度の画像に変換した画像を推定画像として生成する画像拡大部と、参照画像に対する撮影位置のずれを補正した推定画像の画像から、マスクを用いて周辺領域の画素に対してのみボケ近似を行い、第１解像度のシミュレーション画像を生成するシミュレーション部と、マスクを用いて、周辺領域ではシミュレーション画像と参照画像との対応する画素の誤差値からなり、移動領域では誤差値を０にした誤差画像を用いて第２解像度の変換画像を生成する画像変換部とを備える解像度変換システムが提供される。
【００１１】
本発明の他の態様によれば、同一シーンを撮影位置をずらして時系列で取得した第１解像度の複数の観測画像の中から基準画像及び参照画像を選択し、基準画像と参照画像を比較し、参照画像について、撮影位置のずれ以外のずれで移動した画素を有する移動体を検出して、移動体を含む移動領域及び移動領域を除外した周辺領域を設定し、参照画像に対して、移動領域の画素位置を示すマスクを生成し、基準画像を拡大して第１解像度より高解像度の第２解像度の画像に変換した画像を推定画像として生成し、参照画像に対する撮影位置のずれを補正した推定画像の画像から、マスクを用いて周辺領域の画素に対してのみボケ近似を行い、第１解像度のシミュレーション画像を生成し、マスクを用いて、周辺領域ではシミュレーション画像と参照画像との対応する画素の誤差値からなり、移動領域では誤差値を０にした誤差画像を用いて第２解像度の変換画像を生成し、変換画像を新たな推定画像として、シミュレーション画像及び変換画像を生成する処理を所定の回数で反復することを含む解像度変換方法が提供される。
【発明の効果】
【００１２】
本発明によれば、移動物体の多重化を防止し、処理量を削減することが可能な解像度変換システム及び解像度変換方法を提供することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る解像度変換システムの一例を示す概略図である。
【図２】解像度変換の説明に用いるシミュレーション画像の一例を示す図である。
【図３】解像度変換の説明に用いる観測画像の一例を示す図である。
【図４】解像度変換の説明に用いる誤差画像の一例を示す図である。
【図５】解像度変換の説明に用いる高解像度画像の一例を示す図である。
【図６】解像度変換の説明に用いる高解像度画像の他の例を示す図である。
【図７】本発明の実施の形態に係る解像度変換方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下図面を参照して、本発明の形態について説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号が付してある。但し、図面は模式的なものであり、装置やシステムの構成等は現実のものとは異なることに留意すべきである。したがって、具体的な構成は以下の説明を参酌して判断すべきものである。また図面相互間においても互いの構成等が異なる部分が含まれていることは勿論である。
【００１５】
又、以下に示す本発明の実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。
【００１６】
本発明の実施の形態に係る解像度変換システム２は、図１に示すように、画像入力部１０、画像選択部１２、領域設定部１４、マスク生成部１６、画像拡大部１８、位置補正部２０、シミュレーション部２２、画像変換部２４、記憶部２６を備える。解像度変換システム２は、同一シーンを、撮影位置をずらして時系列で画像を撮影する撮影系４に接続される。画像変換部２４は、誤差計算部３０、逆投影部３２、位置補正部３４、重み付け加算部３６を備える。
【００１７】
まず、本発明の実施の形態に係る変換度変換処理に関連するアルゴリズムを簡単に説明する。
【００１８】
撮影により取得したＫ枚の観測画像列｛gk｝（０≦ｋ＜Ｋ)は、以下のようにモデル化できる。
【００１９】
gk = σk (h(Tk (f))) + nk    （１）
ここで、ｆは正解の高解像度画像であり、観測画像列｛ｇk｝から高解像度画像ｆを復元することが超解像処理の目的となる。Ｔkは高解像度画像ｆから観測画像ｇkへの幾何変換を示し、撮影位置のずれを示す。ｈは光学系の劣化に起因する演算子で、一般的には点広がり関数を意味する。σkは撮影系のセンサによる標本化を示すダウンサンプリング演算子である。ｎkは加法性ノイズ項である。
【００２０】
このモデルを用いて、第ｎ回目の再構成反復結果の高解像度画像ｆ(n)から生成したシミュレーション画像列｛ｇ(n)k｝（０≦ｋ＜Ｋ）は以下のようになる。
【００２１】
g(n)k = ((Tk (f(n))* h))↓s     （２）
ここで、↓ｓは１／ｓにダウンサンプリングすることを示す演算子であり、＊は点広がり関数ｈとの畳み込み積分を示す。式（２）は高解像度画像ｆ(n)を撮影位置に応じて幾何変換して、位置ずれを再現し、ｈで撮影系のボケを加味し、センサの解像度にまでダウンサンプリングした結果であり、撮影系をシミュレーションした結果が得られる。したがって、式（２）で用いた演算子が完全に撮影系を表現していたら、ｆ(n)が正解の高解像度画像ならば、
g(n)k = gk    （３）
となる。
【００２２】
次に、複数枚超解像の第ｎ回目の反復再構成の式は以下のような漸化式となる。
【数１】
2013232063.tif 000003
ここで、↑ｓはｓ倍にアップサンプリングすることを示す演算子であり、ｐは逆投影カーネルであり、一般的には点広がり関数から計算できる。式（４）から判るように、第ｎ回反復結果である高解像度画像ｆ(n)からシミュレーション画像列｛ｇ(n)k｝（０≦ｋ＜Ｋ）を求め、シミュレーション画像列と観測画像列との誤差分（ｇk − ｇ(n)k ）をアップサンプリングして、逆投影カーネルと畳み込み、積算する処理を行う。
【００２３】
ただし、誤差分（ｇk − ｇ(n)k ）には、撮影系の位置ずれに起因する誤差分以外に、移動体の位置ずれにより生じる誤差分があり、これを逆投影することで移動体の多重化を招く。したがって、移動体が撮影された移動領域は誤差分を強制的に０にするマスク処理が必要になる。
【００２４】
例えば、図２及び図３に示すように、変換対象の基準画像のシミュレーション画像５０ａをｇ(n)、基準画像から時間ｔ後に撮影された画像５０ｂをｇとする。画像５０ａには静止体５２ａ及び移動体５４ａが含まれ、画像５０ｂには 、静止体５２ａ及び移動体５４ａにそれぞれ対応する静止体５２ｂ及び移動体５４ｂが含まれる。
【００２５】
シミュレーション画像５０ａと参照画像５０ｂとの撮影位置のずれは補正されているが、移動体５４ａ、５４ｂの位置ずれは撮影位置のずれとは異なり補正されない。したがって、図４に示すように、静止体５２ａ、５２ｂの誤差分（ｇk − ｇ(n)k ）を算出した誤差画像６０上で移動体５４ａ、５４ｂが多重化する。このまま逆投影処理を行うと、図５に示すように、高解像度に変換された静止体５２Ａと、多重化した移動体５４Ａ、５４Ｂを含む復元画像６０Ａが生成されてしまう。通常は、誤差分を算出する際に、マスク処理を施して移動領域の誤差分を強制的に０として、図６に示すように、移動体５４Ａの多重化を防止している。
【００２６】
例えば、画像ｇ中の画素値をｇ（ｘ，ｙ）で表すとすると、マスク処理Ｍkを施した誤差分は、
【数２】
2013232063.tif 000004
となる。ここで、誤差分ｅｒｒ（ｘ，ｙ）は、
err(x,y)= (gk(x,y)- g(n)k(x,y))             （６）
である。
【００２７】
なお、観測画像列から移動領域を判別する手法として、一般的には、１画素単位の動きベクトルを求め、撮影系の位置ずれに相当する動きベクトル以外の動きを持つ画素を移動領域とするオプティカルフロー法などの手法が用いられる。また、より簡易な手法としては、観測画像を位置ずれに応じて幾何変換（式（１）の幾何変換Ｔkの逆行列に相当する）による位置合わせを行い、位置合わせ後の画像間で画素単位の差分を取り、差分値が大きい領域を移動領域としてもよい。
【００２８】
実施の形態では、超解像処理を削減するために、誤差計算対象のシミュレーション画像列｛ｇ(n)k｝の算出において、点広がり関数ｈとの畳み込み積分を、マスク処理Ｍkに応じて省略する。
【００２９】
マスク処理Ｍkは、位置合わせ後の画素位置に対して設定されているので、シミュレーション画像列｛ｇ(n)k｝の算出式（２）の中で、Ｔkによる幾何変換を先に行っておく。式（２）は、
g(n)k = (tf(n)* h)↓s     （７）
となる。ここで、ｔｆ(n)＝Ｔk (f(n))である。
【００３０】
式（５）から判るように、移動領域のマスク対象画素は誤差値に係らず０に置き換わってしまうので、移動領域での式（７）の計算は無駄になる。そこで、シミュレーション画像におけるマスク対象画素は、マスク処理Ｍkで強制的に０にすることで、式（７）の計算に必要な、点広がり関数ｈとの畳み込み積分、及びダウンサンプリング処理↓ｓを省略することができる。
【００３１】
最終的に、実施の形態におけるシミュレーション画像列｛ｇ(n)k｝の生成式は、
g(n)k = Ｍk(x,y,((tf(n)* h)↓s)     （８）
となる。このように、従来用いられている式（２）の代わりに式（８）用いることで解像度変換の処理量が削減される。 
解像度変換システム２の画像入力部１０は、撮影系４で撮影された複数の観測画像を取得する。観測画像は、低解像度（第１解像度）の画像である。
【００３２】
画像選択部１２は、観測画像の中から、解像度変換対象の基準画像を選択する。また、観測画像の中から、解像度変換処理に用いる参照画像を選択する。なお、参照画像は、観測画像の全てから選択されるので、基準画像に選択された観測画像が参照画像として選択される場合もある。
【００３３】
領域設定部１４は、選択された基準画像と参照画像の対応する画素のずれを比較する。撮影系４の撮影位置のずれに相当するずれを有する被写体を静止体、撮影位置のずれ以外のずれで移動した被写体を移動体とする。参照画像について、基準画像との比較より検出した移動体を含む移動領域、及び移動領域を除外した周辺領域を設定する。
【００３４】
マスク生成部１６は、参照画像に対して、設定された移動領域に含まれる画素の画素位置を示すマスクを生成する。なお、参照画像が基準画像と同じ場合、生成されるマスクには、移動領域が設定されない。
【００３５】
画像拡大部１８は、基準画像を拡大して高解像度（第２解像度）の画像に変換した画像を初期値の推定画像として生成する。
【００３６】
位置補正部２０は、参照画像に対する推定画像の撮影位置のずれを補正する。参照画像の画素に対応しない推定画像の画素を間引きして、補正画像を生成する。
【００３７】
シミュレーション部２２は、補正画像に対して、ダウンサンプリング及びボケ近似処理を行い、低解像度のシミュレーション画像を生成する。この際、参照画像から生成されたマスクが用いられ、移動領域に対しては、画素値は強制的に０とされてボケ近似処理は実施されない。
【００３８】
画像変換部２４の誤差計算部３０は、参照画像に対応するマスクを用いて、シミュレーション画像と参照画像との対応する画素の画素値の誤差分を計算し、誤差画像を生成する。したがって、マスクに示される移動領域に対しては、強制的に誤差値を０とするため、誤差分の計算は実施されない。逆投影部３２は、誤差画像をアップサンプリング後、逆投影カーネルと畳み込み積分を行う。位置補正部３４は、逆投影された画像の画素位置を元の推定画像の画素位置に戻す。重み付け加算部３６は、画素位置が補正された画像に参照画像の枚数に応じた重み、例えば枚数の逆数を乗算し、推定画像に加算することにより高解像度の変換画像を生成する。
【００３９】
記憶部２６は、解像度変換処理において、複数の観測画像や処理中の画像など、及び計算途中のデータを一時的に保存する。
【００４０】
実施の形態の係る解像度変換システムでは、誤差画像の生成処理の誤差計算だけでなく、シミュレーション画像の生成処理においても、マスクを用いて点広がり関数との畳み込み積分によるボケ近似処理を行っている。移動領域に対しては、マスク処理により誤差値が強制的に０とされるため、誤差計算の省略だけでなく、無駄なボケ近似処理も省略している。その結果、移動体の多重化を防止し、解像度変換の処理量を削減することが可能となる。
【００４１】
次に、実施の形態に係る解像度変換方法を、図７に示すフローチャートを用いて説明する。
【００４２】
ステップＳ１００で、図１に示した撮影系４で低解像度の複数の観測画像が撮影される。複数の観測画像は、撮影系４から画像入力部１０に入力される。
【００４３】
ステップＳ１０１で、観測画像の中から、変換対象の基準画像、及び誤差計算に用いる参照画像が、画像選択部１２により選択される。
【００４４】
ステップＳ１０２で、選択された基準画像と参照画像の対応する画素のずれが、領域設定部１４により比較される。参照画像について、基準画像との比較より検出した移動体を含む移動領域と移動領域を除外した周辺領域とが設定される。
【００４５】
ステップＳ１０３で、参照画像に対して、設定された移動領域に含まれる画素の画素位置を示すマスクが、マスク生成部１６により生成される。
【００４６】
ステップＳ１０４で、基準画像を拡大して高解像度の画像に変換した画像が、画像拡大部１８により推定画像として生成される。ステップＳ１０５で、画像拡大部１８で生成された推定画像の反復回数ｉが初期値（ｉ＝０）に設定される。
【００４７】
ステップＳ１０６で、参照画像に対する推定画像の撮影位置のずれが、位置補正部２０により補正され、補正画像が生成される。
【００４８】
ステップＳ１０７で、シミュレーション部２２により補正画像の画素が取得される。マスク生成部１６から入力した参照画像に対応するマスクを用いて、ステップＳ１０８及びステップＳ１０９で、取得した画素が、ダウンサンプリングの間引き対象画素以外で、且つ周辺領域の画外判定された場合、ステップＳ１１０で、シミュレーション部２２によりボケ近似処理が行われる。ステップＳ１０８及びステップＳ１０９で、ダウンサンプリングの間引き対象画素、もしくは移動領域の画外判定された場合、ステップＳ１１０のシミュレーションを省略し、ステップＳ１１１で、シミュレーション部２２により画素値が任意の値、例えば０とされる。ステップＳ１１１で設定された画素値は、後述の誤差計算では無視されるので、任意の値を設定してもかまわない。
【００４９】
ステップＳ１１２で、シミュレーション部２２により、処理した画素が補正画像の最終画素か判定される。最終画素でない場合、ステップＳ１０８に戻る。最終画素と判定された場合、シミュレーション部２２により処理した画素から低解像度のシミュレーション画像が生成され、ステップＳ１１３に進む。
【００５０】
ステップＳ１１３で、参照画像に対応するマスクを用いて、周辺領域に対して、画像変換部２４の誤差計算部３０により、シミュレーション画像と参照画像との対応する画素の画素値の誤差分が計算され、誤差画像が生成される。マスクで示される移動領域に対しては、強制的に誤差値を０とするため、誤差分の計算は実施されない。逆投影部３２により、誤差画像がアップサンプリングされ、逆投影カーネルと畳み込み積分が行われる。位置補正部３４により、逆投影された画像の画素位置が元の推定画像の画素位置に戻される。重み付け加算部３６により、画素位置が補正された画像に参照画像の枚数に応じた重みが乗算され、推定画像に加算することにより高解像度の変換画像が生成される。
【００５１】
ステップＳ１１４で、画像変換部２４により、生成された変換画像について、元の推定画像の反復回数ｉが所定の反復回数Ｎｒ以上か判定される。反復回数ｉがＮｒ以上の場合、生成された変換画像を高解像度の復元画像と決定する。反復回数ｉがＮｒ未満の場合、生成された変換画像を新たな推定画像とし、反復回数ｉを（ｉ＋１）として、ステップＳ１０６に戻る。
【００５２】
上述の解像度変換処理を、すべての参照画像について繰り返し実施して、目的とする高解像度復元画像が得られる。
【００５３】
実施の形態の係る解像度変換方法では、誤差画像の生成処理の誤差計算だけでなく、シミュレーション画像の生成処理においても、マスクを用いて点広がり関数との畳み込み積分によるボケ近似処理を行っている。移動領域に対しては、マスク処理により強制的に０とされるため、誤差計算の省略だけでなく、ボケ近似処理も省略される。その結果、移動体の多重化を防止し、解像度変換の処理量を削減することが可能となる。
【００５４】
次に、実施の形態に係る解像度変換方法を、図７に示すフローチャートを用いて説明する。
【００５５】
（その他の実施の形態）
上記のように、本発明の実施の形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者にはさまざまな代替実施の形態、実施例及び運用技術が明らかとなろう。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係わる発明特定事項によってのみ定められるものである。
【符号の説明】
【００５６】
２…解像度変換システム
４…撮影系
１０…画像入力部
１２…画像選択部
１４…領域設定部
１６…マスク生成部
１８…画像拡大部
２０…位置補正部
２２…シミュレーション部
２４…画像変換部
２６…記憶部
３０…誤差計算部
３２…逆投影部
３４…位置補正部
３６…加算部
５０ａ…シミュレーション画像
５０ｂ…参照画像
５２Ａ、５２ａ、５２ｂ…静止体
５４ａ、５４ｂ…移動体
【図１】
2013232063.tif 000005
【図２】
2013232063.tif 000006
【図３】
2013232063.tif 000007
【図４】
2013232063.tif 000008
【図５】
2013232063.tif 000009
【図６】
2013232063.tif 000010
【図７】
2013232063.tif 000011