(57)【要約】【課題】  画素ずれ量が画像内で一様でないシーンを示す複数の画像を用いた、高解像度化処理の精度を向上する。【解決手段】  画像処理装置が、高解像度化に用いる複数の低解像度画像を取得し、前記複数の画像から、距離の異なる被写体ごとに複数の部分画像を抽出し、抽出された複数の部分画像に対応するアフィン変換パラメータを決定し、前記複数の部分画像と前記アフィン変換パラメータとを用いて生成された高解像度画像の解像度を低下させた画像と前記複数の低解像度画像とを比較することにより前記複数の部分画像を補正する反復処理を行い、補正された前記複数の部分画像と前記アフィン変換パラメータとを用いて高解像度画像を生成する。【選択図】  図３
2016115216.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を用いて、前記複数の画像のうちの少なくとも一枚よりも解像度の高い画像を生成する画像処理装置であって、
同じ被写体を互いに異なる複数の視点から見た場合の複数の低解像度画像を取得する画像取得手段と、
前記複数の低解像度画像に含まれる被写体までの距離を示す距離情報を取得する距離取得手段と、
前記距離情報に基づいて、前記複数の画像のうちの少なくとも一枚の画像領域を、対応する被写体の距離ごとに複数の領域に分類する第一の分類手段と、
前記第一の分類手段により分類された複数の領域のうちの一つにそれぞれが対応し、前記複数の低解像度画像のうちの少なくとも一枚よりも解像度が高い複数の部分画像を推定する画像推定手段と、
前記距離情報と前記複数の視点の間の位置関係を示す情報とに基づいて、各々が前記複数の低解像度画像のうちの一つに対応する複数のアフィン変換パラメータを含むパラメータ群を、前記複数の部分画像のそれぞれについて推定するパラメータ推定手段と、
前記画像推定手段により推定された前記複数の部分画像と、前記パラメータ推定手段により推定された前記複数のパラメータ群とを用いて、前記複数の低解像度画像それぞれの解像度を向上した第一の超解像画像群を生成する生成手段とを有し、
前記画像推定手段は、前記第一の超解像画像群の解像度を低下させた画像群と、前記複数の低解像度画像とに含まれる画像のうち、互いに対応する画像の組を比較した結果に基づいて、前記複数の部分画像を補正し、
前記生成手段は、前記画像推定手段により補正された前記複数の部分画像と、前記パラメータ推定手段により推定された前記複数のパラメータ群とを用いて、前記複数の低解像度画像それぞれの解像度を向上した第二の超解像画像群を生成することを特徴とする画像処理装置。
【請求項２】
前記生成手段により生成された超解像画像群が所定の条件を満たしているかどうかを判定する判定手段を更に有し、
前記判定手段は、前記第一の超解像画像群の解像度を低下させた画像群と、前記複数の低解像度画像とに含まれる画像のうち、互いに対応する画像の組を比較した結果に基づいて、前記第一の超解像画像群が所定の条件を満たしているかどうかを判定し、
前記画像推定手段は、前記判定手段により、前記第一の超解像画像群が前記所定の条件を満たさないと判定された場合に、前記複数の部分画像の補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記第二の超解像画像群の解像度を低下させた画像群と、前記複数の低解像度画像とに含まれる画像のうち、互いに対応する画像の組を比較した結果に基づいて、前記第二の超解像画像群が所定の条件を満たしているかどうかを判定し、
前記画像推定手段は、前記判定手段により、前記第二の超解像画像群が前記所定の条件を満たさないと判定された場合に、前記複数の部分画像を更に補正し、
前記生成手段は、前記複数のアフィンパラメータと、前記補正手段により更に補正された前記複数の部分画像とを用いて、前記複数の低解像度画像それぞれの解像度を向上した第三の超解像画像群を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像推定手段は、前記生成手段により生成された超解像画像群の解像度を低下させた画像群と、前記複数の低解像度画像とに含まれる画像のうち、互いに対応する画像の組の差に基づく評価値の最小化問題の解法に応じた補正量により前記複数の部分画像の補正を行い、
前記判定手段は、前記最小化問題の解法に応じた収束条件が満たされた場合に、前記所定の条件が満たされたと判定することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記判定手段により、前記生成手段により生成された超解像画像群が前記所定の条件を満たすと判定された場合に、前記複数の部分画像と前記複数のパラメータ群とを用いて、前記複数の低解像度画像の画像領域を、それぞれが対応する部分画像ごとに複数の領域に分類する第二の分類手段を更に有し、
前記パラメータ推定手段は、前記第二の分類手段により分類された領域と該領域が対応する部分画像の解像度を低下させた画像とを比較した結果に基づいて、前記複数のパラメータ群を補正し、
前記生成手段は、前記パラメータ推定手段により補正された前記複数のパラメータ群を用いて、前記複数の低解像度画像それぞれの解像度を向上した第三の超解像画像群を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項６】
複数の画像を用いて、前記複数の画像のうちの少なくとも一枚よりも解像度の高い画像を生成する画像処理方法であって、
同じ被写体を互いに異なる複数の視点から見た場合の複数の低解像度画像を取得する画像取得工程と、
前記複数の低解像度画像に含まれる被写体までの距離を示す距離情報を取得する距離取得工程と、
前記距離情報に基づいて、前記複数の画像のうちの少なくとも一枚の画像領域を、対応する被写体の距離ごとに複数の領域に分類する分類工程と、
前記第一の分類工程で分類された複数の領域のうちの一つにそれぞれが対応し、前記複数の低解像度画像のうちの少なくとも一枚よりも解像度が高い複数の部分画像を推定する画像推定工程と、
前記距離情報と前記複数の視点の間の位置関係を示す情報とに基づいて、各々が前記複数の低解像度画像のうちの一つに対応する複数のアフィン変換パラメータを含むパラメータ群を、前記複数の部分画像のそれぞれについて推定するパラメータ推定工程と、
前記画像推定工程で推定された前記複数の部分画像と、前記パラメータ推定工程で推定された前記複数のパラメータ群とを用いて、前記複数の低解像度画像それぞれの解像度を向上した第一の超解像画像群を生成する第一の生成工程と、
前記第一の超解像画像群の解像度を低下させた画像群と、前記複数の低解像度画像とに含まれる画像のうち、互いに対応する画像の組を比較した結果に基づいて、前記複数の部分画像を補正する補正工程と、
前記補正工程で補正された前記複数の部分画像と、前記パラメータ推定工程で推定された前記複数のパラメータ群とを用いて、前記複数の低解像度画像それぞれの解像度を向上した第二の超解像画像群を生成する第二の生成工程とを含むことを特徴とする画像処理方法。
【請求項７】
コンピュータを請求項１乃至５のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像から高解像度の画像を生成する処理に関する。
【背景技術】
【０００２】
同一の被写体を互いに異なる複数の視点から見た場合の複数の画像を用いて、高解像度画像を生成する手法の一つとして、再構成型の超解像処理が存在する。再構成型の超解像処理は、互いに異なる視点に対応する複数の低解像度画像が互いにサブ画素単位の位置ずれを有していることを利用して、反復演算により画素間の補間を行い、画素数の増大と高周波成分の復元とを同時に行う手法である。再構成型の超解像処理で良好な結果を得るためには補間を行う前に複数の低解像度画像間で高精度な位置合わせを行う必要がある。非特許文献１では、複数の入力画像の全画像に共通して含まれる領域を抽出して、抽出された領域の位置ずれに基づいて画像全体の変形パラメータを決定することで、位置合わせの精度を向上させ、高品質な高解像度画像を生成する方法が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｇ．Ｐｕｙ，Ｐ．Ｖａｎｄｅｒｇｈｅｙｎｓｔ「Ｒｏｂｕｓｔ  ｉｍａｇｅ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｆｒｏｍ  ｍｕｌｔｉ−ｖｉｅｗ  ｍｅａｓｕｒｅｍｅｎｔｓ」ＳＩＡＭ  Ｊｏｕｒｎａｌ  ｏｎ  Ｉｍａｇｉｎｇ  Ｓｃｉｅｎｃｅ，２０１３年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、１つの共通領域に基づいて画像全体の変形パラメータを決定すると、画素ずれ量が画像内で一様でないシーン、すなわち、互いに異なる距離に複数の被写体が存在するシーンにおいて位置合わせ精度が低下してしまうことがある。この場合、高品質な高解像度画像を生成することができない。そこで、本発明では、画素ずれ量が画像内で一様でないシーンの画像の、高解像度化の精度を向上することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る画像処理装置は、複数の画像を用いて、前記複数の画像のうちの少なくとも一枚よりも解像度の高い画像を生成する画像処理装置であって、同じ被写体を互いに異なる複数の視点から見た場合の複数の低解像度画像を取得する画像取得手段と、前記複数の低解像度画像に含まれる被写体までの距離を示す距離情報を取得する距離取得手段と、前記距離情報に基づいて、前記複数の画像のうちの少なくとも一枚の画像領域を、対応する被写体の距離ごとに複数の領域に分類する第一の分類手段と、前記第一の分類手段により分類された複数の領域のうちの一つにそれぞれが対応し、前記複数の低解像度画像のうちの少なくとも一枚よりも解像度が高い複数の部分画像を推定する画像推定手段と、前記距離情報と前記複数の視点の間の位置関係を示す情報とに基づいて、各々が前記複数の低解像度画像のうちの一つに対応する複数のアフィン変換パラメータを含むパラメータ群を、前記複数の部分画像のそれぞれについて推定するパラメータ推定手段と、前記画像推定手段により推定された前記複数の部分画像と、前記パラメータ推定手段により推定された前記複数のパラメータ群とを用いて、前記複数の低解像度画像それぞれの解像度を向上した第一の超解像画像群を生成する生成手段とを有し、前記画像推定手段は、前記第一の超解像画像群の解像度を低下させた画像群と、前記複数の低解像度画像とに含まれる画像のうち、互いに対応する画像の組を比較した結果に基づいて、前記複数の部分画像を補正し、前記生成手段は、前記画像推定手段により補正された前記複数の部分画像と、前記パラメータ推定手段により推定された前記複数のパラメータ群とを用いて、前記複数の低解像度画像それぞれの解像度を向上した第二の超解像画像群を生成することを特徴とする画像処理装置。
【発明の効果】
【０００６】
本発明によれば、画素ずれ量が画像内で一様でないシーンの画像の高解像度化の精度を向上することができる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の画像処理装置の構成を示すブロック図。
【図２】実施例１の画像処理装置の構成を示すブロック図。
【図３】実施例１の画像処理装置による処理の流れを示すフローチャート。
【図４】高解像度化処理に用いる画像モデルを示す概念図。
【図５】実施例２の画像処理装置の構成を示すブロック図。
【図６】実施例２の画像処理装置による処理の流れを示すフローチャート。
【図７】実施例２の適用例のシーンを示す図。
【図８】実施例２の適用結果の例を示す図。
【図９】実施例２の適用結果の例を示す図。
【発明を実施するための形態】
【０００８】
＜実施例１＞
実施例１では、同じ被写体を互いに異なる複数の視点から撮像した複数の画像と、被写体までの距離を示す距離情報とに基づいて、全画像に共通して含まれる画像領域を距離ごとに決定し、超解像処理を行う例について説明する。
【０００９】
まず、本実施例で行われる高解像度化処理（超解像処理）の概要について図４を参照して説明する。本実施例では、互いに視点の異なる複数の画像はそれぞれ、各画像に共通して含まれる被写体像（共通画像／部分画像）のアフィン変換と、各画像に共通しない画像成分との足し合わせで表わされるという考えを前提としている。例えば、図４（ａ）に示すように、互いに距離の異なる二つの被写体を複数の異なる視点から撮像して得られた画像Ｌ１〜Ｌｋが入力された場合を考える。画像Ｌ１〜Ｌｋにおいて、画像左に存在する色の濃い四角形が前景に存在する被写体Ａに、画像右に存在する色の薄い四角形が背景に存在する被写体Ｂにそれぞれ対応する。この時、各画像に共通して含まれる被写体像として、被写体Ａに対応する共通画像Ａと、被写体Ｂに対応する共通画像Ｂとが抽出される。そして、超解像処理の為に、ここで抽出された共通画像Ａと共通画像Ｂの解像度をアップスケーリング等の手法を用いて簡易的に高めた画像が生成される。この高解像度化された共通画像ＡおよびＢを用いると、画像Ｌ１〜Ｌｋの解像度を高めた高解像度画像（超解像画像）Ｈ１〜Ｈｋは、図４（ｂ）に示す画像モデルで表現される。すなわち、高解像度化された共通画像ＡおよびＢをそれぞれアフィン変換した画像と、高解像度画像Ｈ１〜Ｈｋのそれぞれに対応する、各画像で共通して含まれない像を示す補助画像Ｓ１〜Ｓｋとの足し合わせで表わされる。ただし、ここで用いられた共通画像は簡易的な方法で高解像度化されたものであるため、この画像モデルを用いて生成された高解像度画像Ｈ１〜Ｈｋは、必ずしも実際の被写体の情報を反映した画像ではない。そこで、本実施例の処理では、図４（ｂ）の画像モデルにより生成された複数の高解像度画像Ｈ１〜Ｈｋの解像度を低下させた画像と、低解像度画像Ｌ１〜Ｌｋとの間の差分に基づいて高解像度化処理を行う。具体的には、両者の差分に基づく評価値が最小となるように、共通画像Ａ、共通画像Ｂおよび補助画像Ｓ１〜Ｓｋを補正することで、高解像度画像Ｈ１〜Ｈｋの精度を高める処理を行う。以上が本実施例で行われる超解像処理の概要である。
【００１０】
以下、本実施例の構成および処理について述べる。図１は、実施例１の画像処理装置の構成の一例を示す図である。実施例１の画像処理装置１００（以下、処理装置１００とする）は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、出力インターフェース１０６を含む。そして、処理装置１００の各構成部はシステムバス１０７によって相互に接続されている。また、処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８および操作部１１０に接続されており、出力インターフェース１０６を介して外部記憶装置１０８および表示装置１０９に接続されている。
【００１１】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して処理装置１００の各構成部を統括的に制御するプロセッサーである。これにより、後述する様々な処理が実行される。
【００１２】
二次記憶装置１０４は、処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施例ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読出しを行うことができる。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。
【００１３】
入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、外部装置から処理装置１００へのデータや命令等の入力は、この入力インターフェース１０５を介して行われる。処理装置１００は、この入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースを備える。その他に、例えばＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（登録商標）等の映像出力端子を用いることも可能である。処理装置１００から外部装置へのデータ等の出力は、この出力インターフェース１０６を介して行われる。処理装置１００は、この出力インターフェース１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に、処理された画像などを出力することで、画像の表示を行う。なお、処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないため、説明を省略する。
【００１４】
以下、実施例１の処理装置１００で行われる処理について、図２および図３を参照して説明する。図２は、処理装置１００の機能構成を示すブロック図である。処理装置１００は、ＲＯＭ１０３に格納されたプログラムをＣＰＵ１０１がＲＡＭ１０２をワークメモリとして実行することで、図２に示す各構成部として機能し、図３のフローチャートに示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の一つ又は複数の処理回路によって行われるように処理装置１００が構成されていてもよい。
【００１５】
ステップＳ３０１では、画像取得部２０１が、入力インターフェース１０５を介して、または二次記憶装置１０４から、処理対象となる低解像度画像データを取得する。ここで取得する画像データは、多眼カメラなどの多視点撮像装置を用いて撮像された、同一の被写体を複数の異なる視点から同時に撮像することで得られた複数の画像を示す多視点画像データである。ここで入力される画像データが示す複数の画像は、全て光軸が互いに平行な撮像部で撮像された画像を示すものとする。なお、ここで取得される画像データの形式は必ずしも上記の形式である必要はなく、例えば単視点から撮像を行うビデオカメラによって撮像された動画データの複数枚のフレームを入力の画像データとしてもよい。画像取得部２０１は、取得した画像データを距離取得部２０２と画像推定部２０５とに出力する。
【００１６】
ステップＳ３０２では、距離取得部２０２が、画像取得部２０１から入力された画像データを用いて、画像データを撮像した撮像装置から画像データに含まれる被写体までの距離を示す距離情報を取得する。本実施例では、画像データに含まれる、視点の異なる複数の画像の間でステレオマッチングを行うことで、画像中の各画素に対応する距離を格納したデプスマップを距離情報として取得する。なお、距離情報取得の方法はこれに限られない。例えば赤外線センサなどの距離センサにより予め取得されたデプスマップを二次記憶装置１０４や外部記憶装置１０８から読み出すことにより取得してもよい。なお、ここで取得されるデプスマップは、入力画像データが示す複数の画像のうち、少なくとも一枚の画像の視点に対応するデプスマップであればよい。距離取得部２０２は、取得した距離情報と入力画像データとを分割部２０３に出力する。
【００１７】
ステップＳ３０３では、分割部２０３が、距離取得部２０２から入力されたデプスマップを用いて、入力画像データが示す画像の画像領域を、対応する被写体距離ごとに複数の領域に分類する。ここでは、図４に示す共通画像およびアフィン変換パラメータの初期値を決定するために、対応する被写体距離ごとに入力画像データが示す画像の画像領域の分類が行われる。これは、存在する距離が等しい被写体は、視点の変更に伴う画素ずれの大きさが同じになるためである。共通画像の枚数の不必要な肥大を防ぐために、ここで行われる分類では、距離の差が所定の閾値以下である複数領域は同じ領域として分類されるようにする。分割部２０３は、領域分割の結果をパラメータ推定部２０４と画像推定部２０５とに出力する。なお、ここでの領域分割処理は共通画像の初期値の決定の為に行われるが、決定された共通画像の初期値は入力画像データが示す全画像の情報を用いて後に補正されるので、ここで入力画像データが示す全画像の情報を用いる必要はない。そこで、ここでは入力画像データが示す画像のうちの一枚についてのみ領域分割処理を行うことで、処理量の節約を行う。
【００１８】
ステップＳ３０４では、パラメータ推定部２０４が、分割部２０３から入力された領域分割の結果に基づいて、アフィン変換パラメータの推定を行う。各画像を撮像した撮像装置のアフィン変換パラメータは、入力画像データが示す各画像の視点の位置関係と、分割部２０３で分類された各領域に対応する被写体距離とに基づいて決定される。本実施例において、入力画像データが示す各画像の視点位置は、二次記憶装置１０４や外部記憶装置１０８に予め記憶されている。また、本実施例で用いられる複数の画像は、互いに光軸が等しい撮像部により撮像された画像であるので、各画像の共通部分は、共通画像の平行移動により表現することができる。そこで、ここではパラメータ推定部２０４は、共通画像を各画像中の対応する位置に平行移動させるためのアフィン変換パラメータを推定し、推定したアフィン変換パラメータを画像推定部２０５と生成部２０６とに出力する。なお、各画像を撮像した撮像部の光軸が互いに異なっている場合には、アフィン変換パラメータには変形や回転の要素も加わるため、より複雑なパラメータとなる。
【００１９】
ステップＳ３０５では、画像推定部２０５が、分割部２０３から入力された領域分割の結果と、パラメータ推定部２０４から入力されたアフィン変換パラメータとに基づいて、共通画像および補助画像を推定する。このステップの処理を初めて行う時、つまり、共通画像及び補助画像の初期値が決まっていない時には、画像推定部２０５は、共通画像および補助画像の初期値を決定する。共通画像の初期値としては、分割部２０３で分類された各画像領域について、その領域に対応する画像の解像度をアップスケーリングにより簡易的に向上したものを用いる。また、補助画像の初期値は全て０とする。また、このステップの処理を２回目以降に行う時、つまり、共通画像及び補助画像として何らかの値が既に存在する時には、画像推定部２０５は、既に存在する共通画像及び補助画像を補正する。本実施例で行われる処理は、推定した高解像度画像の解像度を低下させた画像と、入力画像データが示す画像との間の差分の最小化問題を解く処理であるため、ここでは、用いる最小化問題の解法に従った補正量を用いて共通画像及び補助画像の補正が行われる。画像推定部２０５は、推定した共通画像及び補助画像の値を生成部２０６に出力する。
【００２０】
ステップＳ３０６では、生成部２０６が、パラメータ推定部２０４から入力されたアフィン変換パラメータと、画像推定部２０５から入力された共通画像および補助画像とを用いて、図４（ｂ）の画像モデルに従って複数の高解像度画像を生成する。生成部２０６は、生成した複数の高解像度画像（超解像画像群）を判定部２０７に出力する。
【００２１】
ステップＳ３０７では、判定部２０７が、生成部２０６から入力された複数の高解像度画像と、入力画像データが示す複数の低解像度画像とを比較することにより、高解像度化の反復処理の終了条件が満たされたかどうかを判定する。以下、本実施例における反復処理の終了条件について説明する。生成部２０６から入力された複数の高解像度画像が、実際のシーンを完全に反映した理想的なものである場合、入力画像データが示す複数の低解像度画像と、生成部２０６から入力された複数の高解像度画像は以下の式（１）および式（２）を満たす。
【００２２】
【数１】
2016115216.tif 000003
【００２３】
【数２】
2016115216.tif 000004
【００２４】
式（１）および式（２）において、ｙｋは入力画像データが示すｋ番目の低解像度画像の画素値を並べたベクトルであり、Ｌは入力画像データが示す画像の枚数、ｎは共通画像の枚数を示している。また、ｍは各低解像度画像の総画素数である。Ａｋは入力画像データが示すｋ番目の低解像度画像に対応するダウンサンプリング、ぼけの影響を表わす行列であり、Ｓ（θ）はアフィン変換パラメータθｋｌ（ｌは１≦ｌ≦ｎを満たす自然数）により決定される変換行列である。また、ｃｌは共通画像を示し、ｘｋは入力画像データが示すｋ番目の低解像度画像に対応する補助画像を示す。また、Ｙは生成部２０６から入力された複数の高解像度画像を示す。式（１）および式（２）は、生成部２０６から入力された複数の高解像度画像の解像度を低下させた画像群が、入力画像データが示す複数の低解像度画像と等しいことを示す式である。
【００２５】
本実施例では、高解像度画像と低解像度画像の関係が式（１）および式（２）に示す関係により近づくように、共通画像および補助画像の補正が繰返し行われる。前述のように、ここで行われる共通画像および補助画像の補正は、推定した高解像度画像の解像度を低下させた画像と、入力画像データが示す画像との間の差分の最小化問題を解く処理である。具体的には、以下の式（３）に示す評価関数Ｆの値を最小化するように共通画像及び補助画像の補正が行われる。
【００２６】
【数３】
2016115216.tif 000005
【００２７】
ここで、μおよびλは各項に対する重み、ｉは反復回数を示す添え字、Ｗ（Ｙ）は画像Ｙに対するウェーブレット係数である。また、Ｙｉはｉ回目の反復により生成された高解像度画像を示す。式（３）の第１項は、生成部２０６から入力された複数の高解像度画像の解像度を低下させた画像群と、入力画像データが示す複数の低解像度画像との間の二乗誤差を表わしている。第２項以降は事前情報を考慮するための正則化項であり、自然画像において隣り合う画素間はなめらかに画素値が変化するなどの、画像の統計的な性質を用いて定義される。
【００２８】
判定部２０７は、ｉ回目の反復における評価関数Ｆｉと、ｉ−１回目の反復における評価関数Ｆｉ−１との間の差分が所定の閾値を下回った場合、反復処理の結果が収束し、終了条件（収束条件）が満たされたとして判定する。終了条件が満たされたと判定された場合、ステップＳ３０８に進む。終了条件が満たされていないと判定された場合には、ステップＳ３０５に戻り、画像推定部２０５が共通画像及び補助画像の補正を行う。ステップＳ３０８では、判定部２０７が、生成部２０６から入力された複数の高解像度画像を、二次記憶装置１０４や外部記憶装置１０８に出力して処理を終了する。なお、反復の終了条件は評価関数の収束に限られず、ｉ回目の反復における共通画像及び補助画像と、ｉ−１回目の反復における共通画像及び補助画像との差分が所定の閾値を下回った場合としてもよい。
【００２９】
以上が本実施例の処理装置１００で行われる処理の流れである。以上の処理によれば、被写体の距離を示す距離情報に応じて、複数の共通画像および複数のアフィン変換パラメータが設定されるので、画素ずれ量が画像内で一様でないシーンにおいても、高品質な高解像度画像を生成することができる。
【００３０】
＜実施例２＞
実施例１では、アフィン変換パラメータを固定して、共通画像と補助画像の補正を繰返し行うことで、高解像度画像の精度を高める例について説明した。本実施例においては、更にアフィン変換パラメータも可変とすることで、高解像度画像の精度をより高める例について説明する。また、この処理によれば、ステップＳ３０２で取得した距離情報に誤差が含まれていても、アフィン変換パラメータ自体が補正されるので、距離情報の誤差に対してよりロバストな超解像処理を行うことが可能となる。
【００３１】
以下、本実施例の処理装置１００で行われる処理について説明する。図５は、本実施例における処理装置１００の機能構成を示すブロック図である。処理装置１００は、ＲＯＭ１０３に格納されたプログラムをＣＰＵ１０１がＲＡＭ１０２をワークメモリとして実行することで、図５に示す各構成部として機能し、図６のフローチャートに示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の一つ又は複数の処理回路によって行われるように処理装置１００が構成されていてもよい。実施例１と同様の構成および同様の処理については、実施例１と同様の符号を付して説明を省略する。なお、第一分割部５０１および第一生成部５０２には、便宜上新たな構成名と新たな符号を与えているが、それぞれ実質的に行う処理は分割部２０３および生成部２０６と同様である。
【００３２】
ステップＳ６０１では、第一判定部５０３が、超解像処理の終了条件が満たされたかどうかを判定する。ここで行われる処理は、ステップＳ３０７と同様である。終了条件が満たされたと判定された場合はステップＳ６０２に進む。終了条件が満たされていないと判定された場合は、ステップＳ３０４に戻る。
【００３３】
ステップＳ６０２では、第二分割部５０４が、入力画像データが示す複数の低解像度画像に対して、再び領域分割処理を行う。ただし、ここで行われる処理は、第一分割部５０１によりステップＳ３０３で行われる処理とは異なる。ここでは、第二分割部５０４が以下の式（４）に基づいて、各低解像度画像ｙｋを、ｎ個の領域ｙｋ１〜ｙｋｎに分割する。
【００３４】
【数４】
2016115216.tif 000006
【００３５】
すなわち、ｌ番目の共通画像に対応しない領域を画像ｙｋから差し引いて残った領域が、ｌ番目の領域として決定される。共通画像および補助画像は、ステップＳ３０３における領域分割処理の時から補正により変化しているので、ここで行われる領域分割の結果はステップＳ３０３で得られた結果とは異なるものになる。第二分割部５０４は、ここで得られた領域分割の結果を第二生成部５０５に出力する。
【００３６】
ステップＳ６０３では、第二生成部５０５が、第二分割部５０４から入力された領域分割の結果に基づいて、各画像のＬ個の領域のうち１つの領域に対応する複数の高解像度画像を生成する。ｌ番目の領域に対応する画像群はＳ（θｌ）ｃｌここで、θｌはｌ番目の領域に対応するアフィン変換パラメータ群θ１ｌ〜θＬｌの値を示すベクトルである。初めてこのステップの処理を行う場合には、第二生成部５０５は、まず１番目の領域に対応する画像群を生成する。なお、ここで生成される画像群に対応する領域は、後述の第二判定部５０６によって更新される。再びステップＳ６０３の処理を行う際にアフィン変換パラメータが更新されている場合は、更新されたアフィン変換パラメータを用いて高解像度画像の生成を行う。第二生成部５０５は、生成した複数の高解像度画像を第二判定部５０６に出力する。
【００３７】
ステップＳ６０４では、第二判定部５０６が、第二生成部５０５から入力された複数の高解像度画像の解像度を低下させた画像と、各高解像度画像に対応する低解像度画像とを比較することで、反復処理の終了条件が満たされたかどうかを判定する。ここで行われる反復処理は、推定した共通画像と、共通画像に対応する低解像度画像の部分領域との差分を最小化するように、アフィン変換パラメータを更新する処理である。具体的には、以下の式（５）に示す評価関数ｆの値を最小化する最小化問題を解く処理である。
【００３８】
【数５】
2016115216.tif 000007
【００３９】
ここで、ｆｌｉは、ｌ番目の領域に対応する、ｉ回目の反復における評価関数であり、θｌｉは、ｌ番目の領域に対応するアフィン変換パラメータ群θ１ｌ〜θＬｌの、ｉ回目の反復における値を示すベクトルである。また、Ｙｌはｌ番目の領域に対応する高解像度画像群を示す行列である。ｙｌはステップＳ６０２で行われた領域分割により得られた、複数の低解像度画像のｌ番目の領域に対応する部分画像群を示す行列である。
【００４０】
判定部２０７は、ｉ回目の反復における評価関数ｆｌｉと、ｉ−１回目の反復における評価関数ｆｌｉ−１との間の差分が所定の閾値を下回った場合、反復処理の結果が収束し、終了条件が満たされたとして判定する。終了条件が満たされたと判定された場合、ステップＳ６０６に進む。終了条件が満たされていないと判定された場合には、ステップＳ６０５に進む。なお、反復の終了条件は評価関数の収束に限られず、ｉ回目の反復におけるアフィン変換パラメータと、ｉ−１回目の反復におけるアフィン変換パラメータとの差分が所定の閾値を下回った場合としてもよい。
【００４１】
ステップＳ６０５では、パラメータ推定部２０４が、アフィンパラメータの補正を行う。ここでは、式（５）の評価関数により、用いる最小化問題の解法に従った補正量を用いてアフィン変換パラメータの補正が行われる。パラメータ推定部２０４は、補正したアフィン変換パラメータを第二生成部５０５に出力し、ステップＳ６０３に戻る。
【００４２】
ステップ６０６では、第二判定部５０６が、ｎ番目までの全ての領域について処理が終了したかどうかを判定する。全ての領域について処理が終了したと判定された場合は、ステップＳ６０８に進む。全ての領域について処理が終了していないと判定された場合は、ステップＳ６０７に進む。
【００４３】
ステップＳ６０７では、第二判定部５０６が、画像の比較およびアフィン変換パラメータの推定を行う領域を、まだ未処理の領域に変更し、ステップＳ６０３に戻る。
【００４４】
ステップＳ６０８では、第一生成部５０２が、更新されたアフィン変換パラメータを用いて複数の高解像度画像を生成する。ここで行われる処理は、基本的にはステップＳ３０６で行われる処理と同様である。第一生成部５０２は、生成した複数の高解像度画像を第三判定部５０７に出力する。
【００４５】
ステップＳ６０９では、第三判定部５０７が、第一生成部５０２から入力された複数の高解像度画像の解像度を低下させた画像と、入力画像データが示す複数の低解像度画像とを比較することで、反復処理の終了条件が満たされたかどうかを判定する。ここでの判定の方法はステップＳ３０７で行われる処理と同様である。ステップＳ３０７との違いは、評価式に用いる反復回数がステップＳ６０９の反復回数である点である。なお、反復処理の終了条件は評価関数の収束に限られず、ｉ回目の反復における高解像度画像と、ｉ−１回目のイタレーションにおける高解像度画像との差分が所定の閾値を下回った場合としてもよい。終了条件が満たされたと判定された場合、ステップＳ６１０に進む。終了条件が満たされていないと判定された場合は、ステップＳ３０４に戻り、更新されたアフィン変換パラメータを用いて再び共通画像および補助画像の推定を行う。ステップＳ６１０では、第三判定部５０７が、第一生成部５０２から入力された複数の高解像度画像を、二次記憶装置１０４や外部記憶装置１０８に出力して処理を終了する。
【００４６】
以上が本実施例の処理装置１００で行われる処理の流れである。以上の処理によれば、複数のアフィン変換パラメータを更に補正することができるので、より精度の良い高解像度画像の生成を行うことができる。
【００４７】
以下にシミュレーションにより生成した、複数の視点に対応する低解像度画像データに対して本実施例の処理を実際に適用した例を示す。処理対象の低解像度画像データは、シミュレーションにより同一シーンの多視点画像データを生成し、生成した多視点画像データにそれぞれ画素の間引きによるダウンサンプリングを行うことで作成された。低解像度画像データは、元の画像データに対して、縦・横の解像度がそれぞれ１／２になっている。この例では、この低解像度画像データに対して２×２倍の高解像度化を行った例を示す。また、この高解像度化処理の結果とダウンサンプリング前の画像データとの差をＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）により評価し、本発明の効果を示す。ＰＳＮＲは基準画像データに対する画質の類似度を表す指標であり、ＰＳＮＲが高いほど、生成された画像データが正解に近い画像データであることを意味する。
【００４８】
本実施例では、様々な周波数を含んでいるＣＺＰ（Ｃｉｒｃｕｌａｒ  Ｚｏｎｅ  Ｐｌａｔｅ）チャートが異なる距離に２枚配置されたシーンを想定している。処理に用いられる画像データは、図７に示すようにシーンに対してカメラを上下、左右に等間隔に平行移動して撮像した、３×３の９視点に対応する多視点画像データである。なお、各画像データにおいて、手前のＣＺＰチャートと奥のＣＺＰチャートは互いに重なることのないように配置されている。各画像データの画像サイズは１２８ｐｉｘｅｌ×１２８ｐｉｘｅｌである。また、生成した画像データには、回転やひずみなどは含まれないと仮定している。
【００４９】
上記１２８ｐｉｘｅｌ×１２８ｐｉｘｅｌの多視点画像データをダウンサンプリングした６４ｐｉｘｅｌ×６４ｐｉｘｅｌの９枚の低解像度画像データから、実施例２に示す処理により１２８ｐｉｘｅｌ×１２８ｐｉｘｅｌの高解像度画像データを９枚生成した。生成された９枚の高解像度画像データの中央の１視点の結果と非特許文献１の方法による結果を図８に示す。図８（ａ）は処理対象の低解像度画像であり、図８（ｂ）は正解の高解像度画像、図８（ｃ）は実施例２の高解像度化処理により得られた画像であり、図８（ｄ）は非特許文献１に記載の手法で生成された高解像度画像である。さらに周波数の復元効果を比較するため、画像中央の水平方向のラインプロファイルを図９に示す。非特許文献１に記載の手法では、奥のＣＺＰチャートに対応する画素位置において、本来の画像中では発生しないピークが発生し、多くのアーティファクトを含んでいるのに対し、実施例２による処理では正しく縞を復元できているのが分かる。
【００５０】
さらにＰＳＮＲにより本発明の性能を定量的に評価したものを示す。まず画像全体におけるＰＳＮＲは、実施例２の処理により得られた画像のＰＳＮＲが２２．６０ｄＢ、非特許文献１の手法により得られた画像のＰＳＮＲが１７．９４ｄＢとなり、実施例２の処理により、ＰＳＮＲが平均４．６６ｄＢ向上している。さらに各デプスに対する評価として、手前のＣＺＰチャートと奥のＣＺＰチャートに対してそれぞれＰＳＮＲを算出した結果を示す。手前のＣＺＰチャートにおけるＰＳＮＲは、実施例２の処理により得られた画像のＰＳＮＲが２１．８５ｄＢ、非特許文献１の手法により得られた画像のＰＳＮＲが２１．８１ｄＢとなり、実施例２の処理により、ＰＳＮＲが平均０．０４ｄＢ向上している。奥のＣＺＰチャートにおけるＰＳＮＲでは、実施例２の処理により得られた画像のＰＳＮＲが２５．６６ｄＢ、非特許文献１の手法により得られた画像のＰＳＮＲが１４．７２ｄＢとなり、実施例２の処理によりＰＳＮＲが平均１０．９４ｄＢ向上している。上記に示すように、実施例２の処理により、異なるデプスに存在する複数の被写体について、精度の高い高解像度化処理を行うことができる。
【００５１】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５２】
１００  画像処理装置
２０１  画像取得部
２０２  距離取得部
２０３  分割部
２０４  パラメータ推定部
２０５  画像推定部
２０６  生成部
２０７  判定部
【図１】
2016115216.tif 000008
【図２】
2016115216.tif 000009
【図３】
2016115216.tif 000010
【図４】
2016115216.tif 000011
【図５】
2016115216.tif 000012
【図６】
2016115216.tif 000013
【図７】
2016115216.tif 000014
【図９】
2016115216.tif 000015
【図８】
2016115216.tif 000016