(57)【要約】【課題】高解像度画像の画素値の精度を高める。【解決手段】画像処理装置１０は、副画素単位でシフトした複数の原画像を取得する画像取得部１６ａと、画像取得部により取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定部１６ｂと、画像取得部により取得された原画像の画素値と、初期値設定部により設定された副画素の画素値の初期値とに基づいて、副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理部１６ｃと、を備える。【選択図】図１
2008243037.tif 000002
【特許請求の範囲】
【請求項１】
副画素単位でシフトした複数の原画像を取得する画像取得部と、
前記画像取得部により取得された前記原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定部と、
前記画像取得部により取得された前記原画像の画素値と、前記初期値設定部により設定された副画素の画素値の初期値とに基づいて、前記副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記初期値設定部は、前記原画像の一部に挿入された画素値が一様な特殊模様の画素値を初期値として設定することで、前記原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記初期値設定部は、前記原画像において位置の異なる複数領域の画素値の各々を初期値として設定することで、前記原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定し、
前記高解像度化処理部は、前記初期値設定部により設定された初期値の各々に基づいて前記高解像度画像を演算し、演算された複数の高解像度画像に基づいて一つの高解像度画像を演算することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記高解像度化処理部は、演算された複数の高解像度画像を平均することで一つの高解像度画像を演算することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記高解像度化処理部は、演算された複数の高解像度画像の中央値を演算することで一つの高解像度画像を演算することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記高解像度化処理部は、演算された高解像度画像に誤演算部分が含まれるか否かを判定し、当該高解像度画像に誤演算部分が含まれない場合に、当該高解像度画像を採用することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記初期値設定部は、前記高解像度画像に誤演算部分が含まれる場合に、前記原画像の別の一部領域の画素値を初期値として設定することで、前記原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記高解像度化処理部は、
原画像の画素値と副画素の初期値とに基づいて前記副画素に隣接する副画素の画素値を順次推定して多数の副画素を含んでなる高解像度画像を演算する推定法と、
原画像の画素値を平均して副画素の画素値を演算して多数の副画素を含んでなる高解像度画像を演算する平均法と、
を併用して高解像度画像を生成することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項９】
前記高解像度化処理部は、高解像度画像を生成する際に、マイクロレンズに応じた重み付け処理を行うことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記初期値設定部は、原画像においてフォーカスが合っていない一部領域の画素値を初期値として設定することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１１】
副画素単位でシフトした複数の原画像を取得し、
前記取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定し、
前記取得された原画像の画素値と、前記設定された副画素の画素値の初期値とに基づいて、前記副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する、画像処理方法。
【請求項１２】
副画素単位でシフトした複数の原画像を取得する画像取得機能と、
前記取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定機能と、
前記取得された原画像の画素値と、前記設定された副画素の画素値の初期値とに基づいて、前記副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理機能と、
をコンピュータに実現させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像を高解像度化する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１〜４には、画像を高解像度化する技術が示されている。
【特許文献１】特開２００５‐１０９８４１号公報（特願２００３‐３４０１１１号）
【特許文献２】特許２７７７９７４号
【特許文献３】特開２００５‐１６７４８４号公報
【特許文献４】特開２００６‐１２７２４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
高解像度画像は、デジタルアーカイブ、リモートセンシング、生産技術、計測機器、その他様々な用途に用いられる。しかし、撮像素子の解像度には限界があるため、画像処理により高解像度画像を得る方法が提案されている。このような画像処理方法の一つとして、副画素単位でシフトされた複数の原画像を用いて、原画像よりも高解像度の画像を得る方法がある。そして、このような画像処理においては、高解像度画像の画素値の精度を高める要求がある。
【０００４】
本発明は、上記の課題を解決するためになされたもので、高解像度画像の画素値の精度を高めることが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係る画像処理装置は、副画素単位でシフトした複数の原画像を取得する画像取得部と、画像取得部により取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定部と、画像取得部により取得された原画像の画素値と、初期値設定部により設定された副画素の画素値の初期値とに基づいて、副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理部と、を備えることを特徴とする。
【０００６】
また、本発明に係る画像処理方法は、副画素単位でシフトした複数の原画像を取得し、取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定し、取得された原画像の画素値と、設定された副画素の画素値の初期値とに基づいて、副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する、画像処理方法である。
【０００７】
また、本発明に係る画像処理プログラムは、副画素単位でシフトした複数の原画像を取得する画像取得機能と、取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定機能と、取得された原画像の画素値と、設定された副画素の画素値の初期値とに基づいて、副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理機能と、をコンピュータに実現させる画像処理プログラムである。
【発明の効果】
【０００８】
本発明によれば、高解像度画像の画素値の精度を高めることが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【００１０】
図１には、本発明の実施形態に係る画像処理装置１０が示されている。画像処理装置１０は、撮像装置１２、画像蓄積装置１４、画像演算装置１６および表示装置１８を備えている。
【００１１】
撮像装置１２は、対象物を撮像するためのカメラであり、ＣＣＤ（ChargeCoupled Device）画像センサおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）画像センサ等を有するものである。撮像装置１２は、同一対象物を撮影する時に、撮影される画像を副画素（サブピクセル）単位で縦方向および横方向にシフトするための画像シフト機構を有している。画像シフト機構としては、例えば、次の（１）レンズとＣＣＤセンサとの間に透光性の平行平板を配置し、平行平板の傾きを変える方式のもの（特開２００５‐１０９８４１号公報を参照）、（２）ＣＣＤセンサを副画素単位で縦方向および横方向にシフトさせる方式のもの、（３）カメラ全体を副画素単位で縦方向および横方向にシフトさせる方式のもの、がある。
【００１２】
なお、画像を縦方向にｎ倍化するためには、ピクセル間距離の１／ｎ単位で縦方向にシフトした画像がｎ枚必要となる。また同様に、画像を横方向にｎ倍化するためには、ピクセル間距離の１／ｎ単位で横方向にシフトした画像がｎ枚必要となる。よって、画像を縦方向および横方向ともにｎ倍化するためには、ピクセル間距離の１／ｎ単位でシフトされた画像が合計ｎ２枚必要となる。例えば、図２に示されるように、縦方向および横方向ともに５倍化された高解像度画像を得るためには、ピクセル間距離の１／５単位でシフトされた画像が合計２５枚必要となる。
【００１３】
画像蓄積装置１４は、一般的に利用されている記憶装置であり、例えば、ハードディスクやメモリカードなどである。画像蓄積装置１４は、副画素単位で縦方向および横方向にシフトされた多数枚の画像を記憶して蓄積する。
【００１４】
画像演算装置１６は、画像蓄積装置１４に記憶された多数枚の画像を読み出す原画像取得部１６ａと、高解像度画像の一部領域に輝度値（画素値）の初期値を設定する初期値設定部１６ｂと、原画像よりも高解像度化された高解像度画像を生成する高解像度化処理部１６ｃとを有している。画像演算装置１６としては一般的なコンピュータのＣＰＵ（Central Processing Unit）を用いることができる。なお、本実施形態では、画像演算装置１６は、輝度値が高解像度化された高解像度画像を生成しているが、他の種類の画素値が高解像度化された高解像度画像を生成してもよい。
【００１５】
画像演算装置１６の高解像度化処理部１６ｃは、推定法および平均法と呼ばれる手法を用いて、原画像の画像データを元に高解像度画像の画像データを生成する。図２に示されるように、画像演算装置１６は、推定法および平均法を用いて横方向の解像度を高め、続いて、推定法および平均法を用いて縦方向の解像度を高める。なお、本実施形態では、画像演算装置１６は、主に推定法を用い、補助的に平均法を用いる。以下に、推定法および平均法について説明する。
【００１６】
推定法による高解像度画像の演算方法について説明する。推定法では、高解像度画像の一部領域を構成する複数画素の輝度値に初期値を設定し、初期値が設定された高解像度画像の一部領域を起点として、その領域に隣接する隣接領域の輝度値を次々と演算する。推定法では、画像中の同一位置において、原画像のある一つの画素の輝度値ｉｋと、高解像度画像の複数の画素（言い換えれば、原画像の副画素）の輝度値ｏｎの平均値とが等しいことを示す関係式（１）を利用している。すなわち、推定法では、関係式（１）を変形した演算式（２）により高解像度画像の輝度値ｏｎｍｏｇを演算する。
【００１７】
【数１】
2008243037.tif 000003
【数２】
2008243037.tif 000004
【００１８】
なお、本実施形態では、画像演算装置１６は、高解像度画像の輝度値の初期値として、原画像において画素値が一様な一部領域の輝度値を設定する。より詳しく説明すると、画像演算装置１６は、原画像の一部領域の輝度値であって、高解像度化された後でも輝度値が一様となる一部領域の輝度値を、高解像度画像の輝度値の初期値として設定する。ここで、「輝度値が一様」とは、その一部領域において輝度値がほぼ等しい値であることを意味しており、例えば、高解像度化後においても輝度値がその平均値近傍の所定範囲内に収まる程度であったり、高解像度化後においても輝度値の分散が所定の閾値よりも小さくなる程度であればよい。本実施形態では、原画像において画素値が一様な一部領域の輝度値を初期値として設定することにより、高解像度画像に筋状の誤演算部分が発生することを抑制している。この初期値の設定方法については、後に詳述する。
【００１９】
図３に示される簡略化された一例を参照して推定法を説明する。推定法では、原画像の輝度値ｉ１と高解像度画像の輝度値ｏ１，ｏ２，ｏ３，ｏ４，ｏ５との関係式（３）を利用する。推定法では、高解像度画像の複数の画素の輝度値ｏ１，ｏ２，ｏ３，ｏ４に初期値が設定されているか、またはこれら複数の画素の輝度値ｏ１，ｏ２，ｏ３，ｏ４が既に求められている状況で、次の演算を行う。すなわち、推定法では、これら複数の画素の輝度値ｏ１，ｏ２，ｏ３，ｏ４と、これらの高解像度画像の画素と同一位置にある原画像の画素の輝度値ｉ１とを、関係式（３）を変形した演算式（４）に適用することで、高解像度画像においてこれら複数の画素（副画素）に隣接する画素（副画素）の輝度値ｏ５を演算する。同様に、高解像度画像の複数の画素の輝度値ｏ２，ｏ３，ｏ４，ｏ５と、これらの高解像度画像の画素と同一位置にある原画像の画素の輝度値ｉ２とを、演算式（４）に適用することで隣接画素の輝度値ｏ６を演算する。また同様に、高解像度画像の複数の画素の輝度値ｏ３，ｏ４，ｏ５，ｏ６と、これらの高解像度画像の画素と同一位置にある原画像の画素の輝度値ｉ３とを、演算式（４）に適用することで隣接画素の輝度値ｏ７を演算する。このような演算処理を繰り返すことにより、高解像度画像の全域において輝度値を求める。例えば、図４に示される原画像に推定法を適用することにより、図５に示される高解像度画像を生成することができる。
【００２０】
【数３】
2008243037.tif 000005
【数４】
2008243037.tif 000006
【００２１】
なお、推定法により高解像度画像の輝度値を算出する際には、マイクロレンズの影響を考慮することが好適である。マイクロレンズとは、撮像装置のＣＣＤセンサにおいて各センサ素子の表面に形成された凸レンズである。このように各センサ素子の表面にはマイクロレンズが形成されているため、原画像の各画素の輝度値には若干の誤差が含まれている。よって、関係式（５）および（６）のように、マイクロレンズの影響を考慮して、高解像度画像の各画素の輝度値にその画素位置に応じた重みｗｎを付けることにより、マイクロレンズの影響を緩和して高解像度画像を精度良く求めることができる。推定法により解像度を５倍以上に向上させる場合に高解像度画像におけるマイクロレンズの影響が大きくなるため、このような状況に応じてマイクロレンズに応じた重み付けを行うことが好適である。なお、マイクロレンズに応じた重み付け値ｗｎは、理論または実験により最適値を求めればよい。ちなみに、レンズの中央では重み付け値ｗｎが大きくし、レンズの端では重み付け値ｗｎが小さくすると良い。
【００２２】
【数５】
2008243037.tif 000007
【数６】
2008243037.tif 000008
【００２３】
次に、平均法による高解像度画像の演算方法について説明する。平均法では、複数枚の原画像の画素の各々の中から、高解像度画像の演算対象画素と同一位置にある一画素の輝度値を抽出し、これらの抽出された原画像の画素の輝度値の平均値を演算し、この平均値を高解像度画像の輝度値とする。例えば、図６に示されるように、高解像度画像の画素ｏ５の輝度値を求める場合には、１枚目の画像において高解像度画像の画素ｏ５を含む原画像の輝度値ｉ１、２枚目の画像において高解像度画像の画素ｏ５を含む原画像の輝度値ｉ２、３枚目の画像において高解像度画像の画素ｏ５を含む原画像の輝度値ｉ３、４枚目の画像において高解像度画像の画素ｏ５を含む原画像の輝度値ｉ４、および５枚目の画像において高解像度画像の画素ｏ５を含む原画像の輝度値ｉ５の平均値を求め、この平均値を高解像度画像の演算対象画素の輝度値ｏ５とする。次の数式（７）は、平均法による輝度値の演算式である。
【００２４】
【数７】
2008243037.tif 000009
【００２５】
画像演算装置１６は、画素の輝度値変化に応じて、推定法のみを用いて高解像度画像を生成する場合もあるし、推定法および平均法を併用（融合）して高解像度画像を生成する場合もある。画像演算装置１６は、画素の輝度値の変化が予め設定された閾値よりも小さい領域では、推定法のみを用いても高解像度画像を精度良く求められるため、推定法のみを用いて高解像度画像を生成する。一方、画像演算装置１６は、画素の輝度値の変化が予め設定された閾値よりも大きい領域では、推定法のみでは高解像度画像を精度良く求められないため、推定法および平均法を併用して高解像度画像を生成する。例えば、画像演算装置１６は、推定法により求めた画素値および平均法により求めた画素値の重み付け平均を求めて、高解像度画像を生成すればよい。より具体的には、画像演算装置１６は、高解像度画像の画素の輝度値の変化が小さい状況では、推定法により求めた画素値の重み付け値を大きく設定すると共に、平均法により求めた画素値の重み付け値を小さく設定する。そして、高解像度画像の画素の輝度値の変化が大きくなるに応じて、推定法により求めた画素値の重み付け値を小さくすると共に、平均法により求めた画素値の重み付け値を大きくするようにすればよい。このような処理により、ノイズの少ない高解像度画像を生成することができる。
【００２６】
なお、画像演算装置１６は、原画像においてフォーカスが合っていない一部領域の画素値を初期値として設定する。仮に、原画像においてフォーカスが合っている一部領域の画素値を初期値として設定すると、その一部領域は高解像度化した場合に輝度値の変化が大きい可能性がある。高解像度化した場合に輝度値の変化が大きい一部領域の輝度値を初期値として設定すると、後述する筋状の誤演算部分が発生する場合がある。画像演算装置１６は、原画像においてフォーカスが合っていない一部領域の画素値を初期値として設定することで、高解像度化した場合でも輝度値の変化が小さい一部領域の輝度値を初期値として設定し、後述する筋状の誤演算部分の発生を抑制している。
【００２７】
表示装置１８は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（CathodeRay Tube）などの一般的なディスプレイである。表示装置１８は、画像演算装置１６により生成された高解像度画像を表示する。
【００２８】
なお、画像演算装置１６が高解像度画像を生成する場合に、誤った初期値を設定して推定法を適用すると、生成された高解像度画像には多数の筋状の誤演算部分が生じてしまう。例えば、高解像度化すると輝度値変化が大きくなる領域の輝度値を初期値として、図４に示される原画像が高解像度化されると、図７に示される多数の筋状の誤演算部分を含んだ高解像度画像が生成される。このような誤演算部分は、高解像度化すると輝度値変化が大きくなる領域の輝度値が初期値として設定されたことに起因している。
【００２９】
図８（ａ）には、高解像度化しても輝度値変化が大きくならない領域の輝度値を初期値として設定して推定法が適用された場合の高解像度画像の輝度値変化を示している。一方、図８（ｂ）は、高解像度化すると輝度値変化が大きくなる領域の輝度値を初期値として設定して推定法が適用された場合の高解像度画像の輝度値変化を示している。図８（ａ）および図８（ｂ）において、横軸は画素位置を示しており、縦軸は輝度値を示している。図８（ａ）に示されるように適正な初期値を設定して推定法が適用された場合には、高解像度画像の輝度値変化が安定している。その一方で、図８（ｂ）に示されるように誤った初期値を設定して推定法が適用された場合には、高解像度画像の輝度値変化には、筋状の誤演算部分に対応する高周波成分が含まれている。
【００３０】
次に、筋状の誤演算部分の発生を防止する画像処理について説明する。本実施形態の高解像度画像の生成処理では、高解像度画像に筋状の誤演算部分が発生することを抑制するか、または完全に防止している。図９には、画像処理のフローチャートが示されている。
【００３１】
撮像装置１２は、副画素単位で縦方向および横方向にシフトされた多数枚の原画像を撮影して、多数の原画像の画像データを生成する（Ｓ９０１）。画像蓄積装置１４は、撮像装置１２により生成された多数の画像データを記憶して蓄積する（Ｓ９０２）。画像演算装置１６は、画像蓄積装置１４から原画像の画像データを読み出し、原画像の画像データを処理して高解像度画像の画像データを生成し、生成された高解像度画像の画像データを出力する（Ｓ９０３）。表示装置１８は、画像演算装置１６により出力された高解像度画像の画像データを表示する（Ｓ９０４）。
【００３２】
図１０、図１２および図１４には、上記のステップ９０３に相当する高解像度画像の生成処理が、より詳細に示されている。図１０、図１２および図１４に示される高解像度画像の生成処理はそれぞれ異なる処理であり、画像演算装置１６は、これらの処理を併用するか、またはいずれか１つの処理を実行する。なお、図１０、図１２および図１４の処理は、画像演算装置１６が画像処理プログラムを実行することにより実現される。
【００３３】
図１０に示される第１の高解像度画像の生成処理（パターン１）について説明する。第１の処理は、原画像に、輝度値が一様な一部領域（例えば、原画像の一部に挿入された輝度値が一様な特殊模様であるターゲットＭなど、図１１参照）が含まれている場合の処理である。先ず、画像演算装置１６は、原画像からターゲットＭの位置の輝度値を、高解像度画像の初期値として設定する（Ｓ１００１）。そして、画像演算装置１６は、原画像の輝度値と、設定された初期値とに基づいて、推定法により高解像度画像の輝度値を演算する（Ｓ１００２）。次に、画像演算装置１６は、輝度値の変化が大きい領域に関しては平均法により高解像度画像の輝度値を演算し、推定法による輝度値の演算結果と平均法による輝度値の演算結果を融合する（Ｓ１００３）。第１の高解像度画像の生成処理によれば、高解像度画像の輝度値の初期値として一様な輝度値を設定することができるため、高解像度画像に筋状の誤演算部分が発生することを確実に防止することができる。ちなみに、美術品のアーカイブなどでは、標準カラーチャートが原画像の一部に付けられているため、この標準カラーチャートをターゲットとして利用すればよい。
【００３４】
図１２に示される第２の高解像度画像の生成処理（パターン２）について説明する。先ず、画像演算装置１６は、原画像において異なる位置にある複数の画素の輝度値の各々を、高解像度画像の輝度値の初期値として設定する（Ｓ１２０１）。ここで、画像演算装置１６は、例えば図１３に示されるように、原画像の左下領域、右下領域、左上領域、右上領域および中央領域の各々の輝度値を初期値として設定する。次に、画像演算装置１６は、設定された複数の初期値の各々を用いて高解像度画像を演算し、複数枚の高解像度画像を演算する（Ｓ１２０２）。次に、画像演算装置１６は、複数枚の高解像度画像において同一位置にある画素の輝度値を平均等し、その平均値を輝度値とした一つの高解像度画像を生成する（Ｓ１２０３）。次に、画像演算装置１６は、輝度値の変化が大きい領域に関しては平均法により高解像度画像の輝度値を演算し、推定法による輝度値の演算結果と平均法による輝度値の演算結果を融合する（Ｓ１２０４）。第２の高解像度画像の生成処理によれば、原画像の複数位置の輝度値を初期値として用いて複数の高解像度画像を演算するため、これらの高解像度画像に筋状の誤演算部分を含む高解像度画像があっても、筋状の誤演算部分を含まない他の高解像度画像と平均化等することにより、筋状の誤演算部分による影響を抑制することができる。なお、画像演算装置１６は、複数枚の高解像度画像を平均等して一つの高解像度画像を生成したが、複数枚の高解像度画像を用いるものであれば他の演算処理により一つの高解像度画像を生成してもよい。例えば、画像演算装置１６は、複数枚の高解像度画像において同一位置にある画素の輝度値の中央値を演算し、その中央値を輝度値とした一つの高解像度画像を生成してもよい。
【００３５】
図１４に示される第３の高解像度画像の生成処理（パターン３）について説明する。先ず、画像演算装置１６は、原画像の一部領域の輝度値を初期値として設定する（Ｓ１４０１）。次に、画像演算装置１６は、推定法により高解像度画像を演算する（Ｓ１４０２）。次に、画像演算装置１６は、演算された高解像度画像に誤演算部分が含まれているか否かを判定する（Ｓ１４０３）。ここで、画像演算装置１６は、例えば、フーリエ変換により求めた輝度値の空間周波数の強度、輝度値の移動平均、輝度値の分散などのパラメータを算出し、これらのパラメータに基づいて筋状の誤演算部分があるか否かを判定すればよい。また、画像演算装置１６は、高解像度画像の演算中に、高解像度画像の輝度値がマイナス値となった場合に、高解像度画像に誤演算部分が含まれていることを判定してもよい。なお、画像演算装置１６は、高解像度画像の全領域について誤演算部分の有無を判定しなくてもよく、高解像度画像の一部領域について誤演算部分の有無を判定するだけでも、誤演算部分の有無を精度良く判定できる。
【００３６】
画像演算装置１６は、高解像度画像に誤演算部分が含まれていると判定した場合には、原画像において位置の異なる別の一部領域の輝度値を初期値として設定し、推定法により高解像度画像を演算する（Ｓ１４０１，Ｓ１４０２）。一方、画像演算装置１６は、原画像に誤演算部分が含まれていないと判定した場合には、その高解像度画像を採用する。次に、画像演算装置１６は、輝度値の変化が大きい領域に関しては平均法により高解像度画像の輝度値を演算し、推定法による輝度値の演算結果と平均法による輝度値の演算結果を融合する（Ｓ１４０４）。第３の高解像度画像の生成処理によれば、高解像度画像に誤演算部分が含まれているか否かを判定して、誤演算部分が含まれない高解像度画像を採用するため、語演算部分を確実に含まない高解像度画像を生成することができる。
【００３７】
なお、前述のとおり、本実施形態の画像演算装置は、マイクロレンズによる影響を考慮している。仮に、このようにマイクロレンズによる影響を考慮しないとすると、第１〜第３の高解像度画像の生成処理により筋状の誤演算部分の発生に対処しようとしても、マイクロレンズによる影響で筋状の誤演算部分が発生してしまう場合がある。よって、本実施形態の画像演算装置のように、マイクロレンズによる影響を考慮することが、筋状の誤演算部分を抑制または防止するためには有効である。
【００３８】
なお、本実施形態の画像処理技術は、デジタルアーカイブ、リモートセンシング、生産技術、計測機器、その他広い範囲に適用することができる。
【図面の簡単な説明】
【００３９】
【図１】本実施形態の画像処理装置を示すブロック図である。
【図２】高解像度画像の生成処理の概要を示す概略図である。
【図３】推定法による画像の高解像度化を示す模式図である。
【図４】高解像度化前の画像の一例である。
【図５】高解像度化後の画像の一例である。
【図６】平均法による画像の高解像度化を示す模式図である。
【図７】筋状の語演算部分を含む高解像度画像の一例である。
【図８】筋状の語演算部分を含まない場合の輝度値変化と、筋状の語演算部分を含む場合の輝度値変化を示すグラフである。
【図９】本実施形態の画像処理を示すフローチャートである。
【図１０】図９のステップ９０３の処理を詳細に示す第１のフローチャートである。
【図１１】ターゲットを含む原画像の一例である。
【図１２】図９のステップ９０３の処理を詳細に示す第２のフローチャートである。
【図１３】複数の初期値設定位置が示される原画像の一例である。
【図１４】図９のステップ９０３の処理を詳細に示す第３のフローチャートである。
【符号の説明】
【００４０】
１０…画像処理装置、１２…撮像装置、１４…画像蓄積装置、１６…画像演算装置、１６ａ…原画像取得部、１６ｂ…初期値設定部、１６ｃ…高解像度化処理部、１８…表示装置。
【図１】
2008243037.tif 000010
【図３】
2008243037.tif 000011
【図６】
2008243037.tif 000012
【図８】
2008243037.tif 000013
【図９】
2008243037.tif 000014
【図１０】
2008243037.tif 000015
【図１２】
2008243037.tif 000016
【図１４】
2008243037.tif 000017
【図２】
2008243037.tif 000018
【図４】
2008243037.tif 000019
【図５】
2008243037.tif 000020
【図７】
2008243037.tif 000021
【図１１】
2008243037.tif 000022
【図１３】
2008243037.tif 000023