(57)【要約】  アーティファクト抑制と解像度向上とを両立することを目的として、本発明に係る画像処理装置（３）は、複数種のカラーフィルタを画素毎に配列した撮像素子（６）によって、被写体を時系列的に撮影することにより取得された、基準画像と該基準画像以外の１枚以上の参照画像とを、これらの画像よりも解像度の高い高解像度空間上で合成して合成画像を生成する高解像度合成部（９）と、高解像度合成部（９）により生成された合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で位置ズレの分布を算出する位置ズレ分布算出部（１０）と、位置ズレ分布算出部（１０）により算出された位置ズレの分布から２つの比較画像の相関量を画素毎に算出する相関量算出部（１１）と、相関量算出部（１１）により算出された相関量に基づいて合成画像を補正する画像補正部（１２）とを備える。
2016207990.tif 000002
【特許請求の範囲】
【請求項１】
複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された、基準画像と該基準画像以外の１枚以上の参照画像とを、これらの画像よりも解像度の高い高解像度空間上で合成して合成画像を生成する高解像度合成部と、
該高解像度合成部により生成された合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で位置ズレの分布を算出する位置ズレ分布算出部と、
該位置ズレ分布算出部により算出された位置ズレの分布から２つの前記比較画像の相関量を画素毎に算出する相関量算出部と、
該相関量算出部により算出された相関量に基づいて前記合成画像を補正する画像補正部とを備える画像処理装置。
【請求項２】
前記画像補正部が、該相関量算出部により算出された相関量に基づく合成比率によって、前記合成画像と前記基準画像とを合成することにより、前記合成画像を補正する請求項１に記載の画像処理装置。
【請求項３】
前記画像補正部が、該相関量算出部により算出された相関量に基づく合成比率によって前記合成画像に対しローパス効果の異なるフィルタをかけた２つの画像を合成することにより、前記合成画像を補正する請求項１に記載の画像処理装置。
【請求項４】
前記画像補正部が、該相関量算出部により算出された相関量に基づく合成比率によって前記合成画像に対しローパス効果の異なるフィルタをかけた２つの画像を合成する第１の補正と、該第１の補正により得られた画像と前記基準画像とを合成する第２の補正とにより前記合成画像を補正する請求項１に記載の画像処理装置。
【請求項５】
前記位置ズレ分布算出部が、２つの前記比較画像毎に、それぞれ対応する２以上の画素からなる複数の小領域について、２以上の画素の画素値を加算または加算平均して得られた値の最大値および最小値の位置を算出し、２つの前記比較画像間で対応する前記小領域毎に、前記最大値および最小値の位置のズレ量を算出する請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記位置ズレ分布算出部が、前記小領域内の一方向に配列された２以上の画素からなる複数の画素群について画素値を加算または加算平均する請求項５に記載の画像処理装置。
【請求項７】
前記位置ズレ分布算出部が、前記小領域内の複数の矩形領域の２以上の画素の画素値を加算または加算平均する請求項５に記載の画像処理装置。
【請求項８】
前記相関量算出部は、前記ズレ量が大きいほど低くなる相関量を算出する請求項５から請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記相関量算出部は、前記位置ズレの数をズレ量として算出する請求項８に記載の画像処理装置。
【請求項１０】
複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより、基準画像と該基準画像以外の１枚以上の参照画像とを取得する画像取得部と、
該画像取得部により取得された基準画像および参照画像を処理する請求項１から請求項９のいずれかに記載の画像処理装置とを備える撮像装置。
【請求項１１】
複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された、基準画像と該基準画像以外の１枚以上の参照画像とを、これらの画像よりも解像度の高い高解像度空間上で合成して合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより生成された合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で位置ズレの分布を算出する位置ズレ分布算出ステップと、
該位置ズレ分布算出ステップにより算出された位置ズレの分布から２つの前記比較画像の相関量を画素毎に算出する相関量算出ステップと、
該相関量算出ステップにより算出された相関量に基づいて前記合成画像を補正する画像補正ステップとを含む画像処理方法。
【請求項１２】
複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された、基準画像と該基準画像以外の１枚以上の参照画像とを、これらの画像よりも解像度の高い高解像度空間上で合成して合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより生成された合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で位置ズレの分布を算出する位置ズレ分布算出ステップと、
該位置ズレ分布算出ステップにより算出された位置ズレの分布から２つの前記比較画像の相関量を画素毎に算出する相関量算出ステップと、
該相関量算出ステップにより算出された相関量に基づいて前記合成画像を補正する画像補正ステップとコンピュータに実行させる画像処理プログラム。
【請求項１３】
複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された、基準画像と該基準画像以外の１枚以上の参照画像とを、これらの画像よりも解像度の高い高解像度空間上で合成して合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより生成された合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で位置ズレの分布を算出する位置ズレ分布算出ステップと、
該位置ズレ分布算出ステップにより算出された位置ズレの分布から２つの前記比較画像の相関量を画素毎に算出する相関量算出ステップと、
該相関量算出ステップにより算出された相関量に基づいて前記合成画像を補正する画像補正ステップとコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体に関するものである。
【背景技術】
【０００２】
画像を合成して高解像度化する技術として、例えば、イメージセンサを光軸に直交する方向にずらして複数の画像を撮影し、それらの画像を合成する方法が知られている。この方法を用いて高解像の画像を取得する場合に、被写体が動いた領域で発生する多重像などのアーティファクトを抑制する技術が開示されている（例えば、特許文献１参照。）。【０００３】
この技術は、複数枚の画像間の類似度を算出し、類似度に基づいて画像間の合成比率を制御する。すなわち、撮影した複数枚の画像のうちの１枚を基準画像、それ以外の画像を参照画像とし、基準画像と参照画像との間で、領域毎に差分を算出して、差分値から両画像の類似度を判定する。そして、類似度が高い領域では参照画像の合成比率を高くし、類似度が低い領域では基準画像の合成比率を高くすることで、被写体の動きや位置ズレによるアーティファクトの発生を抑制している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１９９７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
低輝度の動体領域の差分値と非動体領域の差分値がノイズの影響から同程度になることがある。この場合には、差分値に基づく合成比率制御により、低輝度の動体領域の差分値で基準画像の合成比率が高くなるように制御すると、非動体領域も基準画像の合成比率が高くなってしまい、解像度向上効果が得られない。【０００６】
逆に、低輝度の動体領域の差分値で複数枚合成された高解像度画像の合成比率が高くなるように制御すると、非動体領域では解像度向上効果が得られるが、低輝度の動体領域では動体による影響でアーティファクトが発生してしまう。このため、低輝度の動体領域のアーティファクト抑制と解像度向上を両立することができない。【０００７】
本発明は、上述した事情に鑑みてなされたものであって、アーティファクト抑制と解像度向上とを両立することができる画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の一態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された、基準画像と該基準画像以外の１枚以上の参照画像とを、これらの画像よりも解像度の高い高解像度空間上で合成して合成画像を生成する高解像度合成部と、該高解像度合成部により生成された合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で位置ズレの分布を算出する位置ズレ分布算出部と、該位置ズレ分布算出部により算出された位置ズレの分布から２つの前記比較画像の相関量を画素毎に算出する相関量算出部と、該相関量算出部により算出された相関量に基づいて前記合成画像を補正する画像補正部とを備える画像処理装置である。【０００９】
本態様によれば、被写体を時系列的に撮影することにより取得された、基準画像および１枚以上の参照画像が入力されると、高解像度合成部により、基準画像および参照画像よりも解像度の高い合成画像が生成される。そして、位置ズレ分布算出部において、合成画像に含まれている、撮像素子の異なる種類のカラーフィルタに対応する画素により構成される２つの比較画像間の位置ズレの分布が算出され、相関量算出部において、位置ズレの分布から２つの比較画像の相関量が画素毎に算出され、算出された相関量に基づいて合成画像が補正される。【００１０】
すなわち、基準画像と参照画像との領域毎の差分値により類似度を判定する従来の画像処理装置とは異なり、位置ズレの分布によって２つの比較画像の相関量を求めるので、画素値が小さい場合においても、差分値のようにノイズに埋もれることがなく、２つの比較画像の相関量を確実に算出して、被写体の動きや位置ズレによるアーティファクトの発生を抑制した高解像の合成画像を取得することができる。【００１１】
上記態様においては、前記画像補正部が、該相関量算出部により算出された相関量に基づく合成比率によって、前記合成画像と前記基準画像とを合成することにより、前記合成画像を補正してもよい。
このようにすることで、相関量が大きい場合には、被写体の動きや位置ズレが小さいため、そのまま合成してもアーティファクトの発生が防止されるので、合成画像の合成比率を高くして高解像度の画像を取得することができる。一方、相関量が低い場合には、被写体の動きや位置ズレが大きいため、そのまま合成するとアーティファクトの発生が予想されるので基準画像の合成比率を高くして、アーティファクトの発生を抑制することができる。【００１２】
また、上記態様においては、前記画像補正部が、該相関量算出部により算出された相関量に基づく合成比率によって前記合成画像に対しローパス効果の異なるフィルタをかけた２つの画像を合成することにより、前記合成画像を補正してもよい。
このようにすることで、相関量が大きい場合には、被写体の動きや位置ズレが小さいため、そのまま合成してもアーティファクトの発生が防止されるので、ローパス効果の低いフィルタをかけた合成画像の合成比率を高くしてボケを抑えた高解像度の画像を取得することができる。一方、相関量が低い場合には、被写体の動きや位置ズレが大きいため、そのまま合成するとアーティファクトの発生が予想されるのでローパス効果の高いフィルタをかけた合成画像の合成比率を高くして、ボケを増大させ、アーティファクトの発生を抑制することができる。【００１３】
また、上記態様においては、前記画像補正部が、該相関量算出部により算出された相関量に基づく合成比率によって前記合成画像に対しローパス効果の異なるフィルタをかけた２つの画像を合成する第１の補正と、該第１の補正により得られた画像と前記基準画像とを合成する第２の補正とにより前記合成画像を補正してもよい。【００１４】
このようにすることで、相関量に応じて、ローパス効果の高いフィルタがかけられた合成画像、ローパス効果の低いフィルタがかけられた合成画像または基準画像のいずれかの合成比率を高く、他の合成比率を低くして、アーティファクトの抑制と高解像の画像取得とを両立させることができる。【００１５】
また、上記態様においては、前記位置ズレ分布算出部が、２つの前記比較画像毎に、それぞれ対応する２以上の画素からなる複数の小領域について、２以上の画素の画素値を加算または加算平均して得られた値の最大値および最小値の位置を算出し、２つの前記比較画像間で対応する前記小領域毎に、前記最大値および最小値の位置のズレ量を算出してもよい。
このようにすることで、２以上の画素の画素値を加算または加算平均することで、ノイズの影響を抑制し、より確実に相関量を求めることができる。小領域毎に加算する画素数が同一の場合には加算または加算平均により、画素数が異なる場合には加算平均により、相関量を精度よく算出することができる。【００１６】
また、上記態様においては、前記位置ズレ分布算出部が、前記小領域内の一方向に配列された２以上の画素からなる複数の画素群について画素値を加算または加算平均してもよい。
このようにすることで、画素群内の画素の配列方向に直交する方向の位置ズレの分布を容易に算出することができる。また、画素が縦横に配列されている場合には、縦方向または横方向のそれぞれについて、あるいは斜め方向に、位置ズレの分布を容易に算出することができる。【００１７】
また、上記態様においては、前記位置ズレ分布算出部が、前記小領域内の複数の矩形領域の２以上の画素の画素値を加算または加算平均してもよい。
このようにすることで、小領域を複数の矩形領域に分割して矩形領域の配列方向に位置ズレの分布を容易に算出することができる。【００１８】
また、上記態様においては、前記相関量算出部は、前記ズレ量が大きいほど低くなる相関量を算出してもよい。
また、上記態様においては、前記相関量算出部は、前記位置ズレの数をズレ量として算出してもよい。位置ズレの数が多いほどズレ量が大きいと判断することができる。
また、上記態様においては、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより、基準画像と該基準画像以外の１枚以上の参照画像とを取得する画像取得部と、該画像取得部により取得された基準画像および参照画像を処理してもよい。【００１９】
また、本発明の他の態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された、基準画像と該基準画像以外の１枚以上の参照画像とを、これらの画像よりも解像度の高い高解像度空間上で合成して合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより生成された合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で位置ズレの分布を算出する位置ズレ分布算出ステップと、該位置ズレ分布算出ステップにより算出された位置ズレの分布から２つの前記比較画像の相関量を画素毎に算出する相関量算出ステップと、該相関量算出ステップにより算出された相関量に基づいて前記合成画像を補正する画像補正ステップとを含む画像処理方法である。【００２０】
また、本発明の他の態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された、基準画像と該基準画像以外の１枚以上の参照画像とを、これらの画像よりも解像度の高い高解像度空間上で合成して合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより生成された合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で位置ズレの分布を算出する位置ズレ分布算出ステップと、該位置ズレ分布算出ステップにより算出された位置ズレの分布から２つの前記比較画像の相関量を画素毎に算出する相関量算出ステップと、該相関量算出ステップにより算出された相関量に基づいて前記合成画像を補正する画像補正ステップとコンピュータに実行させる画像処理プログラムである。【００２１】
また、本発明の他の態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された、基準画像と該基準画像以外の１枚以上の参照画像とを、これらの画像よりも解像度の高い高解像度空間上で合成して合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより生成された合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で位置ズレの分布を算出する位置ズレ分布算出ステップと、該位置ズレ分布算出ステップにより算出された位置ズレの分布から２つの前記比較画像の相関量を画素毎に算出する相関量算出ステップと、該相関量算出ステップにより算出された相関量に基づいて前記合成画像を補正する画像補正ステップとコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体である。
【発明の効果】
【００２２】
本発明によれば、アーティファクト抑制と解像度向上とを両立することができるという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る撮像装置を示すブロック図である。
【図２】図１の撮像装置の画像処理装置により生成されたＧｒチャネルの高解像度画像の一例を示す図である。
【図３Ａ】図２のＧｒチャネルの高解像度画像を補間した全画素補間画像における４×４画素の小領域からなる注目領域の一例とその加算値との関係を示す図である。
【図３Ｂ】図３Ａと同様のＧｂチャネルにおける注目領域の一例とその加算値との関係を示す図である。
【図４】図１の撮像装置の画像処理装置に備えられる画像補正部を示すブロック図である。
【図５】図４の画像補正部において合成比率を相関量から算出する際に使用されるマップの一例を示す図である。
【図６】本発明の一実施形態に係る画像処理方法の一例を示すフローチャートである。
【図７】図５のマップの変形例を示す図である。
【図８】図３Ａの変形例を示す図である。
【図９】図３Ａの他の変形例を示す図である。
【図１０】図３Ａの他の変形例を示す図である。
【図１１】図４の画像補正部の変形例を示すブロック図である。
【図１２】図４の画像補正部の他の変形例を示すブロック図である。
【図１３】図１の撮像装置の変形例を示すブロックである。
【図１４Ａ】図１３の撮像装置による画像処理方法の一部を示すフローチャートである。
【図１４Ｂ】図１３の撮像装置による画像処理方法の図１４Ａに続くフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の一実施形態に係る画像処理装置３および撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、被写体を撮影して画像を取得する画像取得部２と、該画像取得部２により取得された画像を記憶するメモリ４と、該メモリ４に記憶された画像を処理する画像処理装置３とを備えている。
【００２５】
画像取得部２は、被写体からの光を集光する撮影レンズ５と、該撮影レンズ５により集光された光が入射され被写体の光学像を撮影する撮像素子６と、該撮像素子６を、画素の配列方向にサブピクセル単位でシフトさせるセンサシフト機構７と、センサシフト機構７による撮像素子６のシフト方向およびシフト量を制御するセンサシフト制御部８とを備えている。
【００２６】
撮像素子６は、Ｒ，Ｇｒ，Ｇｂ，Ｂの４種類のカラーフィルタが２×２画素単位で画素毎に配置された、いわゆるベイヤ配列構造を有している。撮像素子６により取得された画像は、最初に取得された基準画像および、その後に撮像素子６をシフトさせて取得された１枚以上の参照画像であり、メモリ４に記憶されるようになっている。
【００２７】
本発明の一実施形態に係る画像処理装置３は、メモリ４に記憶された基準画像および１枚以上の参照画像から高解像度の合成画像を生成する高解像度合成部９と、合成画像から位置ズレの分布を算出する位置ズレ分布算出部１０と、算出された位置ズレの分布に基づいて相関量を算出する相関量算出部１１と、算出された相関量に基づいて合成画像を補正する画像補正部１２とを備えている。
【００２８】
高解像度合成部９には、メモリ４からの基準画像および参照画像が入力されるとともに、センサシフト制御部８からの撮像素子６のシフト制御情報が入力されるようになっている。高解像度合成部９は、入力された基準画像および参照画像を、入力されたシフト制御情報（シフト量およびシフト方向）に基づいて位置合わせしながら、色チャネル（Ｒ，Ｇｒ，Ｇｂ，Ｂ）毎の高解像度画像空間上に配置するようになっている。
【００２９】
具体的には、まず、基準画像の各画素を高解像度画像空間上に配置し、次に、基準画像に対するシフト量およびシフト方向に基づいて参照画像の各画素を高解像度画像空間上に配置する。画素を配置する際には、配置する画素の色と同色の画素が既に基準画像の画素や別の参照画像の画素が配置されていれば、新たに配置しなくてもよいし、既に配置されている画素と加算平均して画素値を更新してもよい。また、累積加算後に加算回数で正規化してもよい。
【００３０】
また、高解像度合成部９は、全ての画素を配置した後に、まだ配置されていない画素を補間して埋める処理を行ってもよい。補間の方法は、例えば、配置された周囲の画素を用いて、エッジ方向を考慮した方向判別補間を施したり、最も近くに存在する画素をコピーすることにより補間したりしてもよい。図２にＧｒチャネルの合成画像を示す。これ以外にもＲ，Ｇｂ，Ｂチャネルの合成画像が生成されている。図中の網掛け画素は、補間によって生成された画素を示し、それ以外の画素は配置された画素を示している。
【００３１】
図２に示す例では、１枚の基準画像と７枚の参照画像の合計８枚の画像を合成して合成画像が生成されている。図中のＧｒの添字番号は、撮影順を示している。画素の配列方向は、便宜上、横方向を水平方向、縦方向を垂直方向という。
１：基準画像、
２：基準画像に対して水平方向に１画素、垂直方向に０画素、
３：基準画像に対して水平方向に０画素、垂直方向に１画素、
４：基準画像に対して水平方向に１画素、垂直方向に１画素、
５：基準画像に対して水平方向に０．５画素、垂直方向に０．５画素、
６：基準画像に対して水平方向に１．５画素、垂直方向に０．５画素、
７：基準画像に対して水平方向に０．５画素、垂直方向に１．５画素、
８：基準画像に対して水平方向に１．５画素、垂直方向に１．５画素、
それぞれシフトさせて撮影することにより取得された画像を構成する画素である。
図２中の網掛けは配置されていない画素を示している。
【００３２】
位置ズレ分布算出部１０は、Ｇｒチャネルの合成画像およびＧｂチャネルの合成画像を小領域に区画し、対応する小領域ごとに位置のズレ量を算出するようになっている。
例えば、図３Ａおよび図３Ｂに示す例では、８枚の画像から合成した高解像度画像を補間することにより、全ての画素が画素値を有する全画素補間画像を用いて、４×４画素の小領域からなる注目領域をＧｒチャネルの合成画像およびＧｂチャネルの合成画像の同一画素の位置に設定する。
【００３３】
そして、注目領域において、水平方向および垂直方向に配列された４つの画素の画素値を加算し、水平方向および垂直方向の各方向の加算値から最小値および最大値の位置を算出するようになっている。位置を示す情報としては、加算する方向別に連続する番号（図に示す例では「０」から開始する連続番号）を割り当てている。
【００３４】
加算は以下の通りに行われる。
＜Ｇｒの水平方向＞
ＧｒＸ１＝Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４
ＧｒＸ２＝Ｇｒ５＋Ｇｒ６＋Ｇｒ７＋Ｇｒ８
ＧｒＸ３＝Ｇｒ９＋Ｇｒ１０＋Ｇｒ１１＋Ｇｒ１２
ＧｒＸ４＝Ｇｒ１３＋Ｇｒ１４＋Ｇｒ１５＋Ｇｒ１６
ここでは、加算値の最小値はＧｒＸ１であり、最大値はＧｒＸ２であるとする。したがって、最小位置＝０、最大位置＝１である。
【００３５】
＜Ｇｂの水平方向＞
ＧｂＸ１＝Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４
ＧｂＸ２＝Ｇｂ５＋Ｇｂ６＋Ｇｂ７＋Ｇｂ８
ＧｂＸ３＝Ｇｂ９＋Ｇｂ１０＋Ｇｂ１１＋Ｇｂ１２
ＧｂＸ４＝Ｇｂ１３＋Ｇｂ１４＋Ｇｂ１５＋Ｇｂ１６
ここでは、加算値の最小値はＧｂＸ３であり、最大値はＧｂＸ４であるとする。したがって、最小位置＝２、最大位置＝３である。
【００３６】
＜Ｇｒの垂直方向＞
ＧｒＹ１＝Ｇｒ１＋Ｇｒ５＋Ｇｒ９＋Ｇｒ１３
ＧｒＹ２＝Ｇｒ２＋Ｇｒ６＋Ｇｒ１０＋Ｇｒ１４
ＧｒＹ３＝Ｇｒ３＋Ｇｒ７＋Ｇｒ１１＋Ｇｒ１５
ＧｒＹ４＝Ｇｒ４＋Ｇｒ８＋Ｇｒ１２＋Ｇｒ１６
ここでは、加算値の最小値はＧｒＹ１であり、最大値はＧｒＹ４であるとする。したがって、最小位置＝０、最大位置＝３である。
【００３７】
＜Ｇｂの垂直方向＞
ＧｂＹ１＝Ｇｂ１＋Ｇｂ５＋Ｇｂ９＋Ｇｂ１３
ＧｂＹ２＝Ｇｂ２＋Ｇｂ６＋Ｇｂ１０＋Ｇｂ１４
ＧｂＹ３＝Ｇｂ３＋Ｇｂ７＋Ｇｂ１１＋Ｇｂ１５
ＧｂＹ４＝Ｇｂ４＋Ｇｂ８＋Ｇｂ１２＋Ｇｂ１６
ここでは、加算値の最小値はＧｂＹ２であり、最大値はＧｂＹ３であるとする。したがって、最小位置＝２、最大位置＝１である。
【００３８】
位置ズレ分布算出部１０からは、上述した４組の最小位置および最大位置から、Ｘ方向最小位置ズレ量、Ｘ方向最大位置ズレ量、Ｙ方向最小位置ズレ量およびＹ方向最大位置ズレ量を算出して出力するようになっている。
上記の例では、
Ｘ方向最小位置ズレ量：｜０−２｜＝２、
Ｘ方向最大位置ズレ量：｜１−３｜＝２、
Ｙ方向最小位置ズレ量：｜０−２｜＝２、
Ｙ方向最大位置ズレ量：｜３−１｜＝２
である。
【００３９】
相関量算出部１１は位置ズレ分布算出部１０から送られてきた位置ズレ量の合計を算出し、その合計値に応じた相関量を算出するようになっている。
具体的には、
相関量＝最大位置ズレ量−合計位置ズレ量
である。
図３Ａおよび図３Ｂに示す例では、最大位置ズレ量＝１２であり、合計位置ズレ量＝８なので、相関量＝４が出力されるようになっている。
【００４０】
画像補正部１２は、図４に示されるように、相関量算出部１１から出力された相関量に基づいて合成比率を算出する合成比率算出部１３と、メモリ４に記憶されている基準画像のＲＡＷデータをデモザイキング処理してカラー化する色補間処理部１４と、カラー化された基準画像を合成画像と同じ画像サイズに拡大する拡大処理部１５と、高解像度合成部９により生成された合成画像と、拡大処理された基準画像とを、合成比率算出部１３により算出された合成比率に従って合成する合成処理部１６とを備えている。
【００４１】
合成比率算出部１３は、相関量と合成比率とを対応づけたマップを備えている。マップは、例えば、図５に示されるものである。
マップにおいては、相関量が高いほど、合成画像の合成比率が高くなり、相関量が低いほど、基準画像の合成比率が高くなるようになっている。
相関量＝４の場合には、基準画像の合成比率は０．６５、合成画像の合成比率は０．３５である。
この処理を各画素に対応する全ての注目領域について実施するようになっている。
【００４２】
このように構成された本実施形態に係る撮像装置１および画像処理装置３の作用について、以下に説明する。
本実施形態に係る撮像装置１により被写体の撮影を行うと、センサシフト制御部８からの指令信号に基づいてセンサシフト機構７が撮像素子６をシフトさせつつ、１枚の基準画像および７枚の参照画像の合計８枚の画像が取得される。
【００４３】
取得された８枚の画像はメモリ４に記憶された後、本発明の一実施形態に係る画像処理方法が実施される。
本実施形態に係る画像処理方法は、図６に示されるように、まず、メモリ４に記憶されている８枚の画像が高解像度合成部９に出力される所から開始する。高解像度合成部９では、センサシフト制御部８から送られてくるシフト制御情報に基づいて、８枚の画像が色チャネル毎に高解像度画像空間上の各画素に配置されていくことで、高解像の合成画像が色チャネル毎に生成される（高解像度合成ステップＳ１）。
【００４４】
次に、生成された高解像の合成画像のうち、ＧｒおよびＧｂの合成画像は位置ズレ分布算出部１０に送られて、位置ズレ量の分布が算出される（位置ズレ分布算出ステップＳ２）。位置ズレ分布算出部１０においては、ＧｒおよびＧｂの合成画像が小領域に区画され、小領域毎にＸ方向最小位置ズレ量、Ｘ方向最大位置ズレ量、Ｙ方向最小位置ズレ量およびＹ方向最大位置ズレ量が算出される。ＧｒとＧｂの合成画像が用いられるのは、同系色のカラーフィルタが備えられた画素による画像であるため、画素値の比較が容易だからであるが、これに限定されるものではない。他の色のカラーフィルタに対応する画素の合成画像を用いて位置ズレ量を求めてもよい。
【００４５】
算出された４種類の位置ズレ量の分布は相関量算出部１１に送られて、小領域毎に相関量が算出される（相関量算出ステップＳ３）。算出された相関量の分布は、画像補正部１２に送られる。
画像補正部１２においては、送られてきた相関量に基づいて、合成比率算出部１３において、合成比率が小領域毎に算出される。
【００４６】
また、画像補正部１２においては、メモリ４から読み出された基準画像に色補間処理部１４においてデモザイキング処理が施され、拡大処理部１５において合成画像と同じ画像サイズに拡大される。そして、合成処理部１６において、高解像度合成部９から送られてきた４つの色チャネルの合成画像と、拡大処理された基準画像とが、合成比率算出部１３において算出された合成比率に基づいて合成されることにより、補正された合成画像が生成される（画像補正ステップＳ４）。
【００４７】
このように、本実施形態に係る撮像装置１、画像処理装置３および画像処理方法によれば、基準画像と参照画像との差分に基づいて合成比率を設定していた従来の技術とは異なり、ＧｒおよびＧｂの合成画像の位置ズレ量の分布に基づいて合成比率を算出するので、画素値が小さく、あるいは、動きが微妙である場合のように差分値が小さくなってノイズに埋もれてしまう状況においても、被写体の動きや位置ズレによるアーティファクトの発生をより確実に防止することができ、かつ、画像の解像度の向上を図ることができるという利点がある。
【００４８】
なお、本実施形態においては、図５に示されるように、相関量が第１の閾値「２」以下の場合には基準画像のみとなり、相関量が第２の閾値「８」以上の場合には合成画像のみとなるように、合成画像を補正するマップを採用したが、これに代えて、図７に示されるように、全ての相関量において両画像の合成比率が存在するマップを採用してもよい。
【００４９】
また、位置ズレ分布算出部１０において、水平方向および垂直方向の画素値を加算して、最小位置ズレ量および最大位置ズレ量を算出することとしたが、これに代えて、図８に示されるように、小領域をさらに小さい矩形領域に区画して、矩形領域内の画素値を加算あるいは加算平均して最小位置ズレ量および最大位置ズレ量を算出してもよい。また、図９に示されるように、斜め方向の画素値の加算平均により最小位置ズレ量および最大位置ズレ量を算出してもよい。さらに、図１０に示されるように、高解像度合成部９での合成画像生成時において補間された画素を用いず、配置された画素だけを使ってもよい。図中の網掛け画素は、画素配置されてない画素を示している。
【００５０】
さらに、相関量として、最大位置ズレ量と合計位置ズレ量との差分を採用したが、周辺の注目領域を含めた合計位置ズレ量の合計数を相関量として用いることにしてもよい。
【００５１】
また、本実施形態においては、合成比率算出部１３により算出された合成比率に従って、基準画像と合成画像とを合成することにより合成画像を補正することとしたが、これに代えて、図１１に示されるように、基準画像を用いることなく、合成画像をローパス効果の異なる２種類のフィルタ（第１および第２のフィルタ）１７，１８を備えるフィルタ処理部１９にかけて、フィルタ処理後の画像を合成比率算出部１３により算出された合成比率に従って合成することにしてもよい。このようにすることで、相関量が小さい領域では、ローパス効果の高いフィルタ１７により処理された画像の合成比率を高くして画像をぼかし、相関量が大きい領域では、ローパス効果の低いフィルタ１８により処理された画像の合成比率を高くして鮮明な画像を取得することができる。
【００５２】
これによっても、被写体の動きや位置ズレによるアーティファクトの発生を効果的に抑えることができるという利点がある。なお、ローパス効果の低いフィルタ１８としては、合成画像をそのまま出力する（フィルタをかけない）場合を含むものとする。
【００５３】
さらに、図１２に示されるように、ローパス効果の異なる２種類のフィルタ１７，１８により処理された２つの画像を合成比率算出部１３により算出された合成比率に従って合成する第１の補正を行う第１補正合成処理部２０と、第１の補正後の画像と基準画像とを合成比率算出部１３により算出された合成比率に従って合成する第２の補正を行う第２補正合成処理部２１とを備えていてもよい。第１の補正と第２の補正における合成比率のマップは、同じでもよいし異なっていてもよい。
【００５４】
また、本実施形態においては、高解像度合成部９が、画像取得部２のセンサシフト制御部８からのシフト制御情報に基づいて、位置合わせしながら、色チャネル毎の高解像度画像空間上に配置することとしたが、これに代えて、メモリ４に保存されている複数枚の画像を用いて画像間における画像全体のグローバルな動き量または領域毎のローカルな動き量を算出することでズレ量を検出し、検出されたズレ量に基づいて高解像度画像を生成することにしてもよい。例えば、３２×３２画素を１ブロックとする分割領域毎にブロックマッチング法等を用いて水平方向と垂直方向の動きベクトルを取得する。取得する動き情報は、水平方向および垂直方向の動きだけではなく、回転方向や拡大縮小の変化でもよい。
【００５５】
また、本実施形態に係る画像処理方法は、回路からなる画像処理装置３によって実行される場合の他、コンピュータにより実行することができる画像処理プログラムによっても実施することができる。この場合、ＣＰＵ等のプロセッサが画像処理プログラムを実行することで、本実施形態に係る画像処理方法が実施される。
【００５６】
具体的には記憶媒体に記憶された画像処理プログラムが読み出され、読み出された画像処理プログラムがＣＰＵ等のプロセッサにより実行される。ここで、記憶媒体は、プログラムやデータ等を格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ハードディスクドライブあるいはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。
【００５７】
また、本実施形態においては、図１３に示されるように、センサシフト制御部８、高解像度合成部９、位置ズレ分布算出部１０、相関量算出部１１および画像補正部１２を制御する撮影処理制御部２２を備えていてもよい。
撮影処理制御部２２は、図１４Ａに示されるように、撮影モードを判定し（ステップＳ１１）、撮影モードが三脚モードの場合には、センサシフト制御部８をＯＮに設定し（ステップＳ１２）、複数枚の撮影を行わせ（ステップＳ１３）、センサシフト制御部８からの画像間のシフト制御情報が高解像度合成部９に送られる（ステップＳ１４）。
【００５８】
撮影モードが手持ちモードの場合には、撮影処理制御部２２はセンサシフト制御部８をＯＦＦに設定し（ステップＳ１５）、複数枚の撮影を行わせ（ステップＳ１６）、高解像度合成部９の画素ズレ検出部２３に複数枚の画像を送って、ズレ量が検出される（ステップＳ１７）。
手持ちモードであっても、複数枚撮影間で動きがでるように撮影できればよいため、あえてセンサシフト制御部８をＯＮに設定してもよい。
【００５９】
撮影処理制御部２２は、この後に、高解像度合成部９において、複数枚の画像の合成を行わせ（高解像度合成ステップＳ１８）、合成されたＧｒとＧｂの合成画像から位置ズレ分布算出部１０において位置ズレ分布を算出させ（位置ズレ分布算出ステップＳ１９）、相関量算出部１１において相関量を算出させる（相関量算出ステップＳ２０）。
【００６０】
撮影処理制御部２２は、画像補正に使用する合成比率を決定するためのマップをＩＳＯ感度、露光バラツキおよびフリッカによって決定するようになっている。
まず、撮影処理制御部２２は、図１４Ｂに示されるように、画像取得部２から複数枚撮影時のＩＳＯ感度を取得し、ＩＳＯ感度が低感度、中感度、高感度のいずれに該当するかに応じて、第１閾値および第２閾値が異なるマップを選択する（ステップＳ２１）。ＩＳＯ感度が高いほどノイズが増えるので、第１閾値および第２閾値を小さくし、合成画像またはローパス効果の低いフィルタ１８がかけられた合成画像の合成比率が高く設定されるようになっている（ステップＳ２２，Ｓ２３，Ｓ２４）。
【００６１】
次に、撮影処理制御部２２は、複数枚数撮影時の画像間における露光バラツキの有無を検出し（ステップＳ２５）、露光バラツキが検出された場合には、検出された露光バラツキに応じて、上記において設定された第１閾値および第２閾値が小さくなるように調節する（ステップＳ２６）。露光バラツキが大きくなるとレベル差が発生するので、第１閾値および第２閾値を小さくして、合成画像またはローパス効果の低いフィルタ１８がかけられた合成画像の合成比率が高く設定される。
【００６２】
さらに、撮影処理制御部２２は、複数枚撮影時の画像間におけるフリッカの有無を検出し（ステップＳ２７）、フリッカが検出された場合には、検出されたフリッカ量に応じて、上記において設定された第１閾値および第２閾値が小さくなるように調節する（ステップＳ２８）。フリッカ量が大きくなっても、レベル差が発生するので、第１閾値および第２閾値を小さくして、合成画像またはローパス効果の低いフィルタ１８がかけられた合成画像の合成比率が高く設定され、合成画像の補正が行われ（画像補正ステップＳ２９）、補正された合成画像が保存される（ステップＳ３０）。
【００６３】
このようにして設定されたマップが画像補正部１２において使用されることにより、画素値が小さく、あるいは、動きが微妙である場合のように差分値が小さくなってノイズに埋もれてしまう状況においても、被写体の動きや位置ズレによるアーティファクトの発生をより確実に防止することができ、かつ、画像の解像度の向上を図ることができる。
なお、撮影処理制御部２２は、画像補正部１２における画像補正の方法を切り替えることにしてもよい。
【符号の説明】
【００６４】
１  撮像装置
２  画像取得部
３  画像処理装置
６  撮像素子
９  高解像度合成部
１０  位置ズレ分布算出部
１１  相関量算出部
１２  画像補正部
１７，１８  フィルタ
Ｓ１，Ｓ１８  高解像度合成ステップ
Ｓ２，Ｓ１９  位置ズレ分布算出ステップ
Ｓ３，Ｓ２０  相関量算出ステップ
Ｓ４，Ｓ２９  画像補正ステップ
【図１】
2016207990.tif 000003
【図２】
2016207990.tif 000004
【図３Ａ】
2016207990.tif 000005
【図３Ｂ】
2016207990.tif 000006
【図４】
2016207990.tif 000007
【図５】
2016207990.tif 000008
【図６】
2016207990.tif 000009
【図７】
2016207990.tif 000010
【図８】
2016207990.tif 000011
【図９】
2016207990.tif 000012
【図１０】
2016207990.tif 000013
【図１１】
2016207990.tif 000014
【図１２】
2016207990.tif 000015
【図１３】
2016207990.tif 000016
【図１４Ａ】
2016207990.tif 000017
【図１４Ｂ】
2016207990.tif 000018
【国際調査報告】
2016207990.tif 000019
2016207990.tif 000020
2016207990.tif 000021
2016207990.tif 000022