(57)【要約】【課題】  画素間引きや画素加算によって隣り合う画素の重心の間隔が不均一になる場合でも、超解像度処理を実施した後の画像の劣化を抑制する。【解決手段】  カラーフィルタアレイを有する撮像センサ１０１で結像された画像であり、且つ、画素加算または画素間引きを行うことによって、撮像センサ１０１に配置された画素数よりも少ない画素数の画像を複数入力する。入力した複数の画像の各画素の位置が、当該各画素の重心の撮像センサ１０１における相対的な位置関係を維持した位置になるように、当該各画素の画素値を、予め設定されたサイズの画像領域へ挿入する。【選択図】  図３
2014087014.tif 000002
【特許請求の範囲】
【請求項１】
カラーフィルタアレイを有し、複数の画素を有する撮像素子によって得られた画像であって、画素加算または画素間引きが行われた画像を入力する画像入力手段と、
前記画像入力手段により入力された前記画像を記憶する記憶手段と、
前記記憶手段により記憶された前記画像に基づいて、出力する画像のサイズに応じたサイズを有する画像を生成する画像生成手段と、
前記画像生成手段により生成された複数の前記画像の位置ズレ量を検出する検出手段と、
前記検出手段によって検出された位置ズレ量に基づいて、前記画像生成手段により生成された前記複数の画像の位置合わせを行う位置合わせ手段と、
前記位置合わせ手段によって位置合わせが行われた前記複数の画像を合成する合成手段と、を有し、
前記記憶手段は、前記画像入力手段により入力された前記画像の各画素の、前記撮像素子における当該各画素の相対的な位置関係を特定できる状態で、前記画像入力手段により入力された前記画像を記憶し、
前記画像生成手段は、前記記憶手段により記憶された前記画像の各画素の重心の、前記撮像素子における相対的な位置関係が維持されるように、当該各画素の画素値を配置して、出力する画像のサイズに応じたサイズを有する画像を生成することを特徴とする画像処理装置。
【請求項２】
前記画像生成手段は、
前記記憶手段により記憶された前記画像の各画素の、前記撮像素子における重心の相対的な位置関係が維持されるように、当該各画素の画素値を配置して、出力する画像のサイズに応じたサイズに拡大した拡大画像を、前記カラーフィルタアレイによって形成される色成分毎に生成する拡大画像生成手段と、
前記拡大画像生成手段により生成された、前記カラーフィルタアレイによって形成される色成分毎の前記拡大画像に基づいて輝度画像を生成する輝度画像生成手段と、を有し、
前記位置合わせ手段は、前記輝度画像生成手段により生成された前記輝度画像であって、前記画像入力手段により入力された複数の前記画像に基づく複数の前記輝度画像の位置合わせを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記拡大画像生成手段は、
前記記憶手段により記憶された前記画像であって、基準となる基準画像については、当該基準画像の各画素の、前記撮像素子における重心の相対的な位置関係が維持されるように、当該各画素の画素値を配置すると共に、その他の画素の画素値を当該配置した画素値に基づいて導出して配置することを、前記カラーフィルタアレイによって形成される色成分毎に行って、前記カラーフィルタアレイによって形成される色成分毎の前記拡大画像を生成し、
前記記憶手段により記憶された前記画像のうち、前記基準画像と異なる画像については、当該画像の各画素の、前記撮像素子における重心の相対的な位置関係が維持されるように、当該各画素の画素値を配置することを、前記カラーフィルタアレイによって形成される色成分毎に行うと共に、その他の画素のうち、他の色成分の少なくとも１つについて画素値が与えられている画素の画素値を当該配置した画素値に基づいて導出して配置することを、前記カラーフィルタアレイによって形成される色成分毎に行って、前記カラーフィルタアレイによって形成される色成分毎の前記拡大画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記輝度画像生成手段は、前記拡大画像生成手段により生成された、前記カラーフィルタアレイによって形成される色成分毎の前記拡大画像の相互に対応する画素の総和または加重平均を計算した結果を画素値として有する輝度画像を生成することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記記憶手段は、前記画像入力手段により入力された前記画像の各画素の重心の、前記撮像素子における相対的な位置関係が維持されるように、当該各画素の画素値を、出力する画像のサイズの画像領域に与えることにより、前記画像入力手段により入力された前記画像を記憶することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記出力する画像のサイズは、前記撮像素子のサイズの整数倍であることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
カラーフィルタアレイを有し、複数の画素を有する撮像素子によって得られた画像であって、画素加算または画素間引きが行われた画像を入力する画像入力工程と、
前記画像入力工程により入力された前記画像を記憶する記憶工程と、
前記記憶工程により記憶された前記画像に基づいて、出力する画像のサイズに応じたサイズを有する画像を生成する画像生成工程と、
前記画像生成工程により生成された複数の前記画像の位置ズレ量を検出する検出工程と、
前記検出工程によって検出された位置ズレ量に基づいて、前記画像生成工程により生成された前記複数の画像の位置合わせを行う位置合わせ工程と、
前記位置合わせ工程によって位置合わせが行われた前記複数の画像を合成する合成工程と、を有し、
前記記憶工程は、前記画像入力工程により入力された前記画像の各画素の重心の、前記撮像素子における当該各画素の相対的な位置関係を特定できる状態で、前記画像入力工程により入力された前記画像を記憶し、
前記画像生成工程は、前記記憶工程により記憶された前記画像の各画素の、前記撮像素子における重心の相対的な位置関係が維持されるように、当該各画素の画素値を配置して、出力する画像のサイズに応じたサイズを有する画像を生成することを特徴とする画像処理方法。
【請求項８】
前記画像生成工程は、
前記記憶工程により記憶された前記画像の各画素の、前記撮像素子における重心の相対的な位置関係が維持されるように、当該各画素の画素値を配置して、出力する画像のサイズに応じたサイズに拡大した拡大画像を、前記カラーフィルタアレイによって形成される色成分毎に生成する拡大画像生成工程と、
前記拡大画像生成工程により生成された、前記カラーフィルタアレイによって形成される色成分毎の前記拡大画像に基づいて輝度画像を生成する輝度画像生成工程と、を有し、
前記位置合わせ工程は、前記輝度画像生成工程により生成された前記輝度画像であって、前記画像入力工程により入力された複数の前記画像に基づく複数の前記輝度画像の位置合わせを行うことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記拡大画像生成工程は、
前記記憶工程により記憶された前記画像であって、基準となる基準画像については、当該基準画像の各画素の、前記撮像素子における重心の相対的な位置関係が維持されるように、当該各画素の画素値を配置すると共に、その他の画素の画素値を当該配置した画素値に基づいて導出して配置することを、前記カラーフィルタアレイによって形成される色成分毎に行って、前記カラーフィルタアレイによって形成される色成分毎の前記拡大画像を生成し、
前記記憶工程により記憶された前記画像のうち、前記基準画像と異なる画像については、当該画像の各画素の、前記撮像素子における重心の相対的な位置関係が維持されるように、当該各画素の画素値を配置することを、前記カラーフィルタアレイによって形成される色成分毎に行うと共に、その他の画素のうち、他の色成分の少なくとも１つについて画素値が与えられている画素の画素値を当該配置した画素値に基づいて導出して配置することを、前記カラーフィルタアレイによって形成される色成分毎に行って、前記カラーフィルタアレイによって形成される色成分毎の前記拡大画像を生成することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記輝度画像生成工程は、前記拡大画像生成工程により生成された、前記カラーフィルタアレイによって形成される色成分毎の前記拡大画像の相互に対応する画素の総和または加重平均を計算した結果を画素値として有する輝度画像を生成することを特徴とする請求項８又は９に記載の画像処理方法。
【請求項１１】
前記記憶工程は、前記画像入力工程により入力された前記画像の各画素の重心の、前記撮像素子における相対的な位置関係が維持されるように、当該各画素の画素値を、出力する画像のサイズの画像領域に与えることにより、前記画像入力工程により入力された前記画像を記憶することを特徴とする請求項７〜１０の何れか１項に記載の画像処理方法。
【請求項１２】
前記出力する画像のサイズは、前記撮像素子のサイズの整数倍であることを特徴とする請求項７〜１１の何れか１項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に、画素加算または画素間引きされた複数枚の画像を用いて、より高解像の画像を得るために用いて好適なものである。
【背景技術】
【０００２】
近年、デジタルカメラでは、撮像素子の画素数が増大したことから、高精細な画像を撮像することが可能になっている。しかしながら、画素数が増大したために、撮像素子からの画素信号の読み出しサイクル数が増大している。また、画素数の増大に伴って１画素の受光面が狭くなり、受光量が少なくなることによって感度が低下する。
このような問題に対し、画素信号の読み出し速度の改善方法として、画素間引きを実施する撮像センサが実用化されている。また、画素信号の読み出し速度と撮像素子の受光量の不足の改善方法として、画素加算を実施する撮像センサが実用化されている。特に、動画像のように画素数が比較的少なくてもよく、１枚の画像当たりの画素信号の読み出し時間が短いケースにおいてこれらの方法が活用されている。
【０００３】
また、複数の画像から、より高解像の画像を生成する方法として超解像処理と呼ばれている技術が用いられている。
前記画素間引きや画素加算による画像の読み出しと、前記超解像処理とを組み合わせることによって、動画像の撮影中に動画像よりもサイズが大きく且つ高精細な静止画像を生成したり、撮影された動画像から高精細な静止画像を生成したりすることができる。
画素間引きや画素加算によって画素数が減った画像を、超解像処理する方法に関しては、例えば、特許文献１や特許文献２に記載がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９６４１号公報
【特許文献２】特開２００８−３３９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像センサにおいて画素間引きや画素加算を行うことによって、撮像センサから読み出される画像上の画素の重心は、画素間引きや画素加算が行われる前の撮像センサ上の配列において、等間隔にならない場合がある。図９は、撮像センサ上のカラーフィルターアレイと、当該撮像センサから水平３画素・垂直３画素の画素加算を行って読み出した画素の一例を示す図である。
【０００６】
図９の左図は、撮像センサ上のカラーフィルターアレイ（画素の並び）を示している。図９の右図は、図９の左図に示す画素の並びに対して、水平３画素・垂直３画素の画素加算を実施した後の画素を、当該画素の重心と等価な位置に配置して示している。
図９において、赤画素９０１の右側の画素は、緑画素９０２であり、緑画素９０２と隣接している。緑画素９０２と、緑画素９０２の右側の画素の赤画素９０３との間には、４画素分の間隔がある。このように、隣り合う画素の重心の間隔が均一でないケースが存在する。
【０００７】
このような、隣り合う画素の重心の間隔が均一でないケースにおいて、画素間引きや画素加算によって得られる画像を用いて、従来のように画素の重心が等間隔であることを前提とした超解像処理を実施すると、画質の劣化が発生する問題があった。具体的には、斜め線が直線にならずに波打つ等の問題があった。
また、均一でない重心の間隔が均一になるように画素の重心を補正した後に超解像処理を実施するようなケースでは、重心の補正に伴う補正フィルタによって、高域成分が失われ、高解像化の効果が落ちるという問題があった。
本発明は、以上の問題点に鑑みてなされたものであり、画素間引きや画素加算によって隣り合う画素の重心の間隔が不均一になる場合でも、超解像度処理を実施した後の画像の劣化を抑制することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、カラーフィルタアレイを有し、複数の画素を有する撮像素子によって得られた画像であって、画素加算または画素間引きが行われた画像を入力する画像入力手段と、前記画像入力手段により入力された前記画像を記憶する記憶手段と、前記記憶手段により記憶された前記画像に基づいて、出力する画像のサイズに応じたサイズを有する画像を生成する画像生成手段と、前記画像生成手段により生成された複数の前記画像の位置ズレ量を検出する検出手段と、前記検出手段によって検出された位置ズレ量に基づいて、前記画像生成手段により生成された前記複数の画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせが行われた前記複数の画像を合成する合成手段と、を有し、前記記憶手段は、前記画像入力手段により入力された前記画像の各画素の、前記撮像素子における当該各画素の相対的な位置関係を特定できる状態で、前記画像入力手段により入力された前記画像を記憶し、前記画像生成手段は、前記記憶手段により記憶された前記画像の各画素の重心の、前記撮像素子における相対的な位置関係が維持されるように、当該各画素の画素値を配置して、出力する画像のサイズに応じたサイズを有する画像を生成することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画素間引きや画素加算によって隣り合う画素の重心の間隔が不均一になる場合でも、超解像度処理を実施した後の画像の劣化を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置の構成を示す図である。
【図２】画像処理装置による処理の概要を説明する図である。
【図３】入力画像を記憶する方法を説明する図である。
【図４】入力画像の相対的な位置関係を維持することを説明する図である。
【図５】１枚目の入力画像についての拡大画像と輝度画像を示す図である。
【図６】２枚目以降の入力画像についての拡大画像と輝度画像を示す図である。
【図７】位置ズレ量を検出する方法を説明する図である。
【図８】ＳＡＤを導出する方法を説明する図である。
【図９】カラーフィルターアレイと、画素加算を行った画素を示す図である。
【発明を実施するための形態】
【００１１】
以下に、図面を参照しながら、本発明の一実施形態を説明する。尚、各図では、説明の都合上、本実施形態の説明に必要な部分のみを示し、その他の部分の図示を省略している。
図１は、画像処理装置の構成の一例を示す図である。
図１において、画像処理装置１００は、撮像センサ１０１、位置ズレ量検出回路１０２、メモリ１０３、位置合わせ回路１０４、合成回路１０５、信号処理回路１０６、及び出力回路１０７を有する。
【００１２】
まず、これらの有する機能を簡単に説明する。
撮像センサ１０１は、カラーフィルタアレイと複数の画素とを有する撮像素子を有し、画素加算または画素間引きによって撮像センサ１０１上に配置された画素数よりも少ない画素数の画像を生成する。ここで、画素間引きとは、撮像センサ１０１上に配置された全画素の領域に対して設定された所定の範囲内の画素のうち１画素の画素値を読み出すことをいう。画素加算とは、撮像センサ１０１上に配置された全画素の領域に対して設定された所定の範囲内の同一色成分の画素値を加算して読み出すことをいう。
【００１３】
尚、ここでは、画像処理装置１００が撮像センサ１０１を有する場合（画像処理装置１００が撮像装置である場合）を例に挙げて示している。しかしながら、必ずしも画像処理装置１００が撮像センサ１０１を有している必要はない。すなわち、画像処理装置１００は、このような撮像センサ１０１で撮像された画像を入力する画像入力部を備えていればよい。例えば、このような撮像センサ１０１で撮像された画像を記憶したメモリカードから当該画像を入力して記憶してもよい。
【００１４】
メモリ１０３は、撮像センサ１０１から入力した画像を記憶する。位置ズレ量検出回路１０２は、メモリ１０３に記憶されている２枚の画像の位置ズレ量を検出する。位置合わせ回路１０４は、位置ズレ量検出回路１０２によって検出された位置ズレ量に基づいて、位置ズレをキャンセルするように画像を移動・変形させる。合成回路１０５は、位置合わせ回路１０４から出力された複数の画像を合成する。信号処理回路１０６は、合成回路１０５から出力された画像に対してガンマ（γ）補正等の信号処理を実施する。出力回路１０７は、信号処理回路１０６から出力された画像を出力する。例えば、出力回路１０７は、信号処理回路１０６から出力された画像を、画像処理装置１００の内部の記憶媒体や、画像処理装置１００に接続されたメモリカードに記憶する。また、出力回路１０７は、信号処理回路１０６から出力された画像を表示装置に表示してもよい。
【００１５】
図２は、画像処理装置１００による処理の概要の一例を説明する図である。
画像処理装置１００は、複数の入力画像２０１（画素加算または画素間引きされた画像）を取得する。そして、画像処理装置１００は、それらのうちの１つを基準画像２０２とし、残りの画像を基準画像２０２の位置に合わせ、それらを合成することで１つの超解像結果画像２０３を生成する画像生成処理を行う。超解像結果画像２０３は、１枚の入力画像２０１のサイズよりも大きいサイズを有する。すなわち、超解像結果画像２０３の画素数は、１枚である入力画像２０１の画素数よりも多い。
【００１６】
本実施形態では、複数の入力画像２０１は、カラーフィルタアレイを有する撮像センサ１０１で結像された画像であり、且つ、画素加算または画素間引きによって、撮像センサ１０１に配置された画素数よりも少ない画素数となった画像である。前述したように、画像処理装置１００は、必ずしも撮像センサ１０１を備えている必要はなく、このような複数の入力画像２０１を画像処理装置１００が入力するようにしていればよい。
本実施形態では、撮像センサ１０１上のカラーフィルタアレイがベイヤー配列のカラーフィルタアレイである場合を例に挙げて説明する。
【００１７】
本実施形態では、撮像センサ１０１によって入力した１枚目の入力画像は、基準画像２０２としてメモリ１０３に記憶される。このとき、入力画像の相互に隣接する画素の重心位置の（撮像センサ１０１における）相対的な位置関係の比率を維持したまま、最終出力画像である超解像結果画像（高解像画像）のサイズになるように当該入力画像のサイズを拡大してメモリ１０３に記憶する。ここで、画素加算を行った場合の入力画像の各画素の重心は、当該画素を求める際に使用した複数の画素の撮像センサ１０１における重心（例えば平均位置）である。一方、画素間引きを行った場合の入力画像の各画素の重心は、当該画素の撮像センサ１０１における位置である。
図３は、入力画像を記憶する方法の一例を説明する図である。図３では、撮像センサ１０１によって入力した入力画像が、水平３画素・垂直３画素の画素加算を行った画像であり、且つ、超解像処理の結果として、画素加算を行う前と同じサイズの画像を生成する場合を例に挙げて示す。尚、ここでは、画素加算を行う場合を例に挙げて説明するが、画素間引きを行う場合も、画素加算を行う場合と同じようにして入力画像を記憶することができるので、ここでは、その詳細な説明を省略する。
【００１８】
図３の一番右の図に示すように、画素加算を行った後の入力画像（画素加算画像）の画素を、撮像センサ１０１における当該画素の重心の位置に対応する位置へ挿入してメモリ１０３に記憶する。すなわち、画素加算を行った後の入力画像の各画素の位置が、撮像センサ１０１における当該各画素の重心の相対的な位置関係を保つ位置になるようにする。本実施形態では、このようにすることにより、当該各画素の撮像センサ１０１における相対的な位置関係を特定できる状態になる。
前述したように、図３では、撮像センサ１０１と同じ画素数の超解像結果画像を生成する場合を例に挙げて示している。しかしながら、必ずしも、撮像センサ１０１と同じ画素数の超解像結果画像を生成する必要はない。撮像センサ１０１と同じ画素数を上回る画素数の超解像結果画像を生成しても、入力画像の画素数を上回り且つ撮像センサ１０１の画素数を下回る画素数の超解像結果画像を生成してもよい。すなわち、入力画像の相互に隣接する画素間の重心の位置の、撮像センサ１０１における相対的な位置関係を維持して入力画像をメモリ１０３に記憶していればよい。例えば、撮像センサ１０１の整数倍の超解像結果画像を生成することができる。
【００１９】
図４は、入力画像の相互に隣接する画素の重心の、撮像センサ１０１における相対的な位置関係を維持することを説明する図である。図４では、水平３画素の画素加算を行う場合を例に挙げて示す。
図４に示すように、撮像センサ１０１における画素４０１と画素４０２の重心の間隔は１画素である。また、撮像センサ１０１における画素４０２と画素４０３の重心の間隔は５画素である。よって、「画素４０１、４０２の水平方向の間隔：画素４０２、４０３の水平方向の間隔＝１：５」の関係を維持したまま、予め設定された所望のサイズの画像領域へ各画素の画素値を挿入する。尚、図４は、水平方向についてのみ記載してあるが、垂直方向についても水平方向と同様にして、入力画像の相互に隣接する画素の重心の、撮像センサ１０１における相対的な位置関係を維持するようにすることができるので、ここでは、その詳細な説明を省略する。
【００２０】
図３において、メモリ１０３に記憶する入力画像の隙間３０１の画素には、次のようにして画素値を敷き詰める。すなわち、前述した所望サイズの画像領域へ挿入した画素値から、補間によって隙間３０１の画素値を求め、当該画像領域の全ての隙間３０１の画素に対して画素値を与える。ここで行う補間は、例えば、バイリニア補間やバイキュービック補間等、一般的な画素補間アルゴリズムで構わない。
このようにして、カラーフィルタアレイによって形成される色成分毎に所望サイズの拡大画像を生成してメモリ１０３に記憶する拡大画像生成処理が行われる。その後、これら色成分毎の拡大画像から、同一の画素の各成分の画素値の総和または荷重平均を全ての画素について計算し、各画素が計算した画素値を有する輝度画像を生成してメモリ１０３に記憶する輝度画像生成処理が行われる。
【００２１】
図５は、１枚目の入力画像についての色成分毎の拡大画像と輝度画像の一例を示す図である。
図５において、赤画像の画素値をＲ、緑画像１の画素値をＧ１、緑画像２の画素値をＧ２、青画像の画素値をＢとすると、輝度画像の画素値Ｙは、以下の（１）式で表される。
Ｙ＝[３Ｒ＋６（Ｇ１＋Ｇ２）＋Ｂ]／１０  ・・・（１）
このようにして生成した拡大画像（色成分毎の拡大画像及び輝度画像）を、合成の基準画像とする。
【００２２】
次に、２枚目以降の入力画像の処理方法について説明する。
図６は、２枚目の入力画像についての色成分毎の拡大画像と輝度画像の一例を示す図である。
２枚目以降の入力画像も、１枚目の入力画像と同様に、入力画像の各画素の重心の、撮像センサ１０１における相対的な位置関係を維持したまま、予め設定された所望のサイズの画像領域に当該入力画像の画素値を配置する。
しかし、２枚目以降の入力画像については、色成分毎の拡大画像を生成する際に、全ての画素を補間する必要はない。図６に示すように、或る色成分において隙間となっている画素の位置のうち、他の少なくとも何れか１つの色成分が存在する画素の位置に、補間を行うことにより得られる当該或る色成分の画素値を与えることを、全ての色成分の入力画像について行う。そして、同一の画素の各成分の画素値の総和または加重平均を全ての画素について計算し、各画素が計算した画素値を有する輝度画像を生成する。このように、２枚目以降の入力画像に対応する輝度画像には、画素値がない（画素値が０（ゼロ））の画素が存在することになる。
【００２３】
図１の説明に戻り、位置ズレ量検出回路１０２は、２枚目以降の入力画像に対応する輝度画像の、基準画像に対応する輝度画像に対する位置ズレ量を検出する。
図７は、２枚目以降の入力画像に対応する輝度画像の、基準画像に対応する輝度画像に対する位置ズレ量を検出する方法の一例を説明する図である。
図７に示すように、基準画像に対応する輝度画像と、２枚目以降の入力画像に対応する輝度画像を小領域７０１、７０２に分割する。そして、基準画像に対応する輝度画像の小領域７０１に対して位置ズレが全くないとみなした場合の、２枚目以降の入力画像に対応する輝度画像の小領域７０２を中心とする所定の探索範囲を設定する。そして、設定した探索範囲において、両輝度画像の相互に対応する画素間の画素値の差の絶対値の総和が最小となる位置を位置ズレ量とみなす。以下の説明では、両輝度画像の対応する画素間の画素値の差の絶対値の総和を必要に応じて、ＳＡＤと称する。
【００２４】
図８は、ＳＡＤを導出する方法の一例を説明する図である。具体的に図８（ａ）は、位置ズレ量(0,0)の場合のＳＡＤを導出する方法の一例を説明する図であり、図８（ｂ）は、位置ズレ量(1,2)の場合のＳＡＤを導出する方法の一例を説明する図である。
位置ズレ量(n,m)におけるＳＡＤは、次のようにして求めることができる。まず、位置ズレ量(0,0)の場合に対して、基準画像に対応する輝度画像の参照位置を(n,m)だけずらした位置の輝度画像の画素値Ｙを読み出す。次に、２枚目以降の入力画像に対応する輝度画像の画素であって、当該位置に対応する画素の画素値を読み出す。そして、読み出した基準画像に対応する輝度画像の画素値Ｙと、２枚目以降の入力画像に対応する輝度画像の画素値との差の絶対値を計算する。このような画素値の差の絶対値の計算を、画素加算された画素の全てについて行い、それらの総和をＳＡＤとする。この位置ズレ量(n,m)が探索範囲７０３の全領域を網羅するようにＳＡＤの値を求め、求めたＳＡＤの値が最小となる位置ズレ量(n,m)を位置ズレ量と定義する。
この位置ズレ量の算出を、基準画像に対応する輝度画像の全ての小領域７０１（図７（ａ）に示す全ての升目）に対して行い、全ての小領域７０１に対応する位置ズレ量を算出する。
図８（ａ）、図８（ｂ）に示す例では、ＳＡＤの値は以下の（２）式で計算される。
ＳＡＤ＝｜Y1−y1｜＋｜Y2−y2｜＋｜Y3−y3｜＋｜Y4−y4｜＋｜Y5−y5｜＋｜Y6−y6｜＋｜Y7−y7｜＋｜Y8−y8｜＋｜Y9−y9｜＋｜Ya−ya｜＋｜Yb−yb｜＋｜Yc−yc｜＋｜Yd−yd｜＋｜Ye−ye｜＋｜Yf−yf｜＋｜Yg−yg｜  ・・・（２）
【００２５】
位置合わせ回路１０４は、位置ズレ量検出回路１０２によって求められた、全ての小領域７０１における位置ズレ量に基づいて、２枚目以降の入力画像に対応する輝度画像の位置ズレ量をキャンセルするように、２枚目以降の入力画像に対応する輝度画像を変形する。
合成回路１０５は、位置合わせ回路１０４によって変形された２枚目以降の入力画像に対応する輝度画像を、基準画像に対応する輝度画像へ合成し、メモリ１０３へ記憶する。
これら一連の処理を、２枚目以降の全ての入力画像に対して実施すると、２枚目以降の全ての入力画像に対応する輝度画像が合成された、基準画像に対応する輝度画像がメモリ１０３に記憶される。信号処理回路１０６は、この合成後の基準画像に対応する輝度画像に対して、ガンマ（γ）補正等の信号処理を実施して、出力回路１０７へ出力する。
【００２６】
以上のように本実施形態では、カラーフィルタアレイを有する撮像センサ１０１で結像された画像であり、且つ、画素加算または画素間引きを行うことによって、撮像センサ１０１に配置された画素数よりも少ない画素数の画像を複数入力する。入力した複数の画像の各画素の位置が、当該各画素の重心の撮像センサ１０１における相対的な位置関係を維持した位置になるように、当該各画素の画素値を、予め設定されたサイズの画像領域へ挿入する。そして、基準画像については、前記画像領域の画素値が０（ゼロ）の全ての領域（隙間）について補間を行うことを色成分毎に行って、色成分毎の拡大画像を生成し、この色成分毎の拡大画像から輝度画像を生成する。一方、基準画像以外の画像については、前記画像領域の画素値が０（ゼロ）の全ての領域（隙間）のうち、他の色成分の画素値を有する画素についてのみ補間を行って、色成分毎の拡大画像を生成し、この色成分毎の拡大画像から輝度画像を生成する。そして、基準画像に対応する輝度画像の位置に、その他の画像に対応する輝度画像の位置を合わせた上で、これらの輝度画像を合成する。
このように、本実施形態では、画素間引きや画素加算によって発生する色ごとの重心のズレを踏まえ、高解像化後の輝度画像の位置ズレ量の検出の際に、重心のズレによる色ごとの相対的な位置関係を維持し、且つ、輝度画像の合成時にも重心のズレによる色ごとの相対的な位置関係を維持する。したがって、不自然な高周波域折り返り現象（モアレ）や、不自然なボケを低減することができる。よって、画素間引きや画素加算によって隣り合う画素の重心の間隔が不均一になる場合でも、超解像度処理を実施した後の画像の劣化を抑制することができる。
【００２７】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００２８】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００２９】
１０１  撮像センサ、１０２  位置ズレ量検出回路、１０３  メモリ、１０４  位置合わせ回路
【図１】
2014087014.tif 000003
【図２】
2014087014.tif 000004
【図３】
2014087014.tif 000005
【図４】
2014087014.tif 000006
【図５】
2014087014.tif 000007
【図６】
2014087014.tif 000008
【図７】
2014087014.tif 000009
【図８】
2014087014.tif 000010
【図９】
2014087014.tif 000011