(57)【要約】【課題】輝度レベルの差異を、合成後の画像からは見えない程度にまで精密に補正でき、かつ補正処理による合成後画像の解像を劣化させることのない画像処理装置およびその方法、並びに撮像装置を提供する。【解決手段】時間的に連続する複数の画像間の動きベクトルを検出する画像変位検出部１３と、少なくとも画像間の輝度ばらつき調整を行う画像補正部１６と、輝度ばらつき調整を行うための画像補正係数を算出する補正係数算出部１５と、輝度ばらつき調整を施された複数の画像を合成して複数の画像より高解像の画像を得る画像合成部１７と、を有し、補正係数算出部１５は、複数の領域に分割した領域単位で補正係数を算出し、算出した補正係数に対して隣接する領域の境界部が不連続とならないようにエッジ処理を行う。【選択図】図１
2011114671.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する複数の画像を間の動きベクトルを検出する画像変位検出部と、
少なくとも前記画像間の輝度ばらつき調整を行う画像補正部と、
前記輝度ばらつき調整を行うための補正係数を算出する補正係数算出部と、
前記輝度ばらつき調整を施された前記複数の画像を合成して当該複数の画像より高解像の画像を得る画像合成部と、を有し、
前記補正係数算出部は、
前記画像を複数の領域に分割した領域単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記領域の境界部が不連続とならないようにエッジ処理を行う
画像処理装置。
【請求項２】
前記動きベクトルから前記複数の画像の共通エリアを抽出する抽出部を有し、
前記補正係数算出部は、
前記共通エリアについて前記補正係数を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記補正係数算出部は、
前記共通エリアを小ブロックに分割し、
前記ブロック単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記ブロックの境界部が不連続とならないようにエッジ処理を行う
請求項２に記載の画像処理装置。
【請求項４】
前記補正係数算出部は、
前記共通エリアから特徴領域を抽出し、
前記特徴領域単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記特徴領域の境界部が不連続とならないようにエッジ処理を行う
請求項２に記載の画像処理装置。
【請求項５】
前記補正係数算出部は、
前記エッジ処理として、算出した前記補正係数に対してローパスフィルタ処理を施す
請求項１から４のいずれか一に記載の画像処理装置。
【請求項６】
時間的に連続する複数の画像間の動きベクトルを検出する画像変位検出ステップと、
少なくとも前記画像間の輝度ばらつき調整を行う画像補正ステップと、
前記輝度ばらつき調整を行うための補正係数を算出する補正係数算出ステップと、
前記輝度ばらつき調整を施された前記複数の画像を合成して当該複数の画像より高解像の画像を得る画像合成ステップと、を有し、
前記補正係数算出ステップでは、
前記複数の領域に分割した領域単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記領域の境界部が不連続とならないようにエッジ処理を行う
画像処理方法。
【請求項７】
前記補正係数算出ステップでは、
動きベクトルから前記複数の画像の共通エリアを抽出し、当該共通エリアについて前記補正係数を算出する
請求項６に記載の画像処理方法。
【請求項８】
前記補正係数算出ステップでは、
前記共通エリアを小ブロックに分割し、
前記ブロック単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記ブロックの境界部が不連続とならないようにエッジ処理を行う
請求項７に記載の画像処理方法。
【請求項９】
前記共通エリアから特徴領域を抽出し、
前記補正係数算出ステップでは、
前記特徴領域単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記特徴領域の境界部が不連続とならないようにエッジ処理を行う
請求項７に記載の画像処理方法。
【請求項１０】
前記補正係数算出ステップでは、
前記エッジ処理として、算出した前記補正係数に対してローパスフィルタ処理を施す
請求項６から９のいずれか一に記載の画像処理方法。
【請求項１１】
時間的に連続する複数の画像を取り込む画像取得部と、
前記画像間の動きベクトルを検出する画像変位検出部と、
少なくとも前記画像間の輝度ばらつき調整を行う画像補正部と、
前記輝度ばらつき調整を行うための補正係数を算出する補正係数算出部と、
前記輝度ばらつき調整を施された前記複数の画像を合成して当該複数の画像より高解像の画像を得る画像合成部と、を有し、
前記補正係数算出部は、
前記複数の領域に分割した領域単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記領域の境界部が不連続とならないようにエッジ処理を行う
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体像を撮像素子に撮像して得られた画像を処理する画像処理装置およびその方法、並びに撮像装置に関するものである。
【背景技術】
【０００２】
デジタルカメラ、監視カメラ、カメラ付き携帯電話など２次元エリアセンサを使った撮像装置が普及している。
【０００３】
しかし、画像(静止画・動画)取得システムに、コスト、サイズや消費電力等の制限があり、そのままでは、必ずしも望む解像度の画像が得られない場合がある。
画像処理の分野において、光学系を含めた撮像部の性能以上の高解像度データを得ることができる信号処理が望まれている。
【０００４】
画素数の少ない画像データから、信号処理により高解像度化する技術が広く知られている（非特許文献１参照）。
【０００５】
これまでのアプローチとしては主に、１枚の画像から復元する試みと、複数枚画像を利用する手法とに大きく分けられる。
前者は比較的処理負荷が軽いが、そもそも低解像度画像に含まれる信号の周波数帯域が限られるため、１枚の低解像度画像だけから超解像度の画像を生成することには限界がある。
複数の低解像度画像を用い、その情報を統合することで高解像度画像を生成する後者の手法の方が復元性能は良い。
【０００６】
複数枚の低解像度画像を用いる手法では、手振れなどにより任意の位置・方向で撮影された複数の画像データを、信号処理により位置合わせおよび統合する方法が提案されている。
しかし、各画像に明るさや色相の差異がある場合、特に輝度レベルの差異は、合成後の画質を大きく劣化させる要因となる。
【０００７】
この問題を解決するための一つの方法として、異なる画像間の重なっている領域に対し、その領域での輝度を比較して同じになるように補正すればよいというのが基本的な考え方である。
このような考え方に基づく方法として線形濃淡変換法などがある（非特許文献２、p.1159〜1160参照）。
また、局所的コントラスト変換法として領域分割による局所的な濃淡分布の情報を基に標準偏差等で代表される相対的変動を局所的に調整する方法も知られている（非特許文献２、p.1175〜1176参照）
また別の種類の考え方として、合成後の画像データに平滑化フィルタをかけて輝度の急激な変化を抑制する方法もある（非特許文献２、p.1899〜1900参照）。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】S.C. Park, M.K. Park, M.G. Kang：  “Super-Resolution Image Reconstruction：A Technical overview,”  IEEE Signal Processing Magazine, vol.20, no.3, pp.21-36, 2003.
【非特許文献２】高木幹雄、下田陽久監修「新編 画像解析ハンドブック」東京大学出版会  2004年9月、p.1159〜1160, p.1175〜1176, p.1899〜1900
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところが、線形濃淡変換法では、画像全体の輝度補正はできるが、場所に応じた細かい輝度補正ができないという欠点がある。
【００１０】
局所的コントラスト変換法では、領域分割によってブロック毎の補正係数が変化することから、ブロック境界部において輝度の不連続な部分が発生する。
【００１１】
また、合成後の画像データに平滑化フィルタをかけて輝度の急激な変化を抑制する方法では、輝度ムラを検出しているのではないため、輝度ムラ以外に元々の画像が持っていた情報まで失う可能性がある。
【００１２】
本発明の目的は、輝度レベルの差異を、合成後の画像からは見えない程度にまで精密に補正でき、かつ補正処理による合成後画像の解像を劣化させることのない画像処理装置およびその方法、並び撮像装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の第１の観点の画像処理装置は、時間的に連続する複数の画像を間の動きベクトルを検出する画像変位検出部と、少なくとも前記画像間の輝度ばらつき調整を行う画像補正部と、前記輝度ばらつき調整を行うための補正係数を算出する補正係数算出部と、前記輝度ばらつき調整を施された前記複数の画像を合成して当該複数の画像より高解像の画像を得る画像合成部と、を有し、前記補正係数算出部は、前記画像を複数の領域に分割した領域単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記領域の境界部が不連続とならないようにエッジ処理を行う。
【００１４】
本発明の第２の観点の画像処理方法は、時間的に連続する複数の画像間の動きベクトルを検出する画像変位検出ステップと、少なくとも前記画像間の輝度ばらつき調整を行う画像補正ステップと、前記輝度ばらつき調整を行うための補正係数を算出する補正係数算出ステップと、前記輝度ばらつき調整を施された前記複数の画像を合成して当該複数の画像より高解像の画像を得る画像合成ステップと、を有し、前記補正係数算出ステップでは、前記複数の領域に分割した領域単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記領域の境界部が不連続とならないようにエッジ処理を行う。
【００１５】
本発明の第３の観点の撮像装置は、時間的に連続する複数の画像を取り込む画像取得部と、前記画像間の動きベクトルを検出する画像変位検出部と、少なくとも前記画像間の輝度ばらつき調整を行う画像補正部と、前記輝度ばらつき調整を行うための補正係数を算出する補正係数算出部と、前記輝度ばらつき調整を施された前記複数の画像を合成して当該複数の画像より高解像の画像を得る画像合成部と、を有し、前記補正係数算出部は、前記複数の領域に分割した領域単位で前記補正係数を算出し、当該算出した補正係数に対して隣接する前記領域の境界部が不連続とならないようにエッジ処理を行う。
【発明の効果】
【００１６】
本発明によれば、輝度レベルの差異を、合成後の画像からは見えない程度にまで精密に補正でき、かつ補正処理による合成後画像の解像を劣化させることがないという利点がある。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理装置を採用した撮像装置の概略構成を示すブロック図である。
【図２】合成対象となるすべての画像の共通エリアを抽出する方法を説明するための図である。
【図３】補正対象エリアを小ブロックに分割する例を示す図である。
【図４】補正係数に対してＬＰＦ処理し、ブロック境界部の段差を除去した画像の例を示す図である。
【図５】補正対象エリアを特徴領域に分割して、補正係数に対してＬＰＦ処理を施す例を説明するための図である。
【図６】画像間での輝度補正後のヒストグラムの例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面に関連付けて説明する。
【００１９】
図１は、本発明の一実施形態に係る画像処理装置を採用した撮像装置の概略構成を示すブロック図である。
【００２０】
本実施形態に係る撮像装置１０は、撮像レンズ１１、撮像部１２、画像変位検出部１３、ウインドウ算出部１４、補正係数算出部１５、画像補正部１６、画像合成部１７、画像表示部１８、画像メモリ１９、メモリ制御回路２０、およびメモリバスＭＢＳを有する。
これらの構成要素のうち、撮像レンズ１１および撮像部１２により画像取得部が形成されている。
また、基本的に、画像変位検出部１３、ウインドウ算出部１４、補正係数算出部１５、画像補正部１６、画像合成部１７、画像表示部１８、画像メモリ１９、メモリ制御回路２０、およびメモリバスＭＢＳにより画像処理装置が形成されている。
【００２１】
撮像装置１０は、連続的に撮像された複数の画像に対して、信号処理による高解像度化処理が可能なカメラシステムとして形成される。
撮像装置１０は、たとえば動きベクトルから算出される合成対象となるすべての画像の共通エリアを使用して各画像間の輝度平均値が等しくなるように係数を算出し補正する。
撮像装置１０は、後述するように、補正精度向上の方法として、上記共通エリアを小ブロックに分割し、ブロック単位で補正係数を算出する。
ブロック単位で個別の係数を適用した場合、ブロック境界部において輝度が不連続となる部分が発生する場合があるため、補正係数に対し不連続とならないように処理するエッジ処理としてのローパスフィルタ処理をすることにより、不連続部分を変換してこの問題を回避する。
また別の方法として、撮像装置１０は、画像エリアから特徴領域を抽出し、領域単位で補正係数を算出して、上記と同様に領域毎の補正係数に対しローパスフィルタ（ＬＰＦ）処理を行う。
【００２２】
撮像レンズ１１は、被写体像を撮像部の撮像面に集光する。
撮像部１２は、絞り・シャッター、光電変換を行う撮像素子、映像信号のノイズ成分を除去するＣＤＳ回路、出力信号を増幅するゲインアンプ、アナログ画像信号をデジタル画像信号に変換するＡ／Ｄコンバータ、画像処理部を含んで構成されている。
撮像部１２により時間的に連続する複数の画像が取り込まれる。
撮像部１２の出力はＹＵＶまたはＲＧＢのデジタルデータであり、この時間的に連続する複数のデジタルデータは画像変位検出部１３に供給される。
【００２３】
画像変位検出部１３は、複数枚の入力画像の基準画像に対する変位を算出する。
画像変位検出部１３は、時間的に連続する画像間の動きベクトルを検出する機能を有する。
撮像装置１０において、画像メモリ１９は、複数枚画像を一時的に保存するバッファメモリであり、メモリ制御回路２０の制御の下、画像データと共に、変位データをインデックスとして保存する。
なお、画像変位検出部１３、画像合成部１７、画像メモリ１９、およびメモリ制御回路２０は、メモリバスＭＢＳにより接続されている。
【００２４】
抽出部としてのウインドウ算出部１４は、画像変位検出部１３の検出結果を受けて、連続的に撮像された複数の画像に対して、動きベクトルから算出される対象画像すべての共通エリアを抽出する。
ウインドウ算出部１４は、抽出結果を補正係数算出部１５および画像補正部１６に供給する。
ウインドウ算出部１４での計算方法は、後で詳述する。
【００２５】
補正係数算出部１５は、補正対象エリアの輝度平均値が等しくなるように輝度ばらつき調整を行うための補正係数を算出する。補正係数算出部１５は、動きベクトルから抽出された共通エリアについて補正係数を算出する。
補正係数算出部１５は、共通エリアを複数の領域に分割した領域単位で補正係数を算出し、算出した補正係数に対して隣接する領域の境界部が不連続とならないようにエッジ処理を行う。
補正係数算出部１５は、第１の方法として、共通エリアを小ブロックに分割し、ブロック単位で補正係数を算出し、算出した補正係数に対して隣接する前記ブロックの境界部が不連続とならないようにエッジ処理を行う。
また、補正係数算出部１５は、第２の方法として、共通エリアから特徴領域を抽出し、特徴領域単位で補正係数を算出し、算出した補正係数に対して隣接する特徴領域の境界部が不連続とならないようにエッジ処理を行う。
補正係数算出部１５は、エッジ処理として、算出した補正係数に対してローパスフィルタ処理を施す。
補正係数算出部１５の第１の方法および第２の方法については後で具体的に説明する。
【００２６】
画像補正部１６は、補正係数算出部１５で算出された補正係数に基づき演算処理を行う。
画像補正部１６は、補正係数算出部１５で算出された補正係数に基づき画像間の輝度ばらつき調整を行う。
画像合成部１７は、画像補正部１６で輝度ばらつき調整を施された複数の画像を合成して複数の画像より高解像の画像を得る。
画像合成部１７は、複数枚の画像を位置変位情報に基づき合成処理し、液晶表示装置等の画像表示部１８に表示する。
【００２７】
以上、撮像装置１０の構成および機能について説明した。
以下に、ウインドウ算出部１４での計算方法、補正係数算出部１５における第１の方法および第２の方法についてより具体的に説明する。
【００２８】
図２は、合成対象となるすべての画像の共通エリアを抽出する方法を説明するための図である。
【００２９】
ウインドウ算出部１４での計算方法としては、図２のような４枚合成の場合を例として挙げる。
すなわち、本例では、フレームＦＬＭａ、ＦＬＭａ＋１、ＦＬＭａ＋２、ＦＬＭａ＋３の４枚の画像（フレーム）を合成する。
このとき、フレームＦＬＭａを基準画像ＲＦＲとする。
【００３０】
ここで、水平方向画像サイズ、垂直方向画像サイズ、合成画像１枚目の画像ＦＬＭａ＋１の基準画像ＲＦＲに対する変位、合成画像２枚目の画像ＦＬＭａ＋２の基準画像ＲＦＲに対する変位、合成画像３枚目の画像ＦＬＭａ＋３の基準画像ＲＦＲに対する変位を次のように定義する。
【００３１】
水平方向画像サイズ：XSIZE
垂直方向画像サイズ：YSIZE
合成画像１枚目の画像ＦＬＭａ＋１の基準画像ＲＦＲに対する変位：Δx1, Δｙ1,（右・下を＋方向とする）
合成画像２枚目の画像ＦＬＭａ＋２の基準画像ＲＦＲに対する変位：Δx2, Δｙ2,（同上）
合成画像３枚目の画像ＦＬＭａ＋３の基準画像ＲＦＲに対する変位：Δx3, Δｙ3,（同上）
【００３２】
基準画像ＲＦＲの左上座標を（1,1)、右下座標を（XSIZE, YSIZE)とすると、求めるウインドウの座標は以下計算式で表される。
【００３３】
［数１］
左上座標(xs,ys)
xs：max（0, Δx1, Δx1+Δx2, Δx1+Δx2+Δx3）
ys：max（0, Δy1, Δy1+Δy2, Δy1+Δy2+Δy3）
右下座標(xe,ye)
xe：XSIZE−min（0, Δx1, Δx1+Δx2, Δx1+Δx2+Δx3）
ye：YSIZE−min（0, Δy1, Δy1+Δy2, Δy1+Δy2+Δy3）
【００３４】
図２において、符号ＣＭＡで示す領域が共通エリアである。
【００３５】
図３は、補正対象エリアを小ブロックに分割する例を示す図である。
図４は、補正係数に対してＬＰＦ処理し、ブロック境界部の段差を除去した画像の例を示す図である。
【００３６】
補正係数算出部１５は、補正対象エリアの輝度平均値が等しくなるように補正係数を算出する。
上記補正の対象エリアである共通エリアＣＭＡを、図３に示すように、小ブロックＢＬＫ１０〜ＢＬＫ４３に分割して処理することにより、精度の向上を図ることができる。
図３の例では、４×４の１６個の小ブロックＢＬＫ１０〜ＢＬＫ１３、ＢＬＫ２０〜ＢＬＫ２３、ＢＬＫ３０〜ＢＬＫ３３、ＢＬＫ４０〜ＢＬＫ４３に分割されている。
ただし、ブロック単位で個別の補正係数を適用した場合、ブロック境界部において輝度が不連続となる部分が発生するため、補正係数に対しローパスフィルタ（ＬＰＦ）処理することにより、補正係数の不連続な部分を変換する。
【００３７】
図４は、ローパスフィルタ（ＬＰＦ）として、次のσ=1.0のガウシアンフィルタを適用した例である。
【００３８】
【数２】
2011114671.tif 000003
【００３９】
以上では第１の方法について説明した。
次に、第２の方法について説明する。
図５は、補正対象エリアを特徴領域に分割して、補正係数に対してＬＰＦ処理を施す例を説明するための図である。
【００４０】
この方法では、補正係数算出部１５が、図５に示すように、画像エリアから特徴領域ＦＡＲＡ１〜ＦＡＲＡ１８を抽出し、領域単位で補正係数を算出する。
領域抽出の方法としては、エッジベースの領域抽出（画像からエッジを抽出し連結することで領域を抽出）や領域ベースの領域抽出（輝度値が同様な画素を連結することで領域を抽出）などが用いることができる。
上記と同様に領域毎の補正係数に対しローパスフィルタ処理を行う。
【００４１】
画像補正部１６は補正係数算出部１５で算出された係数に基づき演算処理を行う。画像合成部１７は複数枚の画像を位置変位情報に基づき合成処理し合成画像を画像表示部１８に表示する。
【００４２】
図６（Ａ）〜（Ｄ）は、画像間での輝度補正後のヒストグラムの例を示す図である。
図６（Ａ）は画像全エリアを対象に補正した場合のヒストグラムの例を示している。
図６（Ｂ）は動きベクトルから算出される共通エリアを対象に補正した場合のヒストグラムの例を示している。
図６（Ｃ）は共通エリアを１６分割し補正した場合のヒストグラムの例を示している。
図６（Ｄ）は補正対象エリアを特徴領域に分割した場合のヒストグラムの例を示している。
【００４３】
図からわかるように、「画像全エリアを対象に補正した場合」、「ベクトルから算出される共通エリアを対象に補正した場合」、「共通エリアを１６分割し補正した場合」、「補正対象エリアを特徴領域に分割した場合」の順で精度が向上する。
【００４４】
以上説明したように、本実施形態によれば、少なくとも画像間の輝度ばらつき調整を行う画像補正部１６と、輝度ばらつき調整を行うための画像補正係数を算出する補正係数算出部１５と、輝度ばらつき調整を施された複数の画像を合成して複数の画像より高解像の画像を得る画像合成部１７と、を有する。
そして、補正係数算出部１５は、複数の領域に分割した領域単位で補正係数を算出し、算出した補正係数に対して隣接する領域の境界部が不連続とならないようにエッジ処理を行う。
補正係数算出部１５は、補正精度向上の方法として、上記共通エリアを小ブロックに分割し、ブロック単位で補正係数を算出する。
ブロック単位で個別の係数を適用した場合、ブロック境界部において輝度が不連続となる部分が発生する場合があるため、補正係数に対し不連続とならないように処理するエッジ処理としてのローパスフィルタ処理することにより、不連続部分を変換する。
また、補正係数算出部１５は、画像エリアから特徴領域を抽出し、領域単位で補正係数を算出して、上記と同様に領域毎の補正係数に対しローパスフィルタ（ＬＰＦ）処理を行う。
したがって、本実施形態によれば、以下の効果を得ることができる。
すなわち、本実施形態によれば、複数の低解像度画像を用いてその情報を統合することで高解像度画像を生成する手法において、撮像条件、環境による輝度の変動に対する影響を受けない画像を生成することが可能となる。
換言すれば、本実施形態によれば、輝度レベルの差異を、合成後の画像からは見えない程度にまで精密に補正でき、かつ補正処理による合成後画像の解像を劣化させることがないという利点がある。
【符号の説明】
【００４５】
１０・・・撮像装置、１１・・・撮像レンズ、１２・・・撮像部、１３・・・画像変位検出部、１４・・・ウインドウ算出部、１５・・・補正係数算出部、１６・・・画像補正部、１７・・・画像合成部、１８・・・画像表示部、１９・・・画像メモリ、２０・・・メモリ制御回路、ＭＢＳ・・・メモリバス。
【図１】
2011114671.tif 000004
【図２】
2011114671.tif 000005
【図６】
2011114671.tif 000006
【図３】
2011114671.tif 000007
【図４】
2011114671.tif 000008
【図５】
2011114671.tif 000009