(57)【要約】【課題】  ピント位置の異なる複数の画像に対して合成を行うとき、複数の画像間で同一の被写体領域における輝度値の差を抑制することができる画像処理装置を提供する。【解決手段】  画像処理装置はピント位置の異なる複数の画像に対して、ピント位置の違いによる像倍率の違いを補正するための像倍率補正の係数を算出する算出手段と、複数の画像の少なくとも一部の画像に対して、輝度補正を行う補正手段とを有し、補正手段は、複数の画像のそれぞれ画像に対して、像倍率補正の係数に対応するサイズの輝度検出領域を設定し、それぞれの画像に対して設定された輝度検出領域で得られた輝度値に基づいて輝度補正を行うことを特徴とする。【選択図】  図２
2018107526.tif 000002
【特許請求の範囲】
【請求項１】
ピント位置の異なる複数の画像に対して、ピント位置の違いによる像倍率の違いを補正するための像倍率補正の係数を算出する算出手段と、
前記複数の画像の少なくとも一部の画像に対して、輝度補正を行う補正手段と、を有し、
前記補正手段は、前記複数の画像のそれぞれ画像に対して、前記像倍率補正の係数に対応するサイズの輝度検出領域を設定し、前記それぞれの画像に対して設定された前記輝度検出領域で得られた輝度値に基づいて、前記輝度補正を行うことを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記複数の画像のうちの１つの画像を基準画像とし、他の画像の像倍率と前記基準画像の像倍率の比に基づいて、前記像倍率補正の係数を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記基準画像は、前記複数の画像のうち、像倍率の最も大きい画像であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記基準画像において前記輝度検出領域を決定し、前記基準画像の前記輝度検出領域に基づいて、前記他の画像における前記輝度検出領域を決定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記補正手段は、前記画像に対してぼかすためのフィルタを掛けてから、前記輝度補正を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
合成手段を有し、
前記合成手段は、前記複数の画像を合成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記合成手段は、前記複数の画像のそれぞれの画像からコントラストを求め、前記コントラストに基づいて、前記複数の画像を合成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記複数の画像を撮像する撮像手段と、
請求項１乃至７のいずれか１項に記載の画像処理装置と、を有する撮像装置。
【請求項９】
前記撮像手段が、前記像倍率が小さくなるように、前記ピント位置を変えながら前記複数の画像を撮像することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
ピント位置の異なる複数の画像に対して、ピント位置の違いによる像倍率の違いを補正するための像倍率補正の係数を算出する算出ステップと、
前記複数の画像の少なくとも一部の画像に対して、輝度補正を行う補正ステップと、を有し、
前記補正ステップにおいて、前記複数の画像のそれぞれ画像に対して、前記像倍率補正の係数に対応するサイズの輝度検出領域を設定し、前記それぞれの画像に対して設定された前記輝度検出領域で得られた輝度値に基づいて、前記輝度補正を行うことを特徴とする画像処理方法。
【請求項１１】
画像処理装置の制御方法をコンピュータに動作させるプログラムであって、
ピント位置の異なる複数の画像に対して、ピント位置の違いによる像倍率の違いを補正するための像倍率補正の係数を算出する算出ステップと、
前記複数の画像の少なくとも一部の画像に対して、輝度補正を行う補正ステップと、を行わせ、
前記補正ステップにおいて、前記複数の画像のそれぞれ画像に対して、前記像倍率補正の係数に対応するサイズの輝度検出領域を設定し、前記それぞれの画像に対して設定された前記輝度検出領域で得られた輝度値に基づいて、前記輝度補正を行うことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置の表示に関するものであり、特にピント位置の異なる画像を合成する画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置からの距離が異なる複数の被写体を撮像する場合、あるいは、奥行き方向に長い被写体を撮像する場合に、撮像光学系における被写界深度が足りないために、被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置を変化させて複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する技術（以下、深度合成という）が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２１６５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これら複数の画像を合成する場合に、それぞれの画像に含まれる被写体の輝度値を一致させる必要がある。一定の光源下で撮像を行うことができる環境であれば、露出値を固定したまま複数の画像を撮像すればよいが、屋外で撮像する場合には外光が一定であるとは限らないため、露出制御をしながらピントを異ならせた複数の画像を撮像する必要がある。
【０００５】
しかしながら、ピント位置を異ならせることによって得られる複数の画像の像倍率は互いに異なるため、単に露出制御をしただけでは、それぞれの画像に含まれる被写体の輝度値が一致しない場合がある。これは、像倍率が変化することによって、それぞれの画像に含まれる被写体のサイズと、輝度値の算出に用いた領域のサイズの比率に変化が生じてしまい、輝度値の算出に用いた領域に含まれる被写体が、画像ごとに変化してしまうことが要因である。
【０００６】
本発明は、上記の課題を鑑みてなされたものであり、ピント位置の異なる複数の画像に対して合成を行うときに、複数の画像間で同一の被写体領域における輝度値の差を抑制することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、ピント位置の異なる複数の画像に対して、ピント位置の違いによる像倍率の違いを補正するための像倍率補正の係数を算出する算出手段と、複数の画像の少なくとも一部の画像に対して、輝度補正を行う補正手段とを有し、補正手段は、複数の画像のそれぞれ画像に対して、像倍率補正の係数に対応するサイズの輝度検出領域を設定し、それぞれの画像に対して設定された輝度検出領域で得られた輝度値に基づいて、輝度補正を行うことを特徴とする画像処理装置を提供する。
【発明の効果】
【０００８】
本発明の撮像装置によれば、ピント位置の異なる複数の画像に対して合成を行うとき、複数の画像間で同一の被写体領域における輝度値の差を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るデジタルカメラの構造を示すブロック図である。
【図２】第１の実施形態を説明するためのフローチャートである。
【図３】第１の実施形態における輝度検出領域の決定を説明するための図である。
【図４】第１の実施形態における像倍率補正を説明するための図である。
【図５】第１の実施形態における輝度検出領域にエッジがあるときの輝度差の算出を説明するための図である。
【図６】第２の実施形態に係るデジタルカメラの構造を示すブロック図である。
【図７】第２の実施形態における切り捨て領域と輝度検出領域との位置関係を説明するための図である。
【発明を実施するための形態】
【００１０】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１１】
（第１の実施形態）
図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。
【００１２】
制御回路１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御回路１０１が、後述する撮像素子１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理回路１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部材１１０によってデジタルカメラ１００に入力され、制御回路１０１を通して、デジタルカメラ１００の各部分に達する。
【００１３】
駆動機構１０２は、モーターなどによって構成され、制御回路１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御回路１０１の指令に基づいて、駆動機構１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。
【００１４】
光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。フォーカスレンズの位置を変えることによって、ピント位置を変えることができる。
【００１５】
撮像素子１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像素子１０４に、ＣＣＤやＣＭＯＳセンサなどを適用することができる。
【００１６】
ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１７】
画像処理回路１０７は、撮像素子１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像素子１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。
【００１８】
画像処理回路１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御回路１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御回路１０１が画像処理回路１０７の機能の一部または全部を兼用するようにしてもよい。制御回路１０１が画像処理回路１０７の全ての機能を兼用する場合には、画像処理回路１０７をハードウェアとして有する必要はなくなる。
【００１９】
ディスプレイ１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。ディスプレイ１０８は、撮像素子１０４が取得する画像を表示画像としてリアルタイムに反映し、いわゆるライブビュー表示することができる。
【００２０】
内蔵メモリ１０９は、撮像素子１０４が撮像した画像や画像処理回路１０７の処理を得た画像、および、画像撮像時のピント位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。
【００２１】
操作部材１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、ディスプレイ１０８に兼用されるタッチパネルなどである。ユーザが操作部材１１０を用いて入力した指令は、制御回路１０１に達し、この指令に応じて制御回路１０１は各ブロックの動作を制御する。
【００２２】
図２は、本実施形態を説明するためのフローチャートである。
【００２３】
ステップＳ２０１で、制御回路１０１は、複数のピント位置と撮像枚数の設定を行う。たとえば、ユーザがタッチパネルを通じて、焦点領域を設定し、光学系１０３はその焦点領域に相当するピント位置を測定する。制御回路１０１は、測定したピント位置の前後に、所定数のピント位置を設定する。制御回路１０１は、互いの被写界深度の端部が少し重複するように、隣接するピント位置間の距離を設定することが好ましい。
【００２４】
ステップＳ２０２では、制御回路１０１は、撮像順番を設定する。一般的に、ピント位置と像倍率との関係を示す関数は、レンズの種類によって一意に定まり、その関数は単調変化である。ここでは、制御回路１０１は、予め記憶しておいたピント位置と像倍率との関係を示す関数に基づいて、像倍率が小さくなるように、順次に画像を撮像するように設定する。たとえば、像倍率とピント位置との関数は、単調減少である場合、制御回路１０１は、最も近いピント位置を初期のピント位置とし、初期のピント位置から遠くなるように、撮像順番を設定する。逆に、像倍率とピント位置との関数は、単調増加である場合、制御回路１０１は、最も遠いピント位置から近くなるように、撮像順番を設定する。こうすることで、最初に撮像される画像の画角が一番狭く、撮像を繰り返すたびに画角が広くなるため、カメラと被写体が共に動いていなければ、前に撮像した画像に含まれていた被写体領域は、後に撮像した画像の画角内に必ず含まれることになる。
【００２５】
ステップＳ２０３では、制御回路１０１は、撮像パラメータの設定を開始する。ここでの撮像パラメータは、被写体輝度に基づくシャッタースピードやＩＳＯ感度などのパラメータなどを指す。撮像素子１０４はライブビュー画像を表示するために周期的に撮像を繰り返しており、ステップＳ２０３以降、このライブビュー画像として撮像された画像から得られる被写体輝度に基づいて、制御回路１０１が自動露出制御を繰り返し行う。
【００２６】
ステップＳ２０４では、光学系１０３は、ステップＳ２０３で設定した初期のピント位置に移動し、撮像素子１０４は、合成に用いる１枚目の画像の撮像を行う。
【００２７】
ステップＳ２０５では、画像処理回路１０７は、光学補正を行う。ここでいう光学補正は、１枚の撮像画像の単体で完結する補正を指し、周辺考量補正や色収差補正、歪曲収差補正などを指す。
【００２８】
ステップＳ２０６では、画像処理回路１０７は、現像を行う。なお、現像とは、ＲＡＷ画像をＪＰＥＧ符号化可能なＹＣｂＣｒ画像データに変換すると共に、輪郭補正、ノイズ除去などの補正を加える処理である。
【００２９】
ステップＳ２０７では、画像処理回路１０７は、輝度検出領域を決定する。輝度検出領域は、画像における任意の領域でよいが、なるべく輝度変化の少ない領域が好ましい。これは、三脚を遣わずにカメラを手に持って撮像する場合に、撮影のたびにカメラの位置が多少変化することが考えられる。そのため、輝度変化が少ない領域を輝度検出領域とすれば、被写体領域に対する輝度検出領域位置が手ぶれによって多少シフトしたとしても、その影響を小さく抑えられるためである。図３は本実施形態における輝度検出領域の決定を説明するための図である。図３において、一般的に、エッジの少ない領域３０１の輝度の変化はエッジの多い領域３０２の輝度の変化よりも少なく、画像処理回路３０７は輝度検出領域を領域３０１として決めるのが好ましい。
【００３０】
ステップＳ２０８では、光学系１０３は、ステップＳ２０１で設定した複数のピント位置のうち、ステップＳ２０２で設定した撮像順番に沿って、直前に撮像を行ったピント位置の次のピント位置に変更する。
【００３１】
ステップＳ２０９で、撮像素子１０８は、合成に用いる２枚目以降の画像の撮像を行う。
【００３２】
ステップＳ２１０では、画像処理回路１０７は、ステップＳ２０９で撮像素子１０８が撮像した画像に対して、光学補正を行う。ここでいう光学補正は、ステップＳ２０５と同様の処理である。
【００３３】
ステップＳ２１１では、画像処理回路１０７は、予め記憶しておいたピント位置と像倍率との関係を示す関数に基づいて、複数の画像に含まれる同一の被写体領域のサイズが一致するように、２枚目以降の画像に対する像倍率補正の係数を算出する。図４は、本実施形態における像倍率補正を説明するための図である。制御回路１０１はステップＳ２０２で像倍率が小さくなるように撮像順番を設定したため、１枚目の画像の像倍率はＮ枚目の画像の像倍率よりも大きくなる。図４では、Ｎ枚目の画像４０２の領域４０３に相当する領域が、１枚目の画像４０１の全領域４０１に相当することを示しており、この領域４０３を全領域４０１に一致するサイズまで拡大するために必要な倍率を、像倍率補正の係数として算出する。
【００３４】
ステップＳ２１２では、画像処理回路１０７は、ステップＳ２０９で撮像した画像において、ステップＳ２０７で決定した輝度検出領域に対応する輝度検出領域を算出する。たとえば、図４（ａ）における領域４１２がこれに相当する。領域４１２の決定方法を以下に説明する。まず、画像処理回路１０７は、画像４０１における輝度検出領域である領域４１１に対して、画像４０１の中心位置から領域４１１の中心位置までの距離と、領域４１１のサイズを読み出す。次に、ステップＳ２１１で算出した像倍率補正の係数を用いて、画像４０１の中心位置から領域４１１の中心位置までの距離と、領域４１１のサイズを補正し、輝度検出領域４１２の中心位置とサイズを決定する。
【００３５】
なお、ここでは、画像処理回路１０７は、画像４０１のうち輝度変化の少ない領域を輝度検出領域４１１として設定したが、図４（ｂ）に示すように、１枚目の画像４２１の全面を輝度検出領域として設定してもよい。この場合、画像４２１の全画角と一致する領域である領域４２３が、画像４２２における輝度検出領域として設定される。
【００３６】
ステップＳ２１３では、画像処理回路１０７は、各画像で設定した輝度検出領域の間の輝度差を算出する。輝度差の算出方法として複数の方法が考えられる。その１つは、単純に輝度検出領域の輝度の積分値を算出し、それを用いて輝度差を算出する方法である。この方法は、エッジのない領域（たとえば図３の領域３０１）を輝度検出領域として使うときに好ましい方法である。別の方法としては、２枚のピント位置の違いによるボケ量以上のぼかしフィルタをそれぞれの画像に掛け、その上で輝度検出領域の輝度差を算出する方法である。ピント位置の違いによるボケ量による輝度算出誤差を軽減することができるため、エッジの多い被写体のときに有効な方法である。
【００３７】
図５は設定した輝度検出領域にエッジが多く含まれるときの輝度差の算出を説明するための図である。輝度検出領域５０１と５０２とにはエッジがあるため、ぼかしフィルタをかける前の原画像の輝度検出領域５０１と５０２との輝度差を算出するのでなく、ぼかしフィルタをかけた後の画像の輝度検出領域５１１と５１２との輝度差を算出する。
【００３８】
ステップＳ２１４では、画像処理回路１０７は、ステップＳ２１２で算出した輝度差を補正するためのゲインを算出し、算出したゲインを画像ステップＳ２０９で得られた画像に適用し、輝度補正を実現する。
【００３９】
ステップＳ２１５では、画像処理回路１０７は輝度補正が行われた画像に対して現像を行う。
【００４０】
ステップＳ２１６では、制御回路１０１は、ステップＳ２０１で設定した撮像枚数に達したかどうかについて判断する。撮像枚数に達した場合はステップＳ２１７に進み、画像処理回路１０７は撮像した画像に対して合成を行う。撮像枚数に達していな場合は、ステップＳ２０８に戻り、ピント位置を変更し撮像を続ける。
【００４１】
ステップＳ２１７では、画像処理回路１０７は像倍率補正および合成を行う。合成の方法の一例は以下で簡単に述べる。まず、画像処理回路１０７は、ステップＳ２１１で算出した像倍率補正の係数を用いて、像倍率補正を行い、たとえば、図４（ａ）の画像４０２から領域４０３を切り出して拡大する。それに、画像処理回路１０７は、位置合わせのため、２つの画像の相対位置をずらしながら、これら複数の画像の画素の出力の差の絶対値総和（ＳＡＤ：Ｓｕｍ  Ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を求める。この絶対値総和の値が最も小さくなるときの、２つの画像の相対的な移動量と移動方向を求める。そして、求めた移動量と移動方向に応じたアフィン変換もしくは射影変換の変換係数を算出した後、変換係数による移動量と絶対値総和から算出した移動量との誤差が最小となるように、最小二乗法を用いて変換係数を最適化する。その最適化された変換係数に基づいて、位置合わせの対象となる画像に対して、変形処理を行う。
【００４２】
その次に、画像処理回路１０７は位置合わせの後の画像から得られたコントラスト値を用いて合成ＭＡＰを生成する。具体的には、各々の着目領域あるいは画素において、位置合わせの後の画像のうち、画像のコントラスト値が最も高くなる画像の合成比率を１００％とし、それ以外の画像を０％とする。なお、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成ＭＡＰに対して所定の画素数（タップ数）を持つローパスフィルタをかけることで、隣接画素間で合成比率が急激に変化しないように合成ＭＡＰを加工する。また、着目領域あるいは画素における各画像のコントラスト値に基づいて、コントラスト値の高い画像ほど合成比率が高くなるような合成ＭＡＰを作成してもよい。画像処理回路１０７が輝度合成を行った後に位置合わせをすることによって、位置合わせの精度がよくなる。
【００４３】
なお、以上の記述は本実施形態を実施するための一例にすぎず、そのうえでさまざまな変形ができる。たとえば、画像を現像する前に光学補正を行うのでなく、画像を現像した後に光学補正を行うように実施してもよい。
【００４４】
または、以上の記述においては、像倍率補正も輝度差の算出もゲインの算出も、１枚目の画像とＮ枚目の画像の差異に基づいて行うが、直前に撮像された（Ｎ−１）枚目の画像とＮ枚目の画像との差異に基づいて行うように実施してもよい。
【００４５】
第１の実施形態によれば、撮像した画像の輝度検出領域の輝度差を比較することによって、画角の変動による輝度差の算出への影響を防ぎ、深度合成における複数の画角の異なる画像においても、輝度差を効果的に低減することができる。
【００４６】
なお、ステップＳ２１７で説明した像倍率補正と位置合わせを行ってから、ステップＳ２１４で説明した輝度補正を行うようにすることも考えられる。しかしながら、位置合わせを行う前に輝度補正を行って、同一被写体領域に対する被写体輝度の差分を抑制したほうが、位置合わせを高い精度で行うことが可能になる。
【００４７】
このように、本実施形態によれば、ピント位置を異ならせた複数の画像間の像倍率の違いを考慮して、画像間の輝度値を補正することができる。よって、これら複数の画像を合成した際の輝度のムラの発生を抑制することが可能となる。
【００４８】
（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、ユーザが任意の位置にピント位置を変更しながら合成に用いる複数の画像を撮像できる。以下では、第１の実施形態との違いを中心に、第２の実施形態について説明する。なお、第１の実施形態と同様な所は、説明を省略する。
【００４９】
図６は、第２の実施形態を説明するためのフローチャートである。
【００５０】
ステップＳ６０１では、制御回路１０１は、第１の実施形態のステップＳ２０３と同様に、撮像パラメータを行う。すなわち、制御回路１０１は、ライブビュー画像として撮像された画像から得られる被写体輝度に基づいて、自動露出制御を繰り返し行う
ステップＳ６０２で、ユーザのフォーカスリングの操作量に応じてピント位置を移動させる。
【００５１】
ステップＳ６０３では、撮像素子１０４は、ユーザによるシャッターボタンの全押し操作に応じて合成に用いる画像の撮像を行う。
【００５２】
ステップＳ６０４では、画像処理回路１０７は、第１の実施形態のステップＳ２０５と同様に、光学補正を行う。
【００５３】
ステップＳ６０５では、画像処理回路１０７は、第１の実施形態のステップＳ２０６と同様に、現像を行う。
【００５４】
ステップＳ６０６では、制御回路１０１は、ユーザによって撮像終了を示す操作が行われたかどうかを判断する。この操作が行われずにユーザによってフォーカスリングが操作された場合は、ステップＳ６０２に戻る。あるいは、ステップＳ６０１の前に予め撮像枚数を設定していれば、この枚数に達したかどうかを判断するようにしてもよい。
【００５５】
ステップＳ６０７では、画像処理回路１０７は、ステップＳ６０３で撮像したすべての画像に対して、予め記憶しておいたピント位置と像倍率との関係を示す関数に基づいて、像倍率補正の係数を算出する。まず、ステップＳ６０３で撮像素子１０４が撮像したすべての画像の像倍率を比較し、そのうち、像倍率の最も大きい画像を基準画像として取得する。次に、画像処理回路１０７は、残りの画像の像倍率を基準画像の像倍率と比較し、像倍率補正の係数を算出する。
【００５６】
ステップＳ６０８では、基準画像に対して、ステップＳ２０７で説明した方法と同様の方法で輝度検出領域を設定し、他の画像に対しても、算出した像倍率補正の係数に基づいて、ステップＳ２１２で説明した方法と同様の方法で輝度検出領域を設定する。
領域として決定する。
【００５７】
ステップＳ６０９では、画像処理回路１０７は、第１の実施形態のステップＳ２１３と同様に、各画像で設定した輝度検出領域の間の輝度差を算出する。
【００５８】
ステップＳ６１０では、画像処理回路１０７は、第１の実施形態のステップＳ２１４と同様に、輝度差を補正するためのゲインの算出とゲインの調整とを行う。
【００５９】
ステップＳ６１１では、画像処理回路１０７は、第１の実施形態のステップＳ２１７と同様に、像倍率補正および合成を行う。
【００６０】
ここで、ステップＳ６０７において、像倍率の最も大きい画像を基準画像とし、ステップＳ６０８で、基準画像に輝度検出領域を設定する理由について説明する。図７は、本実施形態における像倍率補正による切り捨て領域と輝度検出領域との位置関係を説明するための図である。画像７０１と画像７０２とは、ピント位置が異なる２つの画像で、画像７０２は画像７０１よりも像倍率が大きいとする。もし画像処理回路１０７が先に画像７０１に置いて、輝度検出領域７１１を設定すると、画像７０２において、輝度検出領域と同等な領域は領域７１２になる。しかし、領域７１２は画像７０２の画角の外を含んでおり、画像処理回路１０７は領域７１２を用いて正しく輝度を検出することができない。したがって、画像処理回路１０７は、像倍率の最も大きい画像を基準画像として設定する必要がある。
【００６１】
このように第２の実施形態によれば、ピント値に基づく撮像順番を設定しなくても、ピント位置を異ならせた複数の画像間の像倍率の違いを考慮して、画像間の輝度値を補正することができる。
【００６２】
（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。
【００６３】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６４】
１００  デジタルカメラ
１０１  制御回路
１０２  駆動機構
１０３  光学系
１０４  撮像素子
１０５  ＲＯＭ
１０６  ＲＡＭ
１０７  画像処理回路
１０８  ディスプレイ
１０９  内蔵メモリ
１１０  操作部材
【図１】
2018107526.tif 000003
【図２】
2018107526.tif 000004
【図３】
2018107526.tif 000005
【図４】
2018107526.tif 000006
【図５】
2018107526.tif 000007
【図６】
2018107526.tif 000008
【図７】
2018107526.tif 000009