(57)【要約】【課題】複数の画像に基づいて生成した合成画像において好適にダイナミックレンジを拡大する。【解決手段】撮像素子によって被写体を少ない露光量と多い露光量で撮像して得られた第一と第二の画像を処理する画像処理装置は、第一の画像の画素値から第一のオフセット値を減算し第一の補正画像を生成し、第二の画像の画素値から第二のオフセット値を減算し第二の補正画像を生成する減算部と、第一の補正画像と第二の補正画像の少なくとも一方の画素値を多い露光量と少ない露光量の比を用いて調整して、第一の補正画像と第二の補正画像間の明るさの差よりも小さな明るさの差を有する複数の合成前画像を取得する調整部と、複数の合成前画像を位置合わせして合成する合成部と、を備える。第一のオフセット値と第二のオフセット値の少なくとも一方は、撮像素子の撮像に使用できる撮像領域の画素を遮光した際に当該画素から得られる画素値に基づく値である。【選択図】図１
2013153283.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子によって被写体を第一の露光量で撮像して得られた第一の画像と、前記撮像素子によって前記被写体を前記第一の露光量よりも多い第二の露光量で撮像して得られた第二の画像とを処理する画像処理装置であって、
前記第一の画像の画素値から第一のオフセット値を減算して第一の補正画像を生成し、前記第二の画像の画素値から第二のオフセット値を減算して第二の補正画像を生成する減算部と、
前記第一の補正画像と前記第二の補正画像の少なくとも一方の画素値を前記第二の露光量と前記第一の露光量の比を用いて調整して、前記第一の補正画像と前記第二の補正画像間の明るさの差よりも小さな明るさの差を有する複数の合成前画像を、前記第一の補正画像と前記第二の補正画像に基づいて取得する調整部と、
前記複数の合成前画像を位置合わせして合成する合成部と、を備え、
前記第一のオフセット値と前記第二のオフセット値の少なくとも一方は、前記撮像素子の撮像に使用できる撮像領域の画素を遮光した際に当該画素から得られる画素値に基づく値であることを特徴とする画像処理装置。
【請求項２】
前記第一のオフセット値と前記第二のオフセット値の両方が、前記撮像素子の撮像領域の画素を遮光した際に当該画素から得られる画素値に基づく値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第一のオフセット値と前記第二のオフセット値の前記少なくとも一方が、減算する対象の画素値を有する画素の位置に依存することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
請求項１から３に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項５】
撮像素子によって被写体を第一の露光量と前記第一の露光量よりも多い第二の露光量で撮像して、第一の画像と第二の画像を取得することと、
前記撮像素子の撮像に使用できる撮像領域の画素を遮光しながら、前記第一の露光量と前記第二の露光量により当該撮像領域の画素から得られた画素値に基づいて、第一のオフセット値と第二のオフセット値を設定することと、
前記第一の画像の画素値から第一のオフセット値を減算して第一の補正画像を生成し、前記第二の画像の画素値から第二のオフセット値を減算して第二の補正画像を生成することと、
前記第一の補正画像と前記第二の補正画像の少なくとも一方の画素値を前記第二の露光時間と前記第一の露光時間の比を用いて調整して、前記第一の補正画像と前記第二の補正画像間の明るさの差よりも小さな明るさの差を有する複数の合成前画像を、前記第一の補正画像と前記第二の補正画像に基づいて取得することと、
前記複数の合成前画像を位置合わせして合成することと、を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及び、画像処理方法に関する。
【背景技術】
【０００２】
イメージセンサ（撮像素子）を用いる電子式撮像装置は、銀塩式写真システムに比べて、狭いダイナミックレンジ（即ち表現可能な輝度範囲）を有する。そのため、適切な露出制御が行われた場合でも、逆光時などに、高輝度部が飽和する「白とび」や低輝度部の階調が無くなる「黒つぶれ」が発生しやすい。特許文献１は、露光量の異なる複数の画像から１つの画像を合成しダイナミックレンジを見かけ上拡大して、「白とび」や「黒つぶれ」の現象を抑制する構成を開示する。複数の画像に対して、露光比を用いて輝度レベル（明るさ）を一致させてから、合成処理が行われる。
【０００３】
特許文献２は、異なる露光量にて順次撮像された複数の画像間の経時的な位置ずれに対応して、複数の画像それぞれに座標変換を行った後、複数の画像の合成を行なうことを開示する。
【０００４】
特許文献３は、複数の画像の部分領域間の位置ずれ量を相関値を用いて検出し、位置合わせされた複数の画像の画素を、画素値差に応じた合成比率で合成することを開示する。この技術により、位置合せに失敗した部位の多重像が抑制される。
【０００５】
特許文献１から３の従来技術を用いて、露光量の異なる複数の画像からダイナミックレンジ拡大(ＨＤＲ、high dynamic range)画像を合成する場合、各画像の光学的な黒（オプティカルブラックレベル：ＯＢ)のレベルを差し引くことが重要となる。
【０００６】
撮像装置の撮像素子は、２次元に配置された光電変換素子（画素）を有し、光電変換素子に届いた被写体からの光に比例して発生する電荷を電圧に変換し、被写体の撮影画像の画素値を生成する。ただし、光によらず光電変換素子の熱によって励起される暗電流も発生し、これによる電荷が光電変換素子に蓄積される。例えば、特許文献１において、露光量の異なる複数の画像間の輝度レベルを合わせる前に、各画像の光学的なＯＢレベル（黒レベル）を差し引くことによって、ゼロレベルを一致させている。ＯＢレベルは、暗電流に起因する画素値である。
【０００７】
特許文献４に示されるように、通常の撮像装置の撮像素子（イメージセンサ）は、ＯＢレベルを得るために、被写体からの光が当たる有効画素の領域（撮像領域）の外において、遮光された光電変換素子（遮光画素）を有する。有効画素の画素値から暗電流による寄与部分を除去するために、画像処理の当初に、有効画素の画素値からＯＢレベルとして遮光画素の画素値が差し引かれる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３７４８０３１号明細書
【特許文献２】特許第３１１０７９７号明細書
【特許文献３】特開２００８−９９２６０号公報
【特許文献４】特開２００５−３５４６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、撮像素子およびそれを用いた撮像装置では、撮像用の有効画素とＯＢレベル検出用の遮光画素との間で、位置の違いから温度やノイズ量が異なる。このため、有効画素において暗電流に起因する画素値と、遮光画素によって得られるＯＢレベルの値との間で、若干の誤差が生じる。
【００１０】
例えこの誤差は小さくても、有効画素を用いて取得された短露光の画像における誤差は、露光比を用いて短露光の画像の輝度レベルを長露光の画像の輝度レベルに相当するレベルに合わせる場合に拡大されてしまう。同一の被写体に対する画素値は、輝度レベルを同等に合わせた短露光と長露光の画像間においての違いを有し、この違いは特に低輝度領域では相対的に影響が大きくなる。
【００１１】
本発明は、露光量の異なる複数の画像に対して暗電流による有効画素の画素値への寄与部分を正確に得ることで、複数の画像に基づいて生成した合成画像において好適にダイナミックレンジを拡大することを目的とする。
【課題を解決するための手段】
【００１２】
本発明のある態様に係る画像処理装置は、撮像素子によって被写体を少ない露光量で撮像して得られた第一の画像と、前記撮像素子によって前記被写体を多い露光量で撮像して得られた第二の画像とを処理する画像処理装置であって、前記第一の画像の画素値から第一のオフセット値を減算して第一の補正画像を生成し、前記第二の画像の画素値から第二のオフセット値を減算して第二の補正画像を生成する減算部と、前記第一の補正画像と前記第二の補正画像の少なくとも一方の画素値を前記多い露光量と前記少ない露光量の比を用いて調整して、前記第一の補正画像と前記第二の補正画像間の明るさの差よりも小さな明るさの差を有する複数の合成前画像を、前記第一の補正画像と前記第二の補正画像に基づいて取得する調整部と、前記複数の合成前画像を位置合わせして合成する合成部と、を備える。前記第一のオフセット値と前記第二のオフセット値の少なくとも一方は、前記撮像素子の撮像に使用できる撮像領域の画素を遮光した際に当該画素から得られる画素値に基づく値である。
【００１３】
本発明の別の態様に係る画像処理方法は、撮像素子によって被写体を少ない露光時間と多い露光時間で撮像して、第一の画像と第二の画像を取得することと、前記撮像素子の撮像に使用できる撮像領域の画素を遮光しながら、前記少ない露光時間と前記多い露光時間に相当する電荷蓄積時間で当該撮像領域の画素から得られた画素値に基づいて、第一のオフセット値と第二のオフセット値を設定することと、前記第一の画像の画素値から第一のオフセット値を減算して第一の補正画像を生成し、前記第二の画像の画素値から第二のオフセット値を減算して第二の補正画像を生成することと、前記第一の補正画像と前記第二の補正画像の少なくとも一方の画素値を前記多い露光時間と前記少ない露光時間の比を用いて調整して、前記第一の補正画像と前記第二の補正画像間の明るさの差よりも小さな明るさの差を有する複数の合成前画像を、前記第一の補正画像と前記第二の補正画像に基づいて取得することと、前記複数の合成前画像を位置合わせして合成することと、を含む。
【発明の効果】
【００１４】
本発明によると、撮像素子の撮像領域の有効画素を遮光した際に当該有効画素から得られる画素値によって、露光量の異なる複数の画像に対して各画素に対応する撮像素子の暗電流による画素値への寄与部分をより正確に見積もることができる。そして、これら複数の画像に基づいて生成した合成画像において好適にダイナミックレンジが拡大される。
【図面の簡単な説明】
【００１５】
【図１】実施形態に係る画像処理装置を示すブロック図である。
【図２】実施形態に係る画像処理装置が実行する処理を示すフローチャートである。
【図３】（ａ）位置ずれ量を測定するために画像に設定された測定領域（ブロック）を示す図である。（ｂ）位置ずれ量（動きベクトル）を示す図である。
【図４】画素値の加算平均における重みを決定するための関数を示す図である。
【図５】画素値の加算平均における重みを決定するための別な関数を示す図である。
【発明を実施するための形態】
【００１６】
図１は、第一実施形態に係る画像処理装置のブロック構成図を示す。本実施形態では、画像処理装置は、撮像装置に搭載されている。撮像装置は、電子機器の一例として示すものであり、例えば、ビデオカメラ、電子スチルカメラなどである。
【００１７】
画像処理装置は、画像取得部１０、フレームメモリ１１、レベル合せ部（明るさ合せ部）１２、位置ずれ量検出部１３、合成部１４、処理部１５、メインコントローラ１６を備える。レベル合せ部１２、位置ずれ量検出部１３、合成部１４、処理部１５のそれぞれ（又はこれら全体）は、ＡＳＩＣ、ＦＰＧＡなどの論理回路から構成されてよい。或いは、これらの各部（又はこれら全体）は、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ／ＤＳＰ（中央演算処理装置／デジタルシグナルプロセッサ）等から構成されてもよい。
【００１８】
画像取得部１０は、被写体からの光を電気信号に変える撮像素子（イメージセンサ）１０ａと、撮像素子１０ａに被写体からの光を当てるか否かを制御するシャッター１０ｂを有する。シャッター１０ｂは、光を遮光する遮光部（遮光手段）として機能する。撮像素子１０ａは、被写体からの光が当たり撮像に使用される撮像領域に配置された有効画素と、撮像領域外に配置され、通常のＯＢレベルの値を測定するために遮光された遮光画素を有する。その他、画像取得部１０は、被写体からの光を撮像素子１０ａ上に集光するための撮影光学系１０ｃを有する。なお、画像取得部１０は、その他、Ａ／Ｄ（アナログーデジタル）変換処理や現像処理などの処理を行う信号処理部を備える。画像取得部１０から出力される画像は、いわゆるロー（ＲＡＷ）画像でも、現像処理によって得られたＲＧＢのカラー画像でもよい。
【００１９】
画像取得部１０は、シャッター１０ｂにより露光量を調整して、露光量の異なる複数の露光画像を取得し、各露光画像の座標位置に応じた画素値をデジタルデータとしてフレームメモリ１１に格納する。本実施形態では、露光画像を撮像（又は撮影）するときの露光量は、シャッター１０ｂによる露光時間で調整され、露光量は露光時間に比例してこれに対応する。露光時間は、シャッター速度で決まる。また、本実施形態では、露光量の異なる複数の露光画像は、短い露光時間（即ち少ない露光量）で取得された短時間露光画像(以下、短露光画像と呼ぶ)と、長い露光時間（即ち多い露光量）で取得された露光画像（以下、長露光画像と呼ぶ）の二つであるが、複数の露光画像の数は三つ以上であってもよい。露光時間を変えながら複数回の露光が時系列に行われる（「ブラケティング露光」）。
【００２０】
また、画像取得部１０は、シャッター１０ｂを閉じることにより被写体からの光が撮像素子１０ａに当たらない状態に維持して、各露光画像の露光時間ひいては露光量に対応した暗電流画像を撮像素子１０ａの撮像領域の画素から取得し、フレームメモリ１１に格納する。ここで、暗電流画像は、撮像領域の画素において暗電流によって生じた撮像素子の電荷に基づく画素値を有する画像である。露光画像の露光時間に対応した暗電流画像とは、露光画像の露光時間と同じ電荷蓄積時間（積分時間）の間だけ電荷を貯めて取得された暗電流画像である。なお、画像の撮像とほぼ同時に撮像素子の有効画素がシャッター１０ｂによって遮光されて、従来技術よりも正確な暗電流画像が得られる。
【００２１】
レベル合せ部（明るさ合せ部）１２は、平均算出部１２０と、暗電流減算部１２１と、明るさ調整部１２２とを備える。平均算出部１２０は、暗電流画像の画素値の平均値をオフセット値として算出する。暗電流減算部１２１は、このオフセット値（平均値）を用いて暗電流に関して露光画像を補正することによって、補正画像（オフセット画像）を取得する。明るさ調整部１２２は、複数の露光画像間の露光量の比である露光比をゲイン値として用いて、補正画像の明るさを調整することによって調整画像を取得する。
【００２２】
詳細には、平均算出部（オフセット値算出部）１２０は、フレームメモリ１１から暗電流画像を読み込み、暗電流画像の画素値の平均値（平均画素値）をオフセット値として算出する。暗電流画像の画素値の平均値は、暗電流画像の画像全体又は一部で算出されてよいし、又、画像の領域ごとに局所的な平均値が計算されてよい。このような平均画素値を有するように平均化された暗電流画像を平均暗電流画像と呼ぶ。
【００２３】
暗電流減算部１２１は、フレームメモリ１１から複数の露光画像を読み込み、読み込まれた露光画像からこれに対応する平均暗電流画像を減算する。即ち、暗電流減算部１２１は、ある露光画像の各画素値から、この露光画像に対応する暗電流画像（当該露光画像の露光時間と同じ電荷蓄積時間かけて取得されたもの）の平均画素値をオフセット値として減算する。これにより、暗電流減算部１２１は、複数の補正画像を取得する。
【００２４】
明るさ調整部１２２は、一つの露光画像（ここでは短露光画像）に対する他の露光画像（ここでは長露光画像）の露光量の比（後述の露光比ＲＥ）に応じた値を、複数の補正画像のうちの少なくとも一つの各画素値に乗算して、この少なくとも一つの補正画像を調整する。これにより、明るさ調整部１２２は、輝度レベル（明るさ）の合った複数の合成前画像を取得する。明るさ調整部１２２は、このように輝度レベルが揃って互いに適合した複数の合成前画像を、位置ずれ量検出部１３と合成部１４に送る。合成部１４の合成に使用される複数の合成前画像は、調整された複数の補正画像（調整画像）でもよいし、調整された一つの補正画像（調整画像）と調整されない一つの補正画像でもよい。なお、明るさ調整部１２２により取得される、輝度レベル（明るさ）の合った複数の合成前画像は、複数の補正画像間の輝度レベル（明るさ）の差よりも小さな輝度レベル（明るさ）の差を有する複数の画像であり、対応する画素間において正確に画素値が一致している必要はないが、対応する画素間で輝度レベル（明るさ）が同等になっていることが望ましい。
【００２５】
位置ずれ量検出部１３は、輝度レベル（明るさ）の合った複数の露光画像（ここでは、２つの合成前画像）の間の位置ずれ量を算出して、合成部１４に送る。合成部１４は、輝度レベルの合った複数の露光画像と位置ずれ量を利用して、これら複数の露光画像を重ね合わせて合成処理を行う。合成部１４は、合成処理によって得られた合成画像を処理部１５に送る。処理部１５は、色や階調などに関わる処理を行い、最終的な画像を記録装置（図示しない）へ送り保存する。処理部１５は、最終的な画像の階調をダイナミックレンジを拡大しない通常の画像と同じ階調にするために、ダイナミックレンジを広げたことに対応して階調圧縮してもよい。なお、位置ずれ量検出部１３と合成部１４の構成と処理の詳細は、後述される。
【００２６】
また、メインコントローラ１６は、画像取得部１０、フレームメモリ１１、レベル合せ部１２、位置ずれ量検出部１３、合成部１４、処理部１５を制御して、上述の一連の処理を制御する。メインコントローラ１６は、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ／ＤＳＰ（中央演算処理装置／デジタルシグナルプロセッサ）等から構成されてよい。
【００２７】
図２のフローチャートに、画像処理装置が実行する画像処理の手順の一例を示す。フローチャートにおいて、Ｓを付した番号はステップ番号を示す。
【００２８】
Ｓ１０１において、画像取得部１０は、シャッター１０ｂによって露光時間を変えた２つの露光画像（短露光画像（第一の画像）と長露光画像（第二の画像））を時間的に連続して撮影する。画像取得部１０は、撮像素子１０ａの画素位置に応じた画素値をデジタルデータとしてフレームメモリ１１に格納する。
【００２９】
例えば、「黒つぶれ」を抑制するためにダイナミックレンジが通常画像より低輝度側に８倍（または３ＥＶ（exposure value）：１ＥＶで２倍））拡大される場合、長露光画像の露光時間は短露光画像の８倍に設定される。「黒つぶれ」と「白とび」をどの程度抑制するかによって、長露光画像と短露光画像の露光時間は種々の組合せに設定できる。以下、短露光画像と長露光画像の露光時間の比（即ち露光量の比）は、露光比ＲＥと呼ばれる。
続いて、Ｓ１０２において、画像取得部１０は、シャッター１０ｂを閉じて被写体または外部からの光が撮像素子１０ａの撮像領域に当たらない状態に維持して、撮像領域の画素によって短露光画像の露光時間と同じ時間（電荷蓄積時間）をかけて第一の暗電流画像（短時間の暗電流画像）を取得する。さらに、画像取得部１０は、シャッター１０ｂを閉じて被写体または外部からの光が撮像素子１０ａの撮像領域に当たらない状態に維持して、撮像領域の画素によって長露光画像の露光時間と同じ時間（電荷蓄積時間）をかけて第二の暗電流画像（長時間の暗電流画像）を取得する。なお、第一と第二の暗電流画像は、短露光画像と長露光画像の両方が撮像された後、撮像素子１０ａの温度が維持される時間内に取得されることが好ましい。
【００３０】
Ｓ１０３において、レベル合せ部１２の平均算出部１２０は、フレームメモリ１１から第一と第二の暗電流画像を読み出す。平均算出部１２０は、第一と第二の暗電流画像の画素値の平均値を算出する。即ち、短露光画像に対応した第一の暗電流画像の画素値の平均値ＯＢＲＳが算出され、長露光画像に対応した第二の暗電流画像の画素値の平均値ＯＢＲＬが算出される。なお、第一と第二のオフセット値としての二つの平均値（ＯＢＲＳとＯＢＲＬ）は、ＯＢＲ値と総称される。
【００３１】
ここで、暗電流値が画像上でほぼ一定ならば、平均算出部１２０は、画像全体ではなく一部の画素の画素値のみに対して平均値を計算してよい。その場合、画素値の取得時間と平均値の計算時間が短縮できる。また、暗電流値が画像上の位置でほぼ一定とみなせない場合には、平均算出部１２０は、遮光時に取得した暗電流画像の局所領域ごとに画素値の平均値を計算し、局所領域毎により好適なＯＢＲ値を得ることができる。その後、暗電流減算部１２１は局所的な平均値を使用する。どのような平均値を用いるべきか、実験などにより事前に決定できる。図２のフローチャートの以下の手順では、位置に依存しない平均値が用いられる。
【００３２】
なお、以下に、平均算出部１２０は、暗電流画像の局所領域ごとに画素値の平均値を計算する例を平均値ＯＢＲＳについて示す。平均値ＯＢＲＳは、位置の関数ＯＢＲＳ（ｘ，ｙ）として与えられ画素位置に依存する。暗電流画像の画素値をIdS(x,y)とした場合、関数ＯＢＲＳ（ｘ，ｙ）は加重平均の数式（１）で表される。
【００３３】
【数１】
2013153283.tif 000003
【００３４】
ここでWd(u,v)は、２次元ガウシアン分布などで表される重み係数である。和Σは、位置（ｘ，ｙ）を中心として、局所領域における周りの各画素位置（ｘ＋ｕ，ｙ＋ｖ）についてとられる。平均値ＯＢＲＬも、同様に位置の関数ＯＢＲＬ（ｘ，ｙ）として与えられ画素位置に依存する。
【００３５】
暗電流減算部１２１は、各座標（ｘ，ｙ）毎に、短露光画像から第一の暗電流画像の画素値の平均値ＯＢＲＳ（ｘ，ｙ）を減算し、長露光画像から第二の暗電流画像の画素値の平均値ＯＢＲＬ（ｘ，ｙ）を減算する。これにより、撮像素子１０ａの放熱設計によって撮像素子１０ａの温度分布に偏りがある場合でも、局所的な暗電流による画素値を正確に減算できるため、好適にダイナミックレンジを拡大できる。
【００３６】
Ｓ１０４において、レベル合せ部１２の暗電流減算部１２１は、フレームメモリ１１から長露光画像と短露光画像を読み出す。そして、暗電流減算部１２１は、短露光画像から第一の暗電流画像の画素値の平均値ＯＢＲＳ（第一のオフセット値）を減算し、長露光画像から第二の暗電流画像の画素値の平均値ＯＢＲＬ（第二のオフセット値）を減算する。従来技術では、ここで撮像素子の撮像領域以外の遮光部分にある暗電流測定用の専用画素によるＯＢレベル値を減算している。暗電流減算部１２１は、平均値ＯＢＲＳを減算した短露光画像である第一の補正画像と、平均値ＯＢＲＬを減算した長露光画像である第二の補正画像と、を生成する。
【００３７】
Ｓ１０５において、レベル合せ部１２の明るさ調整部１２２は、第一の補正画像（平均値ＯＢＲＳを減算した短露光画像）に対して露光比ＲＥを乗算することによって、第一の調整画像を生成する。この場合、合成部１４の合成に使用される複数の合成前画像は、第一の調整画像と第二の補正画像である。第一の調整画像は、短露光画像からＯＢレベルの補正及び輝度レベル（明るさ）の調整によって生成された第一の合成前画像となり、第二の補正画像は、長露光画像からＯＢレベルの補正のみによって生成された第二の合成前画像となる。
【００３８】
なお、位置ずれ量検出部１３や合成部１４の構成に応じて、明るさ調整部１２２は、第二の補正画像（平均値ＯＢＲＬを減算した長露光画像）に１／ＲＥを乗算（ＲＥで除算）することによって、調整画像を生成してよい。この場合、合成部１４の合成に使用される複数の合成前画像は、この調整画像と第一の補正画像である。または、位置ずれ量検出部１３や合成部１４の構成に応じて、明るさ調整部１２２は、第一と第二の補正画像に露光比ＲＥを割り振って、輝度レベルを合わせるよう調整してもよい。この場合、合成部１４の合成に使用される複数の合成前画像は、調整された第一の補正画像（第一の調整画像）と調整された第二の補正画像（第二の調整画像）である。例えば、明るさ調整部１２２は、第一の補正画像をａ倍することにより第一の調整画像を生成し、第二の補正画像を（ＲＥ／ａ）で除算することにより第二の調整画像を生成する。
【００３９】
Ｓ１０６において、位置ずれ量検出部１３は、短露光画像から生成された第一の合成前画像の対象領域（又は対象ブロック）を基準として、長露光画像から生成された第二の合成前画像において対象領域に対応する対応領域（又は対応ブロック）への位置ずれ量を算出する。さらに、位置ずれ量検出部１３は、位置ずれ量の信頼性も判定する。
【００４０】
Ｓ１０７において、合成部１４内の位置合わせ部１４０は、短露光画像と長露光画像における同一被写体の位置が合致するように、長露光画像から生成された第二の合成前画像の各領域を位置ずれ量を用いて配置しなおした再配置画像を生成する。
【００４１】
Ｓ１０８において、合成部１４内の加算平均部１４１は、第一の合成前画像と再配置長露光画像の同一座標位置の画素の画素値を、全画素毎に加重平均して、合成画像を生成する。
【００４２】
図１と図３（ａ）（ｂ）を参照して、位置ずれ量検出部１３の詳細な構成を説明する。図１のように位置ずれ量検出部１３は、ブロック設定部１３０と、位置ずれ算出部１３１と、信頼性判定部１３２と、を備える。
【００４３】
図３（ａ）のように、ブロック設定部１３０は、短露光画像から生成された第一の合成前画像上にブロックを格子状に設定する。図３（ａ）は、画素数が横ｐピクセル、縦ｑピクセルである第一の合成前画像の上に、ブロックを格子状にｍ列ｎ行に配置された例を示す。ここで、［ｉ，ｊ］は、ブロックの横方向、縦方向の位置を示しており、ブロックの識別に用いられる。また（ｘ，ｙ）は、画像の各画素の座標を示す。
【００４４】
位置ずれ算出部１３１は、ブロック設定部１３０からの情報に基づき、短露光画像から生成された第一の合成前画像と長露光画像から生成された第二の合成前画像の必要部分を読み出し、全てのブロックについて、位置ずれ量を算出する。位置ずれ算出部１３１は、相関値の一種である画素値の差分絶対値和（ＳＡＤ：Sum of Absolute Difference）値を用いた公知のブロックマッチング法によって、位置ずれ量を算出する。
【００４５】
ここで、ＳＡＤ値の算出方法について説明する。第一の合成前画像上のある指定のブロックから（Ｖｘ，Ｖｙ）だけずれた位置の第二の合成前画像上の同一サイズのブロックとの間のＳＡＤは、以下の数式（２）で得られる。
【００４６】
【数２】
2013153283.tif 000004
【００４７】
ここで、和は、ブロックの範囲Ｕ（ｘ=-bh/2〜+bh/2、ｙ=-bv/2〜+bv/2）の画素に関してとられる。「bh」と「bv」はブロックの水平、垂直方向の画素数である。(bex,bey)は、第一の合成前画像上の指定ブロックの中心位置を示す。Lshort（ｘ，ｙ）は、第一の合成前画像の画素座標（ｘ，ｙ）での画素値であり、Llong（ｘ，ｙ）は、第二の合成前画像の画素座標（ｘ，ｙ）での画素値である。
【００４８】
位置ずれ算出部１３１は、あるブロックについて、この計算を（Ｖｘ，Ｖｙ）のある範囲で実行して、ＳＡＤが最小（つまり相関値が最大）である（Ｖｘ，Ｖｙ）をこのブロックの位置ずれ量として選択する。この位置ずれ量は、いわゆる動きベクトルである。なお、ここではブロックマッチング法における相関値としてＳＡＤを利用したが、その他の相関値（例えばＳＳＤ：Sum of Squared Difference）を利用してもよい。
【００４９】
信頼性判定部１３２は、位置ずれ量の信頼性を判定する。信頼性判定方法は、数多く知られているが、ここではブロックマッチング法で得られる相関値の分布（統計性）を利用した、以下の方法を説明する。他の信頼性判定の方法としては、相関値を用いない方法、例えば、あるブロックとその近傍のブロックの位置ずれ量の類似度によって判断する方法がある。
【００５０】
信頼性判定部１３２は、例えば以下の場合に信頼性は低いと判定し、他の場合は信頼性が高いと判定する。第一の合成前画像上のあるブロックについて、ＳＡＤ（Ｖｘ，Ｖｙ）は（Ｖｘ，Ｖｙ）ごとに種々の値をとる。ＳＡＤ（Ｖｘ，Ｖｙ）の値の小さいものから順に並べると、（ｉ）ブロックが一様なパターンの場合に、（Ｖｘ，Ｖｙ）によるＳＡＤの間の差が小さいため、ＳＡＤの最頻値と、頻度が高い上位(例えば２〜８位)のＳＡＤの平均値との差がある閾値より小さければ信頼性は低い。（ｉｉ） ブロックが繰り返しパターンの場合に、（Ｖｘ，Ｖｙ）に応じてＳＡＤ（Ｖｘ，Ｖｙ）が複数の極小値を持つため、ＳＡＤの極小値間の差が小さければ信頼性は低い。
【００５１】
ここで仮に、合成前画像の画素値Lshort（ｘ，ｙ）、Llong（ｘ，ｙ）に暗電流による電荷に基づく画素値の誤差が含まれていると、相関値ＳＡＤ（Ｖｘ，Ｖｙ）が画像間の被写体の輝度分布の相関を正しく示さないため、位置ずれ量とその信頼性を正しく検出できない。従って、合成部でのダイナミックレンジ拡大のための合成が正しく行われない。しかし、本実施形態では、合成前画像の画素値は暗電流による誤差が低減されているため、正確な相関値を算出することができ、被写体の多重像を抑制しつつ意図したダイナミックレンジ拡大の効果が得られる。ここで、信頼性が高信頼となったブロックが指定の個数または割合より少ない場合、位置ずれ検出が失敗したと判断し処理を中止しても良い。
【００５２】
図１、図４、図５を参照して、合成部１４の詳細な構成を説明する。図１のように合成部１４は、位置合わせ部１４０と加算平均部１４１とを備える。位置合わせ部１４０は、短露光画像から生成された第一の合成前画像と、長露光画像から生成された第二の合成前画像とを位置合わせする。位置合わせ部１４０は、第二の合成前画像の各領域を位置ずれ量を用いて配置し直した再配置長露光画像を生成する。加算平均部１４１は、第一の合成前画像の対象画素の画素値と、再配置長露光画像において対象画素に対応する対応画素の画素値とを加重平均して、合成画像の画素値を生成する。
【００５３】
加算平均部１４１は、加重平均において、短露光画像に対応する第一の合成前画像の重みを１に固定した場合に、長露光画像に対応する再配置長露光画像の重みＷ（ｘ，ｙ）を画素値と露光比ＲＥを用いて算出する。
【００５４】
加算平均部１４１は、ダイナミックレンジを拡大し「黒つぶれ」「白とび」を抑制するために、短露光画像において「黒つぶれ」が生じているような低輝度部の画素値において、再配置長露光画像の画素値の重みを大きくし、長露光画像で「白とび」が生じている高輝度部の画素値において、短露光画像に対応する第一の合成前画像の画素値の重みを大きくする。まず、加算平均部１４１は、数式（３）に示すように、「黒つぶれ」「白とび」を抑制するための重みＷｖを設定する。数式（３）の関数は、図４のように表せる。
【００５５】
【数３】
2013153283.tif 000005
【００５６】
ここで、Ｌｍｉｎは、短露光画像に対応する第一の合成前画像における最小の画素値以上の値であり、Ｌｍａｘは再配置長露光画像における最大の画素値以下の値である。例えば、撮像素子１０ａから得られる画素値のデジタルデータのビット数が１２で、露光比が８であり短露光画像に対応する第一の補正画像の画素値を８倍している場合に、Ｌｍｉｎ≧８、Ｌｍａｘ≦４０９６となる。ＬｍｉｎとＬｍａｘの値は、例えば短露光画像の低輝度部のノイズが、よりノイズの少ない長露光画像によって適度に抑制されるように実験的に最適化することができる。合成前画像の画素値Lshort(x,y)の代わりに、ノイズの影響を軽減するために、処理中の位置（ｘ，ｙ）の１画素だけではなく、位置（ｘ，ｙ）の周辺の画素との平均値を利用してもよい。
【００５７】
次に、加算平均部１４１は、信頼性に関する重みＷｒを設定する。信頼性判定部１３２の信頼性に関する出力が、各ブロックについて「高」「低」の２値である場合、重みＷｒは数式（４）のように表される。
【００５８】
【数４】
2013153283.tif 000006
【００５９】
あるブロックの位置ずれ量の信頼性が低い場合は、そのブロックの近傍の領域どうしが同一被写体でない可能性が高い。その場合、再配置長露光画像の重みを、重みＷｒを介して下げることで多重像を抑制できる。
【００６０】
次に、加算平均部１４１は、合成すべき二つの合成前画像の画素値の差（輝度の差）に関する重みＷｄを設定する。重みＷｄは、画素値差の絶対値が十分小さい場合は１、十分大きい場合は０となるように、画素値差ΔLを変数とする数式（５）の関数である。数式（５）は、図５のように表せる。
【００６１】
【数５】
2013153283.tif 000007
【００６２】
ここで、画素値差ΔL（ｘ，ｙ）=|Lshort（ｘ，ｙ）-Llong’（ｘ，ｙ）|であり、Llong’（ｘ，ｙ）は、再配置長露光画像の座標（ｘ，ｙ）の画素値である。ＴＨ１、ＴＨ２は、位置合わせが成功した部位のノイズ低減量と、位置合わせが失敗した部位の多重像の程度のバランスをとるように、実験的に求めることができる。
【００６３】
このように、位置ずれ量の算出に失敗した位置では被写体が異なるために画像間の画素値差ΔLが大きくなる場合が多いことを考慮し、画素値差ΔLが大きいほど再配置長露光画像の重みが小さくされる。異なる被写体部位の画素値の加算を抑えることで、合成画像上での多重像やエッジのボケなど位置合わせの失敗による劣化が抑制される。
【００６４】
最後に、ノイズレベルの低い長露光側の再配置長露光画像の比率を高めるために、露光比ＲＥが重みに含まれる。同一の輝度レベルの画素に関して、短露光側の第一の合成前画像ほうが、長露光側の第二の合成前画像よりノイズレベルが高いためである。
【００６５】
以上をまとめると、合成部１４内の加算平均部１４１は、画素（ｘ，ｙ）での再配置長露光画像の重みＷ（ｘ，ｙ）を最終的に数式（６）に従って求める。
【００６６】
【数６】
2013153283.tif 000008
【００６７】
加算平均部１４１は、合成画像の座標（ｘ，ｙ）における画素値Ｌｍ（ｘ，ｙ）を数式（７）に従って求める。
【００６８】
【数７】
2013153283.tif 000009
【００６９】
仮に、暗電流画素値の誤差が大きいと、重みＷｄや重みＷｒも大きな誤差を含み、画素が異なる被写体を示すにも関わらず長露光画像側の重みが高くなり多重像になることがある。逆に、画素が同一被写体を示すのに長露光画像側の重みが低く長露光画像の加算が行われないことがある。しかし、本実施形態において、暗電流画素値の誤差を含まないため、正確な重みＷ（ｘ，ｙ）を算出することができ、意図したダイナミックレンジ拡大の効果が得られる。
【００７０】
＜変形例＞
Ｓ１０１、Ｓ１０２、Ｓ１０３の処理について種々の変形が可能である。即ち、短露光画像と長露光画像と第一と第二の暗電流画像が取得される順番は、適宜変更されてよい。例えば、画像取得部１０は、露光画像の撮影（Ｓ１０１）の前に、事前に暗電流画像を取得してもよい。露光画像の撮影の前とは、撮像装置がダイナミックレンジ拡大画像を撮影する動作モードに移行する段階を含む。
【００７１】
また、短露光画像と長露光画像の両方が取得された後に、第一と第二の暗電流画像が取得される必要はない。画像取得部１０は、短露光画像が取得した直後に、短露光画像に対応する第一の暗電流画像を取得し、長露光画像が取得した直後に、長露光画像に対応する第二の暗電流画像を取得してよい。この場合に、短露光画像と長露光画像に対して暗電流による画素値をより正確に得ることができる。画像取得部１０は、短露光画像と長露光画像を取得する間（即ち、短露光画像と長露光画像のうち一方を取得した後他方を取得する前）に、第一と第二の暗電流画像を取得してよい。これにより、短露光画像と長露光画像と第一と第二の暗電流画像が、時間的に近接して取得されるため、短露光画像と長露光画像に対して暗電流による電荷に基づく画素値をより正確に得ることができる。また、画像取得部１０は、第一と第二の暗電流画像の一方のみを取得し、平均算出部１２０は、露光比ＲＥを用いて、この一方の暗電流画像の画素値の平均値から他方の暗電流画像の画素値の平均値を求めてもよい。これにより、他方の暗電流画像を取得する必要がなくなる。例えば、平均算出部１２０は、第一の暗電流画像の画素値の平均値ＯＢＲＳに露光比ＲＥ（例えば８倍）を乗算して、第二の暗電流画像の画素値の平均値ＯＢＲＬを求めることができる（ＯＢＲＬ＝ＯＢＲＳ×ＲＥ）。
【００７２】
また、画像取得部１０は、短露光画像と長露光画像の間でＯＢレベルの誤差の大きい方のみに対して暗電流画像を取得して、平均算出部１２０は、暗電流画像の画素値の平均値ＯＢＲを算出してよい。ＯＢレベルの誤差の小さい方に対して、撮像素子１０ａの撮像領域外の遮光素子によって得られるＯＢレベル値を利用すれば、処理時間を短縮できる。例えば、露光時間が長いほどＯＢレベルの誤差が大きいため、ＯＢＲＬがＯＢＲＳより大幅に大きいことが明らかである場合、短露光画像のＯＢＲＳの値として、遮光素子によるＯＢレベル値が利用されてもよい。
【００７３】
また、露光時間によらず、ＯＢレベルの誤差が短露光画像と長露光画像の間でほぼ同じである場合、露光比による調整によって、短露光画像のＯＢレベルの誤差が拡大されるために影響が大きい。従って、ＯＢレベルの誤差が短露光画像と長露光画像の間でほぼ同じであることが事前にわかっている場合に、短露光画像に対してのみ暗電流画像を取得してＯＢＲＳを算出し、長露光画像側は撮像領域外の遮光素子によるＯＢレベル値を以降のＯＢＲＬとして使用しても良い。
【００７４】
−作用効果−
以上のように、本実施形態によると、画像処理装置は、撮像素子１０ａによって被写体を少ない露光量（第一の露光量）で撮像して得られた短露光画像（第一の画像）と、撮像素子によって被写体を多い露光量（第二の露光量）で撮像して得られた長露光画像（第二の画像）とを処理する。暗電流減算部１２１は、短露光画像（第一の画像）の画素値から第一のオフセット値を減算して第一の補正画像を生成し、長露光画像（第二の画像）の画素値から第二のオフセット値を減算して第二の補正画像を生成する。調整部１２２は、第一の補正画像と第二の補正画像の少なくとも一方の画素値を多い露光量と少ない露光量の比を用いて調整して、第一の補正画像と第二の補正画像間の明るさの差よりも小さな明るさの差を有する複数の合成前画像を、第一の補正画像と第二の補正画像に基づいて取得する。合成部１４は、複数の合成前画像を位置合わせして合成する。第一のオフセット値と第二のオフセット値の少なくとも一方は、撮像素子１０ａの撮像に使用できる撮像領域の画素を遮光した際に当該画素から得られる画素値に基づく値である。
【００７５】
このように、撮像素子１０ａの撮像領域の画素を遮光した際に当該画素から得られる画素値に基づいて、露光量の異なる複数の画像に対して暗電流に基づく画素値への正確な寄与部分が得られる。そして、第一の補正画像と第二の補正画像間の明るさの差よりも小さな明るさの差を有する複数の合成前画像において同一の被写体に対する画素値がより近接し、位置合せに使用する位置ずれ量の検出における相関値が、暗電流の影響がより適切に取り除かれることにより適切な値になる。このため、ダイナミックレンジ拡大のための合成処理が合成部１４よって正しく行われ、被写体の多重像化が抑制できるとともに、合成部１４よって生成した合成画像において好適にダイナミックレンジが拡大される。
【００７６】
第一のオフセット値と第二のオフセット値の両方が、撮像素子１０ａの撮像領域の画素を遮光した際に当該画素から得られる画素値に基づく値であってよい。この場合に、さらに、好適にダイナミックレンジが拡大される。
【００７７】
第一のオフセット値と第二のオフセット値の少なくとも一方が、減算する対象の画素値を有する画素の位置に依存する。これにより、撮像素子１０ａの放熱設計によって撮像素子１０ａの温度分布に偏りがある場合でも、局所的な暗電流による電荷に基づく画素値への寄与部分を正確に減算できるため、好適にダイナミックレンジを拡大できる。
【００７８】
撮像領域の画素を遮光した際に当該画素から得られる画素値は、第一の画像と第一の画像の両方が撮像された後、撮像素子の温度が維持される時間内に撮像領域の画素が遮光されることによって得られる。これにより、さらに正確な暗電流値を得られる。
【００７９】
［その他の実施形態］
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵと、画像データを記憶するＲＡＭ等の主記憶装置と、上記の画像処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶装置（又は非一時的な記録媒体）とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、画像データの加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。この場合、画像処理装置（コンピュータ）は、上述の画像取得部１０で取得された画像を入出力部（メモリカードデバイスなど）から読み込む。
【００８０】
ここで、コンピュータ読み取り可能な記憶装置（又は非一時的な記録媒体）とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００８１】
本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【００８２】
例えば、本実施形態では、画像を撮像（又は撮影）するときの露光量は、露光時間で調整された。しかし、撮像装置に画像取得部を複数設けて、複数の画像取得部を用いることによって、ユーザによる一回のシャッターのレリーズ操作に応じて各画像取得部で異なる露光量での画像を略同時に得ることが可能である。
【符号の説明】
【００８３】
１０    画像取得部
１０ａ  撮像素子
１０ｂ  シャッター
１０ｃ  撮影光学系
１１    フレームメモリ
１２    レベル合せ部（明るさ合せ部）
１３    位置ずれ量検出部
１４    合成部
１５    処理部
１６    メインコントローラ
１２０  平均算出部
１２１  暗電流減算部
１２２  調整部
１３０  ブロック設定部
１３１  算出部
１３２  信頼性判定部
１４０  位置合わせ部
１４１  加算平均部
【図１】
2013153283.tif 000010
【図２】
2013153283.tif 000011
【図３】
2013153283.tif 000012
【図４】
2013153283.tif 000013
【図５】
2013153283.tif 000014