(57)【特許請求の範囲】
【請求項１】
第１の画像と該第１の画像よりも露出時間の長い第２の画像とを合成することで合成画像を生成する画像合成装置であって、
前記第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値を含む第１の許容範囲内の画素値を持つ第１の画素を選択する第１の画素選択部と、
前記第２の画像上の前記注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記注目画素の値を含む第２の許容範囲内の画素値を持つ第２の画素を選択する第２の画素選択部と、
前記第１の画素の値及び前記第２の画素の値を合成することにより得られた合成値を前記合成画像上の前記注目画素と同位置の画素の値とする合成部と、
を有する画像合成装置。
【請求項２】
前記合成部は、前記第２の画像が手ぶれしない条件で撮影されている場合、前記第１の画素に対する第１の重み係数を前記第２の画素に対する第２の重み係数よりも小さくして前記第１の画素の値及び前記第２の画素の値を加重平均することで前記合成値を算出し、一方、前記第２の画像が手ぶれする条件で撮影されている場合、前記第１の重み係数を前記第２の重み係数よりも大きくして前記第１の画素の値及び前記第２の画素の値を加重平均することで前記合成値を算出する、請求項１に記載の画像合成装置。
【請求項３】
前記第２の画像のそれぞれの画素について、被写体のエッジが写っているか否か判定するエッジ判定部をさらに有し、
前記第２の画素選択部は、前記基準画素が被写体のエッジが写っている画素であると判定されている場合における前記第２のフィルタ領域のサイズを、前記基準画素が被写体のエッジが写っていない画素であると判定されている場合における前記第２のフィルタ領域のサイズよりも大きくする、請求項１または２に記載の画像合成装置。
【請求項４】
前記第２の許容範囲は前記第１の許容範囲よりも狭い、請求項１〜３の何れか一項に記載の画像合成装置。
【請求項５】
前記第２のフィルタ領域のサイズは前記第１のフィルタ領域のサイズよりも大きい、請求項１〜４の何れか一項に記載の画像合成装置。
【請求項６】
前記第１の画像に重畳されたノイズ成分による画素値の第１の変動幅、及び前記第２の画像に重畳されたノイズ成分による画素値の第２の変動幅を推定するノイズ成分推定部をさらに有し、
前記第１の画素選択部は、前記第１の許容範囲を、前記第１の変動幅が大きいほど広くし、
前記第２の画素選択部は、前記第２の許容範囲を、前記第１の変動幅及び前記第２の変動幅の両方が大きいほど広くする、請求項１〜５の何れか一項に記載の画像合成装置。
【請求項７】
前記第１の画素選択部は、前記第２の変動幅に対する前記第１の変動幅の比が大きいほど、前記第１のフィルタ領域を大きくし、
前記第２の画素選択部は、前記第２の変動幅に対する前記第１の変動幅の比が大きいほど、前記第２のフィルタ領域を大きくする、請求項６に記載の画像合成装置。
【請求項８】
前記ノイズ成分推定部は、前記第１の画像を複数の部分領域に分割し、該複数の部分領域のうち、画素値の変動が最も少ない部分領域における画素値の第１の標準偏差を前記第１の変動幅を表す指標として算出し、前記第２の画像を複数の部分領域に分割し、該複数の部分領域のうち、画素値の変動が最も少ない部分領域における画素値の第２の標準偏差を前記第２の変動幅を表す指標として算出し、
前記第１の画素選択部は、前記第１の許容範囲を、前記第１の標準偏差が大きくなるほど広くし、
前記第２の画素選択部は、前記第２の許容範囲を、前記第１の標準偏差と前記第２の標準偏差の和が大きくなるほど広くする、請求項６または７に記載の画像合成装置。
【請求項９】
第１の画像と該第１の画像よりも露出時間の長い第２の画像とを合成することで合成画像を生成することをコンピュータに実行させる画像合成用コンピュータプログラムであって、
前記第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値を含む第１の許容範囲内の画素値を持つ第１の画素を選択し、
前記第２の画像上の前記注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記注目画素の値を含む第２の許容範囲内の画素値を持つ第２の画素を選択し、
前記第１の画素の値及び前記第２の画素の値を合成することにより得られた合成値を前記合成画像上の前記注目画素と同位置の画素の値とする、
ことをコンピュータに実行させるための画像合成用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、異なる露出時間で被写体を撮影することにより得られた複数の画像を合成する画像合成装置及び画像合成用コンピュータプログラムに関する。
【背景技術】
【０００２】
ユーザがカメラを手で持って被写体を撮影する場合、シャッター速度が遅いと手ぶれにより画像上の被写体の像がボケてしまうことがある。このような手ぶれによるボケを画像処理にて補正する技術が研究されている。特に、画像の補正に利用する画像の枚数を少なくするために、異なる露出時間で被写体を撮影することにより得られた複数の画像を利用して手ぶれによるボケを補正する技術が提案されている（例えば、特許文献１〜３を参照）。
【０００３】
例えば、特許文献１には、少ない画像枚数でブレのない、ノイズを抑えた画像を得るための撮像装置が開示されている。この撮像装置は、露出時間は短く解像度は高いがノイズの多い画像と露出時間は長いがノイズの少ない解像度の低い画像を含む複数枚の画像を撮影する。そしてこの撮像装置は、２枚の画像間の差分画像から閾値によってエッジ・ブレとノイズを切り分けて、画像の合成比率を変化させて合成する。その際、この撮像装置は、エッジと判断した画素については露出時間は短く解像度は高いがノイズの多い画像の合成比率を高くする。
【０００４】
また、特許文献２には、第１画像と、第１画像よりも露出時間が長く感度が小さい条件で撮影して得られた第２画像と、第１画像の高周波成分が濾波された第３画像とを合成して合成画像を作成する画像処理装置が開示されている。この画像処理装置は、画素毎にエッジ強度値を求め、エッジ強度値が大きい画素ほど第１の画像の合成比率を大きくし、第２画像と第３画像間の差が小さい画素ほど第２画像の合成比率を大きくする。
【０００５】
さらに、特許文献３には、露光時間の短い短露光画像と露光時間の長い適正露光画像を合成する画像処理装置が開示されている。この画像処理装置は、短露光画像を複数の部分画像領域に分割し、注目画素位置に対するエッジ強度値が大きいほど、かつ、注目画素位置が属する部分画像領域についての領域エッジ量が大きいほど、適正露光画像に対する短露光画像の合成比率を大きくする。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３２４７７０号公報
【特許文献２】特開２００９−２８４００１号公報
【特許文献３】特開２０１１−４４８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の何れの技術でも、被写体のエッジが写っているエッジ領域については、露出時間の長い画像に対する露出時間の短い画像の合成比率が大きくなる。そのため、合成された画像においても、エッジ領域に含まれるノイズ成分が相対的に多くなる。場合によっては、エッジ領域に含まれるノイズ成分の量とエッジ領域の周囲の領域に含まれるノイズ成分の量との違いにより、エッジ領域の粒状性が目立ってしまい、その結果として、合成画像は、その全体の画質が悪いという印象をユーザに与えるおそれがあった。
【０００８】
そこで本明細書は、露出時間の異なる複数の画像に基づいて、手ぶれによるボケを抑制しつつ、エッジ領域に含まれるノイズ成分を低減させた合成画像を生成可能な画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの実施形態によれば、第１の画像とその第１の画像よりも露出時間の長い第２の画像とを合成することで合成画像を生成する画像合成装置が提供される。この画像合成装置は、第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、その第１のフィルタ領域の中から注目画素の値を含む第１の許容範囲内の画素値を持つ第１の画素を選択する第１の画素選択部と、第２の画像上の注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、その第２のフィルタ領域の中から第１の画像上の注目画素の値を含む第２の許容範囲内の画素値を持つ第２の画素を選択する第２の画素選択部と、第１の画素の値及び第２の画素の値を合成することにより得られた合成値を合成画像上の注目画素と同位置の画素の値とする合成部とを有する。
【００１０】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１１】
本明細書に開示された画像合成置は、露出時間の異なる複数の画像に基づいて、手ぶれによるボケを抑制しつつ、エッジ領域に含まれるノイズ成分を低減させた合成画像を生成できる。
【図面の簡単な説明】
【００１２】
【図１】画像合成装置が組み込まれた撮像装置の構成図である。
【図２】（ａ）は、短露光画像の一例を示す図であり、（ｂ）は、長露光画像の一例を示す図である。
【図３】第１の実施形態による画像合成装置の構成図である。
【図４】（ａ）は、短露光画像の注目画素に対して設定されるフィルタ範囲及び選択される画素の一例を示す図であり、（ｂ）は、長露光画像に対して設定されるフィルタ範囲及び選択される画素の一例を示す図である。
【図５】画像合成装置により実行される画像合成処理の動作フローチャートである。
【図６】第２の実施形態による画像合成装置の構成図である。
【図７】被写体のエッジ部分についての短露光画像と長露光画像における画素値のプロファイルの一例を示す図である。
【図８】第３の実施形態による画像合成装置の構成図である。
【図９】（ａ）は、短露光画像に重畳されているノイズ成分と第１の許容範囲との関係を示す図であり、（ｂ）は、長露光画像に重畳されているノイズ成分と第２の許容範囲との関係を示す図である。
【図１０】各実施形態またはその変形例による画像合成装置の各部の機能を実現するコンピュータプログラムが動作することにより、画像合成装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１３】
以下、図を参照しつつ、幾つかの実施形態による画像合成装置について説明する。
この画像合成装置は、手ぶれによるボケを抑制するために、露出時間が相対的に長く、適正な露光量で撮影が行われた画像と、相対的に短い露出時間で撮影が行われた画像とを合成することにより合成画像を生成する。なお、便宜上、露出時間が相対的に長く、適正な露光量で撮影が行われた画像を長露光画像と呼び、長露光画像の露出時間よりも短い露出時間で撮影が行われた画像を短露光画像と呼ぶ。この画像合成装置は、短露光画像上に設定される任意の注目画素の周囲に設定されたフィルタ領域から、注目画素の値を基準値として定められる画素値の第１の許容範囲内の値を持つ画素を選択する。同様に、この画像合成装置は、長露光画像上の注目画素と同じ位置にある基準画素の周囲に設定されたフィルタ領域からも、注目画素の値を基準値として定められる画素値の第２の許容範囲内の値を持つ画素を選択する。そしてこの画像合成装置は、選択された画素の値を合成することで得られる合成値を、合成画像における注目画素と同位置の画素の値とすることで、エッジ領域についても、手ぶれによるボケを抑制しつつ、ノイズ成分を抑制する。
【００１４】
また、本実施形態では、処理対象となる画像は、RGB表色系で表され、各色ごとに8ビットの階調を持つカラーデジタル画像である。また以下の説明における画素値は、特定の色の成分を表す。そして色成分ごとに、下記に説明する処理が実行される。
なお、各色成分の階調を表すビット数は8ビットに限られず、例えば、4ビットあるいは10ビットでもよい。また処理対象となる画像は、YUV表色系あるいはHSV表色系といった他の表色系で表されるカラーデジタル画像であってもよい。この場合には、以下の説明における画素値は、色相、彩度、輝度などの成分を表す。そして成分ごとに、下記の処理が実行される。あるいは、処理対象となる画像は、各画素が輝度値のみを持つグレー画像であってもよい。
【００１５】
図１は、一つの実施形態による画像合成装置が組み込まれた撮像装置の概略構成図である。撮像装置１は、被写体を異なる露出時間で連続して撮影することにより、露出時間の異なる複数の画像を生成可能な撮像装置であり、例えば、カメラを搭載した携帯電話機、あるいはデジタルカメラである。図１に示すように、撮像装置１は、カメラモジュール２と、操作部３と、表示部４と、記憶部５と、画像合成装置６と、制御部７とを有する。さらに撮像装置１は、撮像装置１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部７と、撮像装置１のその他の各部とは、例えば、バスにより接続されている。
【００１６】
カメラモジュール２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。そしてカメラモジュール２は、制御部７から通知された絞り径及びシャッター速度により被写体の像が写った画像を生成する。本実施形態では、カメラモジュール２は、適正な露光量となるように調整された絞り径及びシャッター速度にて被写体を撮影して、長露光画像を生成する。さらにカメラモジュール２は、長露光画像生成時の絞り径と同じ絞り径で、シャッター速度を、例えば、8倍にして被写体を撮影することで、短露光画像を生成する。すなわち、短露光画像では、長露光画像と比較して露出時間及び露光量が1/8となっている。なお、上記の露出時間は一例に過ぎず、短露光画像についての露出時間は、例えば、長露光画像の露出時間の1/4または1/16であってもよい。
さらにカメラモジュール２は、露光量の違いによる長露光画像と短露光画像間の輝度差を補正するために、各固体撮像素子からの出力信号に対するゲインを調節して、短露光画像の各画素の値に、短露光画像の露出時間に対する長露光画像の露出時間の比を乗じる。そしてカメラモジュール２は、短露光画像及び長露光画像を記憶部５に記憶させる。
【００１７】
図２（ａ）は、短露光画像の一例を示す図であり、図２（ｂ）は、長露光画像の一例を示す図である。図２（ａ）に示した短露光画像２００では、十字形状を有する被写体２０１のエッジが明瞭に写っている。しかし、短露光画像２００では、画素値に占めるノイズ成分が相対的に大きくなるので、全体的に粒状性が目立つ。一方、図２（ｂ）に示した長露光画像２１０では、手ぶれによるボケが生じているため、被写体２０１のエッジ近傍で画素値が緩やかに変化しており、エッジが不明りょうになっている。しかし、長露光画像２１０では、画素値に占めるノイズ成分が相対的に小さくなるので、粒状性は目立たなくなっている。
【００１８】
操作部３は、例えば、撮像装置１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部７へ送信する。
【００１９】
表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部７から受け取った各種の情報、またはカメラモジュール２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
【００２０】
記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、カメラモジュール２から受け取った画像を記憶する。また記憶部５は、画像合成装置６からの読み出し要求によって画像を画像合成装置６へ渡し、また、記憶部５は、画像合成装置６から受け取った合成画像を記憶する。さらに、画像合成装置６が有する各機能が、制御部７が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。
【００２１】
画像合成装置６は、長露光画像と短露光画像を合成することにより、手ぶれによるボケが抑制され、かつ、ノイズ成分が低減された合成画像を生成する。なお、画像合成装置６の詳細については後述する。
【００２２】
制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有し、撮像装置１全体を制御する。例えば、制御部７は、操作部３から受け取った設定信号及び被写体の露光量に応じて、シャッタースピードまたは絞り径を設定する。また制御部７は、画像合成装置６により生成された合成画像に対してカラーバランスを調整したり、エッジ強調またはコントラスト強調といった処理を実行してもよい。
【００２３】
以下、画像合成装置６の各構成要素について説明する。図３に、画像合成装置６の構成図を示す。画像合成装置６は、位置合わせ部１１と、第１類似画素選択部１２と、第２類似画素選択部１３と、合成部１４とを有する。
画像合成装置６が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として形成される。また、画像合成装置６が有するこれらの各部は、それぞれ、別個の回路として形成されてもよい。
【００２４】
位置合わせ部１１は、長露光画像に写っている被写体の像の位置と短露光画像に写っている被写体の像の位置との位置ずれ量を求める。そして位置合わせ部１１は、その位置ずれ量を打ち消すように、長露光画像及び短露光画像のうちの少なくとも一方に写っている被写体の像を移動することで、両画像上の被写体の像を位置合わせする。
【００２５】
位置ずれ量を求めるために、位置合わせ部１１は、例えば、短露光画像上の特徴点を少なくとも一つ抽出する。例えば、位置合わせ部１１は、短露光画像に対してコーナー検出器を適用することにより検出される複数の点をそれぞれ特徴点とする。なお、位置合わせ部１は、そのようなコーナー検出器として、例えば、Harris検出器を用いることができる。また位置合わせ部１１は、短露光画像から特徴点を抽出するために、他の特徴点抽出用の検出器を利用してもよい。例えば、そのような検出器として、Moravec検出器、Smallest Univalue Segment Assymilating Nucleus(SUSAN)検出器、Kanade-Lucas-Tomasi(KLT) TrackerまたはScale-invariant feature transform(SIFT)検出器の何れかが用いられてもよい。
【００２６】
次に、位置合わせ部１１は、短露光画像から抽出された特徴点ごとに、その特徴点を中心とする所定の領域をテンプレートとして設定する。そして位置合わせ部１１は、例えば、そのテンプレートと長露光画像との間で相対的な位置を変えつつテンプレートマッチングを行って類似度を求め、類似度が最大となる領域の中心位置を、短露光画像上のその特徴点に対応する長露光画像上の特徴点として求める。その際、位置合わせ部１１は、注目する特徴点について、長露光画像上の対応する画素を最初の探索点に設定する。そして位置合わせ部１１は、探索点及びその周囲の８近傍画素あるいは２４近傍画素について類似度を求め、そのうちで類似度が最大となる画素を次の探索点に設定する。そして位置合わせ部１１は、探索点が移動しなくなるまで上記の処理を繰り返し、最終的に求められた探索点を特徴点としてもよい。なお、位置合わせ部１１は、類似度として、例えば、テンプレートと長露光画像上の比較する領域との正規化相互相関値を算出する。あるいは、位置合わせ部１１は、テンプレートと長露光画像上の比較する領域との対応画素間の画素値差の絶対値の総和Δの逆数、あるいは1/(1+Δ)を類似度としてもよい。
【００２７】
位置合わせ部１１は、上記の類似度の最大値が所定の閾値以上である場合に限り、短露光画像上の特徴点と長露光画像上の対応する点とを、被写体の同一の部位に対応する特徴点の組としてもよい。この場合、類似度の最大値が閾値未満であれば、位置合わせ部１１は、そのテンプレートに対応する特徴点と一致する特徴点が長露光画像には存在しないとして、その特徴点を、特徴点の組の探索対象から外してもよい。この所定の閾値が高く設定されるほど、位置合わせ部１１は、特徴点の組が、被写体の同一の部位に対応していることの確からしさを向上できる。例えば、所定の閾値は、類似度が取り得る最大値に0.8〜0.9を乗じた値に設定される。あるいは、位置合わせ部１１は、短露光画像から抽出された特徴点の数が多いほど、所定の閾値を高くしてもよい。これにより、位置合わせ部１１は、一方の画像から抽出された特徴点の数が多いときには、同一の部位に対応している可能性が高い特徴点の組だけを抽出できる。また、一方の画像から抽出された特徴点数が少なくても、位置合わせ部１１は両画像上の被写体の像の位置合わせのために十分な数の特徴点の組を抽出できる。
【００２８】
次に、位置合わせ部１１は、得られた特徴点の組に基づいて、短露光画像に写っている被写体の位置と長露光画像に写っている被写体の位置を一致させるための座標変換パラメータの組を算出する。座標変換パラメータの組は、例えば、短露光画像及び長露光画像の少なくとも一方の各画素に対して適用されるアフィン変換の係数の組とすることができる。
【００２９】
この場合、位置合わせ部１１は、例えば、最小二乗法により、座標変換パラメータの組を決定する。すなわち、位置合わせ部１１は、座標変換パラメータの組に含まれる各アフィン変換の係数をそれぞれ変数として、複数の特徴点の組のそれぞれについてアフィン変換に従って短露光画像及び長露光画像の少なくとも一方の特徴点の座標を変換する。そして位置合わせ部１１は、各特徴点の組についての変換後の特徴点間の距離の二乗の平均値を求める。位置合わせ部１１は、この二乗平均値が最小となる座標変換パラメータの組を求める。
【００３０】
なお、位置合わせ部１１は、他の様々な位置合わせ方法の何れかを用いて座標変換パラメータの組を求めてもよい。例えば、撮像装置１がジャイロセンサ（図示せず）を内蔵していることがある。この場合には、ジャイロセンサからの出力に基づいて、位置合わせ部１１は、長露光画像撮影時のカメラモジュール２の撮影方向と短露光画像撮影時のカメラモジュール２の撮影方向間の角度を求め、その角度に応じて上記の座標変換パラメータを求めてもよい。
【００３１】
位置合わせ部１１は、求めた座標変換パラメータの組を用いて、短露光画像及び長露光画像のうちの少なくとも一方の各画素の座標をアフィン変換する。これにより、位置合わせ部１１は、長露光画像に写っている被写体の像の位置と短露光画像に写っている被写体の像の位置とを一致させることができる。
位置合わせ部１１は被写体の像の位置合わせがなされた短露光画像を第１類似画素選択部１２へ出力し、一方、被写体の像の位置合わせがなされた長露光画像を第２類似画素選択部１３へ出力する。
【００３２】
第１類似画素選択部１２は、短露光画像上の各画素を順次注目画素とし、その注目画素の周囲に所定のフィルタ領域を設定する。そして第１類似画素選択部１２は、そのフィルタ領域から、注目画素の値を基準値として設定される第１の許容範囲内の画素値を持つ画素を選択する。なお、フィルタ領域は、例えば、注目画素を中心とする、縦5画素×横5画素の大きさを持つ矩形領域である。また第１の許容範囲は、撮像装置１の電子回路で生じるノイズ、及び、個々の画素に相当する撮像素子に入射する光子数の揺らぎによるノイズから想定される画素値の揺らぎに相当する範囲に設定される。この範囲は、例えば、実験的に定められ、画素値が0〜255で表される場合、基準値±25に設定される。なお、撮影時の露光量が少ないほど、画素値に占めるノイズ成分の割合は大きくなるので、第１の許容範囲は、短露光画像の露光量が少ないほど、広く設定されてもよい。あるいは、注目画素の値が小さいほど、第１の許容範囲は広く設定されてもよい。
第１類似画素選択部１２は、短露光画像上で選択した画素の位置を表す情報を合成部１４へ通知する。
【００３３】
第２類似画素選択部１３は、長露光画像に対して、短露光画像上の注目画素と同位置にある基準画素の周囲に所定のフィルタ領域を設定する。そして第２類似画素選択部１３は、そのフィルタ領域から、注目画素の値を基準値として設定される第２の許容範囲内の画素値を持つ画素を選択する。
【００３４】
なお、長露光画像では、手ぶれによって被写体上のある点が複数の画素にわたって写っている可能性がある。そこで長露光画像に対して設定されるフィルタ領域は、短露光画像に対して設定されるフィルタ領域よりも大きいことが好ましい。例えば、長露光画像に対して設定されるフィルタ領域は、注目画素を中心とする、縦9画素×横9画素の大きさを持つ矩形領域である。なお、例えば、撮像装置１に内蔵されているジャイロセンサの出力などによって、手ぶれの方向が推定される場合には、第２類似画素選択部１３は、その手ぶれの方向のフィルタサイズを、手ぶれの方向と直交する方向のフィルタサイズよりも大きくしてもよい。第２類似画素選択部１３は、例えば、フィルタ領域を、手ぶれの方向に対しては基準画素を中心とする9画素の幅を持ち、手ぶれの方向と直交する方向に対しては基準画素を中心とする5画素の幅を持つ領域としてもよい。
【００３５】
また長露光画像に対して設定される第２の許容範囲は、短露光画像に対して設定される第１の許容範囲よりも狭いことが好ましい。長露光画像では、相対的に、画素値に占めるノイズ成分の割合が低いので、ノイズによる画素値の揺らぎの幅も小さいためである。例えば、画素値が0〜255で表される場合、第２の許容範囲は、基準値±15に設定される。
なお、第２類似画素選択部１３は、長露光画像の露光量が大きいほど、第２の許容範囲を狭くしてもよい。また第２類似画素選択部１３は、長露光画像上で画素値が大きい画素ほど、第２の許容範囲を狭くしてもよい。
【００３６】
図４（ａ）は、短露光画像の注目画素に対して設定されるフィルタ範囲及び選択される画素の一例を示す図である。図４（ａ）において、短露光画像４００の各画素内に示された数値は、その画素の値を示す。この例では、注目画素４０１を中心とする縦5×横5画素のフィルタ領域４１０が設定されている。第１の許容範囲が注目画素４０１の画素値192に対して±25の範囲であるとすると、注目画素４０１の他、注目画素４０１の左隣の画素４０２（画素値185）、左下方の画素４０３（画素値203）及び右下方の画素４０４（画素値190）が選択される。
【００３７】
図４（ｂ）は、長露光画像４２０に対して設定されるフィルタ範囲及び選択される画素の一例を示す図である。図４（ｂ）において、各画素内に示された数値は、その画素の値を示す。この例では、注目画素と同位置にある基準画素４２１を中心とする縦9×横9画素のフィルタ領域４３０が設定されている。第２の許容範囲が図４（ａ）に示された注目画素４０１の画素値192に対して±15の範囲であるとすると、ハッチングで示された7個の画素４２２が選択される。
【００３８】
第２類似画素選択部１３は、選択した画素の位置を表す情報を合成部１４へ通知する。
【００３９】
合成部１４は、第１類似画素選択部１２によって選択された短露光画像上の画素の値と、第２類似画素選択部１３によって選択された長露光画像上の画素の値とを合成することにより得られた合成値を、合成画像上の注目画素と同位置の画素の値として算出する。本実施形態では、合成部１４は、選択された画素の平均値を、合成画像上の注目画素と同位置の画素の値とする。例えば、図４（ａ）及び図４（ｂ）に示された選択画素の例では、選択画素の値の平均値は、(192+185+203+190+190+185+188+187+195+204+199)/11=192.5となるので、その平均値の整数部分である192が注目画素と同位置の画素の値となる。
なお、合成部１４は、第１類似画素選択部１２によって選択された短露光画像上の画素の値と、第２類似画素選択部１３によって選択された長露光画像上の画素の値の中央値を、合成画像上の注目画素と同位置の画素の値としてもよい。この場合には、図４（ａ）及び図４（ｂ）に示された選択画素の例では、選択画素の値の中央値は190であるので、注目画素と同位置の画素の値は190となる。
【００４０】
図５は、画像合成装置６により実行される画像合成処理の動作フローチャートである。
画像合成装置６は、記憶部５から、長露光画像及び短露光画像を読み込む（ステップＳ１０１）。そして位置合わせ部１１は、長露光画像上の被写体の像の位置と短露光画像上の被写体の像の位置を一致させるように、長露光画像及び短露光画像のうちの少なくとも一方の被写体の像を移動させる（ステップＳ１０２）。
【００４１】
画像合成装置６は、位置合わせされた短露光画像上の画素のうち、注目画素に設定されていない画素を注目画素に設定する（ステップＳ１０３）。例えば、画像合成装置６は、左上端の画素から順に、ラスタスキャン順に従って各画素を順次注目画素に設定する。
【００４２】
第１類似画素選択部１２は、短露光画像上の注目画素の周囲にフィルタ領域を設定する（ステップＳ１０４）。そして第１類似画素選択部１２は、フィルタ領域内で注目画素の値を基準値として設定される第１の許容範囲内に含まれる画素値を持つ画素を選択する（ステップＳ１０５）。第１類似画素選択部１２は、短露光画像から選択した画素の位置を表す情報を合成部１４へ通知する。
【００４３】
また第２類似画素選択部１３は、長露光画像に対して、その長露光画像上で注目画素と同位置にある基準画素の周囲にフィルタ領域を設定する（ステップＳ１０６）。そして第２類似画素選択部１３は、フィルタ領域内で注目画素の値を基準値として設定される第２の許容範囲内に含まれる画素値を持つ画素を選択する（ステップＳ１０７）。第２類似画素選択部１３は、長露光画像から選択した画素の位置を表す情報を合成部１４へ通知する。
【００４４】
合成部１４は、選択された画素の値を合成することにより得られた合成値を、合成画像上の注目画素と同位置の画素の値として算出する（ステップＳ１０８）。上記のように、選択された画素の値を合成することにより得られた値は、例えば、選択された画素の値の平均値または中央値とすることができる。
その後、画像合成装置６は、短露光画像上で注目画像に設定されていない画素が残っているか否か判定する（ステップＳ１０９）。短露光画像上で注目画素に設定されていない画素が残っている場合（ステップＳ１０９−Ｙｅｓ）、画像合成装置６は、ステップＳ１０３以降の処理を繰り返す。
【００４５】
一方、短露光画像上で注目画素に設定されていない画素が残っていない場合（ステップＳ１０９−Ｎｏ）、画像合成装置６は、合成画像を制御部７へ出力する（ステップＳ１１０）。なお、画像合成装置６は、合成画像を記憶部５に記憶させてもよい。そして画像合成装置６は、この画像合成処理を終了する。
なお、画像合成装置６は、ステップＳ１０４及びＳ１０５の処理と、ステップＳ１０６及びＳ１０７の処理とを並列に実行してもよい。あるいは、画像合成装置６は、ステップＳ１０４及びＳ１０５の処理と、ステップＳ１０６及びＳ１０７の処理の順序を入れ替えてもよい。
【００４６】
以上に説明してきたように、この画像合成装置は、長露光画像及び短露光画像の両方に対して、注目画素の周囲にある程度の大きさを持つフィルタ領域を設定して、そのフィルタ領域内から、注目画素の値に近い値を持つ画素を選択する。このようにして選択された画素には、注目画素に写っている被写体と同じ被写体が写っている可能性が高い。そのため、この画像合成装置は、手ぶれによるボケを抑制できる。またこの画像合成装置は、被写体の同一の部位が写っていると想定される選択された複数の画素の値を合成することで合成画像を生成するので、合成画像の各画素の値に含まれるノイズ成分を低減できる。
【００４７】
次に、第２の実施形態による画像合成装置について説明する。第２の実施形態による画像合成装置は、長露光画像において被写体のエッジが写っているエッジ画素を検出し、エッジ画素が基準画素として設定される場合のフィルタ領域を相対的に大きくする。
【００４８】
図６に、第２の実施形態による画像合成装置６１の構成図を示す。画像合成装置６１は、位置合わせ部１１と、第１類似画素選択部１２と、第２類似画素選択部１３と、合成部１４と、エッジ判定部１５とを有する。
画像合成装置６１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として形成される。また、画像合成装置６１が有するこれらの各部は、それぞれ、別個の回路として形成されてもよい。
【００４９】
図６において、画像合成装置６１が有する各構成要素には、図３に示された第１の実施形態による画像合成装置６が有する対応する構成要素の参照番号と同じ参照番号を付した。第２の実施形態による画像合成装置６１は、第１の実施形態による画像合成装置６と比較して、エッジ判定部１５を有する点で異なる。そこで以下では、エッジ判定部１５及び関連部分について説明する。
【００５０】
エッジ判定部１５は、位置合わせ部１１により位置合わせされた長露光画像及び短露光画像に基づいて、長露光画像の各画素について被写体のエッジが写っているか否か判定する。
【００５１】
図７は、被写体のエッジ部分についての短露光画像と長露光画像との画素値のプロファイルの一例を示す図である。図７において、横軸は画像上の位置を表し、縦軸は画素値を表す。そしてプロファイル７０１は、短露光画像における被写体のエッジ部分の画素値の変化を表す。またプロファイル７０２は、手ぶれによるボケが生じた場合の長露光画像における被写体のエッジ部分の画素値の変化を表す。
【００５２】
プロファイル７０１に示されるように、短露光画像では、手ぶれによるボケが殆ど生じないので、被写体のエッジ部分７１０において、エッジ部分での位置変化に対して画素値は急激に変化する。一方、プロファイル７０２に示されるように、長露光画像では、手ぶれによるボケが生じているために、エッジ部分７２０は短露光画像におけるエッジ部分７１０よりも広がっており、エッジ部分での位置変化に対する画素値の変化も緩やかである。その結果として、エッジ部分７２０では、同じ被写体が写っているにもかかわらず、短露光画像と長露光画像とで、画素値に差が生じている。一方、エッジ部分７２０以外では、短露光画像と長露光画像間の画素値の差は非常に小さい。
【００５３】
そこで本実施形態では、エッジ判定部１５は、長露光画像と短露光画像とで、同じ位置にある画素の値の差の絶対値をエッジ判定値として算出する。そしてエッジ判定部１５は、そのエッジ判定値が所定の閾値Th以上となる場合、長露光画像上のその画素には被写体のエッジが写っていると判定する。なお、所定の閾値Thは、例えば、同一の被写体が写っている短露光画像と長露光画像の組の複数のサンプルに基づいて、被写体のエッジ部分に相当する画素値の差の絶対値を調べ、その差の絶対値の下限に相当する値に設定される。例えば、その閾値Thは、画素値が0〜255で表される場合、5に設定される。
【００５４】
なお、エッジ判定部１５は、エッジを検出する他の方法を用いてもよい。再度図７を参照すると、長露光画像において手ぶれによるボケが生じていると、長露光画像におけるエッジ部分での近傍画素間の差分値は、短露光画像におけるエッジ部分での近傍画素間の差分値よりも小さくなる。逆に、短露光画像におけるエッジ部分の周囲の画素値が平坦な部分での近傍画素間の差分値よりも、長露光画像においてその平坦な部分に対応する部分での近傍画素間の差分値は大きくなる。そこでエッジ判定部１５は、短露光画像と長露光画像とで、それぞれ、同一の位置にある画素について近傍画素間の差分演算を行って差分値を求め、その差分値の差の絶対値をエッジ判定値としてもよい。この場合も、エッジ判定部１５は、エッジ判定値が所定の閾値以上となる場合、長露光画像上のその画素にエッジが写っていると判定してもよい。
エッジ判定部１５は、長露光画像においてエッジが写っていると判定されたエッジ画素の座標を第２類似画素選択部１３へ通知する。
【００５５】
第２類似画素選択部１３は、基準画素がエッジ画素である場合のフィルタ領域を、基準画素がエッジ画素でない場合のフィルタ領域よりも大きくする。例えば、基準画素がエッジ画素である場合、フィルタ領域は、基準画素を中心とする縦9×横9画素のサイズに設定される。一方、基準画素がエッジ画素でない場合、フィルタ領域は、基準画素を中心とする縦5×横5画素のサイズに設定される。
【００５６】
手ぶれによって長露光画像がボケていると、被写体のエッジが写っている近傍では、そのエッジ部分が本来よりも広がっているために、短露光画像上の注目画素に写っている被写体と同様の画素値を持つ画素が、長露光画像上で検出し難くなる。特に、上記のエッジ画素の判定方法では、短露光画像では被写体のエッジがボケておらず、一方、長露光画像上の被写体のエッジがボケている場合にエッジ画素が検出される。そのため、エッジ画素と判定された画素には、手ぶれによりボケている被写体のエッジが写っている可能性が高い。しかしこの実施形態では、短露光画像の注目画素と同位置にある長露光画像上の基準画素がエッジ画素である場合、長露光画像に対して設定されるフィルタ領域が広くなる。そのため、第２類似画素選択部１３は、注目画素に写っている被写体の部位と同じ部位が写っている画素を検出し易くなる。
【００５７】
なお、変形例によれば、エッジ判定部１５は、長露光画像上の各画素について、その画像のエッジ判定値を第２類似画素選択部１３へ通知してもよい。そして第２類似画素選択部１３は、基準画素のエッジ判定値が大きいほど、その基準がその周囲に設定されるフィルタ領域のサイズを大きくしてもよい。
【００５８】
次に、第３の実施形態による画像合成装置について説明する。第３の実施形態による画像合成装置は、長露光画像に重畳されているノイズ成分及び短露光画像に重畳されているノイズ成分による画素値の変動幅を推定し、その変動幅が大きいほど、画素値の許容範囲を大きくする。またこの画像合成装置は、それらの画像に重畳されているノイズ成分が大きいほど、フィルタ領域を広くする。
【００５９】
図８に、第３の実施形態による画像合成装置６２の構成図を示す。画像合成装置６２は、位置合わせ部１１と、ノイズ成分推定部１６と、第１類似画素選択部１２と、第２類似画素選択部１３と、合成部１４とを有する。
画像合成装置６２が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として形成される。また、画像合成装置６２が有するこれらの各部は、それぞれ、別個の回路として形成されてもよい。
【００６０】
図８において、画像合成装置６２が有する各構成要素には、図３に示された第１の実施形態による画像合成装置６が有する対応する構成要素の参照番号と同じ参照番号を付した。第３の実施形態による画像合成装置６２は、第１の実施形態による画像合成装置６と比較して、ノイズ成分推定部１６を有することと、第１類似画素選択部１２及び第２類似画素選択部１３におけるフィルタ領域と画素値の許容範囲の設定方法において異なる。そこで以下では、ノイズ成分推定部１６、第１類似画素選択部１２及び第２類似画素選択部１３について説明する。
【００６１】
ノイズ成分推定部１６は、長露光画像に重畳されているノイズ成分による画素値の変動幅及び短露光画像に重畳されているノイズ成分による画素値の変動幅を推定する。一般に、ノイズ成分が多いほど、画素値の揺らぎも大きくなり、その結果として、画素値の標準偏差も大きくなる。ただし、模様がある被写体が写っている領域では、その被写体の模様によってその領域の画素値の標準偏差も大きくなる。したがって、ノイズ成分推定部１６は、できるだけ模様の無い被写体が写っている領域における画素値の標準偏差を調べることによって、ノイズ成分による画素値の変動幅を推定する。
【００６２】
ノイズ成分推定部１６は、長露光画像及び短露光画像を、それぞれ、例えば、縦に８等分し、かつ横に８等分することで複数のサブ領域に分割する。そしてノイズ成分推定部１６は、それぞれのサブ領域ごとに、そのサブ領域に含まれる各画素に、ラプラシアンフィルタ、sobelフィルタといったエッジ検出フィルタを乗じることにより、各画素のフィルタ値を算出する。そしてノイズ成分推定部１６は、サブ領域ごとにフィルタ値の合計を算出する。ノイズ成分推定部１６は、長露光画像の複数のサブ領域のうち、フィルタ値の合計が最小となるサブ領域を、被写体による画素値の変動幅が最小となる平坦領域として選択する。同様に、ノイズ成分推定部１６は、短露光画像の複数のサブ領域のうち、フィルタ値の合計が最小となるサブ領域を平坦領域として選択する。
【００６３】
あるいは、ノイズ成分推定部１６は、平坦領域を特定するために、複数のサブ領域のそれぞれに対して高速フーリエ変換を適用してもよい。そしてノイズ成分推定部１６は、短露光画像の複数のサブ領域のうち、所定の周波数閾値よりも高い周波数成分が周波数成分全体に占める割合が最小となるサブ領域を平坦領域としてもよい。この場合、周波数閾値は、例えば、サブ領域の一辺の長さの逆数とすることができる。
【００６４】
ノイズ成分推定部１６は、短露光画像に重畳されているノイズ成分による画素値の変動幅を表す指標として、短露光画像の平坦領域の画素値の標準偏差αを算出する。同様に、ノイズ成分推定部１６は、長露光画像に重畳されているノイズ成分による画素値の変動幅を表す指標として、長露光画像の平坦領域の画素値の標準偏差βを算出する。
ノイズ成分推定部１６は、標準偏差α及びβを第１類似画素選択部１２及び第２類似画素選択部１３へ通知する。
【００６５】
第１類似画素選択部１２は、短露光画像の平坦領域の画素値の標準偏差αに基づいて、第１の許容範囲を設定する。
図９（ａ）は、短露光画像に重畳されているノイズ成分と第１の許容範囲との関係を示す図である。図９（ａ）において、横軸は画像上の位置を表し、縦軸は画素値を表す。そしてプロファイル９０１は、短露光画像の平坦領域における画素値の変化を表す。
【００６６】
図９（ａ）に示されるように、短露光画像の平坦領域の画素値の平均値を中心とする±２αの範囲には、平坦領域内のほとんどの画素（理論的には、平坦領域内の画素の95.45％）が含まれる。すなわち、ノイズ成分による画素値の変動幅は、±２αと推定される。ただし、注目画素の値が、画素値の変動範囲の最小値または最大値であることがある。例えば、図９（ａ）において、画素９１０が注目画素である場合、その画素値Prefは、変動幅に含まれる画素値の最小値となっている。この場合において、画素値の変動幅全体が第１の許容範囲に含まれるためには、注目画素の画素値から±４αの範囲が第１の許容範囲に含まれる必要がある。そこで第１類似画素選択部１２は、第１の許容範囲を、注目画素の値を基準値Prefとして、(Pref-4α)から(Pref+4α)に設定する。
【００６７】
同様に、第２類似画素選択部１３は、短露光画像に重畳されているノイズ成分及び長露光画像に重畳されているノイズ成分に基づいて、第２の許容範囲を設定する。
図９（ｂ）は、短露光画像に重畳されているノイズ成分及び長露光画像に重畳されているノイズ成分と第２の許容範囲との関係を示す図である。図９（ｂ）において、横軸は画像上の位置を表し、縦軸は画素値を表す。そしてプロファイル９０２は、長露光画像の平坦領域における画素値の変化を表す。
【００６８】
図９（ｂ）に示されるように、長露光画像の平坦領域の画素値の平均値を中心とする±２βの範囲には、平坦領域内のほとんどの画素が含まれる。すなわち、ノイズ成分による画素値の変動幅は、±２βと推定される。ただし、第２の許容範囲の中心となる、短露光画像における注目画素の値が、短露光画像の画素値の変動範囲の最小値または最大値であることがある。この場合、平坦領域では、注目画素の値と長露光画像の画素の平均値との差は、略２αとなる。これは、短露光画像のゲインなどが調節されることにより、同じ輝度を持つ被写体に対する短露光画像の画素値と長露光画像の画素値は等しいことによる。この場合において、画素値の変動幅全体が第２の許容範囲に含まれるためには、注目画素の画素値から±(２α+２β)の範囲が第２の許容範囲に含まれる必要がある。そこで第２類似画素選択部１３は、第２の許容範囲を、注目画素の値を基準値Prefとして、(Pref-(2α+2β))から(Pref+(2α+2β))に設定する。
【００６９】
また、第１類似画素選択部１２及び第２類似画素選択部１３は、短露光画像及び長露光画像に重畳されているノイズ成分が大きいほど、フィルタ領域を大きく設定することが好ましい。これにより、ノイズ成分が大きくても、第１類似画素選択部１２及び第２類似画素選択部１３は、注目画素に写っている被写体の輝度と同程度の輝度を持つ画素を選択し易くなる。
【００７０】
長露光画像は、適正露光で撮影された画像であるため、一般的に、ノイズ成分による画素値の変動幅は小さく、そのため、平坦領域の標準偏差βも小さくなる。また、露光量が若干低下しても、画素値に対するノイズ成分の寄与は小さいので、標準偏差βもそれほど大きくはならない。一方、短露光画像は、長露光画像の露光量よりも少ない露光量で撮影されているので、露光量が少なくなるにつれて、画素値に対するノイズ成分の寄与が急激に大きくなる。そのため、露光量が少なくなるにつれて、平坦領域の標準偏差αは、標準偏差βよりも大きく変化する。そこで、第１類似画素選択部１２及び第２類似画素選択部１３は、α／βが大きくなるほど、長露光画像及び短露光画像に重畳されているノイズ成分が大きいと推定する。そして第１類似画素選択部１２及び第２類似画素選択部１３は、α／βが大きくなるほど、フィルタ領域を広くする。
【００７１】
例えば、1.00 < α／β ≦ 2.00である場合、第１類似画素選択部１２は、短露光画像に対して設定される第１のフィルタ領域のサイズを、縦3画素×横3画素に設定する。一方、第２類似画素選択部１３は、長露光画像に対して設定される第２のフィルタ領域のサイズを、縦7画素×横7画素に設定する。
【００７２】
また、2.00 < α／β ≦ 4.00である場合、第１類似画素選択部１２は、第１のフィルタ領域のサイズを、縦5画素×横5画素に設定し、一方、第２類似画素選択部１３は、第２のフィルタ領域のサイズを、縦9画素×横9画素に設定する。
【００７３】
さらに、α／βが4.00よりも大きい場合には、第１類似画素選択部１２は、第１のフィルタ領域のサイズを、縦7画素×横7画素に設定し、一方、第２類似画素選択部１３は、第２のフィルタ領域のサイズを、縦11画素×横11画素に設定する。
【００７４】
そして第１類似画素選択部１２は短露光画像のフィルタ領域内で第１の許容範囲に含まれる画素値を持つ画素を選択し、第２類似画素選択部１３は長露光画像のフィルタ領域内で第２の許容範囲に含まれる画素値を持つ画素を選択する。そして合成部１４は、選択された画素の値に基づいて注目画素の値を合成する。
【００７５】
以上に説明してきたように、この第３の実施形態による画像合成装置は、短露光画像及び長露光画像に重畳されているノイズ成分による画素値の変動幅を推定し、その推定結果に基づいて、画素値の許容範囲及びフィルタ領域を自動的に適正化できる。
【００７６】
なお、変形例によれば、ノイズ成分推定部１６は、短露光画像の平坦領域内の画素値の最大値と最小値の差d1を、短露光画像におけるノイズ成分による画素値の変動幅として算出してもよい。同様に、ノイズ成分推定部１６は、長露光画像の平坦領域内の画素値の最大値と最小値の差d2を、長露光画像におけるノイズ成分による画素値の変動幅として算出してもよい。この場合、d1は、2αに相当する値となる。同様に、d2は、2βに相当する値となる。そこで第１類似画素選択部１２は、第１の許容範囲を、注目画素の値を基準値Prefとして、(Pref-d1)から(Pref+d1)に設定してもよい。また第２類似画素選択部１３は、第２の許容範囲を、注目画素の値を基準値Prefとして、(Pref-(d1+d2)/2)から(Pref+(d1+d2)/2)に設定してもよい。
【００７７】
なお、本発明は上記の実施形態に限定されるものではない。上記の各実施形態の変形例によれば、合成部１４は、長露光画像から選択された画素の値と短露光画像から選択された画素の値とを加重平均することで、合成画像の画素値を算出してもよい。この場合、合成部１４は、例えば、次式に従って合成画像の画素値Pを算出する。
【数１】
0005978949.tif 000002
ここで、wlは長露光画像から選択された画素に対する重み係数であり、wsは短露光画像から選択された画素に対する重み係数である。またpi(i=1,2,..,m)は、長露光画像から選択された画素の値であり、qj(j=1,2,..,n)は、短露光画像から選択された画素の値である。そしてm、nは、それぞれ、長露光画像から選択された画素の数及び短露光画像から選択された画素の数である。
【００７８】
合成部１４は、例えば、長露光画像が手ぶれしない条件で撮影されている場合、重み係数wlを重み係数wsより大きくする。一方、合成部１４は、長露光画像が手ぶれする条件で撮影されている場合、重み係数wlを重み係数wsより小さくする。
【００７９】
長露光画像についても手ぶれしない条件で撮影されている場合には、そもそも手ぶれによるボケが小さい。そのため、このように重み係数を設定することにより、画像合成装置は、合成画像の各画素の値に占めるノイズ成分をより低減させ、合成画像の画質を向上できる。一方、長露光画像について手ぶれする条件で撮影されている場合には、短露光画像に対する重み係数を大きくすることで、画像合成装置は、手ぶれによるボケをより低減できる。
【００８０】
合成部１４は、長露光画像が手ぶれしない条件で撮影されているか否かを判断するために、撮像装置１の制御部７から、長露光画像撮影時のシャッター速度を取得する。そして合成部１４は、長露光画像撮影時のシャッター速度が手ぶれが生じ難いシャッター速度の下限値に相当する閾値以上であれば、長露光画像が手ぶれしない条件で撮影されていると判断し、重み係数wlを重み係数wsより大きくする。一方、長露光画像撮影時のシャッター速度がその閾値未満であれば、合成部１４は、長露光画像が手ぶれする条件で撮影されていると判断し、重み係数wlを重み係数wsより小さくする。なお、手ぶれが生じ難いシャッター速度の下限値は、一般に、35mmフィルム換算のカメラモジュール２の撮像光学系の焦点距離の逆数である。
【００８１】
また、撮像装置１が加速度センサを搭載している場合、合成部１４は、シャッター速度の代わりに、その加速度センサにより測定された加速度を、長露光画像が手ぶれしない条件で撮影されているか否かを判断するために利用してもよい。例えば、合成部１４は、長露光画像撮影時のその加速度センサにより測定された加速度が、手ぶれが生じ難い加速度の上限値に相当する閾値以下であれば、長露光画像が手ぶれしない条件で撮影されていると判断する。
【００８２】
また他の変形例によれば、位置合わせ部は省略されてもよい。各実施形態による画像合成装置は、長露光画像について、短露光画像上の注目画素と同位置の基準画素の周囲にある程度の大きさを持つフィルタ領域を設定して、そのフィルタ領域内で注目画素の値に近い画素値を持つ画素を選択する。そのため、この画像合成装置は、短露光画像に写っている被写体の像の位置と長露光画像に写っている被写体の像の位置とが多少ずれていても、注目画素に写っている被写体の部位と同じ部位が写っている画素を長露光画像から選択できる。
【００８３】
さらに他の変形例によれば、画像合成装置は、第１及び第２の許容範囲のうちの少なくとも何れか一方について、短露光画像の注目画素の値から上限までの幅とその注目画素の値から下限までの幅とを異ならせてもよい。
【００８４】
さらに他の変形例によれば、画像合成装置は、露出時間が互いに異なる３枚以上の画像を合成してもよい。この場合には、画像合成装置は、露出時間が最小の画像を短露光画像とする。そして第２類似画素選択部１３は、短露光画像よりも露出時間の長い画像のそれぞれについて、上記の実施形態と同様に短露光画像上の注目画素と同位置にある基準画素の周囲に設定されたフィルタ領域から第２の許容範囲の画素値を持つ画素を選択すればよい。そして合成部１４は、選択された全ての画素値を合成することで、注目画素と同位置にある合成画像上の画素の値を求めることができる。
【００８５】
さらに他の変形例によれば、画像合成装置が、制御部７の代わりに、補正された画像に対してカラーバランスを調整したり、エッジ強調またはコントラスト強調といった処理を実行してもよい。
【００８６】
上記の実施形態またはその変形例による画像合成装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。ただし、その記録媒体には、搬送波は含まれない。
【００８７】
図１０は、上記の実施形態またはその変形例による画像合成装置の各部の機能を実現するコンピュータプログラムが動作することにより、画像合成装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【００８８】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、画像合成処理を開始させる操作信号をプロセッサ１０５へ出力する。
【００８９】
通信インターフェース部１０２は、コンピュータ１００を異なる露出時間の複数の画像を生成可能な撮像装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、長露光画像と短露光画像とを取得し、それらの画像を記憶部１０３に記憶させる。また通信インターフェース部１０２は、プロセッサ１０５から受け取った合成画像を通信ネットワークを介して他の機器へ出力してもよい。
【００９０】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される画像合成処理を実行するためのコンピュータプログラム、及びその画像合成処理の途中で得られる中間計算結果などを記憶する。また記憶部１０３は、通信インターフェース部１０２から受け取った画像、またはプロセッサ１０５により生成された合成画像などを記憶する。
【００９１】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、画像合成処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により生成された合成画像を記憶媒体１０６に書き込んでもよい。
【００９２】
プロセッサ１０５は、上記の実施形態または変形例による画像合成処理用コンピュータプログラムを実行することにより、手ぶれによるボケを抑制しつつノイズ成分を低減した合成画像を生成する。そしてプロセッサ１０５は、生成された合成画像を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【００９３】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００９４】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の画像と該第１の画像よりも露出時間の長い第２の画像とを合成することで合成画像を生成する画像合成装置であって、
前記第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値を含む第１の許容範囲内の画素値を持つ第１の画素を選択する第１の画素選択部と、
前記第２の画像上の前記注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記注目画素の値を含む第２の許容範囲内の画素値を持つ第２の画素を選択する第２の画素選択部と、
前記第１の画素の値及び前記第２の画素の値を合成することにより得られた合成値を前記合成画像上の前記注目画素と同位置の画素の値とする合成部と、
を有する画像合成装置。
（付記２）
前記第１の画像上に写っている被写体の像の位置と前記第２の画像上の被写体の像の位置とを一致させる位置合わせ部をさらに有し、
前記第２の画素選択部は、被写体の像について位置合わせされた前記第１の画像及び前記第２の画像に基づいて前記基準画素を決定する、付記１に記載の画像合成装置。
（付記３）
前記合成部は、前記第２の画像が手ぶれしない条件で撮影されている場合、前記第１の画素に対する第１の重み係数を前記第２の画素に対する第２の重み係数よりも小さくして前記第１の画素の値及び前記第２の画素の値を加重平均することで前記合成値を算出し、一方、前記第２の画像が手ぶれする条件で撮影されている場合、前記第１の重み係数を前記第２の重み係数よりも大きくして前記第１の画素の値及び前記第２の画素の値を加重平均することで前記合成値を算出する、付記１または２に記載の画像合成装置。
（付記４）
前記第２の画像のそれぞれの画素について、被写体のエッジが写っているか否か判定するエッジ判定部をさらに有し、
前記第２の画素選択部は、前記基準画素が被写体のエッジが写っている画素であると判定されている場合における前記第２のフィルタ領域のサイズを、前記基準画素が被写体のエッジが写っていない画素であると判定されている場合における前記第２のフィルタ領域のサイズよりも大きくする、付記１〜３の何れか一項に記載の画像合成装置。
（付記５）
前記第２の許容範囲は前記第１の許容範囲よりも狭い、付記１〜４の何れか一項に記載の画像合成装置。
（付記６）
前記第２のフィルタ領域のサイズは前記第１のフィルタ領域のサイズよりも大きい、付記１〜５の何れか一項に記載の画像合成装置。
（付記７）
前記合成値は、前記第１の画素の値及び前記第２の画素の値の平均値または中央値である、付記１に記載の画像合成装置。
（付記８）
前記第１の画像に重畳されたノイズ成分による画素値の第１の変動幅、及び前記第２の画像に重畳されたノイズ成分による画素値の第２の変動幅を推定するノイズ成分推定部をさらに有し、
前記第１の画素選択部は、前記第１の許容範囲を、前記第１の変動幅が大きいほど広くし、
前記第２の画素選択部は、前記第２の許容範囲を、前記第１の変動幅及び前記第２の変動幅の両方が大きいほど広くする、付記１〜７の何れか一項に記載の画像合成装置。
（付記９）
前記第１の画素選択部は、前記第２の変動幅に対する前記第１の変動幅の比が大きいほど、前記第１のフィルタ領域を大きくし、
前記第２の画素選択部は、前記第２の変動幅に対する前記第１の変動幅の比が大きいほど、前記第２のフィルタ領域を大きくする、付記８に記載の画像合成装置。
（付記１０）
前記ノイズ成分推定部は、前記第１の画像を複数の部分領域に分割し、該複数の部分領域のうち、画素値の変動が最も少ない部分領域における画素値の第１の標準偏差を前記第１の変動幅を表す指標として算出し、前記第２の画像を複数の部分領域に分割し、該複数の部分領域のうち、画素値の変動が最も少ない部分領域における画素値の第２の標準偏差を前記第２の変動幅を表す指標として算出し、
前記第１の画素選択部は、前記第１の許容範囲を、前記第１の標準偏差が大きくなるほど広くし、
前記第２の画素選択部は、前記第２の許容範囲を、前記第１の標準偏差と前記第２の標準偏差の和が大きくなるほど広くする、付記８または９に記載の画像合成装置。
（付記１１）
第１の画像と該第１の画像よりも露出時間の長い第２の画像とを合成することで合成画像を生成する画像合成方法であって、
前記第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値を含む第１の許容範囲内の画素値を持つ第１の画素を選択し、
前記第２の画像上の前記注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記注目画素の値を含む第２の許容範囲内の画素値を持つ第２の画素を選択し、
前記第１の画素の値及び前記第２の画素の値を合成することにより得られた合成値を前記合成画像上の前記注目画素と同位置の画素の値とする、
ことを含む画像合成方法。
（付記１２）
第１の画像と該第１の画像よりも露出時間の長い第２の画像とを合成することで合成画像を生成させることをコンピュータに実行させる画像合成用コンピュータプログラムであって、
前記第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値を含む第１の許容範囲内の画素値を持つ第１の画素を選択し、
前記第２の画像上の前記注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記注目画素の値を含む第２の許容範囲内の画素値を持つ第２の画素を選択し、
前記第１の画素の値及び前記第２の画素の値を合成することにより得られた合成値を前記合成画像上の前記注目画素と同位置の画素の値とする、
ことをコンピュータに実行させるための画像合成用コンピュータプログラム。
【符号の説明】
【００９５】
１    撮像装置
２    カメラモジュール
３    操作部
４    表示部
５    記憶部
６、６１、６２    画像合成装置
７    制御部
１１    位置合わせ部
１２    第１類似画素選択部（第１の画素選択部）
１３    第２類似画素選択部（第２の画素選択部）
１４    合成部
１５    エッジ判定部
１６    ノイズ成分推定部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
0005978949.tif 000003
【図３】
0005978949.tif 000004
【図４】
0005978949.tif 000005
【図５】
0005978949.tif 000006
【図６】
0005978949.tif 000007
【図７】
0005978949.tif 000008
【図８】
0005978949.tif 000009
【図９】
0005978949.tif 000010
【図１０】
0005978949.tif 000011
【図２】
0005978949.tif 000012