(57)【特許請求の範囲】
【請求項１】
被写体光学像を撮像素子により光電変換して電子的画像データからなる撮影画像を取得する撮像手段と、
前記撮像手段により得られた撮影画像に含まれるノイズ成分を推定するノイズ推定手段と、
前記撮像手段により同一条件で且つ同一構図にて得た複数の撮影画像の相互間の符号付き差分値を求める画像処理手段と、
前記画像処理手段で得られる符号付き差分値について前記ノイズ推定手段によるノイズ成分に基づいて正負で異なる合成比率を決定する合成比率決定手段と、
前記合成比率決定手段により得られた合成比率に基づいて前記複数の撮影画像を加重平均して合成する画像合成手段と
を具備することを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記符号付き差分値を求める前に前記複数の撮影画像のノイズ低減処理を行う手段を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、前記撮像手段により同一条件で且つ同一構図にて得た複数の撮影画像の対応する画素毎に、符号付き差分値の算出を行う手段を含み、且つ前記画像合成手段は、前記複数の撮影画像の対応する画素毎に、加重平均による合成を行う手段を含むことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記ノイズ推定手段は、設定された撮影感度、ホワイトバランスおよび周辺光量の補正量の少なくともいずれかに応じてノイズ成分の分布を算出する手段を含むことを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記合成比率決定手段は、前記ノイズ推定手段によりノイズ成分が多く分布すると推定される前記符号付き差分値が少ない領域においては、ほぼ等分に重み付けする合成比率に決定し、前記符号付き差分値が高輝度に対応する正側に大きい領域においては、高輝度を優先して重み付けする合成比率に決定する手段を含むことを特徴とする請求項１〜請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記合成比率決定手段は、前記ノイズ推定手段によりノイズ成分が多く分布すると推定される前記符号付き差分値が少ない領域においては、ほぼ等分に重み付けする合成比率に決定し、前記符号付き差分値が低輝度に対応する負側に大きい領域においては、低輝度を優先して重み付けする合成比率に決定する手段を含むことを特徴とする請求項１〜請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記合成比率決定手段は、前記撮像手段の前記撮像素子の色毎に各独立に合成比率を決定する手段を含むことを特徴とする請求項１〜請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記画像合成手段は、前記画像処理手段にて符号付き差分値の算出に供される前記ノイズ低減処理を施した結果の複数の画像とは異なり、且つ当該複数の画像に対応する複数の撮影画像を、加重平均による合成に供する手段を含むことを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記画像合成手段は、前記画像処理手段にて前記ノイズ低減処理を施していない複数の撮影画像を、加重平均による画像合成に供する手段を含むことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記画像処理手段および前記画像合成手段における処理対象となる前記複数の撮影画像は、前記撮像手段により同一条件で且つ同一構図にて、時系列的に得た画像であることを特徴とする請求項１〜請求項９のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用いてスティル画像等を撮像する、いわゆるデジタルカメラ等に好適な撮像装置における画像処理に係り、特に複数の撮影画像を用いる画像合成機能を具備する撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラに特有の撮影技法として、「比較明合成」などと称される合成画像の生成方法を用いた撮影が利用されつつある。
これは、同一の露出条件で且つ同一の構図で、時系列的に連続画像を撮影して、基準画像（合成結果画像）と比較画像とについて対応する同一座標の画素の出力値を比較し、比較画像の方が出力値が高ければ、それに置き換えて画像合成を行うという技法である。この方法によって、例えば、夜景撮影において、背景を適正露出に保ちながら星の光跡を残すというような特徴的な撮影画像を生成することが可能となる。
また、逆に、同一の露出条件で且つ同一の構図で、時系列的に連続画像を撮影して、基準画像（合成結果画像）と比較画像とについて対応する同一座標の画素の出力値を比較し、比較画像の方が出力値が低ければ、それに置き換えて画像合成を行う「比較暗合成」などと称される画像合成も利用されつつある。
既にいくつかのデジタルカメラにおいては、これらの、いわゆる比較明合成および比較暗合成のような、画像合成機能が内蔵されている。
【０００３】
ここで、上述したような、いわゆる比較明合成および比較暗合成等の画像合成機能をデジタルカメラ内で実行することによる主なメリットについて説明する。
まず、従来、いわゆる比較明合成および比較暗合成等の画像合成を行う場合には、素材となる連続画像の撮影を行い、ＰＣ（パーソナルコンピュータ）等において画像処理用のソフトウェアを用いて、比較明合成処理を行っていた。このような場合には、撮影時に、その場で合成後のイメージを得ることはできなかったが、この機能をカメラ内に搭載することによって、撮影時に直ちに合成画像を確認することが可能となる。
また、ＰＣ等を用いた従来の処理は、主として、いわゆるＪＰＥＧ画像（一般に、拡張子としてｊｐｇを用いるため、ＪＰＧ画像と称される場合もある）等の画像データを用いて行われていた。すなわち、ＰＣ等を用いた従来の処理においては、素材となる画像データが、ノイズ低減等の基本的な画像処理が施され必要に応じて圧縮された画像データであったため、撮影設定によっては画質として充分でない場合があった。これに対して、カメラ内で処理を行うようにすれば、画像処理が施されていないＲＡＷ画像での合成処理が可能であるため、１枚ではノイズとして処理されがちな微小な星を色味と共に残すことができたり、合成処理によるランダムノイズの平均化により通常の画像処理では得られにくい画質向上の効果があったりするなどといったメリットがある。
【０００４】
複数画像の合成処理に関する技術は、例えば、特許文献１（特開２０１１−１９９７８６号）等に開示されている。
特許文献１には、電子式手ぶれ補正による画像合成技術が開示されており、画像合成を行う際に、ボケや２重像の発生を抑えながら、可能な限りノイズ低減を行うために、複数画像のノイズ推定値や相関値を用いて合成比率を決定することが示されている。
この特許文献１に示された技術は、複数画像の差分値とノイズ推定値に基づいた閾値を用いて合成比率を決定するものであり、比較明合成や比較暗合成に関するものではない。また、高いＩＳＯ感度等の高感度での撮影においては、ＳＮ比（信号対ノイズ比〜signal-to-noise ratio）等のノイズ特性が劣化するが、そのような場合のノイズと被写体の状態変化との分離について、あるいはノイズ低減等の基本的な画像処理が施されていないＲＡＷ画像での画像合成については、考慮されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、いわゆる比較明合成および比較暗合成等の画像合成機能を、いわゆるデジタルカメラ等の撮像装置に内蔵させることが望ましいと考えられるが、そのようにした場合、ノイズ特性が劣化する高感度での撮影におけるノイズと被写体の状態変化との分離、あるいはＲＡＷ画像での画像合成については、適切な対処を施すことが望ましい。
本発明は、上述した事情に鑑みてなされたもので、比較明合成および比較暗合成のような画像合成機能を内蔵して、しかもノイズ分布による合成画像の画質低下を効果的に抑制することを可能とする撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、上述した目的を達成するために、
被写体光学像を撮像素子により光電変換して電子的画像データからなる撮影画像を取得する撮像手段と、
前記撮像手段により得られた撮影画像に含まれるノイズ成分を推定するノイズ推定手段と、
前記撮像手段により同一条件で且つ同一構図にて得た複数の撮影画像の相互間の符号付き差分値を求める画像処理手段と、
前記画像処理手段で得られる符号付き差分値について前記ノイズ推定手段によるノイズ成分に基づいて正負で異なる合成比率を決定する合成比率決定手段と、
前記合成比率決定手段により得られた合成比率に基づいて前記複数の撮影画像を加重平均して合成する画像合成手段と
を具備することを特徴としている。
【発明の効果】
【０００７】
本発明によれば、比較明合成および比較暗合成のような画像合成機能を内蔵して、しかもノイズ分布による合成画像の画質低下を効果的に抑制することを可能とする撮像装置を提供することができる。
【０００８】
すなわち、請求項１に記載の発明に係る撮像装置によれば、
被写体光学像を撮像素子により光電変換して電子的画像データからなる撮影画像を取得する撮像手段と、
前記撮像手段により得られた撮影画像に含まれるノイズ成分を推定するノイズ推定手段と、
前記撮像手段により同一条件で且つ同一構図にて得た複数の撮影画像の相互間の符号付き差分値を求める画像処理手段と、
前記画像処理手段で得られる符号付き差分値について前記ノイズ推定手段によるノイズ成分に基づいて正負で異なる合成比率を決定する合成比率決定手段と、
前記合成比率決定手段により得られた合成比率に基づいて前記複数の撮影画像を加重平均して合成する画像合成手段と
を具備することにより、比較明合成および比較暗合成のような画像合成機能を内蔵し、且つノイズ分布による合成画像の画質低下を効果的に抑制することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明による撮像装置の一つの実施の形態に係るデジタルカメラの要部の構成を模式的に示すブロック図である。
【図２】図１のデジタルカメラにおける基準（合成）画像と比較画像との加重平均を用いた画像合成処理の一例を示すフローチャートである。
【図３】図１のデジタルカメラにおける感度別の出力値と出力値の分散との関係を示す特性図である。
【図４】図１のデジタルカメラにおける基準（合成）画像と比較画像との符号付き差分値に対するノイズ推定分布特性および合成比率特性の一例を模式的に示す特性図である。
【図５】図１のデジタルカメラにおけるノイズ低減処理前後の出力値と出力値の分散との関係の一例を示す特性図である。
【図６】従来のデジタルカメラにおける基準（合成）画像と比較画像との符号付き差分値に対するノイズ分布特性の一例およびその場合の単純な比較明合成処理による問題を説明するための特性図である。
【図７】図６の単純な比較明合成による合成枚数と処理結果の出力値の分散との関係の一例を示す特性図である。
【図８】本発明の効果を説明するための基準（合成）画像と比較画像との符号付き差分値に対する合成比率の設定の一例を示す特性図である。
【図９】図８の合成処理による合成枚数と処理結果の出力値の分散との関係の一例を示す特性図である。
【図１０】比較明合成のための基準（合成）画像と比較画像との符号付き差分値に対する合成比率の設定の一例を示す特性図である。
【図１１】比較暗合成のための基準（合成）画像と比較画像との符号付き差分値に対する合成比率の設定の一例を示す特性図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態に基づき、図面を参照して本発明に係る撮像装置を詳細に説明する。
本発明の実施の形態に係る撮像装置を説明する前に、本発明の実施の形態において用いられる画像処理の原理について説明する。
まず、画像合成技術のうちの比較明合成および比較暗合成について説明する。
比較明合成とは、例えば、典型的には同一露出条件で且つ同一構図で時系列的に連続して撮影されるなどした、複数枚のデジタル画像における同じ座標の画素、あるいは同じ領域の複数画素、の出力を、それぞれ比較して、出力値（輝度）が高いもので置き換える手法による画像合成である。このようにすることにより、在来の、いわゆる銀塩フィルムを用いたフィルムカメラでは撮影することが容易ではなかった星の光跡を残すような画像を比較的簡易に生成することができるなど、特徴のある撮影が可能となる。また、比較暗合成とは、例えば複数枚のデジタル画像における同じ座標の画素、あるいは同じ領域の複数画素、の出力を、それぞれ比較して、出力値（輝度）が低いもので置き換える手法による画像合成である。
【００１１】
従来、上述したような比較明合成および比較暗合成は、一般的に、基本的な画像処理および圧縮済みのＪＰＥＧ画像をＰＣのソフトウェアを用いて処理することが多かったが、最近では、デジタルカメラ内で一貫した処理を行う機能を搭載した製品が発表され始めている。
上述のように、デジタルカメラに比較明合成および比較暗合成等の画像合成機能を内蔵して、デジタルカメラ内で比較明合成および比較暗合成等の画像合成を行えるようにするメリットとしては、撮影時に直ちにその場で画像合成後の画像を見ることができる操作性の点でのメリットがある。さらに、それ以外にも、イメージセンサから出力されたＲＡＷ画像（ＲＡＷデータの画像：生データ、すなわちイメージセンサから出力されノイズ低減、データ圧縮等の処理が施されていない生のデータ、の画像）をそのまま用いて合成処理ができるので、暗い星や色味の薄い星等もきちんと残すことができるという画質の点でのメリットも重要である。
その一方では、ＲＡＷ画像を用いて比較明合成および比較暗合成等の画像合成を行う上での技術的な課題も存在する。ＲＡＷ画像は、ＪＰＥＧ画像とは異なり必要最低限の画像処理しか行われておらず、少なからずノイズ成分が含まれていることが多い。したがって、例えば、従来と同じように単純に出力値を比較して置き換えていくだけの比較明合成による画像合成処理を行った場合、ノイズ成分の影響を受けて、全体的に画像の出力レベルが上がってしまったり、出力にオフセットが付くことによって色調がマゼンタがかってしまったりするという不具合に繋がってしまう。
【００１２】
そこで、予めノイズ成分の分布に関する推定データを保持しておき、基準画像と比較画像の差分値を計算して、ノイズ分布の推定データから算出される閾値曲線を用いて比較明合成および比較暗合成が可能かどうかの判定を行うようにすれば、上述した不具合を抑制することができる。この場合、あまりにノイズ成分が多く、適切な合成判定を行うことができないと判断されれば、該当画素だけについての判断はせず、周辺画素の情報を含めた合成判定に切り替えることで対応する。
要するに、ＲＡＷ画像の比較明合成および比較暗合成等の合成処理は、ＪＰＥＧ画像の場合とは異なり、ノイズ成分を考慮した合成判定が必要であり、このような処理を追加することによって、より好ましい合成画像を得ることが可能となる。  
上述した原理に基づく本発明の撮像装置の一つの実施の形態に係るデジタルカメラについて、図面を参照して以下に詳細に説明する。
本発明の撮像装置の一つの実施の形態に係るデジタルカメラの要部の構成を図１に示している。図１は、撮像装置であるデジタルカメラの主として電子的な制御に係るシステム構成を示すブロック図である。
【００１３】
図１に示すデジタルカメラは、光学系１、アナログフロントエンド部２、信号処理部３、ＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）４、液晶表示部（ＬＣＤ）５、メモリカード６、ＲＯＭ（リードオンリメモリ）７、操作部８およびドライバ９を具備している。
光学系１は、レンズ群１１、絞り１２、シャッタ１３および撮像素子１４を備えている。アナログフロントエンド部２は、タイミングジェネレータ２１、ＣＤＳ回路２２、ＡＧＣ回路２３およびＡ／Ｄ変換回路２４を備えている。そして、信号処理部３は、制御部（ＣＰＵ）３１、撮像素子インタフェース（撮像素子Ｉ／Ｆ）３２、メモリコントローラ３３、ＹＵＶ変換部３４、リサイズ処理部３５、表示出力制御部３６、データ圧縮部３７およびメディアインタフェース（メディアＩ／Ｆ）３８を備えている。
光学系１は、レンズ群１１、絞り１２、シャッタ１３および撮像素子１４から構成されている。絞り１２、シャッタ１３および撮像素子１４の部分には、減光用のＮＤ（中間濃度）フィルタ等を内蔵していても良い。撮像素子１４は、ＣＣＤ（電荷結合素子）イメージセンサであっても、ＣＭＯＳ（相補型金属酸化物半導体）イメージセンサであっても良いが、撮像素子１４がＣＭＯＳイメージセンサである場合には、後段にあるアナログフロントエンド部２が実質的にＣＭＯＳイメージセンサに内蔵されることが多く、外部回路としては不要となる。
【００１４】
アナログフロントエンド部２は、タイミングジェネレータ２１、ＣＤＳ（相関２重サンプリング）回路２２、ＡＧＣ（自動利得制御）回路２３およびＡ／Ｄ（アナログ−デジタル）変換回路２４から構成される。ＣＤＳ回路２２は、相関２重サンプリングによりＣＣＤイメージセンサ等の撮像素子出力信号のノイズを除去し、ＡＧＣ回路２３は、必要に応じて信号を増幅し、Ａ／Ｄ変換回路２４は、文字通りアナログ撮像信号をデジタル画像データに変換し、そしてタイミングジェネレータ２１は、撮像素子１４およびアナログフロントエンド部２内の各部の駆動タイミング信号を生成する。
信号処理部３は、ＣＰＵ３１、撮像素子Ｉ／Ｆ３２、メモリコントローラ３３、ＹＵＶ変換部３４、リサイズ処理部３５、表示出力制御部３６、データ圧縮部３７およびメディアＩ／Ｆ３８等から構成されている。ＣＰＵ３１は、撮像素子Ｉ／Ｆ３２、メモリコントローラ３３、ＹＵＶ変換部３４、リサイズ処理部３５、表示出力制御部３６、データ圧縮部３７およびメディアＩ／Ｆ３８等に接続されて、相互に情報を授受するとともにこれらを制御する。メモリコントローラ３３は、ＳＤＲＡＭ４に接続され、表示出力制御部３６は、ＬＣＤ５に接続され、メディアＩ／Ｆ３８は、メモリカード６に接続される。ＣＰＵ３１は、動作プログラム等を格納するＲＯＭ７に接続されるとともに、押しボタンスイッチ等からなり操作情報を入力するための操作部８に接続されている。さらにＣＰＵ３１は、光学系１のレンズ群１１、絞り１２およびシャッタ１３等を駆動するためのドライバ９を制御する。
【００１５】
次に、上述のように構成された本発明の一つの実施の形態に係るデジタルカメラにおける本発明の特徴となる動作について具体的に説明する。ここで説明している実施の形態は、それに限定されることはなく、当業者が容易に想到できる範囲内において、種々に修正または変形して実施することができる。
図２に示すフローチャートは、上述したデジタルカメラにおける比較明合成または比較暗合成等の画像合成処理の流れを示している。図２のフローチャートは、画像合成処理の一例を示しており、この画像合成処理は、図１における信号処理部３のＣＰＵ３１によって実行される。
本発明に係る画像合成処理の特徴は、例えば、時系列で連続撮影された複数のＲＡＷ画像を用いて比較明合成および比較暗合成等の画像合成を行うにあたり、対応する画素の出力値を比較する上で、ノイズ成分の分布を考慮し、必要に応じてノイズ処理を行った上で置き換え判定を行うものである。この実施の形態において、具体的には、ノイズ分布に応じた合成比率とする重み付けを施した加重平均による画像合成を行う。
【００１６】
図２は、この実施の形態における画像合成処理の流れを示しており、主として比較明合成を例にとって説明する。
この場合、前提として、連続撮影される画像は、絞り、露光時間およびＩＳＯ感度等の露出設定が同一、つまり同一の露出設定で、且つ当該デジタルカメラを三脚等に固定して同一の構図によって時系列で複数の画像が撮影がされるものとする。但し、この撮影画像の構図内に動被写体があるかどうかは問わない。
まず、処理が開始されると、基準画像となる１枚目のＲＡＷ画像を取得する（ステップＳ１０１）。
次に、予めＲＯＭ７等に格納された露出設定に応じた当該デジタルカメラにおけるノイズ分布データを読み出し、合成比率を決定する合成比率曲線を生成する（ステップＳ１０２前半）。
ここで、このステップＳ１０２の前半における合成比率曲線について詳しく説明する。画像データに含まれるノイズ量は、色々な要素によって決定されるが、最も影響を与える要素として、例えばＩＳＯ感度のような、撮像系における感度が挙げられる。例えば、図３には、デジタルカメラにおけるＩＳＯ１００〜ＩＳＯ３２００の範囲での、輝度出力値と出力の分散の関係の例を示している。
【００１７】
図３に示すように、同じＩＳＯ感度においては、輝度出力値と出力の分散に相関関係があり、同じ輝度出力値においては、ＩＳＯ感度と出力の分散に相関関係がある。このようなデータを予めデジタルカメラ内の、例えばＲＯＭ７等に保持しておき、撮影時のＩＳＯ感度の設定値に応じて、ノイズ分布の推定データとして算出する。
次に、読み出されたノイズ分布データから、合成比率を決定する合成比率曲線を生成する（ステップＳ１０２後半）。例えば、ＩＳＯ１００の輝度出力値＝２５６に対する分散はσ２＝１３である。同一の被写体としてみなす輝度出力値の範囲をどこまで取るかは、分散に対して２σ、３σおよび４σのいずれにするかという考え方で決めれば良い。
このようにして決定される値から、例えば図４に示すように、ＩＳＯ１００のＹ＝２５６に対する重み付け合成比率を決定する合成判定閾値を生成する。
図４において、横軸は符号付き差分値であり、
（符号付き差分値）＝（比較画像）−（基準画像）
によって求められる。また、図４における縦軸は合成比率であり、比較画像の合成比率を示す。
【００１８】
図４から、符号付き差分値が３σ≒±１０．８となる領域は同一の被写体であると判定して、１：１の割合で等分に重み付けして加重平均を取る。また、＋４σ＝＋１４．４以上の領域は明らかに被写体が高輝度に変化したと判定され、比較画像の割合を１００％として加重平均を取る。すなわち、基準画像を比較画像に置き換えることになり、これが比較明処理に相当する。また、−４σ＝−１４．４以下の領域は、被写体が低輝度に変化したと判定されるが、比較明処理においては意味をなさないため、比較画像の割合を０％、つまり基準画像のまま出力する。
図４の例では、合成比率を決定する合成比率曲線を４点での折れ線近似としたが、ルックアップテーブル等を用いて、より滑らかに変化する曲線としてもよい。但し、
［ＩＳＯ感度］×［輝度出力値］
に対して、それぞれ合成比率曲線を設定することになるので、メモリ内にテーブルとして保持しておくよりは、簡易な計算で算出できるような曲線とすることが望ましい。
【００１９】
上述のように合成比率曲線を準備しておいて、比較画像を取得する（ステップＳ１０３）。さらに、必要に応じて基準画像／比較画像に対してノイズ処理を行う（ステップＳ１０４）。このステップＳ１０４のノイズ処理については、後に詳述する。
【００２０】
次に、基準画像と比較画像の差分画像を生成する（ステップＳ１０５）。差分値は、この場合、必ず符号付きとして、画素毎に求めて、画素毎の符号付き差分値からなる差分画像とするものとする。
求められた差分値を先ほど生成した合成閾値を示す合成比率曲線に当てはめて、合成比率を画素毎に求める（ステップＳ１０６）。
このステップＳ１０６の処理によって全ての画素に対して、置き換えを行うもの、加重平均を取るもの、そして何も行わないものへの分類が行われることとなる。
最後に、求められた合成比率に応じて、画素毎に加重平均演算を行った加重平均画像を生成する（ステップＳ１０７）。
そして、次の撮影画像があるか否かが判定される（ステップＳ１０８）。
ステップＳ１０８で次の撮影画像があると判定されれば、ステップＳ１０３に戻り、再度比較画像の取得を行い、ステップＳ１０８で次の撮影画像がないと判定されれば加重平均画像を最終出力結果として処理を終了する。
ここで、上述したステップＳ１０４のノイズ処理に関してさらに説明を補足する。
【００２１】
例えば、高ＩＳＯ感度の場合、出力の分散が大きくなりすぎるために合成判定の精度が低下して、そのままでは意図した通りの適切な比較明合成を行うことができなくなることが予想される。そのため、ある程度以上の高ＩＳＯ感度領域では、ステップＳ１０５の差分画像生成処理の前に基準画像／比較画像に対してノイズリダクションによるノイズ処理を行い、ノイズ成分を低減して出力の分散を小さくしておくことが効果的である。このときのノイズリダクションに用いるアルゴリズムは、任意に選定して良いが、可能であれば単純な平滑化フィルタを用いるよりはエッジ保存型フィルタを用いるものが望ましい。
図５に、フィルタによるノイズ処理を行う前と後での出力の分散を比較した例を示している。図５においては、例えば、最も出力が低く暗い箇所では、分散σ２が４２から２８へと改善し、そして最も出力が高く明るい箇所では分散σ２が１４４から１１５へと改善している。したがって、差分画像生成の前にステップＳ１０４において必要に応じてノイズ処理を行うことによって、実質的にノイズによる分布の広がりを小さくすることができるので、合成判定の精度を向上させることが可能となる。
【００２２】
また、上述のようにノイズ処理を行う場合、画像合成に供される画像と、ノイズ処理および差分画像の生成に供される画像とは、異なっていても良い。すなわち、例えば、基準画像Ａと比較画像Ｂに対してそれぞれフィルタ等によるノイズ処理を施した画像Ａ′とＢ′について画素毎の比較による差分画像Ｃを生成して、それによって得られる画素毎の合成比率に基づいて、（画像Ａ′とＢではなく）基準画像Ａと比較画像Ｂを合成すると、ノイズ処理による画質への影響のない高画質の画像合成結果が得られる。
また、合成比率曲線を生成するステップＳ１０２において、理想的には、設定されたＩＳＯ感度等の撮影感度（センサゲイン）だけではなく、各色成分のゲインの相対比に関連するホワイトバランスや周辺光量補正等のために与えられるゲイン等の撮像系のゲインについても考慮することが望ましい。
なお、ここで、本発明を適用せずにＲＡＷ画像を用いた単純な比較明合成を行った場合に生ずる不具合について説明する。
比較明合成は、複数画像の同一座標の画素の出力を比較して、より高輝度のもので置き換えていくという処理であり、比較暗合成は、その逆で、複数画像の同一座標の画素の出力を比較して、より低輝度のもので置き換えていくという処理である。一般的に、ＲＡＷ画像は、必要最低限の画像処理しか施されていないため、ショットノイズおよびランダムノイズ等の影響を受けて、同じ撮影条件の設定で同じ被写体を撮影しても出力は必ずしも同じにはならない。このため、単純な比較明合成を行うと、ノイズの分布の最大値に向かって漸近していくという現象が起きる。
【００２３】
このことを、図６を参照して説明する。例えば、ノイズ分布のモデルとして、σ２＝５の正規分布を仮定する。
ある画素の出力が、ノイズの影響を受けてこの分布の中で撮影の度に変動するとした場合、単純な比較明合成処理を行うと、ノイズ分布の最大値に向かって漸近する一方であることが分かる。これに対して、例えば、ノイズ分布の最大値を閾値としてそれ以上では比較明合成を行い、それ以下では何もしないという処理にすることによって、ノイズ分布の最大値に向かって漸近するという問題を改善することができる（比較暗合成処理の場合はその逆である）。
次に、実際に、標準光源にほぼ相当するＤ６５光源のもとで、マクベスチャート（Macbeth Chart）の撮影を行った画像について、単純な比較明合成を施した場合の処理結果を図７に示す。
図７は、マクベスチャートの最暗部である黒パッチ部分における、ある１画素の出力値（◆）と、それに単純な比較明合成を施した結果（■）と、黒パッチ部分の２００×２００［ｐｘ（ピクセル）］の平均（▲）とを、２０枚の連続撮影画像について、それぞれ比較したものである。図７によれば、単純な比較明合成を行うとノイズ分布の最大値に向かって漸近していく様子がわかる。その結果、本来あるべき出力（２００×２００［ｐｘ］の平均）から、およそ４０［ＬＳＢ］近いオフセットが付いてしまうことになる。この問題は、被写体の輝度にかかわらずに生ずるので、画像として全体的に浮く感じになり、また、オフセットが付いた状態でホワイトバランス（ＷＢ）処理が施されることにより、画像がマゼンタがかってしまう。
【００２４】
これを避けるためには、単純な比較明合成を行うのではなく、基準画像（合成画像）の注目画素にどの程度ノイズ成分が含まれ得るかという推定データを用いて、合成判定処理を行うことが必要となる。さらに、置き換えをするか否かだけの判断ではなく、同じ被写体と判定される場合には、加重平均による合成を行うことにより、同時にノイズ低減の効果も期待できる。
例えば、この場合、黒パッチ２００×２００［ｐｘ］の分散はσ＝４２である。したがって、例えば図８に示すように、２σ＝８４以内の差分であれば、等分に重み付けして加重平均をとり、それ以上の差分ならば高輝度の場合は置き換え（つまり比較明合成）、低輝度の場合は何もしないという処理を適用すれば、図９に示すように、分布の最大値に漸近することなく、平均値付近で変動するような振る舞いをさせることができる。
この場合の閾値の決め方については、例えばノイズ分布（σ）の定数倍を用いればよいが、小さく取りすぎると、最大値へと漸近する傾向が強くなり、大きく取りすぎると比較明合成（比較暗合成）としての効果が薄れる場合があるので適宜調整する必要がある。
【００２５】
閾値曲線の決め方として、特許文献１（特開２０１１−１９９７８６号）の場合には、当該文献の図１３に関連して、横軸に差分絶対値、縦軸に合成比率を取ったものが記載されているが、このような形態では、比較明合成処理（比較暗合成処理）には対応できないため、横軸は符号付き差分値とする必要がある。例えば、図１０のようにすれば比較明合成となるし、図１１のようにすれば比較暗合成として機能する閾値曲線となる。
上述した本発明に係る撮像装置は、このような考察に基づいてなされたものであり、比較明合成および比較暗合成のような画像合成機能を内蔵して、しかもノイズ分布による合成画像の画質低下を効果的に抑制することが可能となる。
【符号の説明】
【００２６】
１  光学系
２  アナログフロントエンド部
３  信号処理部
４  ＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）
５  液晶表示部（ＬＣＤ）
６  メモリカード
７  ＲＯＭ（リードオンリメモリ）
８  操作部
９  ドライバ
１１  レンズ群
１２  絞り
１３  シャッタ
１４  撮像素子
２１  タイミングジェネレータ
２２  ＣＤＳ回路
２３  ＡＧＣ回路
２４  Ａ／Ｄ変換回路
３１  制御部（ＣＰＵ）
３２  撮像素子インタフェース（撮像素子Ｉ／Ｆ）
３３  メモリコントローラ
３４  ＹＵＶ変換部
３５  リサイズ処理部
３６  表示出力制御部
３７  データ圧縮部
３８  メディアインタフェース（メディアＩ／Ｆ）
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】特開２０１１−１９９７８６号公報
【図１】
0005861924.tif 000002
【図２】
0005861924.tif 000003
【図３】
0005861924.tif 000004
【図４】
0005861924.tif 000005
【図５】
0005861924.tif 000006
【図６】
0005861924.tif 000007
【図７】
0005861924.tif 000008
【図８】
0005861924.tif 000009
【図９】
0005861924.tif 000010
【図１０】
0005861924.tif 000011
【図１１】
0005861924.tif 000012