(57)【特許請求の範囲】
【請求項１】
基準画像と非基準画像を含み連続的に撮影された複数の画像が記憶される記憶手段と、
上記基準画像に係る撮影制御情報と上記非基準画像に係る撮影制御情報に基づいて、比較画像を生成する比較画像生成手段と、
上記基準画像に対する上記比較画像のズレ量である動きデータを算出する動きデータ算出手段と、
上記基準画像、上記非基準画像、上記比較画像のそれぞれを所定の大きさの画像ブロックに分割する画像分割手段と、
上記画像分割手段において分割された各画像ブロックの画素出力値の平均値を算出する平均値算出手段と、
上記基準画像と上記非基準画像の画像ブロックごとの合成の可否の判定に用いる閾値を、上記基準画像の画像ブロックごとの上記平均値に基づいて決定する閾値決定手段と、
上記基準画像の画像ブロックごとの上記閾値と、上記基準画像の上記平均値と上記比較画像の上記平均値の差分との比較の結果に基づいて、上記動きデータにより対応付けられる上記基準画像の画像ブロックと上記非基準画像の画像ブロックとの合成可否を判定する判定手段と、
上記基準画像の上記平均値に基づいて、上記判定手段において合成可と判定された上記画像ブロックごとの合成比率を決定する合成比率決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
上記判定手段が合成不可と判定した上記基準画像の画像ブロックに対して階調補正を行う階調補正手段を備える、
請求項１記載の画像処理装置。
【請求項３】
上記階調補正がされた画像ブロックに対して、ノイズリダクション処理を行うノイズリダクション手段を備える、
請求項２記載の画像処理装置。
【請求項４】
上記平均値算出手段が算出する平均値は、上記各画像ブロックに含まれるＲＧＢごとの平均値であり、
上記閾値決定手段は、上記各画像ブロックに含まれる画素のうち最も大きいＲＧＢの平均値に基づいて閾値を特定する、
請求項１記載の画像処理装置。
【請求項５】
上記平均値算出手段が算出する平均値は、上記各画像ブロックに含まれる画素の輝度の平均値である、
請求項１記載の画像処理装置。
【請求項６】
上記閾値決定手段は、ＩＳＯ感度に応じて異なる閾値を特定する、
請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
上記判定手段は、上記平均値の差分が上記閾値よりも小さいときに合成対象となる上記基準画像の画像ブロックと上記非基準画像の画像ブロックは合成可であると判定する、
請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
上記判定手段による判定の結果、合成可と判定された上記基準画像の画像ブロックと上記非基準画像の画像ブロックとを、上記決定された合成比率に基づいて画像合成する画像合成手段を備える、
請求項１乃至７に記載の画像処理装置。
【請求項９】
基準画像と非基準画像を含み連続的に撮影された複数の画像が記憶される記憶手段と、
上記基準画像に係る撮影制御情報と上記非基準画像に係る撮影制御情報に基づいて、比較画像を生成する比較画像生成手段と、
上記基準画像に対する上記比較画像のズレ量である動きデータを算出する動きデータ算出手段と、
上記基準画像、上記非基準画像、上記比較画像のそれぞれを所定の大きさの画像ブロックに分割する画像分割手段と、
上記画像分割手段において分割された各画像ブロックの画素出力値の平均値を算出する平均値算出手段と、
上記基準画像と上記非基準画像の画像ブロックごとの合成の可否の判定に用いる閾値を、上記基準画像の画像ブロックごとの上記平均値に基づいて決定する閾値決定手段と、
上記基準画像の画像ブロックごとの上記閾値と、上記基準画像の上記平均値と上記比較画像の上記平均値の差分との比較の結果に基づいて、上記動きデータにより対応付けられる上記基準画像の画像ブロックと上記非基準画像の画像ブロックとの合成可否を判定する判定手段と、
上記基準画像の上記平均値に基づいて、上記判定手段において合成可と判定された上記画像ブロックごとの合成比率を決定する合成比率決定手段と、
を有してなる画像処理装置において実行される画像処理方法であって、
上記比較画像生成手段が、比較画像を生成するステップと、
上記動きデータ算出手段が、上記基準画像と上記比較画像とに基づいて動きデータを算出するステップと、
上記画像分割手段が、上記基準画像、上記非基準画像、上記比較画像、をそれぞれ所定の大きさの画像ブロックに分割するステップと、
上記平均値算出手段が、上記基準画像の画像ブロックと、上記比較画像の画像ブロックのそれぞれにおける画素出力値の平均値を算出するステップと、
上記閾値決定手段が、上記基準画像と上記比較画像の画像ブロックごとの合成の可否の判定に用いる閾値を、上記基準画像の画像ブロックごとの上記平均値に基づいて決定するステップと、
上記判定手段が、上記基準画像の画像ブロックごとの上記閾値と、上記基準画像の上記平均値と上記比較画像の上記平均値との差分とを比較するステップと、
上記比較の結果に基づいて、上記動きデータにより対応付けられる上記基準画像の画像ブロックと上記非基準画像の画像ブロックとの合成可否を判定するステップと、
上記合成比率決定手段が、上記判定の結果、上記基準画像の上記平均値に基づいて、合成可と判定された画像ブロックごとの合成比率を決定するステップと、
を実行することを特徴とする画像処理方法。
【請求項１０】
上記画像処理装置は、上記判定手段が合成不可と判定した上記基準画像の画像ブロックに対して任意の階調の補正を行う階調補正手段をさらに備え、
上記階調補正手段が、上記合成可否と判定された基準画像の画像ブロックに対して、任意の階調の補正を行うステップを実行する、
請求項９記載の画像処理方法 。
【請求項１１】
上記平均値算出手段が算出する平均値が、上記各画像ブロックに含まれる画素のＲＧＢごとの平均値であり、
上記閾値決定手段が、上記ＲＧＢごとの平均値に基づいて上記閾値を特定するステップを実行する、
請求項９記載の画像処理方法。
【請求項１２】
上記平均値算出手段が算出する平均値が、上記各画像ブロックに含まれるＲＧＢごとの平均値であり、
上記閾値決定手段が、上記各画像ブロックに含まれる画素のうち最も大きいＲＧＢの平均値に基づいて閾値を特定するステップを実行する、
請求項９記載の画像処理方法。
【請求項１３】
上記平均値算出手段が算出する平均値が、上記各画像ブロックに含まれる画素の輝度の平均値である、
請求項９記載の画像処理方法。
【請求項１４】
上記閾値決定手段が、ＩＳＯ感度に応じて異なる閾値を決定するステップを実行する、
請求項９乃至１３のいずれかに記載の画像処理方法。
【請求項１５】
上記判定手段が、上記平均値の差分が上記閾値よりも小さいときに合成対象となる上記基準画像の画像ブロックと上記非基準画像の画像ブロックとは合成可であると判定するステップを実行する、
請求項９乃至１４のいずれかに記載の画像処理方法。
【請求項１６】
上記画像処理装置は、上記判定手段による判定の結果が、合成可と判定された上記基準画像の画像ブロックと上記非基準画像の画像ブロックとを画像合成する画像合成手段を備え、
上記画像合成手段が、上記判定ステップの結果が合成可であるとき、当該基準画像の画像ブロックと当該非基準画像の画像ブロックを画像合成するステップを実行する、
請求項９乃至１５に記載の画像処理方法。
【請求項１７】
コンピュータを、請求項１乃至８のいずれかに記載の画像処理装置として機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きのある被写体を含む画像の手ぶれやノイズむらを画像合成によって補正することができる画像処理装置等に関するものであって、より詳しくは、合成対象となる画像同士の明るさが異なっても、精度よく動き検出をすることができ、かつ、階調豊かな画像を得ることができる画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
近年、ＣＭＯＳに代表されるように撮像素子の高速化が進んでおり、その特徴を生かした様々な機能を備えるデジタルカメラが知られている。例えば、１秒間に５枚以上の画像を連続的に記録することができるものや、１０００ｆｐｓ以上の動画撮影を行うことができるものがある。このようなデジタルカメラにおいて、露出が異なる複数の画像を連続的に撮影し、この画像同士の暗部から明部までを任意の混合率で合成することで、階調を拡張した豊かな画像を得ることができる技術が知られている。この技術を用いた画像処理を「ダイナミックレンジ拡張処理」という。
【０００３】
一方、手持ち撮影したときの手ぶれや、長時間の露光を要する撮影におけるノイズを除去し、また、ゴーストの発生を抑制するために、連続的に撮影された複数の画像を合成する補正処理を行う画像処理装置を備えたデジタルカメラが知られている。この画像合成処理を行うとランダムノイズを平均化することができ、手ぶれや暗所撮影によるノイズを低減することができる。
【０００４】
複数の画像を合成するには、連続的に取得された画像のうち、１の画像（基準画像）と、その他の画像（比較画像）の位置を合わせる必要がある。この位置合わせ処理は、完全に静止している被写体に係る画像であれば、各画像の大きさを同じにすることで処理できるが、動く被写体（動被写体）が含まれているときは、その動き方向を特定した上で、動きに応じた位置合わせをする必要がある。被写体の動きを無視して合成するとブレやノイズが増大することになるからである。そこで、画像合成処理を行う前に、被写体の動きを特定し、その動き情報に基づいて位置合わせを行いながら画像合成を行う画像処理装置が知られている（例えば、特許文献１を参照）。
【０００５】
ダイナミックレンジ拡張処理と、動被写体の動き検出処理および位置合わせ処理を組み合わせて用いることができれば、像ブレやゴーストを効果的に防ぐことができ、利用者の利便性が向上し、かつ、高品質な画像撮影をすることができる。
【０００６】
しかし、ダイナミックレンジ拡張処理は、動被写体含む画像に用いるときに必要となる各画像間の位置合わせ処理を含まない。また、ダイナミックレンジ技術は、異なる明るさ（露出）の画像に対して用いるものであって、特許文献１記載の位置合わせ処理は、画像同士が同じ明るさでなければ、処理をすることができない技術であるから、これらの技術を組み合わせて明るさの異なる複数の画像に対して画像合成を行うことで手ぶれ補正をすることは困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上記課題に鑑みてなされたものであって、連続して撮影された複数の画像を合成することで、画像の補正を行う画像処理装置、画像処理方法および画像プログラムにおいて、明るさを調整して同等の明るさにした画像を用いて合成可否の判定処理を行い、実際の合成処理を行うときには、明るさ調整以前の画像を用いることで、従来技術では成しえなかった手ぶれ補正を実現する画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【０００８】
また、複数の画像の合成処理を行うときに、合成比率を動的に決定することで、ダイナミックレンジの拡張をし、かつ、位置合わせを行うことで手ぶれを補正することができる画像処理装置、画像処理方法および画像処理を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、基準画像と非基準画像を含み連続的に撮影された複数の画像が記憶される記憶手段と、上記基準画像に係る撮影制御情報と上記非基準画像に係る撮影制御情報に基づいて、比較画像を生成する比較画像生成手段と、上記基準画像に対する上記比較画像のズレ量である動きデータを算出する動きデータ算出手段と、上記基準画像、上記非基準画像、上記比較画像のそれぞれを所定の大きさの画像ブロックに分割する画像分割手段と、上記画像分割手段において分割された各画像ブロックの画素出力値の平均値を算出する平均値算出手段と、上記基準画像と上記非基準画像の画像ブロックごとの合成の可否の判定に用いる閾値を、上記基準画像の画像ブロックごとの上記平均値に基づいて決定する閾値決定手段と、上記基準画像の画像ブロックごとの上記閾値と、上記基準画像の上記平均値と上記比較画像の上記平均値の差分との比較の結果に基づいて、上記動きデータにより対応付けられる上記基準画像の画像ブロックと上記非基準画像の画像ブロックとの合成可否を判定する判定手段と、上記基準画像の上記平均値に基づいて、上記判定手段において合成可と判定された上記画像ブロックごとの合成比率を決定する合成比率決定手段と、を有することを主な特徴とする。
【発明の効果】
【００２６】
本発明によれば、ダイナミックレンジ拡張処理と動被写体を含む画像合成処理を両立させることができ、ダイナミックレンジ拡張処理による豊かな階調からなる画像に対して、画像合成によるゴーストやノイズむらの補正処理を行うことができる。
【００２７】
また、本発明によれば、任意のサイズに分割された微小な画像ブロック毎に、画像合成処理のときに用いる重ね合わせ比率を決定することができるので、合成対象の画像に含まれる暗部と明部で任意のダイナミックレンジ拡張処理を行うことができる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係る画像処理装置を搭載した撮像装置の例を示す正面図である。
【図２】上記撮像装置の構成の例を示すブロック図である。
【図３】上記撮像装置に用いられる制御系統の例を示す機能ブロック図である。
【図４】本発明に係る画像処理方法に用いる閾値の選定に用いるチャート画像の例である。
【図５】複数枚撮影した上記チャート画像の差分値の分布の例を示すグラフである。
【図６】本発明に係る画像処理方法に用いる閾値テーブルの例を示す模式図である。
【図７】本発明に係る画像処理方法の例を示すフローチャートである。
【図８】本発明に係る画像処理方法における合成判定処理の詳細な例を示すフローチャートである。
【図９】本発明に係る画像処理方法に用いる階調補正の例を示すチャートである。
【図１０】本発明に係る画像処理方法に用いる合成比率の例を示すチャートである。
【発明を実施するための形態】
【００２９】
以下、本発明に係る画像処理装置および画像処理方法並びに画像処理プログラムの実施形態について図面を用いながら説明する。本発明に係る画像処理装置は、撮像装置に搭載して用いることもできるので、本実施例においては、本発明に係る画像処理装置が搭載された撮像装置を用いて説明する。
【００３０】
図１は、本発明に係る画像処理装置を備えた撮像装置の外観の例を示す正面図である。図１において撮像装置１は、正面にズームレンズやフォーカスレンズを含む鏡胴ユニット２を備えており、また、ストロボ発光部３、被写体までの距離を測定する測距ユニット４、光学ファインダ５を備えている。撮像装置１の上面には、シャッタースイッチであるレリーズボタンＳＷ１、撮影モードを選択するためのモードダイヤルＳＷ２とジョグダイヤルスイッチＳＷ３が配置されている。レリーズスイッチＳＷ１の操作によって、被写体像が鏡胴ユニット２を構成する各種レンズを介して図示しない撮像素子に取り込まれて、画像データとして図示しない記憶手段に記憶される。１回の撮像操作によって連続して複数の画像を記憶することができる。例えば、レリーズスイッチＳＷ１を１回操作することで、連続した２枚の画像データを記憶することができる。
【００３１】
図２は、本実施例にかかる撮像装置１のシステム構成の例を示すブロック図である。図２において撮像装置１は、撮像レンズ５を通して入射される被写体画像が、受光面上に結像する固体撮像素子としてのＣＣＤ２０と、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号にするアナログフロントエンド部（以下、「ＡＦＥ部」という。）２１と、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２と、データを一時的に格納するＳＤＲＡＭ２３と、制御プログラム等が記憶されたＲＯＭ２４と、撮像レンズ５を駆動するモータドライバ２５と、を有してなる。
【００３２】
鏡胴ユニット２は、ズームレンズやフォーカスレンズ等を有する撮像レンズ５と、絞りユニット２６と、メカシャッターユニット２７と、を備えている。撮像レンズ５・絞りユニット２６・メカシャッターユニット２７は、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２８からの駆動信号により駆動制御される。
【００３３】
ＣＣＤ２０には、ＣＣＤ２０を構成する複数の画素上にＲＧＢフィルタが配置されており、ＲＧＢの３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０と、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１と、ＣＤＳ３１にてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２と、ＡＧＣ３２でゲイン調整された画像信号をデジタルデータ（以下、「ＲＡＷ−ＲＧＢデータ」という。）に変換するＡ／Ｄ変換部３３と、を備えている。
【００３４】
信号処理部２２は、ＡＦＥ部２１のＴＧ３０に対する画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）を出力し、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（以下、「ＣＣＤＩ／Ｆ」という。）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、取り込んだＲＡＷ−ＲＧＢデータを、表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３６と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３７と、画像データの表示出力を制御する表示出力制御部３８と、画像データをＪＰＥＧ形式などで記録するためのデータ圧縮部３９と、画像データをメモリカード１４へ書き込み又はメモリカード１４から画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という。）４０と、操作部４１からの操作入力に基づき、ＲＯＭ２４に記憶された制御プログラムに基づいて撮像装置１全体のシステム制御等を行うＣＰＵ２８と、を備えている。
【００３５】
操作部４１は、図１において示したように、撮像装置１の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、の他に、図示しない広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、決定ボタンなどで構成されている。操作部４１の各スイッチを撮影者が操作することで、各スイッチに応じた所定の動作指示信号が制御部２８に入力される。
【００３６】
ＳＤＲＡＭ２３には、ＣＣＤＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部３６で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部３９で圧縮処理されたＪＰＥＧ形式などの画像データ等が保存される。なお、ＹＵＶデータとは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）データの差分（Ｕ）と、輝度データと赤色（Ｒ）の差分（Ｖ））の情報で色を表現するデータ形式である。
【００３７】
本発明が適用される撮影装置の動作の例について説明する。先ず、撮像レンズ５を通る被写体像がＣＣＤ２０によって光電変換され、ＡＦＥ部２１においてＡ／Ｄ変換処理とゲインアップ処理がされたのち、信号処理部２２を介してＳＤＲＡＭ２３に画像データが一時的に保存される。その後、ＣＰＵ２８によって動き検出演算処理、合成可否判定処理、合成比率演算処理が行われて、１枚の合成画像が生成される。生成された合成画像は、ＹＵＶ変換部３６やデータ圧縮部３９などによってＪＰＥＧ形式の画像に変換されて、メディアI/F４０を介しメモリカード１４へ保存され、あるいは、図示しない撮像装置１の内蔵メモリに保存される。
【００３８】
次に、図３を用いて本実施例にかかる撮像装置１のさらに詳細な機能ブロックの例について説明する。図３に示すように撮像装置１が備える各種手段は、装置全体の動作を制御するプロセッサであるＣＰＵ２８と各処理手段をつなぐデータバス２５によって構成されている。
【００３９】
撮像手段１１は、撮像光学系を介して取得した被写体像をデジタルデータに変換して所定の記録形式のファイルにする処理を行う。撮像手段１１において生成されるファイルを本明細書においては「画像」と称する。撮像手段１１における撮像処理は、連続して所定数の画像を撮影するものであって、所定の数とは例えば２である。
【００４０】
記憶手段１２は、撮像手段１１が生成した連続する複数の画像を記憶する処理を行う。画像分割手段１３は、記憶手段１２に記憶されている画像を所定の大きさの画像ブロックに分割する処理を行う。所定の大きさとは例えば３２画素×３２画素である。
【００４１】
平均値算出手段１４は、画像分割手段１３が分割した画像ブロック毎に、画像ブロックに含まれる画素の出力値の平均値を算出する処理を行う。ここで、画素の出力値の平均値の例としては、Ｒ画素、Ｇ画素、Ｂ画素それぞれの出力値の平均値（以下、「ＲＧＢ平均値」という。）や、画像ブロックに含まれる全ての画素の輝度データの平均値や、画像ブロックに含まれるＲ画素、Ｇ画素、Ｂ画素の出力値を合計した平均値（以下、「ＲＧＢ平均合計値」という。）などがある。
【００４２】
閾値決定手段１５は、平均値算出手段１４が算出した基準画像の平均値に基づいて、合成判定に用いる閾値を決定する。基準画像とは、記憶手段１２に記憶されている連続して撮影された複数のうち１の画像をいう。また、連続して撮影された複数の画像のうち、基準画像以外の画像を「非基準画像」という。本実施例において基準画像は、連続して撮影された複数の画像のうち、最初に撮影された画像を指す。ただし、本発明に係る画像処理装置において基準画像は、これに限ることはなく、連続する複数の画像のうち最も合焦度合いが高い画像を基準画像としてもよい。
【００４３】
ここで閾値について説明をする。閾値は、各画像ブロックの合成可否を判定するために用いる値であって、画像ブロックの画素出力値の平均値に応じて異なる値を有する。平均値が小さいときは閾値も小さく、平均値が大きくなるにつれて閾値も大きくなる。まずこのように閾値を画像ブロックに含まれる画素の出力値の大きさに応じて変化させる理由について、説明する。
【００４４】
一般に、撮像素子において生じるノイズには、出力の大きさに依存するノイズと依存しないノイズがある。このうち、出力の大きさに依存するノイズとして、光ショットノイズや電荷転送ノイズ、作動アンプノイズに起因するものが挙げられる。光ショットノイズはフォトダイオードの量子効率に起因するノイズであり、その大きさは光子の数に依存している。理想的に同じ光量を同じ時間だけ照射したとしても、フォトダイオードの出力にバラツキが発生し、そのバラツキ度合は出力が高い場合ほど影響が大きい。つまり、同一被写体を同一環境下で複数回撮影しても、撮像素子の出力は必ずしも同じにならない。このような事情から、同一被写体を同一環境下で２枚撮影したとしても、２画像間の差分の期待値は、出力が低い暗部と出力が高い明部で異なってくる。したがって、暗部から明部まで一律の閾値によって合成可否を判定すると不具合が生じる。すなわち、同じシーンであっても画像に含まれる暗部（輝度が低い部分）は閾値を下回やすくなり、明部（輝度が高い部分）は閾値を上回りやすくなる。閾値を下回るときは画像の合成を行い、閾値を上回るときは画像の合成を行わないので、暗部ではゴースト、明部ではノイズむらという画像破壊が発生する。
【００４５】
そこで、本発明において閾値は、図４に示すようなマクベスチャートを連続して撮影した画像を用いて差分値の分布を算出した上で、この分布に基づいて被写体の出力値に応じた最適な閾値を設定できるようにしている。なお、マクベスチャートの撮影には三脚に固定したデジタルカメラを用い、同一の撮影環境・同一の設定下で複数回の撮影を行う。
【００４６】
図５は、図４に示すマクベスチャートを２枚連続して撮影し、画像ブロックに分割し、同じ位置の画像ブロックの平均値の差分をプロットしたグラフである。横軸が画素の明るさ（出力値）を示し、縦軸が差分値を示している。ここで、図５（ａ）はＩＳＯ感度（撮像素子に与えるゲイン量）が１００の場合であり、図５（ｂ）はＩＳＯ感度が１６００の場合である。図５から明らかなように、暗部の差分値が小さく、明部の差分値は大きい。どの程度の差分が出るかは確率的な問題であり、明部のほうが差分値のバラツキが大きい。
【００４７】
図５において、差分値の分布が縦長のグループを形成しているが、これは、図４に示すようにマクベスチャートは、同じ色で一定の領域が塗りつぶされた複数の矩形画像から形成されている画像であるので、各矩形画像（パッチという）が所定の明るさの範囲内に収まるからである。図５のグラフから明らかなように、差分値の期待値は、各パッチの色にはよらず、光源に対する依存性はほとんどないといえる。但し、フリッカなどを生じる光源では、出力の絶対値そのものが変化してしまうため、この限りではない。なお、ＩＳＯ感度によってＳ／Ｎ比が変化するため、差分値もＩＳＯ感度によって変化する。
【００４８】
図５の曲線は、差分値の分布から算出した近似曲線である。この近似曲線から、各画素値における最適な閾値を特定することができる。ある出力値に着目したとき、曲線の下側に差分値が入っていれば合成してもよく、差分値が曲線を超えるならば合成をしてはならない。すなわち、曲線が閾値を表している。閾値は画素の出力値によって変化するので、本実施例に係る撮像装置１は、不揮発性のワークメモリ内に所定の記憶構造をもって平均値と関連づけて閾値を予め記憶しておく。図６は、画素の出力値の平均値と関連付けて閾値が記憶されている閾値テーブルの例を示す模式図である。図６（ａ）に示すように、画素の出力値の平均値が取り得る値の一つ一つに対応して、１対１で閾値を記憶してもよいが、これでは記憶領域を圧迫することになる。そこで、図６（ｂ）に示すように、代表的な平均値とこれに対応する閾値を記憶しておき、これ以外の閾値は補間演算によって算出してもよい。また、前述したようにＩＳＯ感度によって平均値の大きさは変化するので（図５（ｂ）参照）、ＩＳＯ感度毎に図６（ｂ）の閾値テーブルを記憶しておいてもよい。さらに、画素の出力をＲＧＢの各要素において平均することで、より正確な判定をすることができるため、閾値テーブルはＲ・Ｇ・Ｂごとに記憶しておいてもよい。
【００４９】
図３に戻る。判定手段１６は画像ブロックごとに、閾値決定手段１５において特定された閾値と、基準画像と比較画像の画像ブロックにおける画素の出力値の平均値の差分とを比較し、差分が閾値よりも小さければ当該基準画像の画像ブロックとこれに対応する画像の画像ブロックを合成可とするフラグを立てる。フラグは撮像装置１内の図示しないワークメモリに、画像ブロックを識別する情報とともに関連付けられて記憶される。
【００５０】
画像合成手段１７は、判定手段１６において「合成可」とするフラグが関連付けられた画像ブロックにおいて、基準画像に非基準画像を合成する処理を行う。合成処理が終わったときに、記憶手段１２に記憶されている連続して撮影された複数の画像のうち、合成判定されていない画像があれば、その画像を比較画像とし、合成後の画像を新たな基準画像として、判定手段における判定処理が繰り返して行われる。
【００５１】
動きデータ算出手段１８は、基準画像と比較画像の各画像ブロック同士の関連を特定する動きデータを算出する処理を行う。動きデータとは、水平方向と垂直方向における基準画像に対する比較画像のズレの量である。「動きデータ」は、例えば、１枚目の撮影時と２枚目の撮影時で撮像装置が微動して画角がずれたときの、基準画像と比較画像の相対的なずれであって平行移動量を表す動きベクトルであってもよいし、画像の回転など動き検出の自由度が高いアフィンパラメータであってもよい。入力画像の多重解像度処理を行った後、解像度の低い画像から高い画像へと段階的にブロックマッチング処理を実行して、精度の高いアフィンパラメータを求める技術を用いて基準画像と比較画像間の動きデータを算出することもできる。
【００５２】
表示手段１９は、画像データや操作メニューを表示する。操作手段２０は、レリーズボタンＳＷ１やモードダイヤルＳＷ２の入力を検出して所定の動作のきっかけをＣＰＵ２８に伝達する。
【００５３】
比較画像生成手段２１は、動きデータ算出手段１８が動きデータの算出に用いる比較画像を生成する手段である。比較画像は、非基準画像の明るさを基準画像に合わせた画像をいう。
【００５４】
合成比率決定手段２２は、画像合成手段１７における基準画像と非基準画像の合成処理における合成比率を、合成対象となっている基準画像の画像ブロックの画素出力値の平均値に応じて算出する手段である。
【００５５】
階調補正手段２３は、判定手段１６において、「合成不可」と判定された画像ブロックに対して、単純な階調補正を行う手段である。
【００５６】
ノイズリダクション手段２４は、階調補正手段２３において、階調補正が施された画像ブロックにおいて、暗部側で発生するノイズむらによる画像劣化を抑制するために、画像ブロック単位でノイズ除去処理をする手段である。
【００５７】
上記の各手段は、撮像装置１が備えるＲＯＭ２４に格納されている制御プログラムと、ＣＰＵ２８による情報処理によって実行される。
【００５８】
次に、本発明に係る画像処理装置が実行する画像処理方法の例について、説明をする。図７は、本発明に係る画像処理方法の実施の形態の例を示すフローチャートである。図７において、各処理ステップをＳ１０、Ｓ２０、Ｓ３０・・・のように表す。
【００５９】
まず、撮像手段１１が被写体像を撮影すると、連続的に撮影された複数の画像が記憶手段１２に記憶される（Ｓ１０）。ここで撮影される枚数は２枚連続とする。また、２枚の画像のうち、１の画像である基準画像は、通常のＡＥ制御によって適正露光で撮影された画像とし、他の画像である非基準画像は基準画像の２倍の明るさで撮影された画像とする。「非基準画像における基準画像の２倍の明るさ」は、画像の撮影制御情報である絞り・露光時間・ＩＳＯ感度のいずれかの撮像制御情報を調整して実現されればよい。
【００６０】
次に、比較画像生成手段２１が、非基準画像の全体の画素出力値を０．５倍して、基準画像と同じ明るさとなる比較画像を生成する（Ｓ２０）。次に、動きデータ算出手段１８が、基準画像と比較画像を用いて、これらの関連を特定する動きデータを算出し、これを用いて位置合わせ処理を行う（Ｓ３０）。位置合わせ処理（Ｓ３０）は、この動きデータを用いて基準画像に対する比較画像のズレを補正する処理である。
【００６１】
次に、基準画像と非基準画像の合成処理が行なわれる（Ｓ４０）。合成処理（Ｓ４０）の詳細については後述する。合成処理（Ｓ４０）において、画像合成手段１７は、画像の合成処理を行って合成画像を出力する（Ｓ５０）。
【００６２】
次に、合成判定処理（Ｓ４０）の詳細な処理の例について、図８に示すフローチャートを用いて説明する。まず、画像分割手段１３が基準画像と、非基準画像と、比較画像を所定のサイズの画像ブロックに分割する処理を行う（Ｓ４０１）。画像ブロックのサイズは、小さくすればするほど、画像に含まれる動く被写体の判定精度が向上する。その結果、合成画像の画質も良くなる。特に、本発明に係る画像処理装置は、画像ブロック単位で合成比率を変更するため、画像ブロックサイズが小さければ小さいほど、画質の劣化はみられなくなる。しかし、逆に画像ブロックを小さくすればするほど、演算量が増大するため処理時間が長くなる。そこで、本実施例においては、処理時間と合成画像の画質とのバランスによって最適なサイズ、例えば３２画素×３２画素と予め規定しておく。なお、以下の説明では、１つの画像がＭ個の画像ブロックに分割されたものと仮定して説明をする。
【００６３】
次に、分割されたそれぞれの画像ブロックにおいて、動被写体が含まれているか否かの判定を行うための一連の処理を行う。まず、平均値算出手段１４は、合成判定の閾値を特定するために、合成処理のベースとなる基準画像のｋ番目の画像ブロックにおけるＲ、Ｇ、Ｂのそれぞれの平均値（ＲＧＢ平均値）を算出する（Ｓ４０２）。ｋは１からＭまでの値をとる。最初の処理においてはｋ＝１であり、最初の画像ブロックにおけるＲＧＢ平均値を算出する。１つの画像ブロックに含まれる画素の数は、例えば、画像ブロックのサイズが３２画素×３２画素であれば、Ｒ（赤）とＢ（青）の画素がそれぞれ２５６個であり、Ｇ（緑）の画素が５１２個含まれている。ＲＧＢ平均値は、これら各画素の出力値をＲ、Ｇ、Ｂそれぞれにおいて合計した値をそれぞれの画素の数で除算することで算出する。
【００６４】
撮像手段１１を構成する撮像素子がＢａｙｅｒ配列の撮像素子の場合は、ＧについてはＲＧ列のＧｒとＧＢ列のＧｂで区別する場合があるが、本発明に係る画像処理装置においては、特にＧｒとＧｂを区別する必要はない。しかし、ＧｒとＧｂの間で特性が大きく異なる場合や、４色の撮像素子を用いて撮影された画像を用いる場合には、ＲＧｒＧｂＢで区別して平均値を算出したり、４色それぞれにおいて平均値を算出したり、するとよい。
【００６５】
次に、閾値決定手段１５は、Ｓ４０２で算出されたＲＧＢ平均値に基づいて、ワークメモリに記憶されている閾値テーブルを参照し、当該画像ブロックの合成判定に用いる閾値を決定する。閾値はＲ、Ｇ、Ｂのそれぞれに対して特定される（Ｓ４０３）。１２ｂｉｔのＲＡＷ画像の場合、ＲＧＢ平均値は０から４０９５の範囲となるので、これに対応する閾値も４０９６個となる。すなわち、図６（ａ）に示したように、平均値の差分値が取り得る値の一つ一つに対応して閾値を設定し、ワークメモリに記憶してもよいが、記憶領域を圧迫することになるので、本実施例においては、図６（ｂ）に示すような代表的な差分値とこれに対応する閾値をワークメモリに記憶しておき、Ｓ４０２で算出された平均値に近似する平均値から、補間演算を用いて閾値を算出する。
【００６６】
次に、平均値算出手段１４は、比較画像のｋ番目の画像ブロックにおけるＲ、Ｇ、Ｂのそれぞれの平均値（ＲＧＢ平均値）を算出する（Ｓ４０４）。ｋは１からＭまでの値をとる。最初の処理においてはｋ＝１であり、最初の画像ブロックにおけるＲＧＢ平均値を算出する。
【００６７】
次に、判定手段１６は、基準画像のＲＧＢ平均値と比較画像のＲＧＢ平均値の差分を算出し、この差分値とＳ４０３で特定したＲＧＢの各閾値（Th_R[k],Th_G[k],Th_B[k]）とを比較する処理を行う（Ｓ４０５）。
【００６８】
Ｓ４０５における比較処理の結果、Ｒ・Ｇ・Ｂの全てにおいて差分値が閾値よりも大きければ、当該画像ブロックには動被写体が含まれていると判定し、当該ブロックは「合成不可」とする（Ｓ４０５のＮｏ）。合成不可と判定された画像ブロックに対しては、階調補正手段２３において、基準画像における当該画像ブロックの階調補正処理を行う（Ｓ４０６）。単純な階調補正のみ行うと、局所的に不自然な箇所が生じる恐れがあるので、図９に示すように、混合率と整合が取れた階調補正処理を行うようにする。
【００６９】
次に、当該画像ブロックの暗部側（画素出力値が低い部分）では、ノイズむらにより画質が劣化することが懸念されるため、必要に応じてノイズリダクション手段２４において画像ブロック単位でノイズリダクション処理を行う（Ｓ４０７）。
【００７０】
Ｓ４０５における比較処理の結果、Ｒ・Ｇ・Ｂの全てにおいて差分値が閾値よりも大きいと判定されれば、当該画像ブロックには動被写体が含まれていると判定されて、当該画像ブロックは「合成可」とする（Ｓ４０５のＹｅｓ）。合成可と判定された画像ブロックに対しては、合成比率決定手段２２において、基準画像の画像ブロックの平均値に応じて、当該画像ブロック単位の基準画像と非基準画像の合成比率を決定する（Ｓ４０８）。本実施例に係る画像処理装置は、暗部側のダイナミックレンジを広げるような画像合成を目的とするものであるから、図１０に示すように、基準画像の画素出力値が高くなるほど、低くなるように設定された合成比率決定テーブルを参照して、画像ブロックごとの合成比率を決定する。
【００７１】
図１０に示すように、本実施例にかかる合成比率は、基準画像の画像ブロックの画素出力値が低いところ（暗部側）では画素出力値が高くなるように設定されている。非基準画像は、基準画像の２倍の明るさであるから、このように設定された合成比率によって、合成後の画像のダイナミックレンジを拡大することができる。また、画素出力値の中間部から明部（画素出力値が高い）部分にかけては、基準画像の画素ブロックをそのまま用いて合成処理を行うように、合成比率が低く設定されている。
【００７２】
次に、画像合成手段１７において、決定された合成比率を用いて、基準画像の画素ブロックと、非基準画像の画素ブロックを合成する（Ｓ４０９）
【００７３】
次に、基準画像と比較画像の全ての画像ブロックに対して合成判定処理が終了したか否かを判定する（Ｓ４１０）。全ての画像ブロックに対して合成判定処理が終了していなければ、次の画像ブロックに対してS４０２からＳ４０９までの処理を繰り返す（Ｓ４１０のＮｏ）。全ての画像ブロックに対して合成判定処理が終了すれば（Ｓ４１０のＹｅｓ）、処理は終了する。
【００７４】
本発明に係る画像処理装置が実行する画像処理方法は、上記において説明をした合成判定処理のように、基準画像のＲＧＢ平均値と、比較画像のＲＧＢ平均値の差分を算出し、この差分が所定の閾値を超えているか否かで合成可否の判定をする他にも、種々の合成判定処理を行うことができる。
【００７５】
たとえば、ＲＧＢ平均値に代わって、基準画像の輝度平均値と比較画像の輝度平均値を用いて、合成可否判定をしてもよい。合成可否の判定に輝度平均値を用いると、閾値との比較判定処理（Ｓ４０５）の処理を、ＲＧＢ平均値判定に比べて高速に処理することができ、合成処理全体の処理時間の軽減を図ることができる。
【００７６】
以上、本発明に係る画像処理方法によれば、露出の異なる複数画像を用いた合成処理において、動被写体が含まれているときには合成処理をすることがなく、低ノイズかつシャープな画像を得ることができる。また、本発明に係る画像処理方法によれば、暗部から明部まで任意の合成比率を決定し、これを用いて合成処理を行うので、階調（ダイナミックレンジ）が豊かな画像を得ることができる。
【産業上の利用可能性】
【００７７】
本発明に係る画像処理方法は、撮像装置に搭載する以外にも、パーソナルコンピュータ上で動作する画像処理ソフトウェアに適用することもできる。
【符号の説明】
【００７８】
１２  記憶手段
１３  画像分割手段
１４  平均値算出手段
１５  閾値決定手段
１６  判定手段
１７  画像合成手段
１８  動きデータ算出手段
２１  比較画像生成手段
２２  合成比率決定手段
２３  階調補正手段
２４  ノイズリダクション手段
【先行技術文献】
【特許文献】
【００７９】
【特許文献１】特許第３９３５５００号公報
【図１】
0005652649.tif 000002
【図２】
0005652649.tif 000003
【図３】
0005652649.tif 000004
【図４】
0005652649.tif 000005
【図５】
0005652649.tif 000006
【図６】
0005652649.tif 000007
【図７】
0005652649.tif 000008
【図８】
0005652649.tif 000009
【図９】
0005652649.tif 000010
【図１０】
0005652649.tif 000011