(57)【要約】【課題】  画像信号からスミアを抽出してスミア補正をすることを容易に且つ確実に実現する。【解決手段】  高露光画像信号からスミア領域２ｂを検出すると共に、スミア領域２ｂにおける、高露光画像信号と低露光画像信号との画素単位での差分の値をスミア成分として検出する。そして、スミア成分の変動が大きい領域またはスミア領域内の動き量が大きい領域を、移動領域として抽出する。スミア領域２ｂの移動領域以外の領域については、当該領域の値のスミア成分を用いてスミア成分を平滑化してスミア補正値を導出する。一方、スミア領域２ｂの移動領域については、当該移動領域のスミア成分を用いずに補間処理を行ってスミア補正値を導出する。このようにして導出したスミア補正値をカメラ信号処理部３から出力された高露光画像信号におけるスミア領域の信号から減算する。【選択図】  図２
2015019318.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子に対する露光量を制御する露光制御手段と、
露光量が異なる状態で前記撮像素子により撮像された複数の画像信号に基づいて、スミアが発生している領域であるスミア領域と、スミア成分の信号と、を検出するスミア成分検出手段と、
前記スミア領域における被写体の移動領域を推測する移動領域推測手段と、
前記スミア成分検出手段により検出されたスミア成分の信号と、前記移動領域推測手段により推測された移動領域とに基づいて、前記スミア成分の信号を補正する信号補正手段と、
前記信号補正手段により補正されたスミア成分の信号を用いて、スミアが発生している前記画像信号に対してスミア補正を行うスミア補正手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記信号補正手段は、前記スミア領域における前記移動領域については、当該移動領域のスミア成分の信号を用いずに、前記スミア領域のうち当該移動領域とは異なる領域におけるスミア成分の信号を用いて、当該移動領域におけるスミア成分の信号を補間することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記移動領域推測手段は、前記スミア成分検出手段により検出されたスミア成分の信号に基づいて、前記移動領域を推測することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記複数の画像信号を用いて、前記画像信号における被写体の動きを検出する動き検出手段を有し、
前記移動領域推測手段は、前記動き検出手段により検出された被写体の動きに基づいて、前記移動領域を推測することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記移動領域推測手段により推測された移動領域に基づいて、前記信号補正手段により補正されたスミア成分の信号の信頼度を導出する信頼度導出手段と、
前記複数の画像信号の合成比率を導出する合成比率導出手段と、
前記スミア補正手段によりスミア補正が行われた後に、前記複数の画像信号を合成する合成手段と、を有し、
前記合成比率導出手段は、前記スミア領域については、前記複数の画像信号と、前記信号補正手段により補正されたスミア成分の信号の信頼度とに基づいて前記合成比率を決定し、前記スミア領域とは異なる領域については、前記複数の画像信号に基づいて前記合成比率を決定することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記信頼度導出手段は、前記スミア領域における前記移動領域の割合が小さいほど信頼度が大きくなるように、前記信号補正手段により補正されたスミア成分の信号の信頼度を導出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記合成比率導出手段は、前記信号補正手段により補正されたスミア成分の信号の信頼度が大きいほど、前記複数の画像信号のうち相対的に露光量が大きい高露光画像信号の比率が大きくなるように、前記合成比率を決定することを特徴とする請求項５または６に記載の撮像装置。
【請求項８】
前記複数の画像信号は、相対的に露光量が大きい高露光画像信号と、相対的に露光量が小さい低露光画像信号であることを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
撮像素子に対する露光量を制御する露光制御工程と、
露光量が異なる状態で前記撮像素子により撮像された複数の画像信号に基づいて、スミアが発生している領域であるスミア領域と、スミア成分の信号と、を検出するスミア成分検出工程と、
前記スミア領域における被写体の移動領域を推測する移動領域推測工程と、
前記スミア成分検出工程により検出されたスミア成分の信号と、前記移動領域推測工程により推測された移動領域とに基づいて、前記スミア成分の信号を補正する信号補正工程と、
前記信号補正工程により補正されたスミア成分の信号を用いて、スミアが発生している前記画像信号に対してスミア補正を行うスミア補正工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１０】
前記信号補正工程は、前記スミア領域における前記移動領域については、当該移動領域のスミア成分の信号を用いずに、前記スミア領域のうち当該移動領域とは異なる領域におけるスミア成分の信号を用いて、当該移動領域におけるスミア成分の信号を補間することを特徴とする請求項９に記載の撮像装置の制御方法。
【請求項１１】
前記移動領域推測工程は、前記スミア成分検出工程により検出されたスミア成分の信号に基づいて、前記移動領域を推測することを特徴とする請求項９または１０に記載の撮像装置の制御方法。
【請求項１２】
前記複数の画像信号を用いて、前記画像信号における被写体の動きを検出する動き検出工程を有し、
前記移動領域推測工程は、前記動き検出工程により検出された被写体の動きに基づいて、前記移動領域を推測することを特徴とする請求項９〜１１の何れか１項に記載の撮像装置の制御方法。
【請求項１３】
前記移動領域推測工程により推測された移動領域に基づいて、前記信号補正工程により補正されたスミア成分の信号の信頼度を導出する信頼度導出工程と、
前記複数の画像信号の合成比率を導出する合成比率導出工程と、
前記スミア補正工程によりスミア補正が行われた後に、前記複数の画像信号を合成する合成工程と、を有し、
前記合成比率導出工程は、前記スミア領域については、前記複数の画像信号と、前記信号補正工程により補正されたスミア成分の信号の信頼度とに基づいて前記合成比率を決定し、前記スミア領域とは異なる領域については、前記複数の画像信号に基づいて前記合成比率を決定することを特徴とする請求項９〜１２の何れか１項に記載の撮像装置の制御方法。
【請求項１４】
前記信頼度導出工程は、前記スミア領域における前記移動領域の割合が小さいほど信頼度が大きくなるように、前記信号補正工程により補正されたスミア成分の信号の信頼度を導出することを特徴とする請求項１３に記載の撮像装置の制御方法。
【請求項１５】
前記合成比率導出工程は、前記信号補正工程により補正されたスミア成分の信号の信頼度が大きいほど、前記複数の画像信号のうち相対的に露光量が大きい高露光画像信号の比率が大きくなるように、前記合成比率を決定することを特徴とする請求項１３または１４に記載の撮像装置の制御方法。
【請求項１６】
前記複数の画像信号は、相対的に露光量が大きい高露光画像信号と、相対的に露光量が小さい低露光画像信号であることを特徴とする請求項９〜１５の何れか１項に記載の撮像装置の制御方法。
【請求項１７】
請求項９〜１６の何れか１項に記載の撮像装置の制御方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法、およびコンピュータプログラムに関し、特に、撮像部のスミアを補正するために用いて好適なものである。
【背景技術】
【０００２】
昨今の二次元撮像素子を備える撮像装置においては、高輝度の被写体を撮像した際に生じるスミア現象に対する対策が課題になっている。
例えば撮像素子がＣＣＤである場合、入射光量が多いと垂直転送路に対して不要な電荷が転送される。これにより、高輝度の被写体部の垂直方向に明るさの異なる領域がスミア現象として発生する。また、撮像素子がＣＭＯＳセンサである場合においても、高輝度の被写体を撮像しているラインのリセット時に電位が変動する。これにより黒レベルが変化し、高輝度の被写体部の水平方向に明るさの異なる領域がスミア現象として発生する。
【０００３】
スミア現象は、撮像された画像自体の品質を低下すると同時に、例えば、高露光画像と低露光画像とを合成してダイナミックレンジの拡大処理を行う撮像装置に対しても障害になる。
このような不都合に対応するために、スミアの発生する露光量の撮像に対し、スミアが発生しないような低露光の撮像を行い、複数の異なる露光量の画像信号よりスミア成分を抽出し補正する方法がある（特許文献１、２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３０５６８９号公報
【特許文献２】特開平１０−２９４８９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、順番に露光量を変えて撮像し、撮像された複数の画像の差異によりスミア成分を抽出する。したがって、撮像のタイミングに時間差が生じる。このため、被写体が移動すると正しくスミア成分を抽出できないという問題があった。
また、特許文献２に記載の技術では、同時に露光量の異なる画像を撮像するので、特許文献１に記載の技術のように、撮像のタイミングの時間差は発生しない。しかしながら、同時に露光量の異なる画像を撮像するための特殊な撮像素子が必要になる。したがって、一般的な撮像素子を用いて露光量を順次替えながら撮像する場合の対策にはならない。
【０００６】
本発明は、このような問題点に鑑みてなされたものであり、画像信号からスミアを抽出してスミア補正をすることを容易に且つ確実に実現する目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像素子に対する露光量を制御する露光制御手段と、露光量が異なる状態で前記撮像素子により撮像された複数の画像信号に基づいて、スミアが発生している領域であるスミア領域と、スミア成分の信号と、を検出するスミア成分検出手段と、前記スミア領域における被写体の移動領域を推測する移動領域推測手段と、前記スミア成分検出手段により検出されたスミア成分の信号と、前記移動領域推測手段により推測された移動領域とに基づいて、前記スミア成分の信号を平滑化して、前記スミア成分の信号を補正する信号補正手段と、前記信号補正手段により補正されたスミア成分の信号を用いて、スミアが発生している前記画像信号に対してスミア補正を行うスミア補正手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像信号からスミアを抽出してスミア補正をすることを容易に且つ確実に実現することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成の第１の例を示す図である。
【図２】画像信号に発生するスミアを示す図である。
【図３】スミア成分とスミア補正値を示す図である。
【図４】撮像装置の構成の第２の例を示す図である。
【発明を実施するための形態】
【００１０】
図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。本実施形態では、順次露光量を変えながら撮像した複数の画像信号を用いて、スミア領域内の被写体の移動領域を推測し、推測した移動領域の情報を基にスミア補正値を生成する場合を例に挙げて説明する。
図１は、撮像装置の構成の一例を示すブロック図である。
図１において、撮像部２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳセンサなどの撮像素子と、撮像素子で撮像された被写体像を表すアナログ信号をＡ／Ｄ変換するＡ／Ｄ変換器とを備える。
露光制御部１は、撮像部２に対する露光状態を制御する。
カメラ信号処理部３は、撮像部２から出力された信号に対し、ホワイトバランス処理、色（輝度・色差信号）変換、ゲイン制御、γ補正等の信号処理を行う。
【００１１】
フレームメモリ４は、カメラ信号処理部３から出力された画像信号をフレーム単位で一時的に保持する。
動き量検出部５は、カメラ信号処理部３から出力された画像信号と、フレームメモリ４から出力された（１フレーム前の）画像信号とを比較し、比較した結果に基づいて、移動した被写体の領域情報と、被写体の動き量とを生成して出力する。
スミア成分検出部６は、カメラ信号処理部３から出力された画像信号と、フレームメモリ４から出力された（１フレーム前の）画像信号とを比較し、比較した結果に基づいて、スミア領域とスミア成分とを抽出して出力する。ここで、スミア領域とは、画像信号におけるスミアが発生している領域をいう。また、スミア成分とは、画像信号に含まれるスミア成分の信号をいう。
移動領域推測部７は、動き量検出部５から出力された領域情報と動き量またはスミア成分検出部６から出力されたスミア領域とスミア成分を用いて、スミア領域内における被写体が移動した領域である移動領域を推測する。
【００１２】
スミア補正値生成部８は、スミア成分検出部６から出力されたスミア領域およびスミア成分と、移動領域推測部７から出力された移動領域とに基づいて、スミア補正値を生成する。ここで、スミア補正値とは、スミア成分の信号に含まれるノイズ等を低減する補正をした後のスミア成分の信号をいう。
スミア補正処理部９は、スミア補正値生成部８から出力されたスミア補正値に基づいて、カメラ信号処理部３から出力された画像信号に対してスミア補正処理を行う。
【００１３】
図２は、画像信号に発生するスミアの一例を模式的に示す図である。具体的に図２（ａ）は、相対的に高い露光量で撮像された画像信号（高露光画像）に発生するスミアの一例を模式的に示す図であり、図２（ｂ）は、相対的に低い露光量で撮像された画像信号（低露光画像）に発生するスミアの一例を模式的に示す図である。尚、高露光画像と低露光画像は連続して撮像されたものとする。
図２（ａ）に示す例では、高露光画像の中心付近には高輝度被写体領域２ａが存在し、その左右方向に本来の画像信号に対して明るさの異なるスミア領域２ｂが存在する。一方、図２（ｂ）に示す例でも高露光画像と同様に、低露光画像の中心付近には高輝度被写体領域２ａが存在する。しかし、高輝度被写体領域２ａの周辺にスミア領域２ｂは発生していない。また、図２（ａ）に示す高露光画像のスミア領域２ｂ内には移動体２ｃがあり、高露光画像と低露光画像の撮像タイミングの時間差によって、移動体２ｃの領域（位置）は変化しているものとする。
【００１４】
次に、本実施形態の撮像装置の動作の一例を、図２および図３を参照しながら説明する。
まず、露光制御部１は、撮像部２に対する露光量を（例えば適正露光時よりも）少なくし、スミアが発生しない低露光画像の撮像を行う。カメラ信号処理部３は、撮像部２から出力された信号に対して信号処理を行い、信号処理を行った信号を低露光画像信号としてフレームメモリ４に保持する。
【００１５】
次に、露光制御部１は、撮像部２に対する露光量を（例えば適正露光時又は低露光時よりも）多くし、スミアが発生する高露光画像の撮像を行う。カメラ信号処理部３は、撮像部２から出力された信号に対して、信号処理を行い、信号処理を行った信号を高露光画像信号として出力する。
尚、撮像部２から出力された信号では、低露光時と高露光時とで、露光量の差異による明るさの差異が生じる。そこで、本実施形態では、カメラ信号処理部３は、ゲイン制御によって露光量の差異をキャンセルする様に、撮像部２から出力された信号に対してゲイン処理を行う。これにより、カメラ信号処理部３から出力された低露光画像信号と高露光画像信号の露光量の差異に相当する信号レベルの差異は打ち消される。なお、低露光画像信号と光露光画像信号では撮像されたタイミングが異なるため、環境光の変化や被写体の変化などにより、露光量の差異に相当する信号レベルの差異が打ち消されても同一画素の信号が必ずしも一致しない。
【００１６】
次に、動き量検出部５は、フレームメモリ４から出力された（１フレーム前の）低露光画像信号と、カメラ信号処理部３から出力された（現フレームの）高露光画像信号との比較処理を行い、領域情報と動き量とを抽出して出力する。この比較処理では、例えば、以下の処理が行われる。まず、画素単位または画像の分割領域単位で、２つの画像の位相をずらしながら相関演算を行い、最も相関の高い位相情報を動き量とする。そして、各画素または分割領域毎の動き量を分類して、相互に類似する動き量の領域の座標情報を領域情報とする。例えば、図２において、動き量検出部５は、移動体２ｃの領域を領域情報として抽出し、移動体２ｃの移動量を動き量として抽出する。
【００１７】
次に、スミア成分検出部６は、フレームメモリ４から出力された低露光画像信号と、カメラ信号処理部３から出力された高露光画像信号とに基づいて、スミア領域とスミア成分とを抽出して出力する。
例えば、スミア成分検出部６は、高露光画像信号中の、信号レベルが閾値を超える領域を高輝度被写体領域２ａとして抽出し、抽出した高輝度被写体領域２ａに対して、撮像素子の特性に応じたスミア領域を決定する。撮像素子としてＣＭＯＳセンサを用いた場合のように画像の水平方向にスミアが発生する場合には、図２（ａ）に示すように、高輝度被写体領域２ａの水平方向の領域をスミア領域２ｂとする。一方、撮像素子としてＣＣＤを用いた場合のように画像の垂直方向にスミアが発生する場合には、高輝度被写体領域２ａの垂直方向の領域をスミア領域とする。
また、スミア成分検出部６は、スミア領域２ｂにおける、高露光画像信号と低露光画像信号の画素単位での差分の値をスミア成分とする。
【００１８】
図３は、スミア成分（図３（ａ））とスミア補正値（図３（ｂ））の一例を概念的に示す図である。具体的に図３では、図２の高露光画像および低露光画像の或る水平ライン２ｄの各位置におけるスミア成分とスミア補正値の一例を概念的に示す。
図３（ａ）において、横軸は、水平ラインの座標、縦軸はスミア成分の値である。
スミア領域内のスミア現象は基本的になめらかに変化する。したがって、スミア成分検出部６で検出されるスミア成分中には、画像中のノイズ成分と、移動領域の差分成分とが混ざっていることになる。
【００１９】
そこで、移動領域推測部７は、スミア成分検出部６により検出されたスミア領域２ｂおよびスミア成分（図３（ａ）を参照）に基づいて、移動領域を推測する。
スミア領域２ｂ内に移動体２ｃが存在する場合には、スミア成分の値は局所的に大きく変化する。よって、スミア成分を観測することによって移動領域を推測することが可能である。
例えば、図３（ａ）に示すグラフにおいて、スミア成分が周囲に対して変動している領域を移動領域として抽出することができる。例えば、移動領域推測部７は、対象となる画像信号の或る領域のスミア成分の値と、その周辺の画素のスミア成分の値との変化量が所定の閾値を超える場合に、当該領域を移動領域として特定することができる。より具体的に説明すると、例えば、スミア成分の値が、周辺のスミア成分の平均値や過去のスミア成分の値に対して所定の閾値以上離れている２つの座標の間の区間を移動領域とすることができる。また、スミア成分の水平ラインの座標に対する微分値が所定の閾値よりも大きくなる（または小さくなる）２つの座標の間の区間を移動領域とすることもできる。
【００２０】
また、移動領域推測部７は、動き量検出部５から出力される領域情報および動き量を用いて、移動領域を推測することもできる。例えば、移動領域推測部７は、スミア領域内の領域情報に対応する動き量が、所定の閾値よりも大きな領域情報を移動領域として特定することができる。
以上のようにして移動領域推測部７にて推測された移動領域の情報は、スミア補正値生成部８に出力される。
【００２１】
次に、スミア補正値生成部８は、スミア成分検出部６から出力されたスミア領域およびスミア成分と、移動領域推測部７から出力された移動領域の情報とに基づいて、スミア領域に対するスミア補正値を生成する。
前述したように、スミア成分には、ノイズ成分と移動領域の差分成分とが混ざっている（図３（ａ）を参照）。
スミア現象はなめらかに変化しているので、スミア補正値生成部８は、スミア成分検出部６で検出されたスミア成分を平滑化してスミア補正値を生成する。
【００２２】
具体的にスミア補正値生成部８は、移動領域でない画素については、例えば、対象となる画素と、その周辺の画素との平均値を算出したり、スミア成分に対してＬＰＦ処理を行ったりすることによってスミア成分を平滑化してスミア補正値を得ることができる。一方、移動領域の画素については、スミア成分の値を使用せずに、スミア成分の画素の周辺の画素であって移動領域でない画素のスミア成分の値を用いて補間してスミア補正値を得ることができる。また、スミア補正値生成部８内に、過去のフレームのスミア補正値を保持するメモリを設け、過去のスミア補正値を用いて移動領域の画素のスミア補正値を生成することもできる。
以上の処理を行うことにより、スミア補正値生成部８は、図３（ｂ）に示すように、ノイズ成分および移動領域の影響を低減したスミア補正値を生成することができる。
【００２３】
次に、スミア補正処理部９は、カメラ信号処理部３から出力された高露光画像信号におけるスミア領域の信号から、スミア補正値生成部８から出力されたスミア補正値を減算処理することでスミア補正を行う。
【００２４】
以上のように本実施形態では、高露光画像信号からスミア領域２ｂを検出すると共に、スミア領域２ｂにおける、高露光画像信号と低露光画像信号との画素単位での差分の値をスミア成分として検出する。そして、スミア成分の変動が大きい領域またはスミア領域内の動き量が大きい領域を、移動領域として抽出する。スミア領域２ｂの移動領域以外の領域については、当該領域の値のスミア成分を用いてスミア成分を平滑化してスミア補正値を導出する。一方、スミア領域２ｂの移動領域については、当該移動領域のスミア成分を用いずに補間処理を行ってスミア補正値を導出する。このようにして導出したスミア補正値をカメラ信号処理部３から出力された高露光画像信号におけるスミア領域の信号から減算する。したがって、順次露光量を変えながら撮像した複数の画像信号を用いて、スミア領域内の被写体の移動領域を推測し、推測した移動領域の情報を基にスミア補正値を生成することによって、被写体が移動した場合でも精度よくスミアを補正することができる。
【００２５】
（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、高露光画像と低露光画像とを用いて、高露光画像におけるスミア補正を行う場合を例に挙げて説明した。これに対し、本実施形態では、高露光画像と低露光画像を合成してダイナミックレンジの拡大処理を行う際にも、スミアの発生状況に応じて、適切なスミア補正と画像合成処理とを行う場合について説明する。このように本実施形態と第１の実施形態とは、高露光画像と低露光画像を合成してダイナミックレンジの拡大処理を行うことによる構成と処理が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図３に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００２６】
図４は、撮像装置の構成の一例を示すブロック図である。
図４において、動きベクトル検出部１０は、カメラ信号処理部３から出力された画像信号と、フレームメモリ４から出力された（１フレーム前の）画像信号とを比較し、比較した結果に基づいて、動きベクトルを検出する。
位置合わせ制御部１１は、動きベクトル検出部１０から出力された動きベクトルに基づいて、高露光画像信号と低露光画像信号との位置を合わせるための位置合わせ情報を生成して出力する。
位置合わせ処理部１２は、位置合わせ制御部から出力された位置合わせ情報に基づいて、画像の座標変換を行って、高露光画像信号と低露光画像信号との位置合わせを行う。
【００２７】
スミア補正値生成部１３は、スミア成分検出部６から出力されたスミア領域およびスミア成分と、移動領域推測部７から出力された移動領域の情報とに基づいて、スミア補正値を生成する。このように本実施形態のスミア補正値生成部１３は、第１の実施形態のスミア補正値生成部８と同様に、スミア成分の信号に含まれるノイズを低減する信号補正処理を行う。これに加え、本実施形態のスミア補正値生成部１３は、スミア領域における移動領域の大きさに応じてスミア補正値信頼度を導出する信頼度導出処理を行う。ここで、スミア補正値信頼度とは、スミア補正値に対する信頼度をいう。
合成制御部１４は、スミア補正値生成部１３から出力されたスミア補正値信頼度に応じて、高露光画像信号および低露光画像信号の合成比率を導出する合成比率導出処理を行う。
合成処理部１５は、合成制御部１４から出力された合成比率に応じて、高露光画像信号と低露光画像信号の合成処理を行う。
【００２８】
次に、本実施形態の撮像装置の動作の一例を説明する。
まず、露光制御部１は、撮像部２に対する露光量を少なくし、スミアが発生しない低露光画像の撮像を行う。カメラ信号処理部３は、撮像部２から出力された信号に対して信号処理を行い、信号処理を行った信号を低露光画像信号としてフレームメモリ４に保持する。
次に、露光制御部１は、撮像部２に対する露光量を多くし、スミアが発生する高露光画像の撮像を行う。カメラ信号処理部３は、撮像部２から出力された信号に対して、信号処理を行い、信号処理を行った信号を高露光画像信号として出力する。
尚、本実施形態においても、第１の実施形態で説明したのと同様に、カメラ信号処理部３から出力された低露光画像信号と高露光画像信号の信号レベルはそろっているものとする。
【００２９】
次に、動きベクトル検出部１０は、フレームメモリ４から出力された低露光画像信号と、カメラ信号処理部３から出力された高露光画像信号との比較処理を行い、フレーム間の動きベクトルを検出して出力する。この比較処理では、例えば、画素単位または画像の分割領域単位で、２つの画像の位相をずらしながら相関演算を行い、最も相関の高い位相の座標情報を動きベクトルとして決定する処理が行われる。
【００３０】
次に、位置合わせ制御部１１は、動きベクトル検出部１０から出力された動きベクトルの情報に基づいて、高露光画像信号の位置と低露光画像信号の位置とを合わせるための位置合わせ情報を出力する。
具体的に位置合わせ制御部１１は、動きベクトル検出部１０で検出された動きベクトルを分類して画像の領域を分割し、画面全体の動きを表す領域を決定し、その領域の動きベクトルより求められた画面全体の動き量より位置合わせ情報を算出する。画面全体の動きを表す領域は、分割された領域の大きさが大きい領域や、背景に位置する領域より決定される。また、位置合わせ制御部１１は、位置合わせに使われなかった動きのある領域を、画面全体の動きを表す領域以外の動きのある領域として検出する。
【００３１】
次に、位置合わせ処理部１２は、位置合わせ制御部１１より出力された位置合わせ情報に基づいて、高露光画像信号または低露光画像信号に対して画素単位で座標変換を行うことにより、高露光画像信号と低露光画像信号の位置合わせを行う。本実施形態では、高露光画像信号に対して位置合わせ処理を行い、高露光画像信号の位置を低露光画像信号の位置に合わせる。
次に、スミア成分検出部６は、フレームメモリ４から出力された低露光画像信号と、位置合わせ処理部１２から出力された高露光画像信号とに基づいて、スミア領域とスミア成分とを抽出して出力する。スミア領域とスミア成分の抽出方法は、第１の実施形態で説明したのと同じ方法で実現することができる。
【００３２】
次に、移動領域推測部７は、スミア成分検出部６により検出されたスミア領域およびスミア成分に基づいて、移動領域を推測する。移動領域の推定方法は、第１の実施形態で説明したのと同じ方法で実現することができる。
ここで、第１の実施形態における動き量検出部５からの領域情報と動き量が、位置合わせ制御部１１からの位置合わせ情報に相当する。位置合わせ制御部１１により、画面全体の動きを表す領域以外の動きのある領域が、スミア領域内に存在することが検出された場合、移動領域推測部７はその領域を移動領域として推測する。尚、第１の実施形態のように、スミア成分や移動量に基づいて移動領域を推測してもよい。
【００３３】
次に、スミア補正値生成部１３は、スミア成分検出部６から出力されたスミア領域およびスミア成分と、移動領域推測部７から出力された移動領域の情報とに基づいて、スミア領域に対するスミア補正値とスミア補正値の信頼度とを生成する。
スミア現象はなめらかに変化しているので、スミア補正値生成部１３は、スミア成分を平滑化してスミア補正値を生成する。スミア補正値の生成方法は、第１の実施形態で説明したのと同じ方法で実現することができる。
スミア補正値生成部１３は、スミア補正値の信頼度を、スミア領域の中の移動領域の割合に応じて算出する。具体的にスミア補正値生成部１３は、スミア領域における移動領域の割合が大きくなるほど、スミア補正値の信頼度を小さくするようにする。第１の実施形態で説明したように、スミア補正値は、移動領域のスミア成分を除外して生成されるため、移動領域が大きいほど、使用できるスミア成分の数が少なくなるからである。
【００３４】
次に、スミア補正処理部９は、カメラ信号処理部３から出力された高露光画像信号におけるスミア領域の信号から、スミア補正値生成部８から出力されたスミア補正値を減算処理することでスミア補正を行う。
次に、合成制御部１４は、フレームメモリ４から出力された低露光画像信号と、スミア補正処理部９から出力された高露光画像信号と、スミア補正値生成部１３から出力されたスミア補正値の信頼度とに基づいて合成比率を決定する。
スミア領域以外の領域については、従来のダイナミックレンジの拡大のための合成比率を生成する方法と同一の方法を採用する。具体的には高露光画像信号と低露光画像信号の値を画素単位で比較し、差分が大きいほど低露光画像信号の比率が高く、差分が小さいほど高露光画像信号の比率が高くなるように合成比率を決める。
【００３５】
一方、スミア領域内については、このような合成比率の決定方法に加えて、さらにスミア補正値の信頼度が低い場合には低露光画像信号の合成比率が高く、信頼度が高い場合には高露光画像信号の合成比率が高くなるように合成比率を決定する。このようにするのは、スミア補正値の信頼度が高いほど、高露光画像に対するスミア補正処理が精度よく行われることに由来する。
【００３６】
以上のように本実施形態では、高露光画像信号と低露光画像信号とを比較して動きベクトルを検出して、高露光画像信号と低露光画像信号の位置を合わせるための位置合わせ情報を生成する。その際に、位置合わせに使用されなかった動きのある領域を移動領域とする。また、第１の実施形態と同様にしてスミア領域およびスミア成分を抽出し、スミア補正値を生成する。また、スミア領域における移動領域の割合が大きくなるほど値が小さくなるようにスミア補正値の信頼度を生成する。スミア領域については、高露光画像信号と低露光画像信号の画素値の画素単位の差分とスミア補正値の信頼度との双方に基づいて、高露光画像信号と低露光画像信号の合成比率を決定する。一方、スミア領域と異なる領域については、高露光画像信号と低露光画像信号の画素値の画素単位の差分に基づいて合成比率を決定する。このようにして決定した合成比率で高露光画像信号と低露光画像信号とを合成する。したがって、高露光画像信号と低露光画像信号とを合成してダイナミックレンジの拡大処理を行う際にも、スミアの発生状況に応じて、適切なスミア補正および画像合成処理を行い、高性能なダイナミックレンジ拡大処理を行うことができる。
【００３７】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００３８】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００３９】
３  カメラ信号処理部、６  スミア成分検出部、７  移動領域推測部、８  スミア補正値生成部、９  スミア補正処理部
【図１】
2015019318.tif 000003
【図２】
2015019318.tif 000004
【図３】
2015019318.tif 000005
【図４】
2015019318.tif 000006