(57)【特許請求の範囲】
【請求項１】
露光時間の異なる画素が混在する原画像を取得する画像取得部と、
前記原画像の画素を前記露光時間によって分類した複数の画素群ごとに、画素値が補間されかつ露出補正された補正画像を生成する補正画像生成部と、
該補正画像生成部により生成された複数の前記画素群の前記補正画像を合成するＨＤＲ合成部とを備え、
該ＨＤＲ合成部は、一の前記画素群に属する前記補正画像の露光により取得された画素の画素値と、該画素と同一位置に補間により生成され他の前記画素群に属する前記補正画像の画素の画素値との差が所定の閾値以上である場合に、一の前記画素群に属する前記補正画像の画素の合成比率を大きくする撮像装置。
【請求項２】
前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を補間して補間画像を生成する補間画像生成部と、該補間画像生成部により生成された補間画像の各画素値を前記露光時間の比率に応じて露出補正して前記補正画像を生成する露出補正部とを備える請求項１に記載の撮像装置。
【請求項３】
前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を前記露光時間の比率に応じて露出補正する露出補正部と、該露出補正部により露出補正された画素値を補間して前記補正画像を生成する補間画像生成部とを備える請求項１に記載の撮像装置。
【請求項４】
前記ＨＤＲ合成部が、注目画素の画素値またはその周辺領域での局所平均画素値から算出したノイズレベルに応じて前記閾値を設定する請求項１から請求項３のいずれかに記載の撮像装置。
【請求項５】
前記ＨＤＲ合成部が、注目画素の周辺の局所領域のコントラスト値に応じて前記閾値を設定する請求項１から請求項４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
露光量を異ならせて取得された複数画像から高ダイナミックレンジ画像（以下、ＨＤＲ画像という。）を生成する技術が知られている（例えば、特許文献１参照。）。露光量を異ならせる方法として露光時間を変えることが一般的に行われるが、露光時間を長くすると手ぶれや被写体の動きによるぶれが発生する。この問題を解決する技術として、同一撮像素子上に異なる時間で露光させる画素を配置して撮影した１枚の画像データからＨＤＲ画像を生成する技術がある（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３１１０７９７号公報
【特許文献２】特許第４６４５６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献２においては、特定の露光時間が割り当てられた画素以外の画素値は、露光時間が割り当てられた画素の画素値に基づく空間的補間によって算出した後に、各露光時間の画素値を合成するため、撮像素子の画素ピッチに対応した解像度が得られない場合がある。
本発明は、異なる露光時間で露光させる画素を配置した撮像素子により取得された信号から、簡易に、撮像素子の画素ピッチに対応した解像度を有するＨＤＲ画像を得ることができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
本発明の一態様は、露光時間の異なる画素が混在する原画像を取得する画像取得部と、前記原画像の画素を前記露光時間によって分類した複数の画素群ごとに、画素値が補間されかつ露出補正された補正画像を生成する補正画像生成部と、該補正画像生成部により生成された複数の前記画素群の前記補正画像を合成するＨＤＲ合成部とを備え、該ＨＤＲ合成部は、一の前記画素群に属する前記補正画像の露光により取得された画素の画素値と、該画素と同一位置に補間により生成され他の前記画素群に属する前記補正画像の画素の画素値との差が所定の閾値以上である場合に、一の前記画素群に属する前記補正画像の画素の合成比率を大きくする撮像装置である。【０００６】
本態様によれば、画像取得部により露光時間の異なる画素が混在する原画像が取得されると、補正画像生成部により、原画像の画素を露光時間によって分類した複数の画素群ごとに、画素値が補間されかつ露出補正された補正画像が生成される。そして、複数の補正画像がＨＤＲ合成部によって合成されることにより、ダイナミックレンジが拡張された合成画像が生成される。【０００７】
この場合において、各画素群の補正画像においては、露光により取得された画素の間に補間により画素が生成されるので、一の画素群の補正画像の補間により生成された画素に対応する位置には、他の画素群の補正画像の露光により取得された画素が存在する。そして、これらの画素の画素値の差が所定の閾値以上である場合には、補間により生成された画素の画素値の合成比率をより小さくし、露光により取得された画素の合成比率をより大きくして合成することにより、被写体の輝度分布を精度よく反映した高ダイナミックレンジ画像を生成することができる。【０００８】
上記態様においては、前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を補間して補間画像を生成する補間画像生成部と、該補間画像生成部により生成された補間画像の各画素値を前記露光時間の比率に応じて露出補正して前記補正画像を生成する露出補正部とを備えてもよい。【０００９】
また、上記態様においては、前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を前記露光時間の比率に応じて露出補正する露出補正部と、該露出補正部により露出補正された画素値を補間して前記補正画像を生成する補間画像生成部とを備えていてもよい。【００１０】
また、上記態様においては、前記ＨＤＲ合成部が、注目画素の画素値またはその周辺領域での局所平均画素値から算出したノイズレベルに応じて前記閾値を設定してもよい。
このようにすることで、ノイズレベルに応じて設定された閾値により、補間ミスにより生じた画素値の差に加えノイズによって生じた画素値の差も修正して被写体の輝度分布を精度よく反映した高ダイナミックレンジ画像を生成することができる。【００１１】
また、上記態様においては、前記ＨＤＲ合成部が、注目画素の周辺の局所領域のコントラスト値に応じて前記閾値を設定してもよい。
このようにすることで、コントラストが低い領域でノイズによる画素値の置き換えが発生しにくくなり、ノイズが気になりやすい低コントラスト領域でのノイズを抑制することができる。
【発明の効果】
【００１２】
本発明によれば、異なる露光時間で露光させる画素を配置した撮像素子により取得された信号から、簡易に、撮像素子の画素ピッチに対応した解像度を有するＨＤＲ画像を得ることができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る撮像装置を示すブロック図である。
【図２】図１の撮像装置の撮像素子における画素群Ｌ，Ｓの配列を示す図である。
【図３】図２の撮像素子の各画素群の露光タイミングの一例を示す図である。
【図４】図１の撮像素子の各画素群の露光量とダイナミックレンジとの関係を示す図である。
【図５Ａ】図１の露出別補間部による長時間露光の画素群とその補間画像を示す図である。
【図５Ｂ】図１の露出別補間部による短時間露光の画素群とその補間画像を示す図である。
【図６】ＨＤＲ画像の生成方法のフローチャートを示す図である。
【図７Ａ】長時間露光の露光画素値と補間画素値および被写体の輝度分布を示す図である。
【図７Ｂ】短時間露光の露光画素値と補間画素値および被写体の輝度分布を示す図である。
【図７Ｃ】図１の撮像装置による補正前の合成画素値および被写体の輝度分布を示す図である。
【図７Ｄ】露光画素値と補間画素値との差分値を示す図である。
【図７Ｅ】図１の撮像装置による補正後の合成画素値および被写体の輝度分布を示す図である。
【図８Ａ】図７Ａにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。
【図８Ｂ】図７Ｂにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。
【図８Ｃ】図７Ｃにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。
【図８Ｄ】図７Ｄにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。
【図８Ｅ】図７Ｅにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。
【図９Ａ】比較例としての長時間露光の露光画素値とその補間画素値および被写体の輝度分布を示す図である。
【図９Ｂ】比較例としての短時間露光の露光画素値とその補間画素値および被写体の輝度分布を示す図である。
【図９Ｃ】比較例としての補正前の合成画素値および被写体の輝度分布を示す図である。
【図９Ｄ】比較例としての補正後の合成画素値および被写体の輝度分布を示す図である。
【図１０Ａ】図９Ａにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。
【図１０Ｂ】図９Ｂにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。
【図１０Ｃ】図９Ｃにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。
【図１０Ｄ】図９Ｄにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わり、合成画素値が被写体の輝度分布を反映しない場合を示す図である。
【図１１】本発明の第２の実施形態に係る撮像装置における長時間露光の画素値と短時間露光の画素値との合成比率のグラフを示す図である。
【図１２】被写体の輝度分布および局所平均値のグラフの一例を示す図である。
【図１３】図１１の撮像装置に係るノイズモデルの一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の第１の実施形態に係る撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、画像信号を取得する撮像部（画像取得部）２と、該撮像部２により取得された画像信号を処理する画像処理部３とを備えている。
【００１５】
撮像部２は、被写体からの光を集光する撮像レンズ４と、該撮像レンズ４により集光された光を撮影する撮像素子５と、該撮像素子５の各画素の露光時間を制御する露光制御部６とを備えている。
撮像素子５は、例えば、複数の光電変換素子を２次元配列してなるＣＭＯＳイメージセンサであり、集光レンズによって被写体の光学像が結像されるようになっている。
【００１６】
露光制御部６は、画素ごとに露光時間を設定している。撮像素子５の各画素においては、露光制御部６によって設定された露光時間中の光量が光電変換素子ごとに電荷量に変換されるようになっている。そして、撮像素子５においては、オプティカルブラック処理等の処理が行われた後にデジタル値に変換された２次元の画像データ（原画像）が出力されるようになっている。
【００１７】
撮像素子５の光電変換素子の配列例を図２に示す。各光電変換素子は、２つの画素群（Ｌ，Ｓ）のいずれかにグループ分けされており、少なくとも画素群ごとに露光時間を制御することができるように配線されている。２つの画素群の画素数はほぼ等しく、各画素群単独で構成される画像が被写体全体を正しく表すことができるように、各画素群を構成する画素は規則的かつ均等に配列されている。
【００１８】
本実施形態では、説明を簡単にするために、撮像素子５はグレースケール光または単色光の光電変換素子を有するものとする。
露光制御部６は、図示しない制御部から適正露光時間ＴＰと撮影指示とを受けて、光電変換素子の露光タイミングを設定し、取得された画素値（以下、露光画素値という。）を画像処理部３に出力するようになっている。
【００１９】
各光電変換素子に設定する露光タイミングは、例えば、ダイナミックレンジ（ＤＲ）を８倍拡大する場合には、図３に示されるように、８倍の露光時間差を設定する。ここでは、低輝度側の拡張量を大きくし、適正露光時間ＴＰに対して、長時間露光である画素群Ｌの露光時間ＴＬをＴＰ×４、短時間露光である画素群Ｓの露光時間ＴＳをＴＰ×０．５と設定するようになっている。
【００２０】
図３に示す例では、露光タイミングは、ＴＳ期間がＴＬ期間に内包されるように設定されており、これによって、画素群Ｌおよび画素群Ｓの画素間において、被写体等の動きによる位置ずれを抑えている。
露光時間の異なる２つの画素群の画素値を合成することにより、図４に示されるように、ダイナミックレンジを適正露光の場合よりも拡大することができるようになっている。
【００２１】
画像処理部３は、補正画像生成部７と、ＨＤＲ合成部８とを備えている。
補正画像生成部７は、露出別補間部（補間画像生成部）９と、露出補正部１０とを備えている。
露出別補間部９は、図５Ａ，図５Ｂに示されるように、画素群Ｌ，Ｓごとに露光画素値が得られていない画素Ｌ′，Ｓ′を補間して露出別に補間画像を生成するようになっている。
【００２２】
露出補正部１０は、各画素群Ｌ，Ｓの補間画像に対し、露光時間に応じたレベル補正（露出補正）を行い、両画素群間の露出レベルを一致させて補正画像を生成するようになっている。
上の例では、画素群Ｌ，Ｓの露光時間の比率Ｒは、Ｒ＝ＴＬ／ＴＳ＝８である。画素群Ｓの補間画像の各画素値ＶＳをＲ倍することにより両者の露出レベルを一致させることができる。すなわち、同一被写体はほぼ同じ値を示すことになる。なお、画素値がデジタル整数データである場合には、露出補正後の画素値は補正前の画素値より上位に３ビット拡張されていなければならない。
【００２３】
ＨＤＲ合成部８は、以下の手順に従って、各画素群Ｌ，Ｓの補正画像の対応する位置の画素どうしを合成し、１枚のＨＤＲ画像を生成するようになっている。
すなわち、図６に示されるように、最初に、通常のＨＤＲ合成と同様にして合成画素値の算出を行う（ステップＳ１）ようになっている。
【００２４】
ステップＳ１においては、まず、ＶＬ＜ＳＡか否かが判定され（ステップＳ１１）、ＶＬ＜ＳＡの場合には、ＶＣ＝ＶＬに設定され（ステップＳ１２）、そうでない場合、すなわち、ＶＬ＝ＳＡの場合には、ＶＣ＝ＶＳに設定される（ステップＳ１３）。
ここで、ＶＬは、画素群Ｌの注目画素の露出補正された画素値、ＶＳは、画素群Ｓの注目画素の露出補正された画素値、ＳＡは、光電変換素子の許容最大値からオプティカルブラック値を減算した画素値（以下、画素飽和値という。）、ＶＣは、合成画素値である。
【００２５】
ステップＳ１においては、長時間露光の画素値ＶＬが飽和している明るい領域では短時間露光の画素値ＶＳを選択することで、高輝度側のダイナミックレンジが拡張される。また、画素値ＶＬが飽和しない暗い領域では、原則として画素値ＶＬを選択することで、ノイズフロアを下げて低輝度側のダイナミックレンジが拡張される。
【００２６】
次に、ＨＤＲ合成部８は、ステップＳ１において、ＶＬ＜ＳＡとなってＶＣ＝ＶＬが選択された場合には、ステップＳ２に進行する。
ステップＳ２においては、短時間露光の画素値ＶＳが露光画素値であるか否かが判定され（ステップＳ２１）、露光画素値である場合に、画素値ＶＬと画素値ＶＳとの差分の絶対値が所定の閾値ＴＨより大きいか否かが判定される（ステップＳ２２）。
【００２７】
｜ＶＬ−ＶＳ｜＞ＴＨの場合には、合成画素値ＶＣとして短時間露光の画素値ＶＳが選択される（ステップＳ２３）ようになっている。
画素値ＶＳが露光画素値ではない場合、および、｜ＶＬ−ＶＳ｜≦ＴＨの場合にはＶＣ＝ＶＬが維持される。
【００２８】
このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１を用いて、被写体の撮影を行うには、撮像レンズ４を被写体に向けて、被写体からの光を撮像レンズ４により集光し、集光された光を撮像素子５により撮影する。
【００２９】
撮像素子５においては、露光制御部６により各画素の露光時間が制御されることにより、設定された露光時間中の光量が光電変換素子ごとに電荷量に変換され、オプティカルブラック処理等の処理が行われた後にデジタル値に変換された２次元の画像データが出力される。
画像データとしては、各画素が２つの画素群Ｌ，Ｓのいずれかにグループ分けされており、２つの画素群によって被写体全体を正しく表すことができるものとなっている。
【００３０】
出力された画像データは、画像処理部３に送られて、補正画像生成部７において補正画像が生成される。具体的には、露出別補間部９において、画素群Ｌ，Ｓごとに露光画素値が得られていない画素Ｌ′，Ｓ′が補間されて補間画像が生成される。次いで、各画素群Ｌ，Ｓの補間画像は、露出補正部１０に送られて、露光時間に応じたレベル補正が行われ、両画素群間の露出レベルが一致させられた補正画像が生成される。
【００３１】
生成された画素群ごとの補正画像は、ＨＤＲ合成部８に送られて、ステップＳ１において長時間露光の画素群Ｌの画素値ＶＬと画素飽和値ＳＡとが比較され、ＶＬ＝ＳＡであれば合成画素値ＶＣとして画素値ＶＳが選択され、ＶＬ＜ＳＡであれば、原則として合成画素値ＶＣとして画素値ＶＬが選択されるとともに、ステップＳ２において、（補間）画素値ＶＬと（露光）画素値ＶＳとの差分の絶対値が所定の閾値ＴＨより大きいか否かが判定される。判定の結果、｜ＶＬ−ＶＳ｜＞ＴＨの場合には、その画素については合成画素値ＶＣ＝ＶＳとなる。
【００３２】
ここで、撮像素子５上での被写体の輝度分布の周波数が画素ピッチによるナイキスト周波数に近い場合を例に挙げて説明する。
変動する輝度分布が画素飽和値ＳＡより小さい場合に、長時間露光の画素値ＶＬは図７Ａ、短時間露光の画素値ＶＳは図７Ｂにそれぞれ示されるように補間される。図中、実線が被写体の輝度分布、破線が閾値ＳＡ、黒塗りのプロットが露光画素値であり、白抜きのプロットが補間された画素値である。
【００３３】
この状態では、いずれの場合も補間された画素値は被写体の輝度分布を反映していない。また、これらの画素群Ｌ，Ｓに対し、まず、ステップＳ１が実施され、ＶＬ＜ＳＡであるためＶＣ＝ＶＬとなった場合を図７Ｃに示す。この状態でも、合成画素値ＶＣは被写体の輝度分布を反映していない。本実施形態は、さらに、ステップＳ２を実施し、短時間露光の（露光）画素値ＶＳにおいて、｜ＶＬ−ＶＳ｜＞ＴＨか否かが判定される。
【００３４】
図７Ｄに｜ＶＬ−ＶＳ｜を示す。これによれば、いずれの画素においても｜ＶＬ−ＶＳ｜＞ＴＨとなっているため、画素Ｌ′においてはＶＣ＝ＶＳが選択される。これにより、図７Ｅに示されるように、合成画素値ＶＣは被写体の輝度分布を精度よく反映するようになる。
【００３５】
図８Ａから図８Ｅには、図７Ａから図７Ｅとは画素群Ｌ，Ｓの輝度値が入れ替わった場合を例示する。この場合においても、ステップＳ２を行わない状態の図８Ａから図８Ｃでは画素値は被写体の輝度分布を反映していないが、ステップＳ２を実施することにより、図８Ｅに示されるように、合成画素値ＶＣが被写体の輝度分布を精度よく反映するようになる。
【００３６】
このように、本実施形態に係る撮像装置１によれば、異なる露光時間で露光させる画素を配置した撮像素子５により取得された信号から、簡易に、撮像素子５の画素ピッチに対応した解像度を有するＨＤＲ画像を得ることができるという利点がある。
なお、画像処理部３においては、ＨＤＲ合成部８においてダイナミックレンジが拡張された合成画素値ＶＣに適した階調変換等の処理を行って、表示あるいは保存等の処理が行われる。
【００３７】
ここで、比較例として、２つの閾値を利用して合成画素値ＶＣを決定する方法を説明する。
ここでは、ステップ２′として、画素群Ｓの画素値ＶＳと閾値ＴＨＢとを比較し、ＶＳ＞ＴＨＢの場合には、ＶＣ＝ＶＬに代えてＶＣ＝ＶＳを採用することとしている。
【００３８】
図９から図９Ｄに示される例では、図９ＢのようにＶＳ＞ＴＨＢであるために、ＶＣ＝ＶＳが選択され、被写体の輝度分布が反映されることとなる。しかしながら、図１０Ａから図１０Ｄに示される例では、図１０ＢのようにＶＳ≦ＴＨＢであるために、ＶＣ＝ＶＬが選択され、被写体の輝度分布が反映されない状態となる。
【００３９】
すなわち、画素値を閾値と比較する比較例の方法では、画素値の大小に応じて、被写体の輝度分が反映されない合成画像が生成されてしまう場合がある。
これに対して、本発明によれば、このような不都合はなく、画素値の大小に関わらず、全ての場合において、被写体の輝度分布を反映するように合成画像を生成することができるという利点がある。
【００４０】
なお、本実施形態においては、露光レベルを２段階として説明したが３段階以上の露光レベルにおいても同様の処理を行うことができる。
すなわち、露光レベルがＮ段階あり、露出補正された画素値を最短時間露光側から順にＶｉ（露光レベル番号ｉ＝１，２，…，Ｎ）、露光レベル番号ｉの画素飽和値をＳＡｉとし、露出補正はいずれか１つの露光レベルを基準として実施する。
【００４１】
注目画素の露光レベル番号をｊとした場合、注目画素の合成画素値ＶＣは、
ＶＣ＝Ｖｋ
となる。
ここでｋは、ｋ≧ｊ、かつ、Ｖｋ＜ＳＡｋ、かつ、｜Ｖｋ−Ｖｊ｜＞ＴＨを満たす最大の露光レベル番号（ただし、Ｖｊ＝ＳＡｊの場合、ｋはＶｋ＜ＳＡｋとなる最大の露光レベル番号）である。
Ｎ＝２の場合、本実施形態における画素値ＶＳを画素値Ｖ１、画素値ＶＬを画素値Ｖ２とした場合に等しくなる。
【００４２】
また、本実施形態においては、撮像素子５はグレースケール光または単色光の光電変換素子を有するものとして説明したが、これに代えて、ＲＧＢ３原色の画素をベイヤ配列してなる撮像素子５の場合には、「２つのＧ画素（Ｇｒ，Ｇｂ）と各１つのＲ画素およびＢ画素」の単位ごとに上記画素群に割り当てればよく、ＲＧＢ各色について同様の処理をすればよい。
【００４３】
また、ＲＧＢ３原色の画素を、縦横画素数を半減させたＹＣ（輝度と色相）画素に変換し、そのＹ値を画素値としてもよい。さらに、Ｇｂ画素とＧｒ画素の露光レベルを異ならせて、高露光側のＧ画素が飽和した場合に、低露光側のＧ画素で補正することにしてもよい。
また、本実施形態においては、補間処理の後にレベル補正処理を行うこととしたが、画像処理部３における露出別補間部９における補間処理と、露出補正部１０におけるレベル補正処理の順序は逆でもよい。
【００４４】
次に、本発明の第２の実施形態に係る撮像装置について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第１の実施形態に係る撮像装置１と構成を共通とする箇所に同一符号を付して説明を省略する。
【００４５】
本実施形態に係る撮像装置においては、合成画素値ＶＣとして長時間露光の画素値ＶＬか短時間露光の画素値ＶＳかを択一的に採用するのではなく、両方の画素値を、合成比率αによって合成することとしている。
すなわち、合成画素値ＶＣは、合成比率αを用いて、
ＶＣ＝ＶＬ×α＋ＶＳ×（１−α）
である。
【００４６】
ここで、図１１に示されるように、合成比率αは以下の通りに設定する。
｜ＶＬ−ＶＳ｜≦ＴＨＮ×１の場合には、α＝１、ＴＨＮ×１＜｜ＶＬ−ＶＳ｜≦ＴＨＮ×３の場合には、α＝｜ＶＬ−ＶＳ｜／（ＴＨＮ×２）、ＴＨＮ×３≦｜ＶＬ−ＶＳ｜の場合およびＶＬ＝ＳＡの場合には、α＝０である。
【００４７】
ここで、図１２に示されるように、ＴＨＮは注目画素値またはその周辺領域での局所平均値（コントラスト値）から算出したノイズレベルＮＬのＫ倍の値である。Ｋは係数である。ショットノイズがノイズレベルを標準偏差とするガウス分布に従うことを想定すると、ノイズレベルＮＬは光量測定で観測されるショットノイズの分布式や、撮像素子５により実際に得られる画素値データを用いて設定することができる。図１３に示されるように、露光画素値がどちらの画素群に属するかによってもノイズレベルＮＬは変化する。
【００４８】
係数Ｋを調整することで、合成画像の解像感とノイズ感を調整することができる。
係数Ｋを小さくするほど、コントラスト（近傍領域の画素間の輝度値差レベル）が低い領域の本来の解像度を反映しやすくなるが、ノイズによる画素値の差でもＶＬからＶＳへの置き換えが起きるのでノイズも増えやすいことが分かる。
【００４９】
逆に、係数Ｋを大きくするほど、低コントラスト領域の本来の解像度を反映しづらくなるが、ノイズの小さいＶＬが残るので、ノイズの少ない結果を得ることができる。
さらに、局所領域のコントラストの大小に応じて閾値を制御してもよい。すなわち、上記において局所平均値を算出するときに同時に分散値を求め、分散値が小さいほど、つまり、画像が平坦な領域ほど閾値ＴＨＮを大きくするように制御することで、コントラストが低い領域（分散が小さい領域）でノイズによる画素値の置き換えが起こりづらくなり、ノイズが気になりやすい低コントラスト領域でのノイズの増加を抑制することができる。
【００５０】
このように、本実施形態に係る撮像装置によれば、注目領域での補間画素値と露光画素値との差が、補間ミスのみならずノイズによっても生ずるため、これを修正して、被写体の輝度分布を精度よく反映したＨＤＲ画像を生成することができる。
【符号の説明】
【００５１】
１  撮像装置
２  撮像部（画像取得部）
７  補正画像生成部
８  ＨＤＲ合成部
【図１】
0006449320.tif 000002
【図２】
0006449320.tif 000003
【図３】
0006449320.tif 000004
【図４】
0006449320.tif 000005
【図５Ａ】
0006449320.tif 000006
【図５Ｂ】
0006449320.tif 000007
【図６】
0006449320.tif 000008
【図７Ａ】
0006449320.tif 000009
【図７Ｂ】
0006449320.tif 000010
【図７Ｃ】
0006449320.tif 000011
【図７Ｄ】
0006449320.tif 000012
【図７Ｅ】
0006449320.tif 000013
【図８Ａ】
0006449320.tif 000014
【図８Ｂ】
0006449320.tif 000015
【図８Ｃ】
0006449320.tif 000016
【図８Ｄ】
0006449320.tif 000017
【図８Ｅ】
0006449320.tif 000018
【図９Ａ】
0006449320.tif 000019
【図９Ｂ】
0006449320.tif 000020
【図９Ｃ】
0006449320.tif 000021
【図９Ｄ】
0006449320.tif 000022
【図１０Ａ】
0006449320.tif 000023
【図１０Ｂ】
0006449320.tif 000024
【図１０Ｃ】
0006449320.tif 000025
【図１０Ｄ】
0006449320.tif 000026
【図１１】
0006449320.tif 000027
【図１２】
0006449320.tif 000028
【図１３】
0006449320.tif 000029