(57)【特許請求の範囲】
【請求項１】
単位期間に露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を撮像する撮像部と、
上記撮像部により得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比を基に合成して合成画像を生成する合成部と、
上記合成部において生成される合成画像について、合成に用いられる長時間露光画像と、当該長時間露光画像の露光時間と、合成に用いられる短時間画像の露光時間から、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比に応じて、被写体ダイナミックレンジを算出するダイナミックレンジ算出部と、
数種類のダイナミックレンジに対応したベース圧縮カーブデータを保持する記憶部と、
上記記憶部に保持されている上記ベース圧縮カーブデータを用い、上記ダイナミックレンジ算出部により算出された被写体ダイナミックレンジに適した圧縮カーブを算出し、算出した圧縮カーブに従って、上記合成部により生成された合成画像を圧縮した圧縮画像を生成する圧縮部と、
を少なくとも有し、
上記撮像部により得られた長時間露光画像と短時間露光画像から、被写体のもつダイナミックレンジに応じて階調圧縮した画像を生成する撮像装置。
【請求項２】
上記ダイナミックレンジ算出部は、予め長時間露光画像で表現できる被写体のダイナミックレンジの最大値を決定しておき、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比が１より大きい場合に、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比率を乗算することで、上記撮像部により撮像した被写体のダイナミックレンジを算出する請求項１記載の撮像装置。
【請求項３】
上記ダイナミックレンジ算出部は、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比が１以下の場合に、上記長時間露光画像中の最大輝度値から上記長時間露光画像の飽和レベルに対する割合を算出し、上記長時間露光画像で表現できる被写体のダイナミックレンジと乗算することで、上記撮像部により撮像した被写体のダイナミックレンジを算出する請求項１記載の撮像装置。
【請求項４】
上記ダイナミックレンジ算出部は、取得した長時間画像から作成したヒストグラムとそれに対応する輝度積算値を利用し、輝度値が大きい順から数えて指定の個数目の画素が含まれる上記ヒストグラム中の画素数と輝度積算値を検出し、その領域での輝度積算値を画素数で除算することで算出した平均輝度値を上記最大輝度値とする請求項３記載の撮像装置。
【請求項５】
上記圧縮部は、上記被写体のダイナミックレンジに最も近い２種類の上記ベース圧縮カーブデータを選択して読み出し、そのベース圧縮カーブデータ間を上記被写体ダイナミックレンジを基に補間して適した圧縮カーブを生成する圧縮カーブ生成手段を有し、
上記圧縮カーブ生成手段により生成される圧縮カーブに従って、上記合成部により生成された合成画像を圧縮した圧縮画像を生成する請求項１記載の撮像装置。
【請求項６】
上記合成部により生成された合成画像の高周波成分を検出する合成画像高周波成分検出手段と、
上記合成画像高周波成分検出手段により検出された合成画像高周波成分に上記合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより上記合成画像高周波成分の利得制御を行う利得制御手段と、
上記利得制御手段により利得制御された合成画像高周波成分を上記圧縮手段により生成された圧縮画像に付加する高周波成分付加手段と
からなる輪郭補正部を備える請求項１記載の撮像装置。
【請求項７】
上記合成部において合成に用いられる長時間露光画像の高周波成分を検出する長時間露光高周波成分検出手段と、
上記合成部において合成に用いられる短時間露光画像の高周波成分を検出する短時間露光高周波成分検出手段と、
上記長時間露光高周波成分検出手段により検出された長時間露光高周波成分、或いは、上記長時間露光高周波成分検出手段により検出された短時間露光成分を、上記合成部により合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、圧縮画像に対して付加する高周波成分付加手段と
からなる輪郭補正部を備える請求項１記載の撮像装置。
【請求項８】
上記輪郭補正部は、上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行う利得制御手段を有する請求項７記載の撮像装置。
【請求項９】
撮像部により露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を撮像する撮像ステップと、
得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比を基に合成して合成画像を生成し合成画像生成ステップと、
上記合成画像の合成に用いられる長時間露光画像と、当該長時間露光画像の露光時間と、合成に用いられる短時間画像の露光時間から、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比に応じて、被写体ダイナミックレンジを算出する被写体ダイナミックレンジ算出ステップと、
算出された被写体ダイナミックレンジに適した圧縮カーブを記憶部に保持されているベース圧縮カーブデータを用いて算出し、算出した圧縮カーブに従って、上記合成画像生成ステップで生成された合成画像を圧縮した圧縮画像を生成する圧縮ステップと、
を少なくとも有し、
上記撮像ステップにより得られた長時間露光画像と短時間露光画像から、被写体のもつダイナミックレンジに応じて階調圧縮した画像を生成する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２種類の露光時間の画像を合成することで広ダイナミックレンジの被写体を撮影する機能を有する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露光過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露光不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。
【０００３】
しかしながら、明暗の差が大きいシーン５の撮像（逆光撮像、屋内外同時撮像）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。
【０００４】
この問題を解決するために、撮像部より得られた短時間露光画像と長時間露光画像を基に、短時間露光画像にゲインやオフセットの処理を施した後、長時間露光画像と合成し、さらにその合成画像にレベル圧縮を行うことで、広ダイナミックレンジの合成画像を得るようにした撮像装置が知られている。
【０００５】
例えば、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成する場合に、短時間露光画像を数フィールド分多重加算し、この多重加算画像を中時間露光画像として長時間露光画像と合成し、広ダイナミックレンジ画像を生成することにより、中間入力レベルでのＳ／Ｎ比の劣化を有効に低減できるようにした撮像装置や、長時間露光画像と短時間露光画像とに割当てられる各々のダイナミックレンジを、ヒストグラムを利用して、動的に変更させることで、例えば、階調、露光などに最適な条件で画像を再現できるようにした撮像装置が提案されている（例えば、特許文献１、２参照）。
【０００６】
また、動画像のフレーム毎の輝度変動に対応した階調変換を実現するために、画像の輝度分布の幅を表す輝度域情報を算出し、算出した輝度域情報を時系列に平滑化した平滑化輝度域情報に基づいて、画像を表示する表示装置の輝度域に合わせて画像の輝度を正規化するようにした画像処理装置が提案されている（例えば、特許文献３参照）。
【０００７】
【特許文献１】特開２００４−５６５７３号公報
【特許文献２】特開２００４−１２０２０５号公報
【特許文献３】特開２００５−２０４１９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、先提案されているヒストグラムを利用して高輝度ダイナミックレンジと低中輝度ダイナミックレンジの割合を動的に変更する撮像装置では、短時間露光画像と長時間露光画像のどちらを選択するかの閾値を基準として高輝度部と低輝度部の２領域に分類しており、圧縮率は折れ線グラフのような圧縮率で圧縮を行っているため、境目に違和感が生じる。さらに、長時間露光画像と短時間露光画像の露光比が非常に大きく連続的に階調が変化する場合に、上記のような２領域の分類の方法だと中間的な領域の階調を十分に再現することが難しい。
【０００９】
また、輝度分布を用いて、分布が多い輝度領域に出力レンジを多く割り当てる滑らかな圧縮カーブでのダイナミックレンジ圧縮を行う手法は、優れた手法であるが装置の規模や演算量が多いため、安価な機種には不向きである。
【００１０】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、簡単な制御で被写体のもつダイナミックレンジに適した階調圧縮処理を施した画像を生成することのできる撮像装置及び撮像方法を提供することにある。
【００１１】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００１２】
本発明では、２種類の露光時間の画像を合成することで広ダイナミックレンジの被写体を撮影する際に２種類の画像の露光時間から被写体のダイナミックレンジを推定し、そのダイナミックレンジに適した階調圧縮を行う。圧縮カーブの生成は被写体のダイナミックレンジだけに依存するため、自動露光制御（ＡＥ）と組み合わせることにより、被写体のダイナミックレンジが小さいところから大きいところまでベース圧縮カーブを補間して作成するという同一の方法で、ＡＥで被写体のダイナミックレンジを検出して、そのダイナミックレンジに合わせて圧縮を行うといった非常に簡単な制御で被写体のもつダイナミックレンジに適した階調圧縮を行うことができる。
【００１３】
すなわち、本発明に係る撮像装置は、露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を撮像する撮像部と、上記撮像部により得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比を基に合成して合成画像を生成する合成部と、上記合成部において生成される合成画像について、合成に用いられる長時間露光画像と、当該長時間露光画像の露光時間と、合成に用いられる短時間画像の露光時間から、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比に応じて、被写体ダイナミックレンジを算出するダイナミックレンジ算出部と、数種類のダイナミックレンジに対応したベース圧縮カーブデータを保持する記憶部と、上記記憶部に保持されている上記ベース圧縮カーブデータを用い、上記ダイナミックレンジ算出部により算出された被写体ダイナミックレンジに適した圧縮カーブを算出し、算出した圧縮カーブに従って、上記合成部により生成された合成画像を圧縮した圧縮画像を生成する圧縮部と、を少なくとも有し、上記撮像部により得られた長時間露光画像と短時間露光画像から、被写体のもつダイナミックレンジに応じて階調圧縮した画像を生成することを特徴とする。
【００１４】
本発明に係る撮像装置において、上記ダイナミックレンジ算出部は、例えば、予め長時間露光画像で表現できる被写体のダイナミックレンジの最大値を決定しておき、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比が１より大きい場合に、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比率を乗算することで、上記撮像手段により撮像した被写体のダイナミックレンジを算出する。
【００１５】
また、本発明に係る撮像装置において、上記ダイナミックレンジ算出部は、例えば、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比が１以下の場合に、上記長時間露光画像中の最大輝度値から上記長時間露光画像の飽和レベルに対する割合を算出し、上記長時間露光画像で表現できる被写体のダイナミックレンジと乗算することで、上記撮像手段により撮像した被写体のダイナミックレンジを算出する。
【００１６】
また、本発明において、上記ダイナミックレンジ算出部は、例えば、取得した長時間画像から作成したヒストグラムとそれに対応する輝度積算値を利用し、輝度値が大きい順から数えて指定の個数目の画素が含まれる上記ヒストグラム中の画素数と輝度積算値を検出し、その領域での輝度積算値を画素数で除算することで算出した平均輝度値を上記最大輝度値とする。
【００１７】
さらに、本発明に係る撮像装置において、上記圧縮部は、例えば、上記被写体のダイナミックレンジに最も近い２種類の上記ベース圧縮カーブデータを選択して読み出し、そのベース圧縮カーブデータ間を上記被写体ダイナミックレンジを基に補間して適した圧縮カーブを生成する圧縮カーブ生成手段を有し、上記圧縮カーブ生成手段により生成される圧縮カーブに従って、上記合成部により生成された合成画像を圧縮した圧縮画像を生成する。
【００１８】
また、本発明に係る撮像装置は、例えば、上記合成部により生成された合成画像の高周波成分を検出する合成画像高周波成分検出手段と、上記合成画像高周波成分検出手段により検出された合成画像高周波成分に上記合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより上記合成画像高周波成分の利得制御を行う利得制御手段と、上記利得制御手段により利得制御された合成画像高周波成分を上記圧縮手段により生成された圧縮画像に付加する高周波成分付加手段とからなる輪郭補正部を備える。
【００１９】
また、本発明に係る撮像装置は、例えば、上記合成部において合成に用いられる長時間露光画像の高周波成分を検出する長時間露光高周波成分検出手段と、上記合成部において合成に用いられる短時間露光画像の高周波成分を検出する短時間露光高周波成分検出手段と、上記長時間露光高周波成分検出手段により検出された長時間露光高周波成分、或いは、上記長時間露光高周波成分検出手段により検出された短時間露光成分を、上記合成部により合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、圧縮画像に対して付加する高周波成分付加手段とからなる輪郭補正部を備える。
【００２０】
さらに、本発明に係る撮像装置において、上記輪郭補正部は、例えば、上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行う利得制御手段を有する。
【００２１】
本発明に係る撮像方法は、撮像手段により露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を撮像する撮像ステップと、得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比を基に合成して合成画像を生成し合成画像生成ステップと、上記合成画像の合成に用いられる長時間露光画像と、当該長時間露光画像の露光時間と、合成に用いられる短時間画像の露光時間から、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比に応じて、被写体ダイナミックレンジを算出する被写体ダイナミックレンジ算出ステップと、算出された被写体ダイナミックレンジに適した圧縮カーブを記憶手段に保持されているベース圧縮カーブデータを用いて算出し、算出した圧縮カーブに従って、上記合成画像生成ステップで生成された合成画像を圧縮した圧縮画像を生成する圧縮ステップと、を少なくとも有し、上記撮像ステップにより得られた長時間露光画像と短時間露光画像から、被写体のもつダイナミックレンジに応じて階調圧縮した画像を生成することを特徴とする。
【発明の効果】
【００２２】
本発明では、圧縮カーブの生成は被写体のダイナミックレンジだけに依存するため、自動露光制御（ＡＥ）と組み合わせることにより、被写体のダイナミックレンジが小さいところから大きいところまでベース圧縮カーブを補間して作成するという同一の方法で、ＡＥで被写体のダイナミックレンジを検出して、そのダイナミックレンジに合わせて圧縮を行うといった非常に簡単な制御で被写体のもつダイナミックレンジに適した階調圧縮を行うことができる。
【００２３】
また、本発明では、ダイナミックレンジの上限については、記憶部に記憶させておくカーブ上限によって決定されるため、どんなダイナミックレンジにも対応することが可能となる。
【００２４】
また、本発明では、記憶部に記憶させておくカーブを、ＡＥの特性を考慮してＪＥＩＴＡの規定に沿うように作成しておけば、スペックを測定する時に常に最良の階調が実現できる。
【００２５】
また、本発明では、長時間露光画像と短時間露光画像を露光時間に応じてなるべく真っ直ぐになるように合成した画像に対して、合成画像全体としてのダイナミックレンジをどのように圧縮するかを決定するため、ベース圧縮カーブを滑らかに作成すれば出来上がる画像は常に滑らかな圧縮を行った画像となって出力される。
【００２６】
なお、合成しない１枚の画像の時でも、同様の制御方法でダイナミックレンジ圧縮が行える。
【００２７】
さらに、本発明では、最大輝度値検出をヒストグラムを使用した手法で行うことでノイズの影響を軽減でき、さらに点光源のような階調を表現する必要のないものを除外した階調圧縮が行えるという利点がある。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００２９】
本発明は、例えば図１に示すような構成の撮像装置１００に適用される。
【００３０】
この撮像装置１００は、被写体を撮像する撮像部１０と、上記撮像部１０により得られた画像信号を処理する信号処理部２０と、これらの動作を制御する制御部３０からなる。
【００３１】
撮像部１０は、撮像レンズや不要な波長を除去する光学フィルタ、絞り等の光学部品を備える撮像光学系１１、被写体から入射された光が上記撮像光学系１１を介して撮像面に照射される撮像素子１２、上記撮像素子１２を駆動するための駆動信号を生成する駆動信号生成部１３等からなる。
【００３２】
撮像素子１２は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子であり、駆動信号生成部１３により生成される駆動信号により駆動される。
【００３３】
この撮像装置１０における撮像素子１２は、図２に示すように、１垂直同期期間に、長時間露光と短時間露光を行い、長時間露光画像信号ＳＬと短時間露光画像信号ＳＳとしての電気信号を時分割出力する。この撮像素子２は、例えば、通常の２倍の段数の垂直転送段数が設けられたインターライントランスファ型ＣＣＤイメージセンサを備え、１垂直同期期間毎の垂直ブランキング期間内で光電変換部からを垂直転送段に撮像電荷の読み出しを２度行い、その２度の読み出しの間に垂直転送段に読み出した撮像電荷の転送することによって、垂直有効期間の始まりの直前に垂直転送段には長時間露光の信号電荷と短時間露光の信号電荷が並び、水平転送段を２倍の速度で駆動して撮像電荷を読み出すことで、１水平同期期間に１列分の長時間露光信号と短時間露光信号を出力し、１列目の長時間露光信号と短時間露光信号、２列目の長時間露光信号と短時間露光信号、３列目の長時間露光信号と短時間露光信号、・・・と順次出力するものである。
【００３４】
ここで、図２は、撮像素子部２での、１垂直同期期間内の露光時間と蓄積される露光量（電荷量）を示している。
【００３５】
この図２では、１／６０秒の１垂直同期期間において、１／６４秒の長時間露光と、１／２０００秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。
【００３６】
この長時間露光と短時間露光を行うことで、１垂直同期期間に、長時間露光画像信号ＳＬと短時間露光画像信号ＳＳを得る。そしてこの両画像信号を合成することで１フィールドの撮像画像データが生成される。
【００３７】
なお、長時間露光と短時間露光は、必ずしも１垂直同期期間に行わなければならないものではなく、或る垂直同期期間に長時間露光を行い、次の垂直同期期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。
【００３８】
また、撮像素子部２は、固体撮像素子を用いる構成に限られず、例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。
【００３９】
また、信号処理部２０は、前処理部２１、検波部２２、合成部２３、輪郭補正部２４、圧縮部２５、記憶部２６、後処理部２７等からなり、上記撮像部１０により得られた画像信号が上記前処理部２１に供給される。
【００４０】
上記前処理部２１は、いわゆるアナログフロントエンドであり、上記撮像部１０から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理、クランプ処理、黒レベルの補正や欠陥補正等どの各種処理を行うもので、上記撮像部１０により得られた画像信号に前処理を施して得られる長時間露光画像データＳＬと短時間露光画像データＳＳを出力する。
【００４１】
上記前処理部２１により得られる長時間露光画像データＳＬと短時間露光画像データＳＳは、検波部２２、合成部２３及び輪郭補正部２４に供給される。
【００４２】
上記検波部２２は、上記前処理部２１から供給される長時間露光画像データと短時間露光画像データについて、それぞれの自動露出補正(ＡＥ)用の輝度レベル算出やヒストグラムの生成などを行い、算出した輝度レベルやヒストグラムのデータを制御部３０に供給する。
【００４３】
上記制御部３０は、マイクロコンピュータで構成され、上記検波部２２で算出されたデータを基に上記撮像部１０の駆動信号生成部１３に設定する電子シャッタ値や撮像光学系１１の絞り制御値を算出し、その算出結果に基づいて上記撮像部１０の動作を制御する。また、上記制御部３０は、長時間露光用と短時間露光用の電子シャッタ値を基に合成部２３で長時間画像と短時間画像を合成するための合成ゲインを算出し、その算出結果に基づいて上記合成部２３の動作を制御する。さらに、上記記マイクロコンピュータで構成された上記制御部３０には、長時間露光と短時間露光の電子シャッタ比、ヒストグラムを基に被写体のダイナミックレンジ値を算出するダイナミックレンジ算出部３１の機能が搭載されている。
【００４４】
上記制御部３０に搭載されたダイナミックレンジ算出部３１は、上記合成部２３において生成される合成画像について、合成に用いられる長時間露光画像データＳＬと、当該長時間露光画像の露光時間ＴＬと、合成に用いられる短時間画像データＳＳと、当該短時間画像の露光時間ＴＳから、被写体のダイナミックレンジ値ＤＤＭＬを算出するもので、算出したダイナミックレンジ値ＤＤＭＬを圧縮部２５に供給する。
【００４５】
上記前処理部２１から供給される長時間露光画像データＳＬと短時間露光画像データＳＳが供給される上記合成部２３は、上記長時間露光画像データＳＬと短時間露光画像データＳＳにより示される長時間露光画像と短時間露光画像、すなわち、上記撮像部１０により得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間ＴＬと上記短時間露光画像の露光時間ＴＳの比を基に合成して合成画像を生成するもので、上記制御部３０により与えられる合成ゲインに従って短時間露光画像を伸張し、長時間露光画像と違和感なくつながるように合成した線形画像を作成する処理を行う。
【００４６】
上記合成部２３により得られる合成画像データＳＭＸは、輪郭補正部２４と圧縮部２５に供給される。
【００４７】
上記圧縮部２５は、離散的なダイナミックレンジに対応する圧縮カーブデータが記憶されている記憶部２６からダイナミックレンジ値に最も近い２種類のカーブを選択し、上記制御部３０に搭載されたダイナミックレンジ算出部３１により与えられるダイナミックレンジ値ＤＤＭＬを基に補間して圧縮カーブを作成し、作成した圧縮カーブに従って、上記合成部２３により生成された合成画像を圧縮した圧縮画像を生成する。
【００４８】
そして、後処理部２７は、上記圧縮部２５で得られる圧縮画像データＳＣＭＸにＹＣ処理等の後処理を施し、上記圧縮画像データによる映像信号を出力する。
【００４９】
この撮像装置１００において、上記信号処理部２０に設けられた輪郭補正部２４は、上記圧縮部２５による圧縮処理が施される前の画像の高周波成分、例えば、上記合成部２３から供給される合成画像データＳＭＸの高周波成分を検出したり、或いは、上記合成部２３から供給される長時間露光画像データＳＬ及び短時間露光画像データＳＨの高周波成分を検出し、検出した高周波成分を輪郭補正用の高周波成分Ｓｈｍとして後処理部２７に供給し、上記後処理部２７おいて、上記圧縮部２５により生成された圧縮画像データＳＣＭＸに対して付加することにより輪郭補正処理を行う。
【００５０】
すなわち、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成する際に、圧縮部２５による圧縮処理が施される前の画像の高周波成分を検出して、上記圧縮部２５により生成された圧縮画像データＳＣＭＸに対して付加することにより、圧縮後では検出することが困難な輪郭強調を行うことができる。
【００５１】
なお、上記輪郭補正部２４の具体的な構成及び動作については、後に図１０乃至図１３を参照して詳細に説明する。
【００５２】
この撮像装置１００において、マイクロコンピュータで構成された上記制御部３０に搭載されているダイナミックレンジ算出部３１は、例えば、図３のフローチャートに示す手順に従って、長時間露光画像と短時間露光画像から被写体のダイナミックレンジを算出する。
【００５３】
すなわち、上記制御部３０は、あらかじめ長時間露光画像だけで表現できるダイナミックレンジを決定する。例えば、ＣＣＴＶ機器スペック規定方法（ＪＥＩＴＡ  ＴＴＲ−４６０２Ｂ）で規定されているダイナミックレンジ拡大比のダイナミックレンジ６倍を長時間露光画像で撮影できると決定する（ステップＳ１）。
【００５４】
そして、上記制御部３０は、長時間露光のＡＥ目標値と制御方法を決定し、長時間露光画像を取得するためのＡＥは、ダイナミックレンジ１倍の被写体を撮影したデータがＡＤ変換後で最大レンジの１／６程度の入力となるように、いわゆる逆光補正と同等の処理を行って、撮像部１０の電子シャッタを制御する(ステップＳ２)。
【００５５】
また、上記制御部３０は、短時間露光のＡＥ目標値と制御方法を決定し、短時間露光画像は、被写体を撮影する際に飽和する部分がないように、いわゆる過順光補正と同等の処理を行って、撮像部１０の電子シャッタを制御する(ステップＳ３)。
【００５６】
次に、制御部１０は、フレーム毎に検波部２５からＡＥ用の検波値を取得し(ステップＳ４)し、上記ステップＳ２，ステップＳ３で決定した制御方式に従って、次の電子シャッタ設定値を長短それぞれ算出し、撮像部１０の駆動信号生成部１３に設定する(ステップＳ５，ステップＳ６)。
【００５７】
そして、制御部１０のダイナミックレンジ算出部３１は、長時間露光画像の露光時間ＴＬと上記短時間露光画像の露光時間ＴＳの比、すなわち、
露光比＝ＴＬ／ＴＳ
で露光比を算出し(ステップＳ７)、算出した露光比が１より大きいか否か判定する(ステップＳ８)。
【００５８】
次に、ダイナミックレンジ算出部３１は、上記ステップＳ８における判定結果がＹＥＳ、すなわち、露光比が１より大きいときは、その露光比に対して上記ステップＳ１で決定したダイナミックレンジ６倍を利用して
露光比×６＝ダイナミックレンジ
として、短時間露光画像と長時間露光画像を合成する際のダイナミックレンジ値ＤＤＭＬを決定し(ステップＳ９)、決定したダイナミックレンジ値ＤＤＭＬを圧縮部２５に通知する(ステップＳ１０)して、上記ステップＳ４の処理に戻る。
【００５９】
また、上記ステップＳ８における判定結果がＮＯ、すなわち、上記ステップＳ７で算出した露光比が１より小さいときは、長時間露光画像のみで表現できる被写体であるとして、図４のフローチャートに示す手順に従って、ダイナミックレンジ値ＤＤＭＬの算出処理を行い（ステップＳ２０）、決定したダイナミックレンジ値ＤＤＭＬを圧縮部２５に通知する(ステップＳ１０)して、上記ステップＳ４の処理に戻る。
【００６０】
すなわち、制御部１０は、上記ステップＳ４からステップＳ１０の処理を繰り返し行い、上記ステップＳ４においてフレーム毎に検波部２５からＡＥ用の検波値を取得して、上記ステップＳ１０で決定したダイナミックレンジ値ＤＤＭＬを圧縮部２５に通知する。
【００６１】
そして、圧縮部２５は、上記ダイナミックレンジ算出部３１から通知されるダイナミックレンジ値ＤＤＭＬに従って階調圧縮を行う。
【００６２】
ここで、上記ステップＳ２０のダイナミックレンジ値ＤＤＭＬの算出処理は、制御部１０が、基本的には図３と同等の動作を行い、上記ステップＳ８における判定処理により、露光比が１以下で長時間露光画像のみで表現できると判断した場合に実行される処理であって、上記制御部１０のダイナミックレンジ算出部３１は、長時間露光画像の最大輝度値ＹＬＭＡＸを算出(ステップＳ２１)し、算出した長時間露光画像の最大輝度値ＹＬＭＡＸを基に、上記長時間露光画像だけで表現できると決定したダイナミックレンジからダイナミックレンジ１倍時の最大輝度値ＹＭＡＸ１を算出し、
ＹＬＭＡＸ／ＹＭＡＸ１＝ＤＤＭＬ
として、被写体のダイナミックレンジ値ＤＤＭＬを決定する(ステップＳ２２)。
【００６３】
ここで、上記長時間露光画像の最大輝度値の検出は、単純に長時間露光画像の最も輝度が大きかった点を検出してそれを利用しても良い。しかしながら、ただ１点を検出して利用するとノイズの影響や画素欠陥といった特異点を検出してしまい、不安定な動作となってしまう可能性がある。
【００６４】
そこで、例えば図５に示すように、ヒストグラムを利用して長時間露光画像の最大輝度値を安定して検出できるようにする。
【００６５】
すなわち、検波部２２では、同じ検出領域で同じ分割閾値で検出される画素について画素数積算と輝度積算を行い、図５の（Ｃ）に示すように各分割閾値に対応する画素数積算値と輝度積算値を検出して、図５の（Ａ）に示す輝度積算値のヒストグラムＨＧ１、図５の（Ｂ）に示す画素数積算値のヒストグラムＨＧ２を作成する。
【００６６】
また、ダイナミックレンジが比較的狭い被写体の中に電球などの点光源がある場合などは、その点光源の階調は再現する必要がないため、画素数が幾つ以下の高輝度被写体、例えば、有効画素に対して０．４％以下の領域の高輝度被写体は階調を再現する必要がない、といったように検出閾値を決定する。
【００６７】
そして、制御部１０のダイナミックレンジ算出部３１は、上記ヒストグラムＨＧ２を利用し、高輝度側からカウントしてその検出閾値に相当する画素が含まれる画素積算部ＰＳと輝度積算部ＹＩを検出する。
【００６８】
上記輝度積算部ＹＩの値として検出される輝度積算値と上記画素積算部ＰＳの値として検出される画素数を使用し、
輝度積算値／画素数＝平均輝度
として算出される平均輝度を最大輝度値として検出する。
【００６９】
この様な検出方法を採用することで、特異点を最大輝度として検出することがなくなり、点光源のように小さい高輝度部を無視した階調再現を行うことが可能となる。また、ヒストグラムの本数を増やせば増やすほど、検出される輝度値の制度を向上させることが可能となる。
【００７０】
また、上記圧縮部２５では、図６のフローチャートに示す手順にしたがって、被写体のダイナミックレンジ値ＤＤＭＬを基に記憶部２６からベース圧縮カーブを読み出して最適な圧縮カーブを作成する。
【００７１】
すなわち、圧縮部２５は、制御部３０に搭載されたダイナミックレンジ算出部３１で算出した被写体のダイナミックレンジ値ＤＤＭＬを取得し（ステップＳ３１）、取得した被写体のダイナミックレンジ値ＤＤＭＬを基に、記憶部２６から、被写体のダイナミックレンジより大きく、最も近いダイナミックレンジの第１のベース圧縮カーブ（ベースＡ）と、被写体のダイナミックレンジ値ＤＤＭＬより小さく、最も近いダイナミックレンジの第２のベース圧縮カーブ（ベースＢ）を取得する（ステップＳ３２、ステップＳ３３）。
【００７２】
ここで、記憶部２６には、例えばダイナミックレンジ１倍、４倍、１６倍、６４倍といったように離散的な倍率に対応する圧縮カーブが予め記憶されている。圧縮カーブの形状については任意だが、例えば理想的にＡＥが行えた時にＣＣＴＶ機器スペック規定方法（ＪＥＩＴＡ  ＴＴＲ−４６０２Ｂ）で規定されているダイナミックレンジ拡大比の通りに階調が再現できるような圧縮カーブを作成しても良い。そして、ベース圧縮カーブの選択方法としては、被写体のダイナミックレンジ値ＤＤＭＬに対して大きいダイナミックレンジ、小さいダイナミックレンジのそれぞれから最も近いものを選択する。例えば、図７に示すように、上記被写体のダイナミックレンジ値ＤＤＭＬに対応するベース圧縮カーブが、ある場合に被写体のダイナミックレンジ値ＤＤＭＬが９倍だった時、４倍と１６倍のベース圧縮カーブＦ１と４倍とベース圧縮カーブＦ２とを選択する。
【００７３】
そして、圧縮部２５は、選択したベース圧縮カーブＦ１、Ｆ２を被写体のダイナミックレンジ値ＤＤＭＬに対応する９倍用に補間した圧縮カーブＦｘを作成し（ステップＳ３４）、その圧縮カーブに従って合成画像の圧縮を行う（ステップＳ３５）。
【００７４】
補間して圧縮カーブを作成する際は、例えば記憶部２６に保持しているデータがスプラインカーブのＫＮＯＴ点であればＫＮＯＴ点同士を補間すれば良く、補間方法は求めるカーブの精度によって線形補間やより高度なスプライン補間などを利用しても良い。また、ダイナミックレンジに応じて動的に圧縮カーブは変化するが、固定されているベース圧縮カーブ間を補間するため動的に動く範囲が制限されることになる。そのため、ベース圧縮カーブをうねらないように作成していれば、図７に破線で示すベース圧縮カーブＦＹのように、スプライン補間でＫＮＯＴ点を変に動かすと起きるうねりの発生を抑制することができる。
【００７５】
なお、上記記憶部２６に記憶させるベース圧縮カーブは、上記補間方法と求める精度の兼ね合いで本数やダイナミックレンジの間隔が決定されている。本数を多くしダイナミックレンジの間隔を小さくするほど補間して作成される圧縮カーブの精度は向上する。
【００７６】
ここで、この撮像装置１００の信号処理部２０における合成画像の作成から圧縮画像の作成までの信号レベルの変化を図８の（Ａ）、（Ｂ）に模式的に示す。
【００７７】
すなわち、この撮像装置１００の信号処理部２０では、合成部２３において、図８の（Ａ）に示すように、基本的には露光比に応じて短時間露光画像データＳＳを伸張し、長時間露光画像データＳＬと線形につながるように合成する。そして、圧縮部２６において、その合成画像データＳＭＸを図８の（Ａ）に示すように、滑らかな圧縮カーブＦZで圧縮画像の出力レベルが１００％となるように圧縮する。
【００７８】
すなわち、この撮像装置１００は、単位期間に露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を撮像する撮像部１０と、上記撮像部１０により得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間ＴＬと上記短時間露光画像の露光時間ＴＳの比を基に合成して合成画像を生成する合成部２３と、上記合成部２３において生成される合成画像について、合成に用いられる長時間露光画像と、当該長時間露光画像の露光時間ＴＬと、合成に用いられる短時間画像と、当該短時間画像の露光時間ＴＳから、被写体ダイナミックレンジを算出するダイナミックレンジ算出部３１と、数種類のダイナミックレンジに対応したベース圧縮カーブデータを保持する記憶部２６と、上記記憶部２６に保持されている上記ベース圧縮カーブデータを用い、上記ダイナミックレンジ算出部３１により算出された被写体ダイナミックレンジに適した圧縮カーブを算出し、算出した圧縮カーブに従って、上記合成部により生成された合成画像を圧縮した圧縮画像を生成する圧縮部２５をそなえる。
【００７９】
そして、この撮像装置１００では、図９のフローチャートに示すように、上記撮像部１０により露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を撮像する撮像処理（ステップＳ４１）と、上記合成部２３により上記長時間露光画像と短時間露光画像を上記長時間露光画像の露光時間ＴＬと上記短時間露光画像の露光時間ＴＳの比を基に合成して合成画像を生成する合成処理（ステップＳ４２）と、上記ダイナミックレンジ算出部３１により上記合成画像の合成に用いられる長時間露光画像と、当該長時間露光画像の露光時間と、合成に用いられる短時間画像と、当該短時間画像の露光時間から、被写体のダイナミックレンジ値ＤＤＭＬを算出するダイナミックレンジ算出処理（ステップＳ４３）と、上記圧縮部２５において、上記被写体のダイナミックレンジ値ＤＤＭＬに適した圧縮カーブを記憶部２６に保持されているベース圧縮カーブデータを用いて算出し、算出した圧縮カーブに従って、上記合成画像を圧縮した圧縮画像を生成する圧縮処理（ステップＳ４４）を実行することにより、簡単な制御で被写体のもつダイナミックレンジに適した階調圧縮処理を施した画像を生成する。
【００８０】
また、この撮像装置１００の信号処理部２０に設けられた輪郭補正部２４は、例えば、図１０に示す輪郭補正部２４Ａのように構成される。
【００８１】
この輪郭補正部２４Ａは、上記合成部２３により得られた合成画像データＳＭＸが供給される高周波成分検出部２４１、輝度変調データを保持した輝度変調テーブル２４２、この輝度変調テーブル２４２から保持されている輝度変調データと上記高周波成分検出部２４１による検出出力と上記圧縮部２５により生成された圧縮画像データＳＣＭＸが供給される高周波成分輝度変調部２４３などからなる。
【００８２】
この輪郭補正部２４Ａでは、上記合成部２３により生成された合成画像データＳＭＸから高周波成分検出部２４１で輪郭強調成分など高周波成分ＳＭＸｈを検出し、検出された合成画像高周波成分ＳＭＸｈに上記合成画像の輝度レベル、或いは、上記圧縮部２４により生成された圧縮画像の輝度レベルに応じたゲインを高周波成分輝度変調部２４３で掛けることにより上記合成画像高周波成分ＳＭＸｈの利得制御を行い、利得制御された上記合成画像高周波成分ＳＭＸｈを輪郭補正用の高周波成分Ｓｈｍとして後処理部２７に供給する。
【００８３】
これにより、後処理部２７において、上記輪郭補正用の高周波成分Ｓｈｍを上記圧縮部２４により生成された圧縮画像データＳＣＭＸに付加することで、圧縮後では検出することが困難な輪郭強調を行うことができる。
【００８４】
なお、高周波成分の輝度変調度データは、例えば圧縮カーブから作成しても良いし、輝度変更テーブル２４２から上記高周波成分輝度変調部２４３に与えても良い。
【００８５】
また、この撮像装置１００の信号処理部２０に設けられた輪郭補正部２４は、例えば、図１１に示す輪郭補正部２４Ｂように構成してもよい。
【００８６】
この輪郭補正部２４Ｂは、前処理部２１から長時間露光画像データＳＬが供給される長時間露光画像高周波成分検出部２４１Ａ、上記前処理部２１から短時間露光画像データＳＳが供給される短時間露光画像高周波成分検出部２４１Ｂ、上記長時間露光画像高周波成分検出部２４１Ａと短時間露光画像高周波成分検出部２４１Ｂの出力を選択する高周波成分選択部２４４、この高周波成分選択部２４４により選択された高周波成分Ｓｈが供給されるゲイン変調部２４５などからなる。
【００８７】
この輪郭補正部２４Ｂでは、上記前処理部２１から供給される長時間露光画像データＳＬと短時間露光画像データＳＳから上記長時間露光画像高周波成分検出部２４１Ａと短時間露光画像高周波成分検出部２４１Ｂにより高周波成分を検出する。
【００８８】
高周波成分選択部２４は、上記合成部２４において各画素で長短どちらの画像を選択したかを示す選択信号ＳＳＬが供給されている。そして、この高周波成分選択部２４は、上記選択信号ＳＳＬに応じて、上記長時間露光画像高周波成分検出部２４１Ａにより長時間露光画像データＳＬから検出される長時間露光画像高周波成分ＳＬｈと、上記短時間露光画像高周波成分検出部２４１Ｂにより短時間露光画像データＳＳから検出される短時間露光画像高周波成分ＳＳｈの選択を行い、選択した高周波成分Ｓｈをゲイン変調部２４５に供給する。
【００８９】
ゲイン変調部２４５は、上記高周波成分選択部２４から供給される高周波成分Ｓｈに変調ゲインを掛けて輪郭補正用の高周波成分Ｓｈとして後処理部２７に供給する。
【００９０】
後処理部２７では、上記輪郭補正用の高周波成分Ｓｈｍを上記圧縮部２４により生成された圧縮画像データＳＣＭＸに付加することで、圧縮後では検出することが困難な輪郭強調を行うことができる。
【００９１】
ここで、上記輪郭補正部２４Ｂによる輪郭補正のイメージを図１２に示す。
【００９２】
すなわち、上記輪郭補正部２４Ｂでは、長時間露光画像データＳＬから高周波成分ＳＬｈを検出するとともに、短時間露光画像データＳＳから高周波成分ＳＳｈを検出し、合成画像データＳＭＸを作成する際に長時間露光と短時間露光のどちらを選択したかに合わせて選択された高周波成分を合成した高周波成分Ｓｈを生成し、それを合輪郭補正用の高周波成分Ｓｈｍとして合成画像データＳＭＸに付加することで輪郭強調を行う。
【００９３】
さらに、この撮像装置１００の信号処理部２０に設けられた輪郭補正部２４は、例えば、図１３に示す輪郭補正部２４Ｃように構成してもよい。
【００９４】
この輪郭補正部２４Ｃは、前処理部２１から長時間露光画像データＳＬが供給される長時間露光画像高周波成分検出部２４１Ａ、上記前処理部２１から短時間露光画像データＳＳが供給される短時間露光画像高周波成分検出部２４１Ｂ、上記長時間露光画像高周波成分検出部２４１Ａと短時間露光画像高周波成分検出部２４１Ｂの出力を選択する高周波成分選択部２４４、輝度変調データを保持した輝度変調テーブル２４２、この輝度変調テーブル２４２から保持されている輝度変調データと上記高周波成分選択部２４４により選択された高周波成分Ｓｈが供給される高周波成分輝度変調部２４３などからなる。
【００９５】
この輪郭補正部２４Ｂでは、上記前処理部２１から供給される長時間露光画像データＳＬと短時間露光画像データＳＳから上記長時間露光画像高周波成分検出部２４１Ａと短時間露光画像高周波成分検出部２４１Ｂにより高周波成分を検出する。
【００９６】
高周波成分選択部２４は、上記合成部２４において各画素で長短どちらの画像を選択したかを示す選択信号ＳＳＬが供給されている。そして、この高周波成分選択部２４は、上記選択信号ＳＳＬに応じて、上記長時間露光画像高周波成分検出部２４１Ａにより長時間露光画像データＳＬから検出される長時間露光画像高周波成分ＳＬｈと、上記短時間露光画像高周波成分検出部２４１Ｂにより短時間露光画像データＳＳから検出される短時間露光画像高周波成分ＳＳｈの選択を行い、選択した高周波成分Ｓｈを高周波成分輝度変調部２４３に供給する。
【００９７】
この高周波成分輝度変調部２４３は、上記高周波成分選択部２４から供給される高周波成分Ｓｈに上記圧縮部２４により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分Ｓｈの利得制御を行い、利得制御された上記高周波成分Ｓｈを輪郭補正用の高周波成分Ｓｈｍとして後処理部２７に供給する。
【００９８】
これにより、後処理部２７において、上記輪郭補正用の高周波成分Ｓｈｍを上記圧縮部２４により生成された圧縮画像データＳＣＭＸに付加することで、圧縮後では検出することが困難な輪郭強調を行うことができる。
【００９９】
なお、高周波成分の輝度変調度データは、例えば圧縮カーブから作成しても良いし、輝度変更テーブル２４２から上記高周波成分輝度変調部２４３に与えても良い。
【図面の簡単な説明】
【０１００】
【図１】本発明を適用した撮像装置構成を示すブロック図である。
【図２】上記撮像装置における長時間露光と短時間露光の説明図である。
【図３】ダイナミックレンジ算出部の機能を搭載した上記撮像装置の制御部において実行される長時間露光画像と短時間露光画像から被写体のダイナミックレンジを算出する処理の手順を示すフローチャートである。
【図４】上記撮像装置の制御部において実行される長時間露光画像のみで表現できる被写体のダイナミックレンジを算出する処理の手順を示すフローチャートである。
【図５】上記撮像装置の制御部において実行されるヒストグラムを利用した長時間露光画像の最大輝度値の検出処理の説明に供する図である。
【図６】また、上記撮像装置の圧縮部で実行される圧縮処理の手順を示すフローチャートである。
【図７】上記撮像装置の圧縮部で使用される圧縮カーブの作成について説明するための図である。
【図８】上記撮像装置の信号処理部における合成画像の作成から圧縮画像の作成までの信号レベルの変化を模式的に示す図である。
【図９】上記撮像装置における撮像処理の手順を示すフローチャートである。
【図１０】上記撮像装置の信号処理部に設けられた輪郭補正部の構成例を示すブロック図である。
【図１１】上記撮像装置の信号処理部に設けられた輪郭補正部の他の構成例を示すブロック図である。
【図１２】上記輪郭補正部による輪郭補正のイメージを模式的に示す図である。
【図１３】上記撮像装置の信号処理部に設けられた輪郭補正部のさらに他の構成例を示すブロック図である。
【符号の説明】
【０１０１】
１０  撮像部、１１  撮像光学系、１２  撮像素子、１３  駆動信号生成部、２０  信号処理部、２１  前処理部、２２  検波部、２３  合成部、２４、２４Ａ、２４Ｂ、２４Ｃ  輪郭補正部、２５  圧縮部、２６  記憶部、２７  後処理部、３０  制御部、
１００  撮像装置、２４１  高周波成分検出部、２４１Ａ  長時間露光画像高周波成分検出部、２４１Ｂ  短時間露光画像高周波成分検出部、２４２  輝度変調テーブル、２４３  高周波成分輝度変調部、２４４  高周波成分選択部、２４５  ゲイン変調部、
【図１】
0005083046.tif 000002
【図２】
0005083046.tif 000003
【図３】
0005083046.tif 000004
【図４】
0005083046.tif 000005
【図５】
0005083046.tif 000006
【図６】
0005083046.tif 000007
【図７】
0005083046.tif 000008
【図８】
0005083046.tif 000009
【図９】
0005083046.tif 000010
【図１０】
0005083046.tif 000011
【図１１】
0005083046.tif 000012
【図１２】
0005083046.tif 000013
【図１３】
0005083046.tif 000014