(57)【要約】【課題】被写体に応じて，出力画像のダイナミックレンジにおいて動的な割当ての可能な撮像装置を提供する。【解決手段】被写体を撮像する撮像素子（１３１）と，撮像素子により撮像された露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像とを合成することにより，少なくとも長時間露光画像又は短時間露光画像のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像を生成する信号処理部（１３３）と，合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジのうち高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を動的に変更する制御部（１３７）とを備えている。【選択図】　図３
2004120205.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像素子と；
前記撮像素子により撮像された露光時間が相対的に長い長時間露光画像と前記露光時間が相対的に短い短時間露光画像とを合成することにより，少なくとも前記長時間露光画像又は短時間露光画像のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像を生成する信号処理部と；
前記合成画像を圧縮し，映像信号として出力する出力画像の前記ダイナミックレンジのうち高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を動的に変更する制御部とを備えることを特徴とする，撮像装置。
【請求項２】
前記制御部は，少なくとも前記合成画像に占める輝度領域に応じて，前記高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更することを特徴とする，請求項１に記載の撮像装置。
【請求項３】
前記制御部は，前記合成画像が生成されるごとに，前記高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，補正することを特徴とする，請求項１に記載の撮像装置。
【請求項４】
前記輝度領域は，少なくとも高輝度領域又は低中輝度領域のうちいずれか一方であることを特徴とする，請求項３に記載の撮像装置。
【請求項５】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域の平均輝度信号レベルに応じて，前記高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更することを特徴とする，請求項１に記載の撮像装置。
【請求項６】
前記制御部は，少なくとも前記合成画像に占める前記低中輝度領域の平均輝度信号レベルに応じて，前記高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更することを特徴とする，請求項１に記載の撮像装置。
【請求項７】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域に応じて，前記高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更することを特徴とする，請求項１に記載の撮像装置。
【請求項８】
前記制御部は，少なくとも前記合成画像に占める前記低中輝度領域に応じて，前記高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更することを特徴とする，請求項１に記載の撮像装置。
【請求項９】
前記制御部は，前記高輝度ダイナミックレンジと前記低中輝度ダイナミックレンジとの振分割合を，少なくとも単調的に変動させることを特徴とする，請求項８に記載の撮像装置。
【請求項１０】
コンピュータをして，被写体を撮像し；
前記撮像された露光時間が相対的に長い長時間露光画像と前記露光時間が相対的に短い短時間露光画像とを合成することにより，少なくとも前記長時間露光画像又は短時間露光画像のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像を生成し；
前記合成画像を圧縮し，映像信号として出力する出力画像の前記ダイナミックレンジのうち高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を動的に変更する機能を有することを特徴とする，コンピュータプログラム。
【請求項１１】
被写体を撮像する撮像素子と；
前記撮像素子により撮像された露光時間が相対的に長い長時間露光画像と前記露光時間が相対的に短い短時間露光画像とを合成することにより，少なくとも前記長時間露光画像又は短時間露光画像のダイナミックレンジよりも相対的にダイナミックレンジが広い合成画像を生成する信号処理部と；
前記合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジに，前記合成画像のダイナミックレンジを動的に割当てる制御部とを備えることを特徴とする，撮像装置。
【請求項１２】
前記制御部は，少なくとも前記合成画像に占める輝度領域に応じて，前記合成画像のダイナミックレンジを前記出力画像のダイナミックレンジに動的に割当てることを特徴とする，請求項１１に記載の撮像装置。
【請求項１３】
前記制御部は，前記合成画像が生成されるごとに，前記合成画像のダイナミックレンジを前記出力画像のダイナミックレンジに割当てることを特徴とする，請求項１１に記載の撮像装置。
【請求項１４】
前記制御部は，少なくとも前記合成画像に占める高輝度領域の割合に応じて，前記合成画像のダイナミックレンジを前記出力画像のダイナミックレンジに動的に割当てることを特徴とする，請求項１１に記載の撮像装置。
【請求項１５】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域の平均輝度信号レベルに応じて，前記合成画像のダイナミックレンジを前記出力画像のダイナミックレンジに，動的に割当てることを特徴とする，請求項１１に記載の撮像装置。
【請求項１６】
前記ダイナミックレンジは，少なくとも高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方であることを特徴とする，請求項１１に記載の撮像装置。
【請求項１７】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域に応じて，少なくとも前記出力画像の前記高輝度ダイナミックレンジ又は前記低中輝度ダイナミックレンジのうちいずれか一方の割当てを動的に変更することを特徴とする，請求項１６に記載の撮像装置。
【請求項１８】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域の平均輝度信号レベルに応じて，少なくとも前記出力画像の前記高輝度ダイナミックレンジ又は前記低中輝度ダイナミックレンジのうちいずれか一方の割当てを動的に変更することを特徴とする，請求項１６に記載の撮像装置。
【請求項１９】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域の減少により，前記出力画像の前記高輝度ダイナミックレンジのうち一部を，前記低中輝度ダイナミックレンジに動的に割当てることを特徴とする，請求項１６に記載の撮像装置。
【請求項２０】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域の平均輝度信号レベルの減少により，前記出力画像の前記高輝度ダイナミックレンジのうち一部を，前記低中輝度ダイナミックレンジに動的に割当てることを特徴とする，請求項１６に記載の撮像装置。
【請求項２１】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域の増加により，前記出力画像の前記低中輝度ダイナミックレンジのうち一部を，前記高輝度ダイナミックレンジに動的に割当てることを特徴とする，請求項１６に記載の撮像装置。
【請求項２２】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域の平均輝度信号レベルの増加により，前記出力画像の前記低中輝度ダイナミックレンジのうち一部を，前記高輝度ダイナミックレンジに動的に割当てることを特徴とする，請求項１６に記載の撮像装置。
【請求項２３】
前記制御部は，前記出力画像の前記高輝度ダイナミックレンジと前記低中輝度ダイナミックレンジとの振分割合を，少なくとも単調的に変動させることを特徴とする，請求項２２に記載の撮像装置。
【請求項２４】
コンピュータをして，被写体を撮像し；
前記撮像された露光時間が相対的に長い長時間露光画像と前記露光時間が相対的に短い短時間露光画像とを合成することにより，少なくとも前記長時間露光画像又は短時間露光画像のダイナミックレンジよりも相対的にダイナミックレンジが広い合成画像を生成し；
前記合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジに，前記合成画像のダイナミックレンジを動的に割当てる機能を有することを特徴とする，コンピュータプログラム。
【請求項２５】
被写体を撮像する撮像素子と；
前記撮像素子により撮像された露光時間が相対的に長い長時間露光画像と，前記露光時間が相対的に短い短時間露光画像の画像信号を検波する検波部と；
前記画像信号から決定される切替輝度信号レベルに基づき，前記長時間露光画像と前記短時間露光画像とから，合成画像を生成する合成部と；
前記合成画像に占める輝度領域に応じて，前記合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジの動的な割当てをする制御部と；
前記出力画像のダイナミックレンジの動的な割当てに基づいて，前記合成画像のダイナミックレンジを圧縮する圧縮部とを備えることを特徴とする，撮像装置。
【請求項２６】
前記輝度領域は，少なくとも高輝度領域又は低中輝度領域のうちいずれか一方であることを特徴とする，請求項２５に記載の撮像装置。
【請求項２７】
前記合成部は，前記合成画像に構成される画素のうち，少なくとも前記切替輝度信号レベルよりも高い輝度信号レベルに該当する前記画素は前記短時間露光画像から取得することを特徴とする，請求項２５に記載の撮像装置。
【請求項２８】
前記合成部は，前記合成画像に構成される前記画素のうち，少なくとも前記切替輝度信号レベルよりも低い輝度信号レベルに該当する前記画素は前記長時間露光画像から取得することを特徴とする，請求項２５に記載の撮像装置。
【請求項２９】
前記ダイナミックレンジは，少なくとも高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方であることを特徴とする，請求項２５に記載の撮像装置。
【請求項３０】
前記制御部は，少なくとも前記出力画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合に基づいて，前記合成画像の輝度信号レベルを圧縮するための圧縮利得を決定することを特徴とする，請求項２５に記載の撮像装置。
【請求項３１】
前記制御部は，少なくとも前記合成画像のうち前記高輝度領域の輝度信号レベルを圧縮するための高輝度圧縮利得と，前記低中輝度領域の輝度信号レベルを圧縮するための低中輝度圧縮利得とを決定することを特徴とする，請求項２５に記載の撮像装置。
【請求項３２】
前記制御部は，少なくとも前記高輝度圧縮利得又は前記低中輝度圧縮利得のうちいずれか一方に基づき，前記合成画像の輝度信号レベルごとに，前記圧縮部により用いられる少なくとも最終高輝度圧縮利得又は最終低中輝度圧縮利得のうちいずれか一方を決定する圧縮利得計算部をさらに備えることを特徴とする，請求項２５に記載の撮像装置。
【請求項３３】
前記制御部は，少なくとも前記合成画像に占める前記高輝度領域に応じて，前記出力画像の前記高輝度ダイナミックレンジと前記低中輝度ダイナミックレンジとの振分割合を動的に変更することを特徴とする，請求項２５に記載の撮像装置。
【請求項３４】
前記制御部は，前記出力画像の前記高輝度ダイナミックレンジと前記低中輝度ダイナミックレンジとの振分割合を，少なくとも単調的に変動させることを特徴とする，請求項３３に記載の撮像装置。
【請求項３５】
コンピュータをして，被写体を撮像し；
前記撮像された露光時間が相対的に長い長時間露光画像と，前記露光時間が相対的に短い短時間露光画像の画像信号を検波し；
前記画像信号から決定される切替輝度信号レベルに基づき，前記長時間露光画像と前記短時間露光画像とから，合成画像を生成し；
前記合成画像に占める輝度領域に応じて，前記合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジの動的な割当てをし；
前記出力画像のダイナミックレンジの動的な割当てに基づいて，前記合成画像のダイナミックレンジを圧縮する機能を有することを特徴とする，コンピュータプログラム。
【請求項３６】
被写体を撮像する撮像素子と；
前記撮像素子により撮像された露光時間が相対的に長い長時間露光画像と前記露光時間が相対的に短い短時間露光画像の画像信号を検波する検波部と；
少なくとも前記長時間露光画像又は前記短時間露光画像のうちいずれか一方の輝度信号レベルに該当する前記画像信号が存在しない場合，該当する前記輝度信号レベルを合成する対象から除外し，前記切替輝度信号レベルに基づき，前記長時間露光画像と前記短時間露光画像とを合成する合成部と；
前記長時間露光画像と前記短時間露光画像とが合成された合成画像に占める輝度領域に応じて，前記合成画像が圧縮され映像信号として出力される出力画像のダイナミックレンジを動的に割当てる制御部と；
前記出力画像のダイナミックレンジの動的な割当てに基づいて，前記合成画像のダイナミックレンジを圧縮する圧縮部とを備えることを特徴とする，撮像装置。
【請求項３７】
前記合成部は，前記長時間露光画像のうち，前記切替輝度信号レベルよりも低い前記輝度信号レベルを前記合成画像の対象とすることを特徴とする，請求項３６に記載の撮像装置。
【請求項３８】
前記合成部は，前記短時間露光画像のうち，前記切替輝度信号レベルよりも高い前記輝度信号レベルを前記合成画像の対象とすることを特徴とする，請求項３６に記載の撮像装置。
【請求項３９】
前記輝度領域は，少なくとも高輝度領域又は低中輝度領域のうちいずれか一方であることを特徴とする，請求項３６に記載の撮像装置。
【請求項４０】
前記ダイナミックレンジは，少なくとも高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方であることを特徴とする，請求項３６に記載の撮像装置。
【請求項４１】
前記制御部は，少なくとも前記合成画像に占める高輝度領域に応じて，前記出力画像の前記高輝度ダイナミックレンジと前記低中輝度ダイナミックレンジとの振分割合を動的に変更することを特徴とする，請求項３６に記載の撮像装置。
【請求項４２】
コンピュータをして，被写体を撮像し；
前記撮像された露光時間が相対的に長い長時間露光画像と前記露光時間が相対的に短い短時間露光画像の画像信号を検波し；
少なくとも前記長時間露光画像又は前記短時間露光画像のうちいずれか一方の輝度信号レベルに該当する前記画像信号が存在しない場合，該当する前記輝度信号レベルを合成する対象から除外し，前記切替輝度信号レベルに基づき，前記長時間露光画像と前記短時間露光画像とを合成し；
前記長時間露光画像と前記短時間露光画像とが合成された合成画像に占める輝度領域に応じて，前記合成画像が圧縮され映像信号として出力される出力画像のダイナミックレンジを動的に割当てをし；
前記出力画像のダイナミックレンジの動的な割当てに基づいて，前記合成画像のダイナミックレンジを圧縮する機能を有することを特徴とする，コンピュータプログラム。
【請求項４３】
被写体を撮像し；
前記被写体の撮像された露光時間が相対的に長い長時間露光画像と，前記露光時間が相対的に短い短時間露光画像の画像信号を検波し；
前記画像信号から決定される切替輝度信号レベルに基づき，前記長時間露光画像と前記短時間露光画像とから，合成画像を生成し；
前記合成画像に占める輝度領域に応じて，前記合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジの動的な割当てをし；
前記出力画像のダイナミックレンジの動的な割当てに基づいて，前記合成画像のダイナミックレンジを圧縮することを特徴とする，撮像装置の画像出力方法。
【請求項４４】
前記輝度領域は，少なくとも高輝度領域又は低中輝度領域のうちいずれか一方であることを特徴とする，請求項４３に記載の撮像装置の画像出力方法。
【請求項４５】
前記合成画像に構成される画素は，少なくとも前記切替輝度信号レベルよりも高い輝度信号レベルの前記画素については前記短時間露光画像から取得され，前記切替輝度信号レベルよりも低い輝度信号レベルの前記画素については前記長時間露光画像から取得されることを特徴とする，請求項４３に記載の撮像装置の画像出力方法。
【請求項４６】
前記合成画像を構成する前記画素は，前記切替輝度信号レベルよりも高い輝度信号レベルの場合，前記長時間露光画像の前記画素から取得され，前記切替輝度信号レベルよりも低い場合，前記短時間露光画像の前記画素から取得されることを特徴とする，請求項４３に記載の撮像装置の画像出力方法。
【請求項４７】
前記ダイナミックレンジは，少なくとも高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方であることを特徴とする，請求項４３に記載の撮像装置の画像出力方法。
【請求項４８】
少なくとも前記出力画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合に基づいて，前記合成画像の輝度信号レベルを圧縮するための圧縮利得が決定されることを特徴とする，請求項４３に記載の撮像装置の画像出力方法。
【請求項４９】
少なくとも前記合成画像のうち前記高輝度領域の輝度信号レベルを圧縮するための高輝度圧縮利得と，前記低中輝度領域の輝度信号レベルを圧縮するための低中輝度圧縮利得とが決定されることを特徴とする，請求項４３に記載の撮像装置の画像出力方法。
【請求項５０】
少なくとも前記高輝度圧縮利得又は前記低中輝度圧縮利得に基づき，前記合成画像の輝度信号レベルごとに，前記圧縮されるために用いられる少なくとも最終高輝度圧縮利得又は最終低中輝度圧縮利得が，さらに決定されることを特徴とする，請求項４３に記載の撮像装置の画像出力方法。
【請求項５１】
少なくとも前記合成画像に占める前記高輝度領域に応じて，前記出力画像の前記高輝度ダイナミックレンジと前記低中輝度ダイナミックレンジとの振分割合は，動的に変更されることを特徴とする，請求項４３に記載の撮像装置の画像出力方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は撮像装置にかかり，特にダイナミックレンジ拡大可能な撮像装置に関する。
【０００２】
【従来の技術】
撮像装置は，例えば，ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅ　Ｄｅｖｉｃｅ）などの撮像素子を備えたビデオカメラ，デジタルビデオカメラ，またはスチルビデオカメラなどが広く一般的に用いられている。
【０００３】
ＣＣＤなどの撮像素子は，銀塩カメラと比較してダイナミックレンジが狭い。このため，逆光時などの撮影時には，再生される画像において，明るい部分の階調が失われる白とび又は暗い部分の階調が失われる黒つぶれなどが発生する。
【０００４】
従来の撮像装置では，自動露光機能により被写体に対する露光量が適正になるように調節されていたが，例えば，被写体のうち主要部においては，適正な階調が得られても，背景などにおいては，依然として白とびなどが発生する場合が多い。
【０００５】
また従来の撮像装置では，逆光補正を行うときには高輝度部分を白とびさせて低輝度信号レベル／中輝度信号レベル（低中輝度信号レベル）における画像の再現を重視した露光を行ってきたが，場合によっては背景の白飛びしている部分の画像も見たい場合もある。
【０００６】
そこで，上記のような明るい部分と暗い部分とを含むダイナミックレンジが広い画像にも対応するために，高速シャッタなどにより比較的明るい部分を主な被写体とする画像と，低速シャッタなどにより比較的暗い部分を主な被写体とする画像とを合成することにより，ダイナミックレンジの広い画像を撮影可能な撮像装置（ワイドダイナミックレンジカメラ）がある。
【０００７】
【発明が解決しようとする課題】
しかしながら，上記ワイドダイナミックレンジカメラなどのダイナミックレンジの広い画像を撮影可能な撮像装置において，映像信号として再生可能な出力画像のダイナミックレンジが，輝度信号レベルが高輝度に該当する高輝度部分と輝度信号レベルが低輝度／中輝度に該当する低中輝度部分とに割り当てられる割合は，被写体によらず常に固定されていた。
【０００８】
したがって，例えば，上記出力画像のうち高輝度部分の画像信号が存在しない場合，出力画像のダイナミックレンジのうち高輝度部分に割当てられる画像信号は存在せず，残された低中輝度部分のみがダイナミックレンジに割当てられるため，ダイナミックレンジが有効活用されず，全体的に暗い画像となっていた。
【０００９】
本発明は，上記問題点に鑑みてなされたものであり，本発明の目的は，被写体に応じて，出力画像のダイナミックレンジにおいて動的な割当ての可能な，新規かつ改良された撮像装置を提供することである。
【００１０】
【課題を解決するための手段】
上記課題を解決するため，本発明の第１の観点によれば，被写体を撮像する撮像素子と，撮像素子により撮像された露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像とを合成することにより，少なくとも長時間露光画像又は短時間露光画像のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像を生成する信号処理部と，合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジのうち高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を動的に変更する制御部とを備えている。
【００１１】
本発明によれば，撮像素子により撮像された画像信号に基づき，長時間露光画像と短時間露光画像とを合成し，ダイナミックレンジを拡大した合成画像を生成する。さらに，出力画像の高輝度ダイナミックレンジ，または低輝度ダイナミックレンジのどちらかに振分ける割合を，動的に変更し，上記合成画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとを圧縮することにより割当てる。かかる構成により，例えば，撮像された画像が全体的に高輝度領域に占める信号量がなく，暗い画像であっても，適正な振分割合に動的に変更され，常に階調が整った鮮明な画像を出力することが可能となる。なお，振分割合は，ダイナミックレンジのうち高輝度ダイナミックレンジ又は低中輝度ダイナミックのどちらに振分けるのか，振分けられた割合である。
【００１２】
制御部は，少なくとも合成画像に占める輝度領域に応じて，高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更する。かかる構成により，合成画像に占める明るさの度合いの変化により，振分割合を変更することができる。したがって，例えば，輝度領域のうち高輝度領域が減少し，暗い画像になった場合，高輝度ダイナミックレンジから低中輝度ダイナミックレンジに振分ける割合を増やすことにより，適正な階調を得ることが可能となる。
【００１３】
制御部は，合成画像が生成されるごとに，高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，補正する。かかる構成により，合成画像が生成されるたびに，適正なダイナミックレンジの振分割合であるか否かを判断し，適正でなければ振分割合を補正することから，常に適正な階調が再現された画像を出力することが可能となる。
【００１４】
輝度領域は，少なくとも高輝度領域又は低中輝度領域のうちいずれか一方である。かかる構成により，高輝度領域，低中輝度領域，または高輝度領域・低中輝度領域のいずれかに着目してダイナミックレンジの割当を行うことができる。なお，輝度領域は，上記に限定されず，例えば，高輝度領域，中輝度領域，低輝度領域などから構成される場合であってもよい。
【００１５】
制御部は，少なくとも合成画像に占める高輝度領域の平均輝度信号レベルに応じて，高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更する。かかる構成により，合成画像のうち明るい部分（高輝度領域）の変動に応じて，振分割合を動的に変更する。したがって，多くの被写体に占められる低中輝度領域を重要視し，低中輝度ダイナミックレンジの割合を増やすことが可能となる。
【００１６】
制御部は，少なくとも合成画像に占める低中輝度領域の平均輝度信号レベルに応じて，高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更するようにしてもよい。
【００１７】
制御部は，少なくとも合成画像に占める高輝度領域に応じて，高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更する。かかる構成により，合成画像のうち明るい部分（高輝度領域）の変動に応じて，振分割合を動的に変更することが可能となる。例えば，明るい部分が減少したら，暗い部分の階調を増やし再現性を高める場合などを例示できる。
【００１８】
制御部は，少なくとも合成画像に占める低中輝度領域に応じて，高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，動的に変更するようにしてもよい。
【００１９】
制御部は，高輝度ダイナミックレンジと前記低中輝度ダイナミックレンジとの振分割合を，少なくとも単調的に変動させる。かかる構成により，振分割合を徐々に変動させることが可能となる。したがって，急激な変動がないため多くの撮影現場において，振分割合の変動を適用することが可能となる。なお，上記に限定されず，例えば，振分割合の変動を，２次曲線的に変動させる場合などであっても実施可能である。
【００２０】
さらに，本発明の別の観点によれば，コンピュータをして，被写体を撮像し；撮像された露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像とを合成することにより，少なくとも長時間露光画像又は短時間露光画像のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像を生成し；合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジのうち高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を動的に変更する機能を有するコンピュータプログラムおよびそのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体が提供される。
【００２１】
さらに，本発明の別の観点によれば，被写体を撮像する撮像素子と；撮像素子により撮像された露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像とを合成することにより，少なくとも長時間露光画像又は短時間露光画像のダイナミックレンジよりも相対的にダイナミックレンジが広い合成画像を生成する信号処理部と；合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジに，合成画像のダイナミックレンジを動的に割当てる制御部とを備えている。
【００２２】
本発明によれば，撮像素子により撮像された画像信号に基づき，長時間露光画像と短時間露光画像とを合成し，ダイナミックレンジを拡大した合成画像を生成する。さらに，合成画像のダイナミックレンジから，出力画像のダイナミックレンジに対する割当を，動的に変更し，上記合成画像のダイナミックレンジを圧縮している。かかる構成により，例えば，撮像された画像が全体的に高輝度領域に占める信号量がなく，暗い画像であっても，適正にダイナミックレンジが動的に割当てられ，常に階調が整った鮮明な画像を出力することが可能となる。
【００２３】
制御部は，少なくとも合成画像に占める輝度領域に応じて，合成画像のダイナミックレンジを出力画像のダイナミックレンジに動的に割当てる。かかる構成により，合成画像に占める明るさの度合いの変化により，ダイナミックレンジの割当を変更することができる。したがって，例えば，輝度領域のうち高輝度領域が減少し，暗い画像になった場合，合成画像のダイナミックレンジのうち低中輝度ダイナミックレンジを，出力画像のダイナミックレンジに割当てる際に，出力画像のダイナミックレンジの低中輝度ダイナミックレンジに多く割当てることにより，適正な階調を得ることが可能となる。
【００２４】
制御部は，合成画像が生成されるごとに，合成画像のダイナミックレンジを前記出力画像のダイナミックレンジに割当てるように構成してもよい。かかる構成により，合成画像が生成されるごとに，常に再現性の高い画像を出力することが可能となる。
【００２５】
制御部は，少なくとも合成画像に占める高輝度領域の割合に応じて，合成画像のダイナミックレンジを出力画像のダイナミックレンジに動的に割当てる。かかる構成により，合成画像のうち明るい部分（高輝度領域）の割合の変動に応じて，ダイナミックレンジを動的に割当てることが可能となる。例えば，明るい部分が減少したら，暗い部分の階調を増やし再現性を高める場合などを例示できる。
【００２６】
制御部は，少なくとも合成画像に占める高輝度領域の平均輝度信号レベルに応じて，合成画像のダイナミックレンジを出力画像のダイナミックレンジに，動的に割当てるように構成してもよい。
【００２７】
ダイナミックレンジは，少なくとも高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方であるように構成してもよい。かかる構成により，高輝度ダイナミックに割当てられる輝度信号レベルがないときは，低中輝度ダイナミックレンジに割当てられる範囲を譲ることにより，低中輝度ダイナミックレンジにより，再現される階調が増える。
【００２８】
制御部は，少なくとも合成画像に占める高輝度領域に応じて，少なくとも出力画像の高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方の割当てを動的に変更する。かかる構成により，合成画像の明るい部分の割合の変動に応じて，映像信号として出力される出力画像のダイナミックレンジの割当を変動することが可能となる。したがって，合成画像の明るい部分が減少したら，出力画像の暗い部分の階調を増やし再現性を高める場合などを例示できる。
【００２９】
制御部は，少なくとも合成画像に占める高輝度領域の平均輝度信号レベルに応じて，少なくとも出力画像の高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方の割当てを動的に変更するように構成してもよい。
【００３０】
制御部は，少なくとも合成画像に占める高輝度領域の減少により，出力画像の高輝度ダイナミックレンジのうち一部を，低中輝度ダイナミックレンジに動的に割当てる。かかる構成により，例えば，合成画像の明るい部分が減少したら，出力画像の低中輝度ダイナミックレンジの割当を増すことにより，暗い部分の階調を増やし再現性を高められる。
【００３１】
制御部は，少なくとも合成画像に占める高輝度領域の平均輝度信号レベルの減少により，出力画像の高輝度ダイナミックレンジのうち一部を，低中輝度ダイナミックレンジに動的に割当てるように構成してもよい。
【００３２】
制御部は，少なくとも合成画像に占める高輝度領域の増加により，出力画像の低中輝度ダイナミックレンジのうち一部を，高輝度ダイナミックレンジに動的に割当てる。かかる構成により，例えば，合成画像の明るい部分が増加したら，出力画像の高輝度ダイナミックレンジの割当を増すことにより，明るい部分の階調を増やし出力画像の高輝度の再現性を高められる。
【００３３】
制御部は，少なくとも合成画像に占める高輝度領域の平均輝度信号レベルの増加により，出力画像の低中輝度ダイナミックレンジのうち一部を，高輝度ダイナミックレンジに動的に割当てるように構成してもよい。
【００３４】
制御部は，出力画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，少なくとも単調的に変動させるように構成してもよい。
【００３５】
さらに，本発明の別の観点によれば，コンピュータをして，被写体を撮像し；撮像された露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像とを合成することにより，少なくとも長時間露光画像又は短時間露光画像のダイナミックレンジよりも相対的にダイナミックレンジが広い合成画像を生成し；合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジに，合成画像のダイナミックレンジを動的に割当てる機能を有するコンピュータプログラムおよびそのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体が提供される。
【００３６】
さらに，本発明の別の観点によれば，被写体を撮像する撮像素子と；撮像素子により撮像された露光時間が相対的に長い長時間露光画像と，露光時間が相対的に短い短時間露光画像の画像信号を検波する検波部と；画像信号から決定される切替輝度信号レベルに基づき，長時間露光画像と短時間露光画像とから，合成画像を生成する合成部と；合成画像に占める輝度領域に応じて，合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジの動的な割当てをする制御部と；出力画像のダイナミックレンジの動的な割当てに基づいて，合成画像のダイナミックレンジを圧縮する圧縮部とを備えている。
【００３７】
本発明によれば，撮像素子により撮像される画像信号の検波結果に基づいて，長時間露光画像と短時間露光画像とを合成し，ダイナミックレンジを拡大した合成画像を生成する。さらに，合成画像のダイナミックレンジから，出力画像のダイナミックレンジに対する割当を動的に変更し，上記合成画像のダイナミックレンジを圧縮している。かかる構成により，例えば，撮像された画像が全体的に高輝度領域に占める信号量又は画素がなく，暗い画像であっても，適正にダイナミックレンジが動的に割当てられ，常に階調が整った鮮明な画像を出力することが可能となる。
【００３８】
輝度領域は，少なくとも高輝度領域又は低中輝度領域のうちいずれか一方であることを特徴とする。かかる構成により，高輝度領域及び／又は低中輝度領域に着目してダイナミックレンジの割当を行うことができる。
【００３９】
合成部は，合成画像に構成される画素のうち，少なくとも切替輝度信号レベルよりも高い輝度信号レベルに該当する画素は短時間露光画像から取得する。かかる構成により，合成画像の高輝度領域の輝度信号レベルについては，高輝度信号レベルの露光が適正である短時間露光画像から画素を採用することにより，合成画像の明るい部分の階調が常に適正に割当てられる。したがって，合成画像の色調再現が高まる。
【００４０】
合成部は，合成画像に構成される画素のうち，少なくとも切替輝度信号レベルよりも低い輝度信号レベルに該当する画素は長時間露光画像から取得する。かかる構成により，合成画像の低中輝度領域の輝度信号レベルについては，低中輝度信号レベルの露光が適正である長時間露光画像から画素を採用することにより，合成画像の暗い部分の階調が常に適正に割当てられる。したがって，合成画像の色調再現が高まる。
【００４１】
ダイナミックレンジは，少なくとも高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方であるように構成してもよい。
【００４２】
制御部は，少なくとも出力画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合に基づいて，合成画像の輝度信号レベルを圧縮するための圧縮利得を決定する。かかる構成により，出力画像の振分割合に適した圧縮をすることが可能となり，出力画像の再現性が常に高まる。なお，振分割合は，ダイナミックレンジのうち高輝度ダイナミックレンジ又は低中輝度ダイナミックに振分けられた割合である。
【００４３】
制御部は，少なくとも合成画像のうち高輝度領域の輝度信号レベルを圧縮するための高輝度圧縮利得と，低中輝度領域の輝度信号レベルを圧縮するための低中輝度圧縮利得とを決定する。かかる構成により，高輝度領域，低中輝度領域など輝度領域ごとに圧縮利得を決定することにより，輝度領域ごとに利得を変動し圧縮することが可能となり，常にきめ細かく，再現性の高い出力画像を出力することができる。
【００４４】
制御部は，少なくとも高輝度圧縮利得又は低中輝度圧縮利得のうちいずれか一方に基づき，合成画像の輝度信号レベルごとに，圧縮部により用いられる少なくとも最終高輝度圧縮利得又は最終低中輝度圧縮利得のうちいずれか一方を決定する圧縮利得計算部をさらに備えている。かかる構成により，高輝度領域の輝度信号レベルごと，および低中輝度領域の輝度信号レベルごとに圧縮利得を決定することにより，輝度信号レベルごとのダイナミックレンジの圧縮が可能となり，常に再現性の高い出力画像を出力することができる。
【００４５】
制御部は，少なくとも合成画像に占める高輝度領域に応じて，出力画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を動的に変更するように構成してもよい。
【００４６】
制御部は，出力画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を，少なくとも単調的に変動させるように構成してもよい。
【００４７】
検波部は，少なくとも前記長時間露光画像信号又は前記短時間露光画像信号の輝度信号レベル，信号量，または輝度信号レベルのヒストグラムを画像信号から検波するように構成してもよく，さらに検波部は，上記画像信号から輝度領域ごとに検波するように構成してもよい。
【００４８】
圧縮部は，合成画像の輝度信号レベルを，出力画像の輝度信号レベルに圧縮することにより，合成画像のダイナミックレンジを圧縮するように構成してもよい。
【００４９】
合成部は，切替輝度信号レベルよりも高い輝度信号レベルを高輝度ダイナミックレンジに割り当て，切替輝度信号レベルよりも低い輝度信号レベルを低中輝度ダイナミックレンジに割当てるように構成してもよい。
【００５０】
さらに，本発明の別の観点によれば，コンピュータをして，被写体を撮像し；撮像された露光時間が相対的に長い長時間露光画像と，露光時間が相対的に短い短時間露光画像の画像信号を検波し；画像信号から決定される切替輝度信号レベルに基づき，長時間露光画像と短時間露光画像とから，合成画像を生成し；合成画像に占める輝度領域に応じて，合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジの動的な割当てをし；出力画像のダイナミックレンジの動的な割当てに基づいて，合成画像のダイナミックレンジを圧縮する機能を有するコンピュータプログラムおよびそのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体が提供される。
【００５１】
さらに，本発明の別の観点によれば，被写体を撮像する撮像素子と；撮像素子により撮像された露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像の画像信号を検波する検波部と；少なくとも長時間露光画像又は短時間露光画像のうちいずれか一方の輝度信号レベルに該当する画像信号が存在しない場合，該当する輝度信号レベルを合成する対象から除外し，切替輝度信号レベルに基づき，長時間露光画像と短時間露光画像とを合成する合成部と；長時間露光画像と短時間露光画像とが合成された合成画像に占める輝度領域に応じて，合成画像が圧縮され映像信号として出力される出力画像のダイナミックレンジを動的に割当てる制御部と；出力画像のダイナミックレンジの動的な割当てに基づいて，合成画像のダイナミックレンジを圧縮する圧縮部とを備えている。
【００５２】
本発明によれば，撮像素子により撮像される画像信号の検波結果に基づいて，輝度信号レベルに該当する画像信号が存在しない場合，該当する輝度信号レベルを合成する対象から除外してから，長時間露光画像と短時間露光画像とを合成し，ダイナミックレンジを拡大した合成画像を生成する。さらに，合成画像のダイナミックレンジから，出力画像のダイナミックレンジに対する割当を動的に変更し，上記合成画像のダイナミックレンジを圧縮している。かかる構成により，合成画像のダイナミックレンジに対する割当は，存在しない輝度信号レベルの場合は除外されることから常に効率的であり，さらに常に階調が整った画像を出力することができる。
【００５３】
合成部は，長時間露光画像のうち，切替輝度信号レベルよりも低い輝度信号レベルを合成画像の対象とする。かかる構成により，切替輝度信号レベルよりも高い高輝度領域に該当する画像をクリップすることで，長時間録画像のうち適正である低中輝度信号レベルに該当する画素を，合成画像に適用することが可能となり，常に再現性の高い合成画像を生成することができる。
【００５４】
合成部は，短時間露光画像のうち，切替輝度信号レベルよりも高い輝度信号レベルを合成画像の対象とする。かかる構成により，切替輝度信号レベルよりも低い低中輝度領域に該当する画像をクリップすることで，短時間録画像のうち適正である高輝度信号レベルに該当する画素を，合成画像に適用することが可能となり，常に再現性の高い合成画像を生成することができる。
【００５５】
輝度領域は，少なくとも高輝度領域又は低中輝度領域のうちいずれか一方であるように構成してもよく，ダイナミックレンジは，少なくとも高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方であるように構成してもよい。
【００５６】
制御部は，少なくとも合成画像に占める高輝度領域に応じて，出力画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合を動的に変更するように構成してもよい。
【００５７】
さらに，本発明の別の観点によれば，コンピュータをして，被写体を撮像し；撮像された露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像の画像信号を検波し；少なくとも長時間露光画像又は短時間露光画像のうちいずれか一方の輝度信号レベルに該当する画像信号が存在しない場合，該当する輝度信号レベルを合成する対象から除外し，切替輝度信号レベルに基づき，長時間露光画像と短時間露光画像とを合成し；長時間露光画像と短時間露光画像とが合成された合成画像に占める輝度領域に応じて，合成画像が圧縮され映像信号として出力される出力画像のダイナミックレンジを動的に割当てをし；出力画像のダイナミックレンジの動的な割当てに基づいて，合成画像のダイナミックレンジを圧縮する機能を有するコンピュータプログラムおよびそのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体が提供される。
【００５８】
さらに，本発明の別の観点によれば，被写体を撮像し；被写体の撮像された露光時間が相対的に長い長時間露光画像と，露光時間が相対的に短い短時間露光画像の画像信号を検波し；画像信号から決定される切替輝度信号レベルに基づき，長時間露光画像と短時間露光画像とから，合成画像を生成し；合成画像に占める輝度領域に応じて，合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジの動的な割当てをし；出力画像のダイナミックレンジの動的な割当てに基づいて，合成画像のダイナミックレンジを圧縮することを特徴としている。
【００５９】
輝度領域は，少なくとも高輝度領域又は低中輝度領域のうちいずれか一方であるように構成してもよい。
【００６０】
合成画像に構成される画素は，少なくとも切替輝度信号レベルよりも高い輝度信号レベルの画素については短時間露光画像から取得され，切替輝度信号レベルよりも低い輝度信号レベルの画素については長時間露光画像から取得されるように構成してもよい。
【００６１】
合成画像を構成する画素は，切替輝度信号レベルよりも高い輝度信号レベルの場合，長時間露光画像の画素から取得され，切替輝度信号レベルよりも低い場合，短時間露光画像の画素から取得されるように構成してもよい。
【００６２】
ダイナミックレンジは，少なくとも高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジのうちいずれか一方であるように構成してもよい。
【００６３】
少なくとも出力画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合に基づいて，合成画像の輝度信号レベルを圧縮するための圧縮利得が決定されることを特徴とする，
少なくとも合成画像のうち高輝度領域の輝度信号レベルを圧縮するための高輝度圧縮利得と，低中輝度領域の輝度信号レベルを圧縮するための低中輝度圧縮利得とが決定されるように構成してもよい。
【００６４】
少なくとも高輝度圧縮利得又は低中輝度圧縮利得に基づき，合成画像の輝度信号レベルごとに，圧縮されるために用いられる少なくとも最終高輝度圧縮利得又は最終低中輝度圧縮利得が，さらに決定されるように構成してもよい。
【００６５】
少なくとも合成画像に占める高輝度領域に応じて，出力画像の高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分割合は，動的に変更されるように構成してもよい。
【００６６】
【発明の実施の形態】
以下，本発明の好適な実施の形態について，添付図面を参照しながら詳細に説明する。なお，以下の説明及び添付図面において，略同一の機能及び構成を有する構成要素については，同一符号を付することにより，重複説明を省略する。
【００６７】
（１．ワイドダイナミックレンジカメラについて）
まず図１，図２を参照しながら，本実施の形態にかかるワイドダイナミックカメラ（ワイドＤカメラ）について説明する。図１は，本実施の形態にかかるワイドダイナミックカメラの概略的な構成を示す斜視図である。図２は，本実施の形態にかかる窓を備えた屋内を撮影する場合の概略的な被写体を示す説明図である。なお，本実施の形態にかかる撮像装置１０２は，静止画像及び又は動画像を撮像可能である。
【００６８】
デジタルビデオカメラ，スチルビデオカメラなど一般的に使用される撮像装置は，図２に示すように，例えば晴天の昼間の時間帯に，窓１２２が備わる屋内において撮像する場合，屋内に存在する人間１２０を被写体として露光基準を合わせると，人間１２０よりも明るい窓１２２の部分が，階調を失い白飛びしてしまう。
【００６９】
これは，窓１２２よりも相対的に暗い人間１２０の輝度から，人間１２０よりも相対的に明るい窓１２２の輝度までの広範囲にわたるダイナミックレンジを，撮像装置が扱うことが出来ないためである。
【００７０】
上記問題を解決するために，例えば，電子シャッタでシャッタ速度を変えて，露光時間の異なる複数の画像を合成するなどの処理をすることにより，図２に示すように，被写体として人間１２０に露光基準を設定したとしても，窓１２２の部分も白飛びせず，階調よく画像として再生可能な機能を有する撮像装置をワイドダイナミックレンジカメラ（ワイドＤカメラ）と呼ぶ。
【００７１】
出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像する手法として，上記露光時間の異なる明るい画像と暗い画像とを合成する方法の他に，画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して，画像を再生し，露光条件の異なる１又は２以上の画像を合成する方法，またはプリズムにより入射光を分けて，撮像素子と，透過する光を全波長に渡って減少させる，つまり入射光量を等しく減少させるＮＤフィルタ（Ｎｅｕｔｒａｌ　Ｄｅｎｓｉｔｙ　Ｆｉｌｔｅｒ；光量調節フィルタ）のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などがある。
【００７２】
図１に示すワイドＤカメラ１０２は，一般的に用いられるビデオカメラのダイナミックレンジよりも非常に広いダイナミックレンジを有し，出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能である。したがって，強い外光が差し込む室内，照度差の激しい場所などを撮像する場合に適している。
【００７３】
例えば，銀行などの店舗の出入口，または交通状況の把握のために交通道路など，日中，夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合において撮像することが多い，特に監視カメラなどに用いられる。なお，本実施の形態にかかるワイドＤカメラ１０２は，監視カメラに限定されない。
【００７４】
（２．ワイドダイナミックレンジカメラの各コンポーネントの構成）
次に図３を参照しながら，本実施の形態にかかるワイドＤカメラ１０２の各コンポーネントの構成について説明する。図３は，本実施の形態にかかるワイドダイナミックレンジカメラの概略的な構成を示すブロック図である。なお，図３において，例えば，マイコン１３７が本発明の制御部に対応するが，かかる例に限定されない。
【００７５】
図３に示すように，本実施の形態にかかるワイドＤカメラ１０２は，光学部品１３０と，撮像素子１３１と，前処理部１３２と，信号処理部１３３と，出力部１３４と，ＴＧ１３５と，ＥＶＲ１３６と，マイクロコンピュータ１３７（以下，マイコン１３７）と，光学部品制御回路１３８と，記録媒体１３９とから構成される。
【００７６】
光学部品１３０は，レンズ，または不要な波長を除去する光学フィルタであり，例えば，ＮＤフィルタなどが挙げられる。被写体から入射し，光学部品１３０を透過した光は，撮像素子１３１に取り込まれ，電気信号に変換される。また光学部品１３０は，マイコン部１３７により光部品制御回路１３８を介して，例えばレンズの絞りなどが制御される。なお，マイコン部１３７については後ほど詳述する。
【００７７】
撮像素子（撮像デバイス）１３１は，受光面に２次元的に設けられた光電変換素子からなる複数の画素により，被写体から受光した光学像を光電変換して電気的な画像信号として出力することが可能である。例えば，撮像素子１３１は，多種からなるＣＣＤなどの固体撮像デバイスが挙げられる。
【００７８】
前処理部１３２は，撮像素子１３１がＣＣＤである場合，撮像素子１３１により出力される上記画像信号を受信後，ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ　ｄｏｕｂｌｅ　ｓａｍｐｌｉｎｇ　ｃｉｒｃｕｉｔ　相関２重サンプリング）の処理によりノイズ（雑音）を減少させつつ，映像信号を取り出す。
【００７９】
さらに前処理部１３２は，必要に応じて好適な信号レベルに増幅（ゲイン調整）するために利得を持たせ，信号処理部１３３に送信する。
【００８０】
撮像素子１３１であるＣＣＤの雑音の主なものは，例えば，転送雑音，出力増幅器の雑音，リセット雑音，それに暗電流に起因する雑音，光ショット雑音などが挙げられる。
【００８１】
上記雑音の中で転送雑音は，電荷が転送していく際に，生じる雑音であるが，埋め込みチャネルＣＣＤが一般に用いられるようになってからは，問題になることは少ない。出力増幅器の雑音はソースホロワの雑音であり，このノイズを減少させることにより，ＣＣＤの雑音が改善されることになる。
【００８２】
リセット雑音は，ＣＣＤのＦＤ（フローティングディフュージョン）のリセット時に発生する雑音であり，このリセット雑音を軽減することが可能であるのが，ＣＤＳである。
【００８３】
信号処理部１３３は，大きく分けて２つのブロックから構成される。ひとつは，信号前処理ブロック１４０であり，入力される露光時間の異なる長時間露光画像と短時間露光画像の抽出処理，上記長時間露光画像と短時間露光画像の色バランス補正処理，および上記長時間露光画像と短時間露光画像との合成・圧縮処理を行う。なお，長時間露光画像と短時間露光画像の露光時間については，撮像する被写体に応じて個々に設定可能である。信号前処理ブロック１４０については，後ほど詳述する。
【００８４】
信号前処理ブロックに後続するもうひとつのブロックは，信号後処理ブロック（図示せず）であり，γ（ガンマ）補正や輪郭補正するためのアパーチャー（ａｐｅｒｔｕｒｅ）の処理，被写体に含まれる“白”を基準に色温度を調整するホワイトバランス等の色処理を行う。
【００８５】
さらに信号処理部１３３は，少なくとも検波部１４３を備え，例えば，輝度信号レベルなど，現時点で入力される画像信号のレベル情報または色情報などを検出することが可能である。上記検出された情報に基づき，圧縮利得などの利得を計算したり，ホワイトバランスを調整することが可能である。なお，上記検波部１４３については，後程詳述する。
【００８６】
出力部１３４は，上記信号処理部１３３の処理後，信号処理部１３３から映像信号を受信し，映像を再生するために，出力部１３４であるドライバを通して，例えば，ディスプレイ装置などのモニタに映像を出力する。
【００８７】
ＴＧ（タイミングジェネレータ）１３５は，例えばＣＣＤなどの撮像素子１３１に必要なパルスを生成する。例えば垂直転送のための４相パルス，フィールドシフトパルス，水平転送のための２相パルスなどのパルスが生成される。上記ＴＧ１３５により，撮像素子１３１を駆動（電子シャッタ機能）させることが可能となる。
【００８８】
撮像素子１３１の駆動の調整により，露光時間が相対的に長い長時間露光画像と，露光時間が相対的に短い短時間露光画像とを撮像することが可能である。本実施の形態にかかるワイドダイナミックレンジカメラである撮像装置１０２では，上記処理により撮像処理を行っているが，本実施の形態にかかる撮像処理は，かかる例に限定されない。
【００８９】
ＥＶＲ（電子ボリューム）１３６は，デジタル信号などにより抵抗値を調整できる可変抵抗器であり，抵抗値を変更することにより，光学部品制御回路１３８などを制御する。したがって，ＥＶＲ１３６などにより，光学部品１３０であるレンズの絞り調整をすることができる。またＥＶＲ１３６は，例えば，メモリなどの記憶手段を備えており，電源がＯＦＦになっても変更された抵抗値を保持することができる。
【００９０】
光学部品制御回路１３８は，例えば，光学部品１３０の絞り調整，または複数の光学部品１３０のうちＮＤフィルタなどの別の光学フィルタに切替えるなどを行うための制御手段（図示せず。）を備えている。
【００９１】
マイコン１３７は，例えば，上記検波部１４３からの検波結果に基づき，上記前処理１３２，信号処理部１３３，ＴＧ１３５，ＥＶＲ１３６，および光学部品制御回路１３８の各処理を制御する。また，ワイドダイナミックレンジカメラである撮像装置１０２の長時間露光画像（ｌｏｎｇ）及び短時間露光画像（ｓｈｏｒｔ）を合成・圧縮するための圧縮ゲイン（圧縮利得）などを決定している。なお，マイコン１３７については後ほど詳述する。
【００９２】
さらにマイコン１３７は，“外部Ｉ／Ｆ（外部インタフェース）”を介して，撮像装置１０２の外部との装置と，例えば，装置を制御するための制御データなどを相互に送受信することにより撮像装置１０２の制御が可能となる。なお，上記“外部Ｉ／Ｆ”は，例えば，１０Ｂａｓｅ−Ｔもしくは１０Ｂａｓｅ−２などのＥｔｈｅｒｎｅｔ（登録商標），ＥＩＡ−２３２，またはＥＩＡ−４８５などが挙げられる。
【００９３】
記録媒体１３９は，例えば，撮像装置１０２に備わる各部の制御に必要な制御データ，被写体に対する露光を調整するための調整データ，撮像装置１０２を使用する各ユーザが色補正，ＡＥなど各種設定可能なユーザ設定データなどを記憶することが可能である。
【００９４】
記録媒体１３９は，例えば，データを書き込むことで記憶可能なＲＯＭ，電気的消去によりデータを記憶又は消去することが可能なＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）などを例示することができる。
【００９５】
（２．１　信号前処理ブロック１４０）
次に，図４を参照しながら，本実施の形態にかかる信号処理部１３３に含まれる信号前処理ブロックについて説明する。図４は，本実施の形態にかかる信号前処理ブロックの概略的な構成を示すブロック図である。
【００９６】
なお，図４において，例えば，マイコン１３７が本発明の制御部に対応し，圧縮利得計算部１４５が本発明の圧縮利得計算部に対応するが，かかる例に限定されない。さらに，本実施の形態にかかる圧縮利得計算部１４５は，信号前処理ブロック１４０に備えられているが，かかる例に限定されず，例えば，上記制御部としてマイコン１３７に備える場合，信号前処理ブロック１４０以外に備える場合などであっても実施可能である。
【００９７】
図４に示すように，信号前処理ブロック１４０は，タイミング調整部１４１と，クランプ処理１４２と，検波部１４３と，合成部１４４と，圧縮利得計算部１４５と，圧縮部１４６とから構成される。
【００９８】
タイミング調整部１４１は，前処理部１３２から各々異なるタイミングで出力される，露光時間がそれぞれ異なる画像信号のタイミングを，同期のとれたタイミングに調整（同時化）する。以下，タイミング調整部１４１における同期化処理について説明する。
【００９９】
まず図５の（Ａ）に示すように，撮像素子１３１により撮像された長時間露光画像（ｌｏｎｇ）を含む長時間露光画像信号（ｌｏｎｇ　ｓｉｇｎａｌ）と，短時間露光画像（ｓｈｏｒｔ）を含む短時間露光画像信号（ｓｈｏｒｔ　ｓｉｇｎａｌ）が前処理部１３２から，時分割により，ｌｏｎｇとｓｈｏｒｔが交互に混成された状態で，図４に示す１つのバス（経路）により，タイミング調整部１４１に送信される。なお図５は，本実施の形態にかかるタイミング調整部１４１の同時化処理の概略を示す説明図である。
【０１００】
タイミング調整部１４１に，時分割されて交互に長時間露光画像信号と短時間露光画像信号とが入力されると，タイミング調整部１４１は，長時間露光画像と信号短時間露光画像信号との同時化を行う。
【０１０１】
上記同時化は，図５の（Ａ）に示すように，１の信号に含まれる長時間露光画像と信号短時間露光画像信号とを，それぞれ抽出し，図５の（Ｂ），（Ｃ）に示すように，長時間露光画像信号に含む長時間露光画像と，短時間露光画像信号に含む短時間露光画像とを，それぞれ時間的なタイミングを合わせることである（同期をとる）。同時化された状態で，図４に示すように，タイミング調整部１４１は，短時間露光画像と長時間露光画像とをそれぞれクランプ処理部１４２に別々に出力する。
【０１０２】
タイミング調整部１４１において，同時化をすることにより，合成部１４４において，長時間露光画像と短時間露光画像とを合成する際の画素の切替がスムーズになり，合成処理が効率的に実施することが可能になる。
【０１０３】
次にクランプ処理部１４２は，長時間露光画像及び短時間露光画像の輝度信号レベルのうち“０レベル（黒レベル）”の基準を決定する（クランプ処理）。０レベル決定後，クランプ処理部１４２は，長時間露光画像及び短時間露光画像を合成部１４４と，検波部１４３とに出力する。
【０１０４】
クランプ処理部１４２は，長時間露光画像信号及び短時間露光画像信号が周期性を持っていることを利用して，直流成分の再生を行い，低周波ノイズを除去し，どこが０レベルなのかを決定する。複合映像信号や輝度信号では黒レベルを基準としており，直流電圧値が情報を現している。したがって信号処理においては黒レベル（０レベル）を固定して，このレベルを基準とし処理が行われる。
【０１０５】
検波部１４３は，クランプ処理部１４２から出力される長時間露光画像信号及び短時間露光画像信号について，どの程度，信号量が入力されているのか，どの程度，輝度信号レベルであるのかを検出する。なお，輝度信号レベル（輝度レベル）は，明るさの度合いを表す。
【０１０６】
すなわち，検波部１４３の検波結果が，例えば，マイコン１３７などの各部に出力されることによって，各部は，処理を実行することが可能となる。特に，マイコン１３７は，長時間露光画像と短時間露光画像との合成の切替ポイント（ｓｗｉｔｃｈ　ｐｏｉｎｔ）を決めるため，検波部１４３は，入力される長時間露光画像及び短時間露光画像の信号量または輝度信号レベルの分布（輝度信号レベルのヒストグラム）を検出する。
【０１０７】
合成部１４４は，入力される長時間露光画像と短時間露光画像とを，まず露光のレベル合わせを行い，画素単位に切替処理することにより１画像に合成する。生成された合成画像は，合成画像信号として圧縮部１４６と，圧縮利得計算部１４５とに出力される。なお，合成部１４４の長時間露光画像と短時間露光画像との合成処理については，後ほど詳述する。
【０１０８】
マイコン１３７は，検波部１４３により長時間露光画像信号と短時間露光画像信号とから検波された輝度信号レベルの信号量又は輝度信号レベルのヒストグラムなどを受信することができる。なお，輝度信号レベルの信号量から，高輝度領域又は低中輝度領域の平均輝度信号レベルなどが求められる。
【０１０９】
マイコン１３７は，上記検波部１４３から取得した検波結果などの情報に基づき，短時間露光画像と長時間露光画像の露光を調節，映像信号として出力される出力画像のダイナミックレンジにおける高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの割合を補正，短時間露光画像と長時間露光画像とを合成するための切替ポイントの決定，または生成された合成画像の圧縮利得（圧縮ゲイン）の決定などを処理する。また，上記切替ポイント又は圧縮利得などは，マイコン１３７により信号前処理ブロック１４０の各処理部に送信される。また，圧縮利得は，輝度領域ごとに構成される。本実施の形態にかかる圧縮利得は，高輝度圧縮利得（Ｇｓ）と低中輝度圧縮利得（Ｇｌ）とから構成されるが，かかる例に限定されず，例えば，高輝度圧縮利得，中輝度圧縮利得，低輝度圧縮利得とから構成される場合であってもよい。なお，マイコン１３７の切替ポイントの決定，ダイナミックレンジの割合の補正，圧縮利得の決定などの動作処理については，後ほど詳述する。
【０１１０】
圧縮利得計算部（Ｃｏｍｐｒｅｓｓｅｉｏｎ　Ｇａｉｎ　Ｃａｌｃｕｌａｔｏｒ）１４５は，生成された合成画像の圧縮時，マイコン１３７から送信された上記圧縮利得（高輝度圧縮利得（Ｇｓ）及び低中輝度圧縮利得（Ｇｌ））に基づいて，圧縮する輝度信号レベルごとの最終圧縮利得を算出し，上記最終圧縮利得を圧縮部１４６に送信する。本実施の形態にかかる最終圧縮利得は，最終高輝度圧縮利得と最終低中輝度圧縮利得とから構成されるが，かかる例に限定されない。
【０１１１】
圧縮部１４６は，入力される上記最終圧縮利得に基づき，合成部１４４により合成される合成画像のダイナミックレンジを，映像信号として出力される出力画像のダイナミックレンジに圧縮する。圧縮された出力画像は，後続の信号後処理ブロック（図示せず。）に送信される。
【０１１２】
圧縮部１４６により出力された出力画像は，信号後処理ブロックに入力され，例えば，ガンマ補正，アパーチャー，またはホワイトバランスなどの色処理が実行される。
【０１１３】
上記色処理のうちガンマ補正は，例えば，ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ，受像管）などは，ガンマ特性が定められているため，予め撮像装置１０２側で補正し，再生画面が正しい階調特性を得られるようにしなければならない。したがって，上記補正を行うのがガンマ補正により補正が必要となる。一般的にダイオード特性が利用される。
【０１１４】
（３．　撮像装置１０２の画像出力動作）
次に，上記のように構成された撮像装置１０２の画像出力動作の実施形態について説明する。
【０１１５】
（３．１　撮像装置１０２における撮像処理（Ｓ１６０））
まず，図３，図４，図６を参照しながら，撮像装置１０２の撮像処理について説明する。なお図６は，本実施の形態にかかる撮像装置の画像出力処理の概略を示すフローチャートである。
【０１１６】
まずワイドダイナミックカメラである撮像装置１０２は，図６に示すように，撮像素子１３１により被写体を撮像処理する（Ｓ１６０）。本実施の形態にかかる撮像処理は，２重露光方式による撮像処理であるが，かかる例に限定されず，例えば，ＣＣＤなどの撮像素子１３１を２個用い，標準シャッタおよび高速シャッタの２板式の場合であっても実施可能である。
【０１１７】
上記２重露光方式とは，露光時間が相対的に長く，適正露光が低中輝度領域の被写体を対象とする長時間露光画像と，適正露光が高輝度領域の被写体を対象とする短時間露光画像を撮像し，それぞれの画像を合成することで，見た目のダイナミックレンジを拡大させる方法である。なお，輝度領域は，輝度レベルが同程度である画像に構成される画素又は信号の集合により形成される範囲である。例えば，高輝度領域の場合は，画像に構成される画素又は信号のうち，輝度レベルが高輝度の画素又は信号であるものを表す。
【０１１８】
上記撮像処理（Ｓ１６０）されると，撮像素子１３１から出力され，前処理部１３２により，例えばＣＤＳ処理などが行われた長時間露光画像（ｌｏｎｇ）と短時間露光画像（ｓｈｏｒｔ）とが，図４に示す信号処理部１３３の信号前処理ブロック１４０のタイミング調整部１４１に送信される。
【０１１９】
上記双方の画像信号は，１つのバスにおいて，長時間露光画像（ｌｏｎｇ）と短時間露光画像（ｓｈｏｒｔ）とが時分割されながら，双方の画像信号の入力タイミングが異なり，交互にタイミング調整部１４１に入力されるため，上記記載により説明したように同時化する必要がある。
【０１２０】
（３．２　撮像装置１０２における検波処理（Ｓ１６２））
タイミング調整部１４１において，同時化され，長時間露光画像と短時間露光画像と別々に出力後，クランプ処理部１４２に入力される。クランプ処理部１４２において，クランプ処理した後，長時間露光画像および短時間露光画像は，検波部１４３と合成部１４４にそれぞれ送信される。
【０１２１】
長時間露光画像および短時間露光画像が，検波部１４４に送信されると，検波部１４４は，長時間露光画像および短時間露光画像の検波処理（Ｓ１６２）を行う。
【０１２２】
検波部１４４は，長時間露光画像および短時間露光画像の検波処理（Ｓ１６２）により，例えば，長時間露光画像の各輝度信号レベルにおける信号量，短時間露光画像の各輝度信号レベルにおける信号量，長時間露光画像の輝度信号レベルの信号量の分布（ヒストグラム），または短時間露光画像の輝度信号レベルの信号量の分布などを検波する。
【０１２３】
上記検波処理（Ｓ１６２）の検波結果に基づいて，マイコン１３７は，長時間露光画像における低中輝度領域のうち最も高い輝度信号レベルを示すＬａ（切替輝度信号レベル）と，短時間露光画像における高輝度領域のうち最も高い輝度信号レベルを示すＬｂとを決定する。なお，Ｌａ，Ｌｂについては後ほど詳述する。
【０１２４】
（３．３　撮像装置１０２における合成処理（Ｓ１６４））
検波処理（Ｓ１６２）後，次に合成部１４４において長時間露光画像と短時間露光画像との合成処理（Ｓ１６４）が行われ，合成画像が生成される。合成部１４４は，マイコン１３７から送信される情報，例えばＬａなどの情報に基づき合成処理（Ｓ１６４）を行う。以下，合成処理について詳述する。
【０１２５】
本実施の形態にかかる合成処理とは，切替ポイント（Ｓｗｉｔｃｈ　ｐｏｉｎｔ）を基準として，切替ポイントよりも低い輝度信号レベルについては，長時間露光画像の輝度信号レベルに該当する画素を採用し，切替ポイントを超えた時点で，短時間露光画像の輝度信号レベルに該当する画素を採用するように切替えることである。
【０１２６】
したがって，切替ポイントを基準として，画素単位に長時間露光画像から短時間露光画像に採用対象を切替えることにより，１の合成画像として合成される。ここで，図７を参照しながら，本実施の形態にかかる切替ポイントについて説明する。図７は，本実施の形態にかかる合成処理時の画像の入出力特性の概略を示す説明図である。
【０１２７】
図７に示すように，短時間露光画像（ｓｈｏｒｔ）の入出力特性は短時間入出力特性１７０であり，長時間露光画像（ｌｏｎｇ）の入出力特性は長時間入出力特性１７１であり，映像信号として信号処理部１３３から出力される出力画像の入出力特性は，出力画像入出力特性１７２である。なお図７に示す横軸は，合成部１４４に入力される画像信号の輝度信号レベルを示し，縦軸が出力される画像信号の輝度信号レベルを示す。
【０１２８】
まず合成するために，長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで，双方の画像のレベル合わせを行う。例えば，長時間露光画像と短時間露光画像との露光比が，１０：１である場合，短時間露光画像の露光は長時間露光画像の１０分の１である。しかし，存在する光の量としては，短時間露光画像の輝度信号レベルの１０倍は，光量がある。したがって，短時間露光画像に１０を乗算することによりレベルを合わせる。
【０１２９】
したがって，短時間入出力特性１７０の傾きが，図７に示す矢印方向へ移動し，長時間入出力特性１７１とレベルが合う。さらに，適当なＳｗｉｔｃｈ　ｐｏｉｎｔ（切替ポイント）を基準として，所定の傾き分を寝かせることにより，出力画像入出力特性１７２となる。
【０１３０】
上記所定の傾きは，例えば，記録媒体１３９などに記憶されており，さらにマイコン１３７により，上記乗算されてレベル合わせされた短時間入出力特性１７１の傾きを所定の傾き分だけ寝かす処理が行われる。上記傾き分寝かせるのは，ダイナミックレンジが非常に広く，例えば画像の乱れなどのノイズを避けるためである。
【０１３１】
上記双方の画像のレベル合わせが終了すると，図７に示す，上記切替ポイント（Ｓｗｉｔｃｈ　ｐｏｉｎｔ）を基準として，長時間露光画像から短時間露光画像へと，合成画像として採用される画素の対象先が切替わることにより，１の合成画像として合成される。したがって，低中輝度信号レベルの暗部の階調が整った長時間露光画像と，高輝度信号レベルの明部の階調が整った短時間露光画像との特性を有する明部・暗部ともに階調よく再現された合成画像が生成される。
【０１３２】
（３．３．１　合成部１４４の除外処理）
上記合成処理（Ｓ１６４）において，長時間露光画像と短時間露光画像との各輝度信号レベルから一律に合成画像の画素の採用対象とせず，輝度信号レベルに該当する信号量が存在しない場合には，当該輝度信号レベルを合成する対象から除外する除外処理が行われる。
これは，当該輝度信号レベルを合成画像のダイナミックレンジには割当てない（除外する）ことである。したがって，合成画像に割当てられるダイナミックレンジの有効な活用が可能となる。
【０１３３】
ここで，図８，図９を参照しながら，合成処理（Ｓ１６４）における，ダイナミックレンジの有効活用するための本実施の形態にかかる除外処理について説明する。図８は，本実施の形態にかかる長時間露光画像の輝度信号レベルの分布の概略を示す累積ヒストグラムであり，図９は，本実施の形態にかかる短時間露光画像の輝度信号レベルの分布の概略を示す累積ヒストグラムである。
【０１３４】
まず図８に示すように，低中輝度領域のうち最も高い輝度信号レベルであるＬａ（切替輝度信号レベル）までは，輝度信号レベルが徐々に高まるにつれて信号量も累積されているが，輝度信号レベルがＬａを超えてから，領域１８０に示す輝度信号レベルの範囲は信号量が累積されない。したがって，領域１８０では，信号又は画素が存在しない。なお図８，図９に示す横軸は，合成部１４４に入力される画像信号の輝度信号レベルを示し，縦軸が累積信号量を示す。
【０１３５】
図８に示す領域１８０のように，輝度信号レベルに信号又は画素が存在しない場合，上記領域１８０に該当する輝度信号レベルは合成処理（Ｓ１６４）の対象外として除外する。したがって，除外された当該輝度信号レベルは合成画像のダイナミックレンジには割当てられず，ダイナミックレンジの有効活用が可能となる。
【０１３６】
さらに図８に示す高輝度領域である領域１８２の輝度信号レベルの信号又は画素は存在しているが，後述する図９に示す短時間露光画像の輝度信号レベルと重複する。特に，長時間露光画像のうち高輝度領域の輝度信号レベルは，短時間露光画像の輝度信号レベルと重複するため，合成処理（Ｓ１６４）の対象外として除外する。なお，本実施の形態にかかる合成処理は重複する場合は除外する場合を例に挙げて説明したが，かかる例に限定されず，例えば予め輝度信号レベルを設定しておき，除外する場合であっても実施可能である。
【０１３７】
つまり，図８に示すように，合成処理（Ｓ１６４）の対象となる長時間露光画像のうち，領域１８０と領域１８２とを除外した輝度信号レベルの画素が，合成画像に採用される対象となる。したがって，合成処理（Ｓ１６４）の対象となる輝度信号レベルの範囲はＬａよりも低い範囲である。すなわち，上記Ｌａを図７で示すＳｗｉｔｃｈ　ｐｏｉｎｔ（切替ポイント）とすることにより，長時間露光画像の必要な画素を効率よく適用することが可能となり，合成画像のダイナミックレンジを有効活用することが可能となる。なお，本実施の形態にかかるＬａはマイコン１３７により決定されるが，かかる例に限定されず，例えば検波部１４３である場合であっても実施可能である。
【０１３８】
また，本実施の形態にかかる輝度領域は，画像のうち所定の輝度信号レベル区域を有する領域であり，輝度が相対的に低中輝度に該当する領域を低中輝度領域とし，輝度が相対的に高輝度に該当する領域を高輝度領域とするが，かかる例に限定されず，例えば低中輝度領域を，さらに低輝度領域と，中輝度領域とに分ける場合であっても実施可能である。
【０１３９】
次に，図９に示すように，短時間露光画像のうち高輝度領域の最も高い輝度信号レベルをＬｂとし，Ｌｂよりも低い輝度信号レベルに該当する画素を，合成画像に適用される対象とする。
【０１４０】
なお，上記説明したように，短時間露光画像においても，輝度信号レベルに信号又は画素が存在しない場合，当該輝度信号レベルは合成処理（Ｓ１６４）の対象外として除外する。したがって，除外された当該輝度信号レベルは合成画像のダイナミックレンジには割当てられず，階調の存在しない部分を他の輝度信号レベルに割当てることにより，使用効率の高いダイナミックレンジの有効活用が可能となる。
【０１４１】
さらに，本実施の形態にかかるＳｗｉｔｃｈ　ｐｏｉｎｔ（切替ポイント）は，Ｌａ（切替輝度信号レベル）である場合を例にあげて説明したが，かかる例に限定されず，例えば，予め設定された輝度信号レベルを切替ポイントとする場合であっても実施可能である。
【０１４２】
（３．４　撮像装置１０２における圧縮処理（Ｓ１６８））
本実施の形態にかかる撮像装置１０２の画像出力動作において，合成処理（Ｓ１６４）の後続処理は，図６に示すように割当て処理（Ｓ１６６）であるが，ここでは，先に圧縮処理（Ｓ１６８）について説明する。
【０１４３】
上記合成処理（Ｓ１６４）において，合成された合成画像のダイナミックレンジは，一般的に用いられる例えば，ビデオカメラなどの画像のダイナミックレンジよりも非常に広い。
【０１４４】
したがって，ワイドダイナミックレンジカメラである撮像装置１０２に備えられる各処理部（デバイス）では，合成画像信号を処理できないため，処理可能な範囲のダイナミックレンジ（出力画像のダイナミックレンジ）まで合成画像のダイナミックレンジを圧縮する必要がある。
【０１４５】
まず，図１０を参照しながら，本実施の形態にかかる圧縮処理について説明する。図１０は，本実施の形態にかかる出力画像の入出力特性の概要を示す説明図である。なお，図１０の横軸は，圧縮部１４６に入力される画像信号の輝度信号レベルを示し，縦軸は，圧縮部１４６から出力される画像信号の輝度信号レベルを示す。
【０１４６】
図１０に示すように，合成画像の入出力特性は，合成入出力特性２０２であり，合成画像のダイナミックレンジを圧縮した出力画像の入出力特性は，出力画像入出力特性１７２である。出力画像は，信号前処理ブロック１４０により映像信号として出力され，後続の信号後処理ブロック（図示せず。）に送信される。
【０１４７】
図１０に示す合成画像のダイナミックレンジにおける低中輝度ダイナミックレンジと高輝度ダイナミックレンジとの割合は，ａ：ｂである。なお，ｂ＝１−ａである。また出力画像のダイナミックレンジにおける低中輝度ダイナミックレンジと高輝度ダイナミックレンジとの割合は，ｍ：ｎである。なお，ｎ＝１−ｍである。
【０１４８】
本実施の形態にかかるダイナミックレンジ（ｄｙｎａｍｉｃ　ｒａｎｇｅ）は，高輝度領域のダイナミックレンジである高輝度ダイナミックレンジと，低中輝度領域のダイナミックレンジである低中輝度ダイナミックレンジとから構成される。
【０１４９】
上記ダイナミックレンジは，例えば撮像デバイスなど，撮像デバイスが取り扱うことのできる被写体の明るさの範囲であり，再現可能な階調の範囲である。
【０１５０】
したがって上記ダイナミックレンジにおける高輝度ダイナミックレンジ又は低中輝度ダイナミックレンジに，それぞれどの程度，被写体の階調を振分けるかに応じて，画像の明るさ又は階調が劇的に異なる。例えば，出力画像のダイナミックレンジにおいて，高輝度領域の階調を重視する場合には，再現比率であるｍ：ｎのうち，ｎの割合を高めることにより，高輝度ダイナミックレンジの割合が高まり，高輝度領域の階調がきめ細かく再現される。
【０１５１】
次に，合成画像のダイナミックレンジを圧縮するための圧縮利得が，マイコン１３７により求められる。マイコン１３７により求められる圧縮利得は，低中輝度領域のＬａに基づき求められる低中輝度圧縮利得（Ｇｌ）と，高輝度領域のＬｂに基づき求められる高輝度圧縮利得（Ｇｓ）とである。
【０１５２】
図１０に示すように，低中輝度圧縮利得（Ｇｌ）は，Ｌａでの合成画像の低中輝度ダイナミックレンジを出力画像の低中輝度ダイナミックレンジに圧縮することから，以下に示す式で表すことができる。
【０１５３】
Ｇｌ＝ｍ／Ｌａ・・・（式１）
【０１５４】
なお，Ｌａ又はＬｂは，例えば，輝度信号レベルの信号量又はヒストグラムなど，検波部１４３による検波結果にもとづいて，マイコン１３７により求められる。
【０１５５】
同様に，高輝度圧縮利得についても，マイコン１３７により求められる。高輝度領域の範囲がＬｂまで続くことから，高輝度領域であるＬｂからＬａの間をｎに収める必要があるので，Ｌｂでの高輝度圧縮利得（Ｇｓ）は，以下に示す式で表すことができる。
【０１５６】
Ｇｓ＝ｎ／（Ｌｂ−Ｌａ）・・・（式２）
【０１５７】
上記（式１）および（式２）に示された式により求められ，図１０に示す矢印方向のように，合成画像の高輝度ダイナミックレンジ及び低中輝度ダイナミックレンジが，圧縮部１４６により圧縮され，合成画像のダイナミックレンジが出力画像のダイナミックレンジに割当てられる。
【０１５８】
すなわち，合成画像のダイナミックレンジにおける高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分けられた割合が，出力画像のダイナミックレンジにおける高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの振分けられた割合に割当てられたと言うことができる。
【０１５９】
なお，上記（式１）及び（式２）に示された式により求められた低中輝度圧縮利得（Ｇｌ）又は高輝度圧縮利得（Ｇｓ）は，入力の輝度信号レベルのＬａ又はＬｂでの圧縮利得である。したがって，例えば，ＬａからＬｂの間の各輝度信号レベルでの圧縮利得は，正確にはＧｌ又はＧｓとは異なる。
【０１６０】
最終的な圧縮利得は，圧縮利得計算部１４５により求められる。圧縮利得計算部１４５は，マイコン１３７から送信されるＧｌ及びＧｓに基づいて，低中輝度領域での各輝度信号レベルにおける最終低中輝度圧縮利得と，高輝度領域での各輝度信号レベルにおける最終高輝度圧縮利得とを求める。そして，圧縮利得部１４５は，圧縮部１４６に最終高輝度圧縮利得と最終低中輝度圧縮利得とを送信する。
【０１６１】
（３．５　撮像装置１０２における割当処理（Ｓ１６６））
次に，図１１を参照しながら，本実施の形態にかかる割当処理（Ｓ１６６）について説明する。図１１は，本実施の形態にかかる出力画像の入出力特性の概略を示す説明図である。
【０１６２】
図１０とほぼ同様に，図１１に示す出力画像の入出力特性は，出力画像入出力特性１７２であり，補正後の出力画像の入出力特性は，補正出力画像入出力特性１７３であり，合成画像の入出力特性は，合成入出力特性２０２である。また出力画像のダイナミックレンジにおける低中輝度ダイナミックレンジと高輝度ダイナミックレンジとの割合（再現比率）は，ｍ：ｎである。なお，ｎ＝１−ｍである。なお，図１１の横軸は，圧縮部１４６に入力される画像信号の輝度信号レベルを示し，縦軸は，圧縮部１４６から出力される画像信号の輝度信号レベルを示す。
【０１６３】
ここで，例えば，合成画像の高輝度領域の信号が全く存在しない場合，出力画像のダイナミックレンジにおいて，低中輝度領域を低中輝度ダイナミックレンジである“ｍ”の範囲だけに，合成画像のダイナミックレンジを割当て，出力画像を再現することは，全体的に暗い階調となる。上記のようなダイナミックレンジの割当ては，不適切な割当て及び非効率な割当てであると言える。
【０１６４】
したがって，前に出力された出力画像のダイナミックレンジにおける高輝度ダイナミックレンジと低中輝度ダイナミックレンジの割合が，新たに入力されてくる合成画像についても適正であるのか，マイコン１３７が判断し，不適正であれば高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの割合を，適正な割合に変更し，補正を行う。このことから，効率的かつ適切なダイナミックレンジの割当が可能となる。
【０１６５】
上記割当を可能とするために，出力画像のダイナミックレンジにおける高輝度ダイナミックレンジと低中輝度ダイナミックレンジとに振分ける割合を，入力される合成画像ごとに，動的に変更させる。なお，本実施の形態にかかる割合の動的な変更は，合成画像の入力ごとに実行されるが，かかる例に限定されず，例えば，合成画像が５回入力されるごとに，ダイナミックレンジの振分ける割合を変更する場合でも実施可能である。
【０１６６】
高輝度ダイナミックレンジと低中輝度ダイナミックレンジとに振分ける割合の動的な変更は，合成画像に占める高輝度領域の信号量に応じて，高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの割合，ｍ：ｎを補正する。
【０１６７】
本実施の形態にかかる高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの割合の補正は，上記高輝度領域の信号量から求められる高輝度領域の割合（高輝度領域の面積）又は高輝度領域の平均輝度信号レベルに基づき行われる。以下，高輝度領域の面積の場合，高輝度領域の平均輝度信号レベルの場合とに分けて説明する。
【０１６８】
なお，本実施の形態にかかるダイナミックレンジの補正は，合成画像に占める高輝度領域に応じて行われる場合を例にあげて説明するが，かかる例に限定されず，低輝度領域もしくは低中輝度領域の信号量から求められる面積又は平均輝度信号レベルに基づき補正される場合であっても実施可能である。
【０１６９】
（３．５．１　高輝度領域の面積に基づく場合の割当処理（Ｓ１６６））
上記低中輝度ダイナミックレンジと高輝度ダイナミックレンジとの割合（ｍ：ｎ）を補正した補正後の割合を「ｍ’：ｎ’」とすると，以下に示す式で表すことができる。
【０１７０】
ｍ’＝ｆ（ｘ）×ｎ＋ｍ・・・（式３）
【０１７１】
ｎ’＝１−ｍ’　　　　・・・（式４）
【０１７２】
なお，上記（式３）に示す式のｆ（ｘ）は，高輝度領域の面積による補正関数である。ここで，図１２を参照しながら，上記補正関数であるｆ（ｘ）の入出力特性について説明する。図１２は，本実施の形態にかかる高輝度領域の面積による補正関数の概略を示す説明図である。
【０１７３】
図１２に示すように，補正関数の入出力特性は，面積入出力特性２２０である。なお，横軸は，合成画像に占める高輝度領域の面積の割合であり，縦軸は補正関数ｆ（ｘ）の補正値である。
【０１７４】
また図１２に示すように，高輝度領域の面積の割合がＲｂ未満Ｒａ以上の場合は，上記ｆ（ｘ）の補正値が，“１．０”から“０”の間の値のいずれかである。さらに，上記（式３）及び（式４）に示す式から，補正後のｍ’およびｎ’が求められ，割当処理（Ｓ１６６）される。なお，Ｒａ未満である場合は，高輝度ダイナミックレンジが，全て低中輝度ダイナミックレンジに割当処理（Ｓ１６６）され，Ｒｂを超えた場合は，割当処理（Ｓ１６６）が行われずにそのままである。
【０１７５】
したがって，図１１および図１２に示すように，高輝度領域の面積の割合がＲｂ未満Ｒａ以上の場合は，Ｒａに高輝度領域の面積の割合が近づくにつれて，補正後のｍ’が増加する。つまり，補正出力画像入出力特性１７３が，Ｌａ軸上，垂直方向の上方向に移動する。これは，高輝度領域が減少しているため低中輝度ダイナミックレンジに割当てる割合が増えることを示す。また逆にＲｂに高輝度領域の面積の割合が近づくにつれて，補正後のｍ’が減少し，図１１に示す補正出力画像入出力特性は，Ｌａ軸上，垂直方向の下方向に移動し，ｍに近づく。
【０１７６】
また図１２に示すように，高輝度領域に割当てられている出力画像の高輝度ダイナミックレンジは，Ｒａ未満の場合は全て，低中輝度ダイナミックレンジに割当てられる。
【０１７７】
このことにより，高輝度領域が少なくなるにつれて，低中輝度ダイナミックレンジに割当てられるダイナミックレンジが増える。したがって，低中輝度領域の階調再現性が向上する。つまり，入力される出力画像ごとに，高輝度領域の信号量に応じて，動的に高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの割合が変更され，出力画像の適正なダイナミックレンジに補正される。
【０１７８】
なお，本実施の形態にかかる補正関数ｆ（ｘ）は，単調変動である場合を例に挙げたが，かかる例に限定されず，例えば，２次曲線のような補正関数ｆ（ｘ）などである場合であっても実施可能である。
【０１７９】
また，高輝度領域の平均輝度信号レベルに基づく場合の割当処理（Ｓ１６６）は，上記高輝度領域の面積に基づく場合の割当処理（Ｓ１６６）の場合と，ほぼ同様な構成であり，図１３に示すように，高輝度領域の平均輝度信号レベルの場合の入出力特性は，平均入出力特性２３０であり，横軸は高輝度領域の平均輝度信号レベルである。
【０１８０】
したがって，図１１および図１３に示すように，高輝度領域の平均輝度信号レベルがＲｂ未満Ｒａ以上の場合は，Ｒａに高輝度領域の面積の割合が近づくにつれて，補正後のｍ’が増加する。つまり，補正出力画像入出力特性１７３が，Ｌａ軸の上方向に移動する。これは，高輝度領域が減少しているため低中輝度ダイナミックレンジに割当てる割合が増えることを示す。
【０１８１】
また図１３に示すように，高輝度領域に割当てられている出力画像の高輝度ダイナミックレンジは，Ｒａ未満の場合は全て，低中輝度ダイナミックレンジに割当てられる。
【０１８２】
このことにより，高輝度領域の信号量が少なくなるに従い，低中輝度ダイナミックレンジに割当てられるダイナミックレンジが増え，低中輝度領域の階調再現性が向上する。つまり，入力される出力画像ごとに，高輝度領域の信号量に応じて，動的に高輝度ダイナミックレンジと低中輝度ダイナミックレンジとの割合が変更され，出力画像の適正なダイナミックレンジに補正される。なお，本実施の形態にかかる補正後のｍ’及びｎ’は，マイコン１３７により求められる。
【０１８３】
なお，本実施の形態にかかるＲａ及びＲｂは，例えば，撮像装置１０２の特性，または撮像する被写体などに応じて，適宜変更することが可能である。
【０１８４】
さらに，上記の高輝度領域の面積と平均輝度信号レベルの双方を複合した場合であっても実施可能である。この場合，高輝度領域の面積の割合をｘ，高輝度部分の平均輝度信号レベルをｘ’とすると，補正関数は，Ｆ（ｘ，ｘ’）と表される。また，上記記載における説明と同様に補正後の割合を，「ｍ’：ｎ’」とすると，以下に示す式で表すことができる。
【０１８５】
ｍ’＝Ｆ（ｘ，ｘ’）×ｎ＋ｍ・・・（式５）
【０１８６】
ｎ’＝１−ｍ’　　　　　　　・・・（式６）
【０１８７】
なお，上記（式５）及び（式６）に示された式は，上記説明とほぼ同様な構成であるため，詳細な説明は省略する。
【０１８８】
上記圧縮処理（Ｓ１６８）が終了すると，圧縮部１４６は，映像信号として出力画像を，信号後処理ブロックに送信し，一連の画像出力動作を終了する。
【０１８９】
本実施の形態にかかるダイナミックレンジは，輝度が相対的に低中輝度に該当するダイナミックレンジを低中輝度ダイナミックレンジとし，輝度が相対的に高輝度に該当するダイナミックレンジを高輝度ダイナミックレンジとするが，かかる例に限定されず，例えば低中輝度ダイナミックレンジを，さらに低輝度ダイナミックレンジと，中輝度ダイナミックレンジとに分ける場合であっても実施可能である。
【０１９０】
以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１９１】
上記実施の形態においては，撮像装置１０２の撮像は，白黒画像である場合を例に説明したが，かかる例に限定されず，例えば，カラー画像もしくはカラー画像及び白黒画像を撮像する場合であっても実施可能である。
【０１９２】
【発明の効果】
以上説明したように，本発明によれば，長時間露光画像と，短時間露光画像とに割当てられる各々のダイナミックレンジを，高輝度領域の面積，または高輝度部分の平均輝度信号レベルに応じて，動的に変更させることで，例えば，階調，露光など，常に最適な条件で画像を再現することが可能となる。さらに長時間露光画像において，信号の存在しない輝度信号レベルの範囲，または短時間露光画像と重複している輝度信号レベルの範囲などの不要な部分を合成する際に除外することで，より効率的なダイナミックレンジの使用が可能となる。
【図面の簡単な説明】
【図１】本実施の形態にかかるワイドダイナミックカメラの概略的な構成を示す斜視図である。
【図２】本実施の形態にかかる窓を備えた屋内を撮影する場合の概略的な被写体を示す説明図である。
【図３】本実施の形態にかかるワイドダイナミックレンジカメラの概略的な構成を示すブロック図である。
【図４】本実施の形態にかかる信号前処理ブロックの概略的な構成を示すブロック図である。
【図５】本実施の形態にかかるタイミング調整部における同時化処理の概略を示す説明図である。
【図６】本実施の形態にかかる撮像装置の画像出力処理の概略を示すフローチャートである。
【図７】本実施の形態にかかる合成処理時の画像の入出力特性の概略を示す説明図である。
【図８】本実施の形態にかかる長時間露光画像の輝度信号レベルの分布の概略を示す累積ヒストグラムである。
【図９】本実施の形態にかかる短時間露光画像の輝度信号レベルの分布の概略を示す累積ヒストグラムである。
【図１０】本実施の形態にかかる出力画像の入出力特性の概要を示す説明図である。
【図１１】本実施の形態にかかる出力画像の入出力特性の概略を示す説明図である。
【図１２】本実施の形態にかかる高輝度領域の面積による補正関数の概略を示す説明図である。
【図１３】本実施の形態にかかる高輝度領域の平均輝度信号レベルによる補正関数の概略を示す説明図である。
【符号の説明】
１０２　：撮像装置
１３０　：光学部品
１３１　：撮像素子
１３２　：前処理部
１３３　：信号処理部
１３４　：出力部
１３５　：ＴＧ
１３６　：ＥＶＲ
１３７　：マイコン
１３８　：光学部品制御回路
１３９　：記録媒体
【図１】
2004120205.tif 000003
【図２】
2004120205.tif 000004
【図３】
2004120205.tif 000005
【図４】
2004120205.tif 000006
【図５】
2004120205.tif 000007
【図６】
2004120205.tif 000008
【図７】
2004120205.tif 000009
【図８】
2004120205.tif 000010
【図９】
2004120205.tif 000011
【図１０】
2004120205.tif 000012
【図１１】
2004120205.tif 000013
【図１２】
2004120205.tif 000014
【図１３】
2004120205.tif 000015