(57)【要約】【課題】連続撮像に際して、連続撮像の各コマ間の画像の明るさやコントラストのバラツキがなく、主被写体のコントラストを損なうこともなく、処理時間の短縮を図ることが可能な撮像装置および撮像システムを提供すること。【解決手段】出力画像のダイナミックレンジが可変に制御可能な撮像装置において、連続撮像での出力画像のダイナミックレンジが一定となるように制御することで、被写体の輝度変化に関わらず、連続撮像中にダイナミックレンジが一定とされた連続撮像画像群を得ることができる撮像装置および撮像システムを提供することができる。【選択図】図３
2006352825.tif 000002
【特許請求の範囲】
【請求項１】
連続撮像モードを設定するモード設定手段を備えた撮像装置において、
前記撮像装置の出力画像のダイナミックレンジを制御する出力ダイナミックレンジ制御手段を備え、
前記モード設定手段により連続撮像モードが設定されているときに、
前記出力ダイナミックレンジ制御手段は、連続撮像中における前記撮像装置の出力画像のダイナミックレンジを一定に制御することを特徴とする撮像装置。
【請求項２】
連続撮像モードを設定するモード設定手段を備えた撮像装置において、
複数の異なる光電変換特性を有する撮像素子と、
該撮像素子のダイナミックレンジを制御する撮像ダイナミックレンジ制御手段とを備え、
前記モード設定手段により連続撮像モードが設定されているときに、
前記撮像ダイナミックレンジ制御手段は、連続撮像中の前記撮像素子のダイナミックレンジを一定に制御することを特徴とする撮像装置。
【請求項３】
連続撮像モードを設定するモード設定手段を備えた撮像装置において、
複数の異なる光電変換特性を有する撮像素子と、
該撮像素子の撮像出力のダイナミックレンジを制御する処理ダイナミックレンジ制御手段とを備え、
前記モード設定手段により連続撮像モードが設定されているときに、
前記処理ダイナミックレンジ制御手段は、連続撮像中の撮像素子の撮像出力のダイナミックレンジを一定に制御することを特徴とする撮像装置。
【請求項４】
前記処理ダイナミックレンジ制御手段は、
前記撮像素子の撮像出力のダイナミックレンジを圧縮する圧縮処理手段と、
前記モード設定手段により連続撮像モードが設定されているときに、
連続撮像中の前記圧縮処理手段の圧縮率を一定に制御する圧縮率制御手段とを有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
被写体を撮像する際の露出を一定に制御する露出制御手段と、
複数の異なる光電変換特性を有する撮像素子と、
前記撮像素子のダイナミックレンジを制御する撮像ダイナミックレンジ制御手段と、
前記撮像素子の撮像画像のダイナミックレンジを圧縮する圧縮処理手段と、
前記圧縮処理手段の圧縮率を制御する圧縮率制御手段とをさらに有し、
前記撮像ダイナミックレンジ制御手段により前記撮像素子のダイナミックレンジを一定とし、かつ、前記圧縮率制御手段により前記圧縮処理手段の圧縮率を一定にすることで、連続撮像中における前記撮像装置の出力画像のダイナミックレンジを一定に制御することを特徴とする請求項１に記載の撮像装置。
【請求項６】
被写体を撮像する際の露出を可変に制御する露出制御手段と、
複数の異なる光電変換特性を有する撮像素子と、
前記撮像素子のダイナミックレンジを制御する撮像ダイナミックレンジ制御手段と、
前記撮像素子の撮像画像のダイナミックレンジを圧縮する圧縮処理手段と、
前記圧縮処理手段の圧縮率を制御する圧縮率制御手段とをさらに有し、
前記撮像ダイナミックレンジ制御手段により前記撮像素子のダイナミックレンジを可変に制御し、かつ、前記圧縮率制御手段により前記圧縮処理手段の圧縮率を可変に制御することで、連続撮像中における前記撮像装置の出力画像のダイナミックレンジを一定に制御することを特徴とする請求項１に記載の撮像装置。
【請求項７】
連続撮像モードを設定するモード設定手段を備えた撮像装置と、
前記撮像装置の撮像画像を処理する画像処理装置とを備えた撮像システムにおいて、
前記画像処理装置は、
前記撮像装置の撮像画像のダイナミックレンジを圧縮する圧縮処理手段と、
前記モード設定手段により、前記撮像装置が連続撮像モードに設定されているときに、
前記圧縮処理手段により、前記撮像装置の連続撮像画像のダイナミックレンジを圧縮する場合の圧縮率を一定に制御する圧縮率制御手段とを有することを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、連続撮像モードを備えた撮像装置、および、該撮像装置と画像処理装置とを備えた撮像システムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像素子が
扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジ（以下、Ｄレンジと言う）を拡大させることが１つの大きなテーマとなっている。
【０００３】
Ｄレンジの拡大に関し、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、ＭＯＳＦＥＴ等を備えた対数変換回路を付加し、前記ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした対数変換型撮像素子が知られている（例えば、特許文献１参照）。
【０００４】
また、対数変換型撮像素子において、ＭＯＳＦＥＴに特定のリセット電圧を与えることで、固体撮像素子本来の出力特性、すなわち入射光量に応じて電気信号が線形的に変換されて出力される線形動作状態と、前述の対数動作状態とを自動的に切り替えることが可能（以下、リニアログ特性と言う）とされた対数変換型撮像素子（以下、リニアログセンサと言う）が知られている（例えば、特許文献２参照）。さらに、線形動作状態から対数動作状態へ自動的に切り替え可能とすると共に、ＭＯＳＦＥＴのリセット時間を調整することでＭＯＳＦＥＴのポテンシャル状態を調整可能とした撮像装置が開示されている（例えば、特許文献３参照）。
【０００５】
ところで、リニアログセンサを線形動作状態で用いた場合、光電変換素子で発生した電荷量に比例した出力が得られることから、低輝度の被写体でも高コントラストな（高い階調性を有した）画像信号が得られる等の利点がある反面、Ｄレンジが狭くなってしまうという不都合がある。一方、リニアログセンサを対数動作状態で用いた場合、入射光量に対して自然対数的に変換された出力が得られることから、広いＤレンジが確保できるという利点がある反面、画像信号が対数圧縮されることからコントラスト性が悪くなるという不都合がある。
【０００６】
さらに、リニアログセンサ以外にも、露光量の異なる複数の画面から適正レベルの画面部分を選択して合成することにより、個々の画面よりも広いＤレンジの画像を合成する撮像装置（例えば、特許文献４参照）や、撮像素子の光電変換信号電荷を信号電圧に変換する電荷電圧変換部を持ち、電荷電圧変換部は異なる電圧依存性を有する複数の容量からなり、Ｄレンジが可変であるような撮像素子（例えば、特許文献５参照）等も提案されている。
【０００７】
しかし、特許文献４で提案された撮像素子は、露光量の異なる画像から画像処理で画像を合成することから、単純な画像合成では合成の繋ぎ目が不自然で非常に見にくい画像になるため、非常に複雑な画像合成が必須となり、そのためにコストが非常に高くなる。また、特許文献５で提案された撮像素子は、素子構造が複雑で製造コストが高くなり、また容量の電圧依存性の制御も難しく、素子毎の調整等が必要でコストアップの要因となる。
【０００８】
特許文献３に係る撮像素子および撮像装置は、撮像素子を線形動作状態から対数動作状態へ自動的に切り替え可能とすることを開示しているに止まる。しかしながら、上述の線形動作状態及び対数動作状態の長所並びに短所に鑑みた場合、単に自動切り替えさせるだけでなく、それぞれの動作状態が備える長所を積極的に活用して撮像動作を行わせる構成とすることが望ましいと言える。例えば自動露光制御を行う場合においても、ターゲットとなる被写体の輝度と、撮像センサの線形動作状態から対数動作状態への切り替り点とを関連付けてその制御を行えば、専ら各動作状態が備える長所を活用した最適な自動露光制御を行い得る可能性がある。
【０００９】
そこで、本件出願人は、特願２００４−１５９７６０号において、撮像装置の露出制御を、当該撮像装置が備える撮像センサの光電変換特性と関連づけて行うことで、被写体からの光量（被写体輝度）に応じて、被写体を最適な露光状態で、しかも所定のＤレンジを確保した状態で撮像することができる撮像装置及び撮像方法を提案した。
【００１０】
一方、撮像装置の代表例であるデジタルカメラにおいて、連続撮像モードをもつものが知られている（例えば、非特許文献１参照）。ここで、連続撮像とは、動きのある被写体等の連続した画像を得るために、複数枚の写真を連続で撮像する手法である。
【００１１】
また、上記リニアログセンサのように撮像系の広Ｄレンジ化が進むのに反して、モニタ等の表示系の広Ｄレンジ化は、現状では撮像系ほど進んでおらず、たとえ撮像画像の広Ｄレンジ化が図られたとしても、表示系においてその効果を充分に発揮できないことになる。したがって、広Ｄレンジの撮像画像が表示系のＤレンジに収まるように（すなわち、観察者には広い輝度範囲の画像として観察されるように）、該撮像画像のＤレンジを圧縮させる必要がある。
【００１２】
ところで、“Ｄレンジの圧縮”には、局所的に画像の明暗を調整する、すなわち画像の照明成分を圧縮することでコントラスト（階調）を向上させる意味と、画像全体の明暗の関係をそのまま維持した状態で、文字通り、帯域（Ｄレンジ）を圧縮する（局所的な明暗調整とは無関係に画像を一律に圧縮する）意味との２つの意味があるが、これらを区別するべく、前者を「覆い焼き処理」、後者を「Ｄレンジ圧縮」と称するものとする。なお、後述するように、実質的に上記照明成分は低周波成分であり、また後述の反射率成分は高周波成分であると言うことができる。
【００１３】
従来、覆い焼き処理では、例えば画像から照明成分を抽出し（このとき反射率成分も抽出する）、この照明成分をＤレンジ圧縮し、Ｄレンジ圧縮後の照明成分と反射率成分とから、上述した局所的に画像の明暗が調整された新たな画像を生成する。
【００１４】
これに関し、例えば図１９（ａ）に示すように、リニアログセンサにより得られたリニアログ特性の光電変換特性を有する画像（以降、リニアログ画像という。このリニアログ画像は、後述の元画像Ｉに相当する）を、対数画像Ｉ１と線形画像Ｉ２とに分割抽出し、それぞれの画像で覆い焼き処理を行った後、これらの画像を合成する技術が提案されている（例えば、特許文献６参照）。特許文献６においては、画像合成時のＳ／Ｎ比の悪化を防止するべく、図１９（ｂ）に示すように、画像合成手段では、当該覆い焼き処理後に合成された画像Ｉ’の画素値が元画像Ｉの画素値より大きくなる場合（画像Ｉ’＞画像Ｉ；図１９（ｂ）の９０１の部分）、画像Ｉ’（図１９（ｂ）の９０１の部分）でなく元画像Ｉ（図１９（ｂ）の９０２の部分）の方を選択するようにしている。
【００１５】
また、画像の圧縮に際して、もともと十分なコントラストが得られていた部分の画像のコントラストを低下させないように、画像信号を或る基準値を用いて大小の信号に分類し、それぞれに対して異なったＤレンジ圧縮用補正データを用いてＤレンジ圧縮を行う技術が開示されている（例えば、特許文献７参照）。
【特許文献１】特開平１１−２９８７９８号公報
【特許文献２】特開２００２−７７７３３号公報
【特許文献３】特開２００２−３００４７６号公報
【特許文献４】特公平７−９７８４１号公報
【特許文献５】特開２０００−１６５７５５号公報
【特許文献６】特願２００４−３７７８７５号公報
【特許文献７】特許第２５０９５０３号公報
【非特許文献１】コニカミノルタフォトイメージング株式会社：αスィートＤＩＧＩＴＡＬ  カタログ（（http://konicaminolta.jp/products/consumer/digital_camera/catalogue/pdf/a-sweetdigital.pdf）１／８ページ「撮影機能」の「連続撮影」欄；２００５年９月２９日検索）
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、上記従来技術や特願２００４−１５９７６０号には、撮像系を広Ｄレンジ化したり、表示系のＤレンジに収まるようにＤレンジ圧縮する場合において、連続撮像が考慮されていなかった。従って、連続撮像中の被写体の輝度変化に関わらず、各撮像コマ間でＤレンジが一定とされた連続撮像コマ群を取得することができなかった。
【００１７】
また、特許文献６に示す技術では、入力画像のＤレンジに応じて圧縮率を設定しているため、場合によっては、主被写体（主被写体輝度）の照明成分が圧縮されることがあり、元画像（撮影画像）と比べて、例えば一般的に写真における重要な部分である人物の顔の階調がつぶれてしまう（例えば明るい顔の部分がさらに明るくなり所謂白飛びした状態になる）。すなわち図２０（ａ）に示すように、輝度範囲９１１に主被写体輝度が入ると、圧縮によりコントラストが低下するといった問題がある。
【００１８】
この問題は、図２０（ｂ）に示すように、特許文献７に示された技術を用いて、元画像９２１の所定値θ未満の領域を覆い焼き処理しないことで回避されることもあるが、所定値θ以上の領域において例えば反射率成分９２２が覆い焼き処理された場合には、上述したように画像Ｉ’＞元画像Ｉとなることがあり、Ｓ／Ｎ比が悪化してしまう（暗い部分の画像を明るくするとノイズが目立つようになり画質が低下する）。また、特許文献６の技術では、画像全体に対する覆い焼き処理を行った後、画像Ｉ’と元画像Ｉとを比較するため、処理時間が長くなってしまう。一般的に覆い焼き処理における処理時間の多くは、メディアンフィルタやイプシロンフィルタ等のエッジ維持フィルタを用いた照明成分の抽出処理に要している。
【００１９】
このように、従来の技術は、連続撮像中のＤレンジの制御について考慮されたものではなかった。
【００２０】
本発明は、上記事情に鑑みてなされたもので、複数の異なる光電変換特性を有する撮像素子を用いた連続撮像に際して、連続撮像の各コマ間の画像の明るさやコントラストのバラツキがなく、主被写体のコントラストを損なうこともなく、処理時間の短縮を図ることが可能な撮像装置および撮像システムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の目的は、下記構成により達成することができる。
【００２２】
１．  連続撮像モードを設定するモード設定手段を備えた撮像装置において、
前記撮像装置の出力画像のダイナミックレンジを制御する出力ダイナミックレンジ制御手段を備え、
前記モード設定手段により連続撮像モードが設定されているときに、
前記出力ダイナミックレンジ制御手段は、連続撮像中における前記撮像装置の出力画像のダイナミックレンジを一定に制御することを特徴とする撮像装置。
【００２３】
２．  連続撮像モードを設定するモード設定手段を備えた撮像装置において、
複数の異なる光電変換特性を有する撮像素子と、
該撮像素子のダイナミックレンジを制御する撮像ダイナミックレンジ制御手段とを備え、
前記モード設定手段により連続撮像モードが設定されているときに、
前記撮像ダイナミックレンジ制御手段は、連続撮像中の前記撮像素子のダイナミックレンジを一定に制御することを特徴とする撮像装置。
【００２４】
３．  連続撮像モードを設定するモード設定手段を備えた撮像装置において、
複数の異なる光電変換特性を有する撮像素子と、
該撮像素子の撮像出力のダイナミックレンジを制御する処理ダイナミックレンジ制御手段とを備え、
前記モード設定手段により連続撮像モードが設定されているときに、
前記処理ダイナミックレンジ制御手段は、連続撮像中の撮像素子の撮像出力のダイナミックレンジを一定に制御することを特徴とする撮像装置。
【００２５】
４．  前記処理ダイナミックレンジ制御手段は、
前記撮像素子の撮像出力のダイナミックレンジを圧縮する圧縮処理手段と、
前記モード設定手段により連続撮像モードが設定されているときに、
連続撮像中の前記圧縮処理手段の圧縮率を一定に制御する圧縮率制御手段とを有することを特徴とする３に記載の撮像装置。
【００２６】
５．  被写体を撮像する際の露出を一定に制御する露出制御手段と、
複数の異なる光電変換特性を有する撮像素子と、
前記撮像素子のダイナミックレンジを制御する撮像ダイナミックレンジ制御手段と、
前記撮像素子の撮像画像のダイナミックレンジを圧縮する圧縮処理手段と、
前記圧縮処理手段の圧縮率を制御する圧縮率制御手段とをさらに有し、
前記撮像ダイナミックレンジ制御手段により前記撮像素子のダイナミックレンジを一定とし、かつ、前記圧縮率制御手段により前記圧縮処理手段の圧縮率を一定にすることで、連続撮像中における前記撮像装置の出力画像のダイナミックレンジを一定に制御することを特徴とする１に記載の撮像装置。
【００２７】
６．  被写体を撮像する際の露出を可変に制御する露出制御手段と、
複数の異なる光電変換特性を有する撮像素子と、
前記撮像素子のダイナミックレンジを制御する撮像ダイナミックレンジ制御手段と、
前記撮像素子の撮像画像のダイナミックレンジを圧縮する圧縮処理手段と、
前記圧縮処理手段の圧縮率を制御する圧縮率制御手段とをさらに有し、
前記撮像ダイナミックレンジ制御手段により前記撮像素子のダイナミックレンジを可変に制御し、かつ、前記圧縮率制御手段により前記圧縮処理手段の圧縮率を可変に制御することで、連続撮像中における前記撮像装置の出力画像のダイナミックレンジを一定に制御することを特徴とする１に記載の撮像装置。
【００２８】
７．  連続撮像モードを設定するモード設定手段を備えた撮像装置と、
前記撮像装置の撮像画像を処理する画像処理装置とを備えた撮像システムにおいて、
前記画像処理装置は、
前記撮像装置の撮像画像のダイナミックレンジを圧縮する圧縮処理手段と、
前記モード設定手段により、前記撮像装置が連続撮像モードに設定されているときに、
前記圧縮処理手段により、前記撮像装置の連続撮像画像のダイナミックレンジを圧縮する場合の圧縮率を一定に制御する圧縮率制御手段とを有することを特徴とする撮像システム。
【発明の効果】
【００２９】
本発明によれば、出力画像のダイナミックレンジが可変に制御可能な撮像装置において、連続撮像での出力画像のダイナミックレンジが一定となるように制御することで、被写体の輝度変化に関わらず、連続撮像中にダイナミックレンジが一定とされた連続撮像画像群を得ることができる撮像装置および撮像システムを提供することができる。また、請求項２、３および７の発明によれば、撮像素子または撮像出力のダイナミックレンジを固定することで連続撮像中の処理時間の短縮を図ることができる。さらに、請求項３および７の発明によれば、連続撮像の各コマ間の画像の明るさやコントラストのバラツキがない撮像装置および撮像システムを提供することができる。
【発明を実施するための最良の形態】
【００３０】
以下、図面に基づき本発明の実施の形態を説明する。
【００３１】
図１は、本発明に係る撮像装置の一例であるデジタルカメラの外観模式図で、図１（ａ）は正面図、図１（ｂ）は背面図である。
【００３２】
デジタルカメラ１のボディ１０の正面には、交換レンズ２０が取り付けれられている。
【００３３】
ボディ１０の上面には、撮像のための操作部材であるレリーズボタン１０１が設置されており、ボディ１０の内部でレリーズボタン１０１の下部には、レリーズボタン１０１の押し込みの１段目で動作するＡＦ／ＡＥスイッチ１０１ａと、レリーズボタンの押し込みの２段目で動作するレリーズスイッチ１０１ｂを構成する２段スイッチが配置されている。また、ボディ１０の上部には、フラッシュ１０２が内蔵され、デジタルカメラ１の動作モードを設定するモード設定ダイアル１１２が配置されている。モード設定ダイアル１１２は、本発明におけるモード設定手段として機能する。
【００３４】
ボディ１０の背面には、デジタルカメラ１の電源をオン／オフするための電源スイッチ１１１、上下左右と中央の５つのスイッチから成り、デジタルカメラ１の各動作モードでの各種設定を行うためのジョグダイアル１１５、ファインダ接眼レンズ１２１ａ、記録された画像を表示するための画像表示デバイス１３１が配置されている。
【００３５】
図２は、図１に示したデジタルカメラ１の回路の一例を示すブロック図である。図中、図１と同じ部分には同じ番号を付与した。
【００３６】
デジタルカメラ１の制御部であるカメラ制御回路１５０は、ＣＰＵ（中央処理装置）１５１、ワークメモリ１５２、記憶部１５３等から構成され、記憶部１５３に記憶されているプログラムをワークメモリ１５２に読み出し、当該プログラムに従ってデジタルカメラ１の各部を集中制御する。また、カメラ制御回路１５０は、電源スイッチ１１１、モード設定ダイアル１１２、ジョグダイアル１１５、ＡＦ／ＡＥスイッチ１０１ａ、レリーズスイッチ１０１ｂ等からの入力を受信し、光学ファインダ１２１上の測光モジュール１２１ｂと交信することで測光動作を制御し、ＡＦモジュール１４４と交信することで合焦動作を制御し、ミラー駆動手段１４３を介してレフレックスミラー１４１及びサブミラー１４２を駆動し、シャッタ駆動手段１４６を介してシャッタ１４５を制御し（ここに、カメラ制御回路１５０は、本発明における露出制御手段として機能する）、フラッシュ制御回路１４７を介してフラッシュ１０２を制御し、撮像制御回路１６１と交信することで撮像動作を制御すると共に、出力画像データや各種情報を画像表示デバイス１３１に表示し、インファインダ表示手段１３２に各種情報を表示する。
【００３７】
さらに、カメラ制御回路１５０は、ボディ１０と交換レンズ２０の間の交信部として機能する、マウント（ボディ側）１７１上に設けられたＢＬ交信部（ボディ側）１７２と、マウント（レンズ側）２７１上に設けられたＢＬ交信部（レンズ側）２７２を介して、交換レンズ２０のレンズインターフェース２５１経由で、レンズ２１１のフォーカスとズームを制御するレンズ制御回路２４１、絞り２２１の制御を行う絞り制御回路２２２、交換レンズ２０の固有情報を格納しているレンズ情報記憶部２３１と交信を行うことで、交換レンズ２０全体を制御する（ここに、カメラ制御回路１５０は、本発明における露出制御手段として機能する）。
【００３８】
交換レンズ２０のレンズ２１１によって結像される画像は、撮像素子１６２で光電変換された後、アンプ１６３で増幅され、アナログ／デジタル（Ａ／Ｄ）変換器１６４でデジタルデータに変換され、一旦画像メモリ１８１に記録された後、画像処理装置１６５で既定の画像処理を施したデジタル画像データに変換され、最終的にはメモリカード１８２に記録される。これらの動作は、カメラ制御回路１５０の制御下で、撮像制御回路１６１によって制御される。
【００３９】
ここに、カメラ制御回路１５０および撮像制御回路１６１は、本発明における撮像ダイナミックレンジ制御手段として機能し、画像処理装置１６５は、本発明における処理ダイナミックレンジ制御手段として機能し、カメラ制御回路１５０、撮像制御回路１６１および画像処理装置１６５は、本発明における出力ダイナミックレンジ制御手段として機能する。
【００４０】
次に、デジタルカメラ１における連続撮像について説明する。図３乃至図７は、本実施の形態における連続撮像の動作の流れを示すフローチャートであり、図３がメインルーチン、図４乃至図７が各連続撮像モードを示すサブルーチンである。各図で、同じステップには同じ番号を付与する。
【００４１】
図３で、ステップＳ１０１で電源スイッチ１１１が操作されてカメラ電源が投入されると、ステップＳ１１１で、モード設定ダイアル１１２で設定されているデジタルカメラ１の動作モードが確認される。カメラモードに設定されている場合（ステップＳ１１１；ＹＥＳ）は、ステップＳ１２１に進む。カメラモード以外（例えば、画像再生モード等）に設定されている場合（ステップＳ１１１；ＮＯ）は、設定に従った各モードの制御に移行する。説明は省略する。
【００４２】
ステップＳ１２１で、デジタルカメラ１のカメラモードでの撮像モードが、連続撮像モードに設定されているかどうかが確認される。連続撮像モードに設定されている場合（ステップＳ１２１；ＹＥＳ）は、ステップＳ１３１に進む。連続撮像モード以外の撮像モード（例えば、ワンショット撮像モードやブラケット撮像モード等）に設定されている場合（ステップＳ１２１；ＮＯ）は、設定に従った各モードの制御に移行する。説明は省略する。
【００４３】
ステップＳ１３１で、連続撮像モード時に撮像素子のＤレンジ（以下、撮像Ｄレンジと言う）を一定にする設定がなされているかどうかが確認される。撮像Ｄレンジを一定にする設定がなされている場合（ステップＳ１３１；ＹＥＳ）は、ステップＳ１３２に進み、連続撮像モード時に露出を一定にする設定がなされているかどうかが確認される。露出を一定にする設定がなされている場合（ステップＳ１３２；ＹＥＳ）は、ステップＳ２３１に進み、連続撮像モード時に撮像素子の撮像出力のＤレンジ（以下、処理Ｄレンジと言う）を一定にする設定がなされているかどうかが確認される。処理Ｄレンジを一定にする設定がなされている場合（ステップＳ２３１；ＹＥＳ）は、ステップＳ１３３に進み、図４（ａ）の「連写Ａ１モード」サブルーチンが実行されて、ステップ１１１に戻り、以降、上述の動作の流れを繰り返す。
【００４４】
ステップＳ２３１で処理Ｄレンジを一定にする設定がなされていない場合（ステップＳ２３１；ＮＯ）は、ステップＳ２３２に進み、図４（ｂ）の「連写Ａ２モード」サブルーチンが実行されて、ステップＳ１１１に戻り、以降、上述の動作の流れを繰り返す。
【００４５】
ステップＳ１３２で露出を一定にする設定がなされていない場合（ステップＳ１３２；ＮＯ）、ステップＳ２４１に進み、連続撮像モード時に処理Ｄレンジを一定にする設定がなされているかどうかが確認される。処理Ｄレンジを一定にする設定がなされている場合（ステップＳ２４１；ＹＥＳ）は、ステップＳ１４１に進み、図５（ａ）の「連写Ｂ１モード」サブルーチンが実行されて、ステップ１１１に戻り、デジタルカメラ１の動作モードがカメラモードから変更されていないかどうかが確認される。以降、上述の動作の流れを繰り返す。
【００４６】
ステップＳ２４１で処理Ｄレンジを一定にする設定がなされていない場合（ステップＳ２４１；ＮＯ）は、ステップＳ２４２に進み、図５（ｂ）の「連写Ｂ２モード」サブルーチンが実行されて、ステップＳ１１１に戻り、以降、上述の動作の流れを繰り返す。
【００４７】
ステップＳ１３１で、Ｄレンジを一定にする設定がなされていない場合（ステップＳ１３１；ＮＯ）は、ステップＳ１５１で、露出を一定にする設定がなされているかどうかが確認される。露出を一定にする設定がなされている場合（ステップＳ１５１；ＹＥＳ）は、ステップＳ２５１に進み、連続撮像モード時に処理Ｄレンジを一定にする設定がなされているかどうかが確認される。処理Ｄレンジを一定にする設定がなされている場合（ステップＳ２５１；ＹＥＳ）は、ステップＳ１５２に進み、図６（ａ）の「連写Ｃ１モード」サブルーチンが実行されて、ステップ１１１に戻り、以降、上述の動作の流れを繰り返す。
【００４８】
ステップＳ２５１で処理Ｄレンジを一定にする設定がなされていない場合（ステップＳ２５１；ＮＯ）は、ステップＳ２５２に進み、図６（ｂ）の「連写Ｃ２モード」サブルーチンが実行されて、ステップＳ１１１に戻り、以降、上述の動作の流れを繰り返す。
【００４９】
ステップＳ１５１で、露出を一定にする設定がなされていない場合（ステップＳ１５１；ＮＯ）は、ステップＳ２６１に進み、連続撮像モード時に処理Ｄレンジを一定にする設定がなされているかどうかが確認される。処理Ｄレンジを一定にする設定がなされている場合（ステップＳ２６１；ＹＥＳ）は、ステップＳ１６１に進み、図７（ａ）の「連写Ｄ１モード」サブルーチンが実行されて、ステップ１１１に戻り、以降、上述の動作の流れを繰り返す。
【００５０】
ステップＳ２６１で処理Ｄレンジを一定にする設定がなされていない場合（ステップＳ２６１；ＮＯ）は、ステップＳ２６２に進み、図７（ｂ）の「連写Ｄ２モード」サブルーチンが実行されて、ステップＳ１１１に戻り、以降、上述の動作の流れを繰り返す。
【００５１】
以上の各処理において、ステップＳ１３３「連写Ａ１モード」、ステップＳ１４１「連写Ｂ１モード」、ステップＳ２５２「連写Ｃ２モード」、ステップＳ１６１「連写Ｄ１モード」およびステップＳ２６２「連写Ｄ２モード」では、デジタルカメラ１の出力画像のダイナミックレンジを一定に保つ制御が可能で、連続撮像の各コマ間の画像の明るさやコントラストのバラツキがなく、主被写体のコントラストを損なうこともなく、処理時間の短縮を図ることが可能である。
【００５２】
図４（ａ）は、図３のステップＳ１３３の「連写Ａ１モード」、すなわち、撮像Ｄレンジと露出と処理Ｄレンジの全てを一定にした連続撮像を行うモードのサブルーチンである。
【００５３】
ステップＳ３０１で、レリーズボタン１０１が操作されて、ＡＦ／ＡＥスイッチ１０１ａがオンされたかどうかが確認される。オンされるまで、ステップＳ３０１で待機する。オンされたら（ステップＳ３０１；ＹＥＳ）、ステップＳ３１１でＡＦ動作が行われて合焦される。ステップＳ３１２で、測光モジュール１２１ｂで測光が行われ、ステップＳ３１３で、測光結果から、露出、すなわち交換レンズ２０の絞り２２１の絞り値とシャッタ１４５のシャッタ速度が設定される。
【００５４】
ステップＳ３１４で、ステップＳ３１３で設定された露出に合わせて、連続撮像の１コマ目の撮像Ｄレンジが設定される。ステップＳ３２１で、レリーズボタン１０１が操作されて、レリーズスイッチ１０１ｂがオンされたかどうかが確認される。オンされるまで、ステップＳ３０１からステップＳ３２１の動作の流れが繰り返される。オンされたら（ステップＳ３２１；ＹＥＳ）、ステップＳ３２２で、ステップＳ３１３で設定された絞り値およびシャッタ速度と、ステップＳ３１４で設定された撮像Ｄレンジで撮像が行われ、ステップＳ３２３で、撮像された画像と画像の付属情報（連写Ａ１モードで撮像されたことを表すフラグ等）が、画像メモリ１８１に一旦記録される。露出、すなわち絞り値とシャッタ速度と、撮像Ｄレンジは、連続撮像が終了するまで同一設定に保持される。
【００５５】
ステップＳ３３１で、レリーズボタン１０１が離されてレリーズスイッチ１０１ｂがオフされたかどうかが確認される。オフされていない場合（ステップＳ３３１；ＮＯ）、ステップＳ３２２に戻って、保持された露出と撮像Ｄレンジで撮像が行われ、ステップＳ３２３で、撮像された画像と画像の付属情報が、画像メモリ１８１に一旦記録される。レリーズスイッチ１０１ｂがオフされた場合（ステップＳ３３１；ＹＥＳ）、ステップＳ３４１で、画像メモリ１８１に記録されている連続撮像の画像に対して、図１７に示す「処理Ｄレンジ一定の覆い焼き処理サブルーチン」が実行され、ステップＳ３３２で、ステップＳ３４１の覆い焼き処理が施された連続撮像の出力画像と出力画像の付属情報がメモリカード１８２に記録され、メインルーチンに戻る。
【００５６】
図４（ｂ）は、図３のステップＳ２３２の「連写Ａ２モード」、すなわち、撮像Ｄレンジと露出が一定で、処理Ｄレンジが可変に設定された連続撮像を行うモードのサブルーチンである。
【００５７】
ステップＳ３０１からステップＳ３３１までは、図４（ａ）と同じである。ただし、ステップＳ３２３で画像と共に画像メモリ１８１に記録される画像の付属情報は「連写Ａ２モードで撮像されたことを表すフラグ等」である。レリーズスイッチ１０１ｂがオフされた場合（ステップＳ３３１；ＹＥＳ）、ステップＳ３４２で、画像メモリ１８１に記録されている連続撮像の画像に対して、図１８に示す「処理Ｄレンジ可変の覆い焼き処理サブルーチン」が実行され、ステップＳ３３２で、覆い焼き処理が施された連続撮像の出力画像と出力画像の付属情報がメモリカード１８２に記録され、メインルーチンに戻る。
【００５８】
上述した「連写Ａ１モード」および「連写Ａ２モード」では、ステップＳ３４１およびステップＳ３４２の「覆い焼き処理サブルーチン」を、ステップＳ３３１のレリーズスイッチ１０１ｂオフ、すなわち連続撮像終了後に行うこととしたが、ステップＳ３２３で撮像された画像と画像の付属情報を画像メモリ１８１に記録する時に、覆い焼き処理を行いながら記録してもよい。ただし、この場合は、連続撮像の速度を低下させない範囲で覆い焼き処理を行い、ＣＰＵ１５１の処理速度等の制約から完全に処理しきれなかった場合は、処理前の画像を画像メモリ１８１に一時的にバッファリングして、ＣＰＵ１５１の動作の空きを待って再度処理する等の対応を行うことが望ましい。「連写Ｂ１モード」以下の各連写モードについても同じである。
【００５９】
図５（ａ）は、図３のステップＳ１４１の「連写Ｂ１モード」、すなわち、撮像Ｄレンジと処理Ｄレンジとを一定にした連続撮像を行うモードのサブルーチンである。
【００６０】
「連写Ｂ１モード」では、ステップＳ３０１からステップＳ３２１までは図４（ａ）の「連写Ａ１モード」と同じフローで、ステップＳ４２２で、ステップＳ３１３で設定された絞り値およびシャッタ速度と、ステップＳ３１４で設定されたＤレンジで撮像が行われ、撮像Ｄレンジは、連続撮像が終了するまで同一設定に保持される。ステップＳ３２３で、撮像された画像と画像の付属情報（連写Ｂ１モードで撮像されたことを表すフラグ等）が、画像メモリ１８１に一旦記録される。
【００６１】
ステップＳ３３１で、レリーズボタン１０１が離されてレリーズスイッチ１０１ｂがオフされたかどうかが確認される。オフされていない場合（ステップＳ３３１；ＮＯ）、ステップＳ４４１で、測光モジュール１２１ｂで測光が行われ、ステップＳ４４２で、現在設定されている露出、すなわち絞り値とシャッタ速度の組み合わせをステップＳ４４１の測光結果に基づいて再設定し、ステップＳ４４３で、ステップＳ４４２で再設定された露出に合わせて撮像Ｄレンジを一定に保持するための処理を行い、ステップＳ４２２に戻って、保持された撮像Ｄレンジと再設定された露出で撮像が行われる。
【００６２】
レリーズスイッチ１０１ｂがオフされた場合（ステップＳ３３１；ＹＥＳ）、ステップＳ３４１で、画像メモリ１８１に記録されている連続撮像の画像に、処理Ｄレンジを一定に保つ覆い焼き処理が施され、ステップＳ３３２で、覆い焼き処理が施された連続撮像の出力画像と出力画像の付属情報がメモリカード１８２に記録され、メインルーチンに戻る。
【００６３】
図５（ｂ）は、図３のステップＳ２４２の「連写Ｂ２モード」、すなわち、撮像Ｄレンジが一定で、露出と処理Ｄレンジとが可変に設定された連続撮像を行うモードのサブルーチンである。
【００６４】
ステップＳ３０１からステップＳ３３１およびステップＳ４４１からステップＳ４４３までは、図５（ａ）と同じである。ただし、ステップＳ３２３で画像と共に画像メモリ１８１に記録される画像の付属情報は「連写Ｂ２モードで撮像されたことを表すフラグ等」である。レリーズスイッチ１０１ｂがオフされた場合（ステップＳ３３１；ＹＥＳ）、ステップＳ３４２で、画像メモリ１８１に記録されている連続撮像の画像に、処理Ｄレンジを可変にして覆い焼き処理が施され、ステップＳ３３２で、覆い焼き処理が施された連続撮像の出力画像と出力画像の付属情報がメモリカード１８２に記録され、メインルーチンに戻る。
【００６５】
図６（ａ）は、図３のステップＳ１５２の「連写Ｃ１モード」、すなわち露出を一定にした連続撮像を行うモードのサブルーチンである。
【００６６】
「連写Ｃ１モード」では、ステップＳ３０１からステップＳ３２１までは図４（ａ）の「連写Ａ１モード」と同じフローで、ステップＳ５２２で、ステップＳ３１３で設定された絞り値およびシャッタ速度と、ステップＳ３１４で設定されたＤレンジで撮像が行われ、露出は、連続撮像が終了するまで同一設定に保持される。ステップＳ３２３で、撮像された画像と画像の付属情報（連写Ｃ１モードで撮像されたことを表すフラグ等）が、画像メモリ１８１に一旦記録される。
【００６７】
ステップＳ３３１で、レリーズボタン１０１が離されてレリーズスイッチ１０１ｂがオフされたかどうかが確認される。オフされていない場合（ステップＳ３３１；ＮＯ）、ステップＳ５４１で、測光モジュール１２１ｂで測光が行われ、ステップＳ５４２で、ステップＳ４４１の測光結果に基づいて撮像Ｄレンジを再設定し、ステップＳ５２２に戻って、保持された露出と再設定された撮像Ｄレンジで撮像が行われる。
【００６８】
レリーズスイッチ１０１ｂがオフされた場合（ステップＳ３３１；ＹＥＳ）、ステップＳ３４１で、画像メモリ１８１に記録されている連続撮像の画像に、処理Ｄレンジを一定に保つ覆い焼き処理が施され、ステップＳ３３２で、覆い焼き処理が施された連続撮像の出力画像と出力画像の付属情報がメモリカード１８２に記録され、メインルーチンに戻る。
【００６９】
図６（ｂ）は、図３のステップＳ２５２の「連写Ｃ２モード」、すなわち、露出が一定で、撮像Ｄレンジと処理Ｄレンジとが可変に設定された連続撮像を行うモードのサブルーチンである。
【００７０】
ステップＳ３０１からステップＳ３３１およびステップＳ５４１からステップＳ５４２までは、図６（ａ）と同じである。ただし、ステップＳ３２３で画像と共に画像メモリ１８１に記録される画像の付属情報は「連写Ｃ２モードで撮像されたことを表すフラグ等」である。レリーズスイッチ１０１ｂがオフされた場合（ステップＳ３３１；ＹＥＳ）、ステップＳ３４２で、画像メモリ１８１に記録されている連続撮像の画像に、処理Ｄレンジを可変にして覆い焼き処理が施され、ステップＳ３３２で、覆い焼き処理が施された連続撮像の出力画像と出力画像の付属情報がメモリカード１８２に記録され、メインルーチンに戻る。
【００７１】
図７（ａ）は、図３のステップＳ１６１の「連写Ｄ１モード」、すなわち露出と撮像Ｄレンジが可変で、処理Ｄレンジが一定の連続撮像を行うモードのサブルーチンである。
【００７２】
「連写Ｄ１モード」では、ステップＳ３０１からステップＳ３２１までは図４（ａ）の「連写Ａ１モード」と同じフローで、ステップＳ６２２で、ステップＳ３１３で設定された絞り値およびシャッタ速度と、ステップＳ３１４で設定されたＤレンジで撮像が行われるが、露出も撮像Ｄレンジも連続撮像中一定にされることはない。ステップＳ３２３で、撮像された画像と画像の付属情報（連写Ｄ１モードで撮像されたことを表すフラグ等）が、画像メモリ１８１に一旦記録される。
【００７３】
ステップＳ３３１で、レリーズボタン１０１が離されてレリーズスイッチ１０１ｂがオフされたかどうかが確認される。オフされていない場合（ステップＳ３３１；ＮＯ）、ステップＳ６４１で、測光モジュール１２１ｂで測光が行われ、ステップＳ６４２で、露出、すなわち絞り値とシャッタ速度の組み合わせを、ステップＳ６４１の測光結果によって再設定し、ステップＳ６４３で、現在設定されている撮像Ｄレンジを、ステップＳ６４２で再設定された露出に合わせた既定値に再設定し、ステップＳ６２２に戻って、再設定された露出と再設定されたＤレンジで撮像が行われる。
【００７４】
図７（ｂ）は、図３のステップＳ２６２の「連写Ｄ２モード」、すなわち、露出も撮像Ｄレンジも処理Ｄレンジも全てが可変に設定された連続撮像を行うモードのサブルーチンである。
【００７５】
ステップＳ３０１からステップＳ３３１およびステップＳ６４１からステップＳ６４３までは、図７（ａ）と同じである。ただし、ステップＳ３２３で画像と共に画像メモリ１８１に記録される画像の付属情報は「連写Ｄ２モードで撮像されたことを表すフラグ等」である。レリーズスイッチ１０１ｂがオフされた場合（ステップＳ３３１；ＹＥＳ）、ステップＳ３４２で、画像メモリ１８１に記録されている連続撮像の画像に、処理Ｄレンジを可変にして覆い焼き処理が施され、ステップＳ３３２で、覆い焼き処理が施された連続撮像の出力画像と出力画像の付属情報がメモリカード１８２に記録され、メインルーチンに戻る。
【００７６】
なお、上述の図３から図７（ｂ）の説明では、露出の再設定は、測光結果に合わせて絞り値とシャッタ速度の組み合わせを再設定することで行うとしたが、もちろん絞り値のみ、あるいはシャッタ速度のみを変更してもよい。
【００７７】
次に、本発明における、線形特性領域と対数特性領域とからなる光電変換特性を有する撮像素子１６２の第１の例について、図８および図９を用いて説明する。
【００７８】
図８は、撮像素子１６２の内部構成を示すブロック図である。図中、図２と同じ部分には同じ番号を付与した。撮像素子１６２上には、画素１６２ａが２次元的に配列されている。垂直走査回路１６２ｂによって選択された水平行の画素１６２ａの光電変換出力ＶＰは、垂直信号線３０６に出力され、サンプルホールド回路１６２ｃに１行分同時にホールドされ、水平走査回路１６２ｅの走査により、出力回路１６２ｄから画像出力３０７として順次出力され、アンプ１６３に入力される。撮像素子１６２の各動作は、撮像制御回路１６１からの撮像制御信号３０５に従って、タイミングジェネレータ（ＴＧ）１６２ｆにより制御される。
【００７９】
図９は、撮像素子１６２を構成する、線形特性領域と対数特性領域とからなる光電変換特性を有する画素１６２ａの回路の第１の例を示す回路図である。
【００８０】
画素１６２ａは、フォトダイオードＰＤ、ＭＯＳＦＥＴ（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  Ｆｉｅｌｄ  Ｅｆｆｅｃｔ  Ｔｒａｎｓｉｓｔｏｒ）としてのトランジスタＴ１〜Ｔ６、及び積分用のコンデンサとしてのキャパシタＣから構成されている。トランジスタＴ１〜Ｔ６は、本例ではＰチャンネルＭＯＳＦＥＴが採用されている。φＶＤ、φＶ、φＶＰＳ、φＲＳＴ、φＳ及びＲＳＢは、各トランジスタやキャパシタＣに対する信号（電圧）を示し、ＧＮＤは接地を示している。
【００８１】
フォトダイオードＰＤは光電変換部であり、被写体からの入射光量に応じた光電流ＩＰＤを出力する。
【００８２】
トランジスタＴ１は、トランジスタＴ２の製造バラツキに起因して発生する画素間の誤差成分を示す画素バラツキ信号を取り出す際に用いるスイッチであり、通常はオン状態とされており、トランジスタＴ２とフォトダイオードＰＤ間に光電流ＩＰＤが流れるようになっている。画素バラツキ信号を取り出す際には、トランジスタＴ１がオフ状態となりフォトダイオードＰＤの光電流ＩＰＤが遮断され、前記の画素バラツキ信号だけが取り出される。
【００８３】
トランジスタＴ２は、ゲートとドレインが接続されており、ＭＯＳＦＥＴにおけるサブスレッショルド特性（ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れる特性）を利用して、同トランジスタのゲートに、光電流ＩＰＤに対して線形変換または対数変換した電圧を発生させる働きをする。
【００８４】
具体的には、撮像される被写体が暗い場合、すなわち、フォトダイオードＰＤに入射される入射光量が少ない場合には、トランジスタＴ２のゲート電位が同トランジスタのソース電位より高くなっているために、トランジスタＴ２が所謂カットオフ状態であり、トランジスタＴ２にサブスレッショルド電流が流れず、フォトダイオードＰＤで発生する光電流ＩＰＤがフォトダイオードＰＤの寄生容量ＣＰＤに流れて光電流ＩＰＤが積分され、積分電荷量に応じた電圧が発生する。
【００８５】
このときＴ１はオンされているので、寄生容量ＣＰＤに積分された光電流ＩＰＤに応じた電圧が、電圧ＶＧとしてトランジスタＴ２、Ｔ３のゲートに発生する。この電圧ＶＧにより、トランジスタＴ３に電流が流れ、この電圧ＶＧに比例した量の電荷がキャパシタＣに蓄積される（トランジスタＴ３とキャパシタＣとで積分回路を構成している）。そして、トランジスタＴ３とキャパシタＣとの接続ノードａ、すなわち出力ＶＯＵＴには、光電流ＩＰＤの積分値に対して線形的に比例した電圧が現れる。これが線形特性領域における動作である。
【００８６】
一方、撮像される被写体が明るく、フォトダイオードＰＤに入射される入射光量が多い場合には、トランジスタＴ２のゲート電位が同トランジスタのソース電位以下となり、トランジスタＴ２がサブスレッショルド領域で動作するためにサブスレッショルド電流が流れ、光電流ＩＰＤを自然対数的に変換した値の電圧ＶＧがトランジスタＴ２、Ｔ３のゲートに発生する。そして、この電圧ＶＧにより、トランジスタＴ３に電流が流れ、キャパシタＣに、光電流ＩＰＤの積分値を自然対数的に変換した値と同等の電荷が蓄積される。これにより、キャパシタＣとトランジスタＴ３との接続ノードａ（出力ＶＯＵＴ）には、光電流ＩＰＤの積分値を自然対数的に変換した値に比例した電圧が生じる。これが当該撮像センサ３０の、対数特性領域における動作である。
【００８７】
上述したように、画素１６２ａの動作が線形特性となるか対数特性となるかは、トランジスタＴ２のゲート電位ＶＧとソース電位φＶＰＳの高低の関係によって決まる。ゲート電位ＶＧは上述のように光電流ＩＰＤによって決まるので、ソース電位φＶＰＳを制御することで線形特性と対数特性の切り替わる点（変曲点）を制御することができる。
【００８８】
以上のように、被写体の明るさ、すなわち入射光量に応じて、各画素毎に、光電流ＩＰＤの積分値に線形的または自然対数的に比例した電圧が発生される。
【００８９】
トランジスタＴ４は、キャパシタＣをリセットするためのトランジスタであり、該トランジスタＴ４のゲートに印加される電圧φＲＳＴに応じてオン、オフされるスイッチとして動作する。トランジスタＴ４がオンされると、キャパシタＣにリセット電圧ＲＳＢが印加され、蓄積されていた電荷が積分開始前の状態に戻される。
【００９０】
トランジスタＴ５は、ソースフォロワ増幅回路を構成するものであり、前述した出力ＶＯＵＴに対する電流増幅を行うことで、出力インピーダンスを下げる働きをする。
【００９１】
トランジスタＴ６は、信号読み出し用のトランジスタであり、ゲートに印加される電圧φＶに応じてオン、オフされるスイッチとして動作する。トランジスタＴ６のソースは、出力信号線３０６に接続されており、トランジスタＴ６がオンされると、トランジスタＴ５で電流増幅されて低インピーダンス化された光電変換出力ＶＰを、出力信号線３０６へ導出する。
【００９２】
続いて、図９に示した画素１６２ａを用いた撮像素子１６２の光電変換特性と、それに基づいた連続撮像時の露出制御及び撮像Ｄレンジ制御の再設定方法について詳述する。図１０は、露出と撮像Ｄレンジの両方を一定に保持する場合の撮像素子１６２の画素１６２ａの光電変換特性を示す模式図、図１１は、撮像Ｄレンジを一定に保持して露出のみを制御する場合の撮像素子１６２の画素１６２ａの光電変換特性の変化を示す模式図、図１２は、露出を一定に保持して撮像Ｄレンジのみを制御する場合の撮像素子１６２の画素１６２ａの光電変換特性の変化を示す模式図、図１３は、撮像Ｄレンジと露出の両方を制御する場合の撮像素子１６２の画素１６２ａの光電変換特性の変化を示す模式図である。図１０乃至図１３は、横軸が被写体輝度Ｂの対数座標（被写体輝度の対数値）、縦軸が光電変換出力ＶＰである。
【００９３】
まず、露出とＤレンジの両方を一定に保持する連写Ａ１モードおよびＡ２モードの撮像（図４（ａ）および（ｂ）のフローチャートに相当）について、図１０を用いて説明する。
【００９４】
光電変換特性４０１は、図４（ａ）および（ｂ）のステップＳ３１２の測光動作の結果から、例えば前述の特願２００４−１５９７６０号に記載の方法によって決定される適正なＤレンジを示す光電変換特性である。光電変換特性４０１は変曲点４１１（このときの光電変換出力はＶｔｈ４１）を境として線形特性領域（被写体輝度の暗い側）と対数特性領域（同、明るい側）とに分かれている。
【００９５】
連写Ａ１モードおよびＡ２モードでは、図４（ａ）および（ｂ）のステップＳ３２１でレリーズスイッチ１０１ｂのオンが確認されてから、ステップＳ３３１でレリーズスイッチ１０１ｂのオフが確認されるまで、ステップＳ３１３で設定された露出、すなわち絞り値とシャッタ速度と、ステップＳ３１４で設定された撮像ＤレンジＤＲ４１、すなわち光電変換特性４０１が保持されて連続撮像が行われる。この場合、ステップＳ３２１からステップＳ３３１に至る連続撮像の間に露出や撮像Ｄレンジの演算、制御を行う必要が無いため、連続撮像速度を速くすることが可能となる。
【００９６】
次に、撮像Ｄレンジを一定に保持して露出のみを制御する連写Ｂ１モードおよびＢ２モードの撮像（図５（ａ）および（ｂ）のフローチャートに相当）について、図１１を用いて説明する。
【００９７】
光電変換特性５０２は、図５（ａ）および（ｂ）のステップＳ３１２の測光動作によって得られた適正露出での光電変換特性である。光電変換特性５０２は変曲点５１２（このときの光電変換出力値はＶｔｈ５２）を境として線形特性領域（被写体輝度の暗い側）と対数特性領域（同、明るい側）とに分かれている。
【００９８】
この光電変換特性５０２に対して、連写Ｂ１モードおよびＢ２モードでは、連続撮像中に被写体輝度が変化した場合に、図５（ａ）および（ｂ）のステップＳ４４１の測光の結果から、例えば前述の特願２００４−１５９７６０号に記載の方法によって決定される適正な露出、すなわち絞りとシャッタ速度を演算し、絞りとシャッタ速度が再設定される。
【００９９】
この時、図９のトランジスタＴ２のソース電位φＶＰＳの制御値をＶｔｈ５２のままにすると、線形特性領域のカーブの傾きのみが変化して、線形特性領域と対数特性領域の切り替わり点および対数特性領域が図１１の水平方向に平行移動して、撮像Ｄレンジが変化してしまうので、撮像ＤレンジＤＲ５２を一定に保持するために、再設定された絞り値とシャッタ速度に合わせて、図９のトランジスタＴ２のソース電位φＶＰＳの制御値も再設定される。
【０１００】
図１１の光電変換特性５０１が光電変換特性５０２での被写体輝度に対して被写体輝度が明るくなった場合、光電変換特性５０３が被写体輝度が暗くなった場合の特性であり、変曲点はＶｔｈ５２からそれぞれＶｔｈ５１およびＶｔｈ５３に変更されている。
【０１０１】
これによって、連写Ａ１モードおよびＡ２モードに比べると、演算時間が必要となって、連続撮像速度が若干遅くはなるが、撮像Ｄレンジが一定に保持されることで、被写体輝度が変化しても撮像可能な被写体輝度範囲が変わらない、すなわち高輝度側で白つぶれしない撮像が可能となる。
【０１０２】
実際の連続撮像においては、ステップＳ３１２の測光の結果に基づいて、まずステップＳ３１３で、光電変換特性５０２に相当する絞り値とシャッタ速度が設定され、ステップＳ３１４で、撮像ＤレンジがＤＲ５２となるようにトランジスタＴ２のソース電位φＶＰＳの制御値が設定されて撮像Ｄレンジが設定され、ステップＳ４２２で撮像が行われる。次にステップＳ４４１で、再度測光が行われ、その結果から演算された露出が例えば光電変換特性５０１であった場合、ステップＳ４４２で光電変換特性５０１に相当する絞り値とシャッタ速度が再設定され、ステップＳ４４３で、撮像ＤレンジがＤＲ５２に一定にされるようにトランジスタＴ２のソース電位φＶＰＳの制御値が再設定され、ステップＳ４２２で撮像が行われる。ステップＳ３３１でレリーズスイッチ１０１ｂのオフが確認されるまで、上記のループを回りながら連続撮像が継続される。
【０１０３】
次に、露出を一定に保持して撮像Ｄレンジのみを制御する連写Ｃ１モードおよびＣ２モードの撮像（図６（ａ）および（ｂ）のフローチャートに相当）について、図１２を用いて説明する。
【０１０４】
光電変換特性６０２は、図６（ａ）および（ｂ）のステップＳ３１２の測光動作の結果から、例えば前述の特願２００４−１５９７６０号に記載の方法によって決定される適正な撮像Ｄレンジを示す光電変換特性である。光電変換特性６０２は変曲点６１２（このときの光電変換出力はＶｔｈ６２）を境として線形特性領域（被写体輝度の暗い側）と対数特性領域（同、明るい側）とに分かれている。
【０１０５】
この光電変換特性６０２に対して、連写Ｃ１モードおよびＣ２モードでは、連続撮像中に被写体輝度が変化した場合に、図６のステップＳ５４１の測光の結果から、例えば前述の特願２００４−１５９７６０号に記載の方法によって決定される適正な撮像Ｄレンジを演算し、図９のトランジスタＴ２のソース電位φＶＰＳの制御値が再設定される。この時、露出、すなわち絞り値とシャッタ速度は、光電変換特性６０２と同じに保たれる。
【０１０６】
光電変換特性６０１が被写体輝度が暗くなった場合、光電変換特性６０３が被写体輝度が明るくなった場合の特性で、それぞれ、光電変換特性４０２に対して、変曲点の光電変換出力が、それぞれＶｔｈ６１とＶｔｈ６３にシフトされており、それによって、それぞれ、撮像ＤレンジがＤＲ６２より狭いＤＲ６１、および広いＤＲ６３に変更されている。
【０１０７】
これによって、露出を一定にしたままでも、連続撮像中の被写体輝度の変化に対して常に適正な撮像Ｄレンジを設定することが可能となる。
【０１０８】
実際の連続撮像においては、ステップＳ３１２の測光動作の結果に基づいて、ステップＳ３１４で、光電変換特性６０２の撮像ＤレンジＤＲ６２となるようなトランジスタＴ２のソース電位φＶＰＳの制御値が設定され、ステップＳ５２２で、その制御値を用いて撮像が行われる。次にステップＳ５４１で、再度測光が行われ、その結果から演算された撮像Ｄレンジが例えば光電変換特性６０１であった場合、ステップＳ５４２で光電変換特性６０１に相当する撮像ＤレンジＤＲ６１となるようにトランジスタＴ２のソース電位φＶＰＳの制御値が再設定され、ステップＳ５２２で撮像が行われる。ステップＳ３３１でレリーズスイッチ１０１ｂのオフが確認されるまで、上記のループを回りながら連続撮像が継続される。
【０１０９】
最後に、撮像Ｄレンジも露出も可変に制御する連写Ｄ１モードおよびＤ２モードの撮像（図７（ａ）および（ｂ）のフローチャートに相当）について、図１３を用いて説明する。
【０１１０】
光電変換特性７０２は、図７（ａ）および（ｂ）のステップＳ３１２の測光動作によって得られた適正露出での光電変換特性である。光電変換特性７０２は変曲点７１２（このときの光電変換出力値はＶｔｈ７２）を境として線形特性領域（被写体輝度の暗い側）と対数特性領域（同、明るい側）とに分かれている。
【０１１１】
この光電変換特性７０２に対して、連写Ｄ１モードおよびＤ２モードでは、連続撮像中に被写体輝度が変化した場合に、図７（ａ）および（ｂ）のステップＳ６４１の測光の結果から、例えば前述の特願２００４−１５９７６０号に記載の方法等によって決定される適正な露出、すなわち絞りとシャッタ速度を演算し、絞りとシャッタ速度が再設定される。
【０１１２】
さらに、撮像Ｄレンジも、再設定された絞り値とシャッタ速度に対応させて既定量だけずらされた撮像Ｄレンジに相当する図９のトランジスタＴ２のソース電位φＶＰＳの制御値に再設定される。図１３の光電変換特性７０１が光電変換特性７０２での被写体輝度に対して被写体輝度が明るくなった場合、光電変換特性７０３が被写体輝度が暗くなった場合の特性であり、変曲点もＶｔｈ７２からそれぞれＶｔｈ７１およびＶｔｈ７３に変更されている。
【０１１３】
これによって、線形特性領域と対数特性領域とからなる光電変換特性を有する撮像素子を用いた撮像装置においても、通常の銀塩フィルムカメラや通常のデジタルカメラでの連続撮像の画像の明るさやコントラストに近い連続撮像画像が得られる。
【０１１４】
実際の連続撮像においては、ステップＳ３１２の測光動作の結果に基づいて、まずステップＳ３１３で、光電変換特性７０２に相当する絞り値とシャッタ速度が設定され、ステップＳ３１４で、撮像ＤレンジがＤＲ７２となるようにトランジスタＴ２のソース電位φＶＰＳの制御値が設定され、ステップＳ６２２で撮像が行われる。次にステップＳ６４１で、再度測光が行われ、その結果から演算された撮像Ｄレンジが例えば光電変換特性７０１であった場合、ステップＳ６４２で光電変換特性７０１に相当する絞り値とシャッタ速度が再設定され、ステップＳ６４３で、撮像ＤレンジＤＲ７１となるようにトランジスタＴ２のソース電位φＶＰＳの制御値が再設定され、ステップＳ６２２で撮像が行われる。ステップＳ３３１でレリーズスイッチ１０１ｂのオフが確認されるまで、上記のループを回りながら連続撮像が継続される。
【０１１５】
次に、本発明における、線形特性領域と対数特性領域とからなる光電変換特性を有する撮像素子１６２の第２の例について、図１４を用いて説明する。図１４は、撮像素子１６２を構成する、線形特性領域と対数特性領域とからなる光電変換特性を有する画素１６２ａの回路の第２の例を示す回路図である。
【０１１６】
画素１６２ａは、埋め込み型フォトダイオードＰＤ１０、ＮチャンネルＭＯＳＦＥＴとしてのトランジスタＴ１１〜Ｔ１４から構成されている。トランジスタＴ１１のドレインとＴ１２のソースの接続部は、フローティングディフュージョンＦＤで構成されている。φＲＳＢ、φＲＳＴ、φＴＸ、φＶは、各トランジスタに対する信号（電圧）を示し、ＶＤＤは電源、ＧＮＤは接地を示している。
【０１１７】
埋め込み型フォトダイオードＰＤ１０は光電変換部であり、被写体からの入射光量に応じた光電流ＩＰＤを発生する。埋め込み型フォトダイオードは、光電変換された光電流を直接取り出せないため、転送ゲートとフローティングディフュージョンと呼ばれる取り出し部を介して出力する。
【０１１８】
トランジスタＴ１１は転送ゲートと呼ばれ、埋め込み型フォトダイオードＰＤ１０によって光電変換された光電荷をフローティングディフュージョンＦＤに転送するための素子であり、通常はオン状態とされており、トランジスタＴ１２とフォトダイオードＰＤ１０間に光電流ＩＰＤが流れるようになっている。
【０１１９】
トランジスタＴ１２は、リセットゲートと呼ばれ、埋め込み型フォトダイオードＰＤ１０およびフローティングディフュージョンＦＤを高電位にリセットする働きと、ＭＯＳＦＥＴにおけるサブスレッショルド特性（ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れる特性）を利用して、同トランジスタのソースに、光電流ＩＰＤに対して線形変換または対数変換した電圧を発生させる働きをする。
【０１２０】
具体的には、撮像される被写体が暗い場合、すなわち、フォトダイオードＰＤ１０に入射される入射光量が少ない場合には、リセット動作によりトランジスタＴ１２のゲート電位が同トランジスタのソース電位より低くなっているために、トランジスタＴ１２が所謂カットオフ状態であり、トランジスタＴ１２にサブスレッショルド電流が流れず、埋め込み型フォトダイオードＰＤ１０で発生する光電流ＩＰＤが、高電位にリセットされた埋め込み型フォトダイオードＰＤ１０の寄生容量ＣＰＤ１０を放電することで光電流ＩＰＤが積分され、積分電荷量に応じた電圧ＶＦＤがフローティングデフュージョンＦＤに発生する。これが線形特性領域における動作である。
【０１２１】
一方、撮像される被写体が明るく、フォトダイオードＰＤ１０に入射される入射光量が多い場合には、トランジスタＴ１２のゲート電位が同トランジスタのソース電位以上となり、トランジスタＴ１２がサブスレッショルド領域で動作するためにサブスレッショルド電流が流れ、光電流ＩＰＤを自然対数的に変換した電圧ＶＦＤがフローティングディフュージョンＦＤに発生する。これが対数特性領域における動作である。本第２の例では、図８に示した第１の例のように積分用キャパシタＣを持っていないため、対数特性領域での出力ＶＦＤは、光電流ＩＰＤの積分値を対数変換したものではなく、その瞬間での光電流ＩＰＤの対数変換値となる。
【０１２２】
上述したように、画素１６２ａの動作が線形特性となるか対数特性となるかは、トランジスタＴ１２のゲート電位とソース電位の高低の関係によって決まる。従って、ゲート電位φＲＳＴを適切に制御することで線形特性と対数特性の切り替わる点（変曲点）を制御することができる。また、トランジスタＴ１２の代わりに、トランジスタＴ１１のゲート電位φＴＸを制御することによっても、線形特性と対数特性の変曲点を制御することが可能である。
【０１２３】
トランジスタＴ１３は、ソースフォロワ増幅回路を構成するものであり、前述した出力ＶＦＤに対する電流増幅を行うことで、出力インピーダンスを下げる働きをする。
【０１２４】
トランジスタＴ１４は、信号読み出し用のトランジスタであり、ゲートに印加される電圧φＶに応じてオン、オフされるスイッチとして動作する。トランジスタＴ１４のソースは、出力信号線３０６に接続されており、トランジスタＴ１４がオンされると、トランジスタＴ１３で電流増幅されて低インピーダンス化された光電変換出力ＶＰを、出力信号線３０６へ導出する。
【０１２５】
本第２の例の画素回路を用いて連続撮像を行う場合は、図４（ａ）から図７（ｂ）に示したフローチャートで、φＲＳＴを適切に制御して撮像Ｄレンジを設定すればよい。ただし、図５（ａ）および（ｂ）のフローチャートに示した制御を行う場合は、ステップＳ３１４で撮像Ｄレンジを設定すれば、上述のように、対数特性領域では、光電変換出力は、撮像の瞬間の光電流ＩＰＤの対数変換値となるため、ステップＳ４４２で露出（絞り値とシャッタ速度）を変更することで、ステップＳ４４３で撮像Ｄレンジを一定化するためのφＲＳＴの変更を行わなくても、Ｖｔｈが自動的に変化して撮像Ｄレンジを一定に保つので、図１１に示した光電変換特性を得ることができる。
【０１２６】
また、その他に、特許文献４に示した、露光量の異なる複数の画面から適正レベルの画面部分を選択して合成することにより、個々の画面よりも広いＤレンジの画像を合成する撮像装置や、特許文献５に示した撮像素子の光電変換信号電荷を信号電圧に変換する電荷電圧変換部を持ち、電荷電圧変換部は異なる電圧依存性を有する複数の容量からなり、Ｄレンジが可変である撮像素子等の対数変換型以外の広Ｄレンジ撮像素子を用いた撮像装置に対しても、本発明は適用可能である。
【０１２７】
次に、覆い焼き処理の第１の実施の形態について、図１５乃至図１８を用いて説明する。図１５は、図２の画像処理装置１６５の覆い焼き処理に関わる第１の実施の形態の各機能を説明するための機能ブロック図である。同図に示すように画像処理装置１６５の第１の実施の形態は、主被写体輝度取得部１６５１、特性変換部１６５２、照明成分抽出部１６５３、圧縮開始点設定部１６５４、照明成分圧縮部１６５５、反射率成分算出部１６５６及び画像生成部１６５７を備えている。画像処理装置１６５は、本発明における圧縮処理手段および圧縮率制御手段として機能する。
【０１２８】
主被写体輝度取得部１６５１は、撮像素子１６２による撮像によって得られた画像（元画像Ｉ）の主被写体輝度を取得（算出）するものである。主被写体輝度取得部１６５１は、図２の測光モジュール１２１ｂによる分割測光（マルチパターン測光）方式によって、撮像領域を、複数（例えば３６個）の検出ブロックに分割されてなる中央領域（主被写体領域という）と、複数（例えば１６個）の検出ブロックに分割されてなる周辺領域（周辺被写体領域という）とからなる複数の区画に分割し、当該各区画の画像から検出した輝度情報から、例えば平均輝度として主被写体輝度を算出する。
【０１２９】
この場合、例えば主被写体領域の各ブロック毎の主被写体輝度ヒストグラム（分布）を算出するとともに、この主被写体輝度ヒストグラムから主被写体領域全体における主被写体全体輝度ヒストグラムを算出し、この主被写体全体輝度ヒストグラムから主被写体領域に対する平均輝度を算出してもよい。
【０１３０】
この平均輝度算出の際には、例えば或る所定の閾値を用いて輝度データの「足切り」処理を行ってもよいし、周辺被写体領域の輝度情報（周辺被写体輝度ヒストグラムや周辺被写体全体輝度ヒストグラム）を用いてもよい。なお、主被写体輝度の算出方法は、上述したものに限定されず、種々の方法が採用可能である。また、主被写体輝度は平均輝度として算出せずともよく、例えば最大輝度や最小輝度として算出してもよい。
【０１３１】
次に、図１６は上述した覆い焼き処理の第１の実施の形態を説明するグラフ図である。特性変換部１６５２は、図１６に示すように、線形特性３０１及び対数特性３０２からなる光電変換特性を有する元画像Ｉに対する、特性を統一する処理（特性統一処理）を行うものである。この元画像Ｉは、撮像素子１６２からの入力画像であり、以下の（１）、（２）式に示すような入力輝度ｘに対する画素値ｙの関係式（光電変換特性）を有する。
【０１３２】
但し、同図中の座標点（Ｘｔｈ、Ｙｔｈ）は、変曲点３０３を示し、（１）式は線形特性３０１である画像Ｉ２を示し、（２）式は対数特性３０２である画像Ｉ１を示す。但し、式中の記号「＊」は乗算を示し、ａ、ｂ、α、βは所定の係数を示す（以下も同じ）。
【０１３３】
ｙ＝ａ＊ｘ＋ｂ（０≦ｘ≦Ｘｔｈ）    ・・・（１）
ｙ＝α＊ｌｏｇ（ｘ）＋β（ｘ＞Ｘｔｈ）    ・・・（２）
特性変換部１６５２は、ここでは、対数特性３０２を、線形特性３０１と同じ特性である線形特性３０４に変換する処理を行う。この場合、撮像素子１６２の画素値をｉとすると、当該特性統一処理により得られる、線形特性３０１及び線形特性３０４からなる光電変換特性を有する画像（符号３１０に示す画像Ｉｔ）は、下記の（３）式に基づく変換によって与えられる。但し、式中の記号「／」は除算を示す（以下も同じ）。
【０１３４】
ｉｆ（ｉ＞Ｙｔｈ）
Ｉｔ＝ａ＊ｅｘｐ（（ｉ−β）／α）＋ｂ
ｅｌｓｅ
Ｉｔ＝ｉ              ・・・（３）
なお、特性変換部１６５２は、上記対数特性３０２から線形特性３０４への変換を、所定のＬＵＴ（変換ＬＵＴという）を用いて行う。この変換ＬＵＴは例えば特性変換部１６５２に備えたＬＵＴ記憶部（図示略）に記憶しておいてもよい。
【０１３５】
照明成分抽出部１６５３は、上記特性統一処理により得られた画像Ｉｔ（リニア画像）から照明成分を抽出するものである。この画像Ｉｔは、所謂Ｒｅｔｉｎｅｘ理論によれば、該画像Ｉｔにおける照明成分を照明成分Ｌ、反射率成分を反射率成分Ｒとすると、以下の（４）式で表される。なお、画像Ｉｔに示す直線グラフを、該画像Ｉｔから抽出した照明成分Ｌを表すものとして適宜扱うものとする。
【０１３６】
Ｉｔ＝Ｌ＊Ｒ    ・・・（４）
この画像Ｉｔからの照明成分Ｌの抽出処理は、メディアンフィルタやイプシロン（ε）フィルタ等の所謂エッジ維持フィルタ（非線形フィルタ）を用いて行われる。これは以下の（５）式で表される。
【０１３７】
Ｌ＝Ｆ（Ｉｔ）    ・・・（５）
但し、（５）式中の「Ｆ」は、上記エッジ維持フィルタを示している。なお、狭義での単に低周波成分を通過させる通常のＬＰＦ（ローパスフィルタ；線形フィルタ）では、画像の照明境界（エッジ）においてその変化を正確に抽出することができないため、すなわち、線形フィルタを用いて抽出した信号に基づいてＤレンジ圧縮を行うと例えばアーティファクト（画像の暗く沈んだ部分）が出現してしまうため、このような問題を回避してエッジを正確に抽出することが可能なエッジ維持フィルタを用いている。
【０１３８】
圧縮開始点設定部１６５４は、上記画像Ｉｔから抽出した照明成分Ｌに対する圧縮処理を行うに際しての、符号３０５に示す圧縮開始点Ｓ、具体的には圧縮開始レベルＹｓを設定する（入力輝度で見た場合の圧縮開始レベルＸｓを設定してもよい）ものである。この場合、圧縮開始レベルＹｓは、上記の平均輝度等で与えられる主被写体輝度以上の値となるように設定する。この主被写体輝度以上の値となる圧縮開始レベルＹｓを設定する方法としては、例えば、主被写体輝度の値を所定数倍した値を圧縮開始レベルＹｓとしてもよい。
【０１３９】
この所定数倍の具体的な値（倍率）は、例えば主被写体が人の顔となるような場合には、ガンマ補正を行うと適正な明るさが得られるレベルとなる２〜３倍程度、或いは主被写体が風景となるような場合には２倍程度としてもよい。但し、倍率はこれらに限定されず、任意な値が採用可能である。また、この倍率は、予め想定した被写体に応じて算出された１つの固定値として設定してもよいし、被写体に応じてその都度、異なるものを設定してもよい。
【０１４０】
この場合、例えば、ユーザによる操作部１０からの指示入力に基づいて複数の固定値から選択されたものを設定してもよいし、上記主被写体輝度取得部１６５１において測光結果から求めた主被写体輝度の値に応じて複数の固定値から自動的に選択されたものを設定してもよいし、また、当該測光結果や撮影倍率（焦点距離）から求められる撮影モード（例えば「ポートレート（人物）」モードや「風景」モード）により同定された主被写体の種類に応じて設定してもよい。いずれにしても、圧縮開始レベルＹｓは、主被写体（被写体）の種別や輝度情報に応じて適宜設定し、且つ主被写体輝度レベル（又はこの直近レベル）ではなく、主被写体輝度から所定値高いレベルに設定することが好ましく、これにより、各種被写体の違いに拘わらず、Ｄレンジ圧縮による主被写体への影響をより確実に防ぐことが可能となる。
【０１４１】
また、主被写体輝度以上の値となる圧縮開始レベルＹｓを設定する方法としては、上述したものに限定されず、例えば、主被写体及び／又は周辺被写体の輝度情報に基づく所定の輝度ヒストグラムを算出し、主被写体輝度以上の領域における所定レベル、例えば度数の少ない輝度値（輝度レベル）を圧縮開始レベルＹｓとして設定してもよい。具体的には、輝度ヒストグラム分布が例えば所謂「山」の形状をしており、この山の頂点付近が主被写体輝度であるとすると、この輝度ヒストグラムにおける主被写体輝度以上の度数が小さくなっている山裾の位置辺りを圧縮開始レベルとするように設定する。
【０１４２】
このように度数の少ない輝度値を圧縮開始レベルＹｓとして圧縮を行うことにより（輝度ヒストグラムにおける度数の大きな部分に対する圧縮を回避することができるため）、階調特性の変化を目立たなくすることができる。なお、この輝度ヒストグラムに基づく圧縮開始レベルＹｓの設定は、撮像素子１６２によって撮像画像が得られる都度行われてもよい。
【０１４３】
また、撮像素子１６２が本実施の形態に示すようにリニアログセンサである場合、圧縮開始レベルＹｓを、例えばＹｓ＝Ｙｔｈ＊Ｐ（Ｐ；１より小さい所定の倍数値）として求めるなどして、変曲点の光電変換出力値Ｙｔｈと連動させた値を設定してもよい。これは、変曲点の光電変換出力値Ｙｔｈが、デジタルカメラ１による自動露出制御（ＡＥ制御）が行われる段階で、つまりここでの覆い焼き処理が行われる前段階で、主被写体輝度レベルよりも大きな値に設定されていることによる。
【０１４４】
なお、上記ＡＥ制御は、画像処理装置１６５において撮像画像から求めたＡＥ制御用の評価値（ＡＥ評価値）を用いて行われる。上記いずれにしても、要は、主被写体輝度がＤレンジ圧縮されて主被写体の階調がつぶれてしまわないようなレベルに圧縮開始レベルＹｓが設定されればよい。
【０１４５】
照明成分圧縮部１６５５は、照明成分抽出部１６５３によって画像Ｉｔから抽出された照明成分Ｌに対するＤレンジ圧縮を行うものである。照明成分圧縮部１６５５によるこのＤレンジ圧縮によって、符号３１０に示す照明成分Ｌは符号３２０に示す圧縮照明成分Ｌ’となる。この圧縮照明成分Ｌ’は、以下の（６）式で与えられる。
【０１４６】
Ｌ’＝ｅｘｐ（ｌｏｇ（Ｌ）＊ｃ）＊ｎ    ・・・（６）
但し、「ｃ」はＤレンジ圧縮率、「ｎ」は正規化項である。
【０１４７】
図１６に示すように、当該照明成分のＤレンジ圧縮によって、０（ゼロ）〜Ｙｍａｘ（リニア特性最大値）のＤレンジを有する照明成分画像は、０（ゼロ）〜ＯｍａｘのＤレンジ（撮像Ｄレンジ）に収まるようにＤレンジ圧縮される。このＯｍａｘは所定の画像出力系の出力最大値（撮像素子１６２の出力最大値又は最大画素値であってもよい）であり、例えば８ビット画像において「２５５」の階調値をとる。
【０１４８】
上記（６）式に示すＤレンジ圧縮後の照明成分を示す関数Ｌ’は、圧縮開始点Ｓ（Ｘｓ、Ｙｓ）と、出力最大値Ｏｍａｘ（或いは最大入力輝度Ｘｍａｘ）における符号３０６に示す圧縮レベル点Ｍ’（Ｘｍａｘ、Ｙｍａｘ）との２点を通過するため、これら点Ｓ及びＭ’の座標値をそれぞれ代入して得られる連立方程式から、（６）式における当該２つの未知数ｃ、ｎを算出することができる。連続撮像中、上述したＤレンジ圧縮率ｃ、正規化項ｎおよび圧縮開始レベルＹｓを一定に保つことで、撮像素子１６２の撮像出力のダイナミックレンジを一定に保つことができる。
【０１４９】
なお、ここでのＤレンジ圧縮において、圧縮パラメータ「ｃ」に加え、パラメータ「ｎ」を導入するのは、例えば撮像素子１６２の撮像画像が０〜２５５階調のＤレンジ（８ビット画像）を有しており、Ｄレンジ圧縮後の圧縮照明成分Ｌ’が例えば０〜１００の階調となる場合には、これを０〜２５５の階調に合わせるべく「ｎ」の値を例えば２．５とすることで階調値全体を２．５倍するといった調整（圧縮照明成分Ｌ’の正規化）を可能にするためである。
【０１５０】
また、照明成分Ｌに対するＤレンジ圧縮において圧縮開始点Ｓを設定するのは、上述したように主被写体輝度がＤレンジ圧縮されないようにするためであり、したがって、照明成分圧縮部１６５５は、照明成分Ｌに対するＤレンジ圧縮において上記圧縮特性３０７を有する圧縮特性３２０を用いるものの、照明成分Ｌが圧縮開始レベルＹｓ未満の領域では、当該圧縮特性３２０により得られる圧縮照明成分Ｌ’を出力値として用いずに、元画像Ｉを出力値とする処理を行う。
【０１５１】
圧縮照明成分Ｌ’を求めるのに、画像Ｉｔから抽出された照明成分Ｌを入力とし、（６）式での圧縮後の圧縮照明成分Ｌ’を出力とするルックアップテーブル（以下、ＬＵＴと言う）を用いると演算に要する時間の節約となり、効率的である。この時、連続撮像中ＬＵＴの内容は固定となる。
【０１５２】
反射率成分算出部１６５６は、画像Ｉｔから反射率成分Ｒを算出（抽出）するものである。この反射率成分Ｒは、上記照明成分Ｌを用いて以下の（７）式によって算出される。
【０１５３】
Ｒ＝Ｉｔ／Ｌ    ・・・（７）（上記（４）式から導出）
画像生成部１６５７は、上記照明成分圧縮部１６５５によって求めた圧縮照明成分Ｌ’と、反射率成分算出部１６５６によって求めた反射率成分Ｒとから、以下の（８）式によって、元画像Ｉに対する新たな画像Ｉ’（覆い焼き処理後の画像Ｉ’）を生成するものである。
【０１５４】
Ｉ’＝Ｌ’＊Ｒ    ・・・（８）
図１６においては、符号３２０に示す圧縮照明成分Ｌ’全体に対して反射率成分Ｒを掛け合わすことで画像Ｉ’を得る。
【０１５５】
続いて、図１７は、覆い焼き処理の第１の実施の形態における、図４（ａ）他で用いられるステップＳ３４１「処理Ｄレンジ一定の覆い焼き処理サブルーチン」のフローチャートである。
【０１５６】
まず、ステップＳ７０１で、特性変換部１６５２によって線形特性への特性統一処理が行われて画像Ｉｔが得られる。次に、ステップＳ７０２で、照明成分抽出部１６５３によって、エッジ維持フィルタ（非線形フィルタ）処理に基づいて画像Ｉｔから照明成分Ｌが抽出される。但し、この照明成分の抽出処理は画像Ｉｔの全画素に対し同時に行われる。
【０１５７】
そして、ステップＳ７０３で、圧縮開始点設定部１６５４に圧縮開始レベルＹｓが設定されるとともに、照明成分圧縮部１６５５によって、照明成分Ｌが当該設定された圧縮開始レベルＹｓ以上か否かが判断される。圧縮開始レベルＹｓ以上であると判別された場合（ステップＳ７０３；ＹＥＳ）、ステップＳ７０４で、反射率成分算出部１６５６によって反射率成分Ｒが算出される。
【０１５８】
ステップＳ７０５で、照明成分圧縮部１６５５によって、上記照明成分Ｌが圧縮開始点Ｓ（圧縮開始レベルＹｓ）及び圧縮レベル点Ｍ’の情報を基にＤレンジ圧縮されて圧縮照明成分Ｌ’が得られる。この時、処理Ｄレンジを一定にするために、連続撮像中は、Ｄレンジ圧縮特性を決定するパラメータ（Ｄレンジ圧縮率ｃ、正規化項ｎおよび圧縮開始レベルＹｓ）が、連続撮像の１コマ目の撮像時に決定された値に固定される。これによって、各コマ間の明るさやコントラストのバラツキの無い連続撮像の画像が得られる。
【０１５９】
ステップＳ７０６で、ステップＳ７０４、７０５で求められた反射率成分Ｒ及び圧縮照明成分Ｌ’とから画像Ｉ’が生成されて出力される。
【０１６０】
ステップＳ７０３において、照明成分Ｌが圧縮開始レベルＹｓ未満であると判別された場合（ステップＳ７０３；ＮＯ）、ステップＳ７０７で元画像Ｉが選択されて出力される。但し、ステップＳ７０３乃至Ｓ７０７の動作は、照明成分Ｌの画素毎に（１つの画素に対して）順次実行される。ステップＳ７０８で、ステップＳ７０３乃至Ｓ７０７の動作が全画素に対して完了したか否かが確認される。完了した場合（ステップＳ７０８；ＹＥＳ）、覆い焼き処理が終了となる。完了していなければ（ステップＳ７０８；ＮＯ）、ステップＳ７０３に戻って、全画素の処理が完了するまで当該ステップＳ７０３乃至Ｓ７０７の各処理が繰り返される。
【０１６１】
次に、図１８は、覆い焼き処理の第１の実施の形態における、図４（ｂ）他で用いられるステップＳ３４２「処理Ｄレンジ可変の覆い焼き処理サブルーチン」のフローチャートである。図１７と同じステップには同じ番号を付与した。
【０１６２】
ステップＳ７０１からステップＳ７０４までは図１７と同じである。ステップＳ７１５で、照明成分圧縮部１６５５によって、上記照明成分Ｌが圧縮開始点Ｓ（圧縮開始レベルＹｓ）及び圧縮レベル点Ｍ’の情報を基にＤレンジ圧縮されて圧縮照明成分Ｌ’が得られる。この時、Ｄレンジ圧縮特性を決定するパラメータ（Ｄレンジ圧縮率ｃ、正規化項ｎおよび圧縮開始レベルＹｓ）は固定されず、連続撮像の１コマ毎に最適値に再設定される。これによって、連続撮像の各コマ毎に、撮像画像に最適の覆い焼き処理が施されることになる。
【０１６３】
以上に述べた例では、覆い焼き処理はデジタルカメラ１内の画像処理装置１６５で行うとして説明したが、デジタルカメラ１から覆い焼き処理前の画像データを読み出して、外部のパーソナルコンピュータ（ＰＣ）で覆い焼き処理を行ってもよい。この場合、覆い焼き処理前の連続撮像の画像データはメモリカード１８２に記録されているが、この画像データには各種の情報を記録するタグが準備されており、その中の連続撮像情報（「連写Ａ１モード」から「連写Ｄ２モード」までのどのモードで撮像されたかの情報や、露出に関する情報、撮像Ｄレンジに関する情報等の連続撮像関連情報等）に基づいて覆い焼き処理が行われる。
【０１６４】
さらに、例えば、「特表２００４−５３０５６８号公報」で画質改善手法として提案されている、画像の異なる位置に対する輝度値から、変換式によって調整された輝度値を得るＤレンジ圧縮方法がある。この方法を本発明における処理Ｄレンジ制御手段として用いる場合、請求項１および請求項４に記載の変換式における係数αおよび／もしくは請求項１、請求項４、請求項９に記載の変換関数Ｆ（Ｉ）を固定にすることで、処理Ｄレンジを一定にすることができる。
【０１６５】
以上に述べたように、本発明によれば、出力画像のダイナミックレンジが可変に制御可能な撮像装置において、連続撮像での出力画像のダイナミックレンジが一定となるように制御することで、被写体の輝度変化に関わらず、連続撮像中にダイナミックレンジが一定とされた連続撮像画像群を得ることができる撮像装置および撮像システムを提供することができる。また、請求項２、３および７の発明によれば、撮像素子または撮像出力のダイナミックレンジを固定することで連続撮像中の処理時間の短縮を図ることができる。さらに、請求項３および７の発明によれば、連続撮像の各コマ間の画像の明るさやコントラストのバラツキがない撮像装置および撮像システムを提供することができる。
【０１６６】
尚、本発明に係る撮像装置および撮像システムを構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【０１６７】
【図１】本発明に係る撮像装置の一例であるデジタルカメラの外観模式図である。
【図２】図１に示したデジタルカメラの回路の一例を示すブロック図である。
【図３】本発明における連続撮像の動作の流れを示すフローチャートのメインルーチンである。
【図４】（ａ）は本発明における連続撮像の動作の流れを示すフローチャートのサブルーチン（１／８）である。（ｂ）は本発明における連続撮像の動作の流れを示すフローチャートのサブルーチン（２／８）である。
【図５】（ａ）は本発明における連続撮像の動作の流れを示すフローチャートのサブルーチン（３／８）である。（ｂ）は本発明における連続撮像の動作の流れを示すフローチャートのサブルーチン（４／８）である。
【図６】（ａ）は本発明における連続撮像の動作の流れを示すフローチャートのサブルーチン（５／８）である。（ｂ）は本発明における連続撮像の動作の流れを示すフローチャートのサブルーチン（６／８）である。
【図７】（ａ）は本発明における連続撮像の動作の流れを示すフローチャートのサブルーチン（７／８）である。（ｂ）は本発明における連続撮像の動作の流れを示すフローチャートのサブルーチン（８／８）である。
【図８】本発明における撮像素子の内部構成を示すブロック図である。
【図９】線形特性領域と対数特性領域とからなる光電変換特性を有する画素回路の第１の例を示す回路図である。
【図１０】図４（ａ）および（ｂ）に示した制御フローによる撮像素子の画素の光電変換特性の変化を示す模式図である。
【図１１】図５（ａ）および（ｂ）に示した制御フローによる撮像素子の画素の光電変換特性の変化を示す模式図である。
【図１２】図６（ａ）および（ｂ）に示した制御フローによる撮像素子の画素の光電変換特性の変化を示す模式図である。
【図１３】図７（ａ）および（ｂ）に示した制御フローによる撮像素子の画素の光電変換特性の変化を示す模式図である。
【図１４】線形特性領域と対数特性領域とからなる光電変換特性を有する画素回路の第２の例を示す回路図である。
【図１５】画像処理装置の第１の実施の形態の各機能を説明するための機能ブロック図である。
【図１６】覆い焼き処理の第１の実施の形態を説明するグラフ図である。
【図１７】覆い焼き処理の第１の実施の形態における「処理Ｄレンジ一定の覆い焼き処理サブルーチン」のフローチャートである。
【図１８】覆い焼き処理の第１の実施の形態における「処理Ｄレンジ可変の覆い焼き処理サブルーチン」のフローチャートである。
【図１９】覆い焼き処理の従来例を説明する模式グラフ図である。
【図２０】覆い焼き処理の従来例の問題点を示す模式グラフ図である。
【符号の説明】
【０１６８】
１  デジタルカメラ
１０  ボディ
２０  交換レンズ
１０１  レリーズボタン
１０１ａ  ＡＦ／ＡＥスイッチ
１０１ｂ  レリーズスイッチ
１０２  フラッシュ
１１１  電源スイッチ
１１２  モード設定ダイアル
１１５  ジョグダイアル
１２１  ファインダ
１２１ａ  ファインダ接眼レンズ
１２１ｂ  測光モジュール
１３１  画像表示デバイス
１３２  インファインダ表示手段
１４１  レフレックスミラー
１４２  サブミラー
１４３  ミラー駆動手段
１４４  ＡＦモジュール
１４５  シャッタ
１４６  シャッタ駆動手段
１４７  フラッシュ制御回路
１５０  カメラ制御回路
１５１  ＣＰＵ（中央処理装置）
１５２  ワークメモリ
１５３  記憶部
１６１  撮像制御回路
１６２  撮像素子
１６３  アンプ
１６４  アナログ／デジタル（Ａ／Ｄ）変換器
１６５  画像処理装置
１７１  マウント（ボディ側）
１７２  ＢＬ交信部（ボディ側）
１８１  画像メモリ
１８２  メモリカード
２０１  光軸
２１１  レンズ
２２１  絞り
２２２  絞り制御回路
２３１  レンズ情報記憶部
２４１  レンズ制御回路
２５１  レンズインターフェース
２７１  マウント（レンズ側）
２７２  ＢＬ交信部（レンズ側）
【図１】
2006352825.tif 000003
【図２】
2006352825.tif 000004
【図３】
2006352825.tif 000005
【図４】
2006352825.tif 000006
【図５】
2006352825.tif 000007
【図６】
2006352825.tif 000008
【図７】
2006352825.tif 000009
【図８】
2006352825.tif 000010
【図９】
2006352825.tif 000011
【図１０】
2006352825.tif 000012
【図１１】
2006352825.tif 000013
【図１２】
2006352825.tif 000014
【図１３】
2006352825.tif 000015
【図１４】
2006352825.tif 000016
【図１５】
2006352825.tif 000017
【図１６】
2006352825.tif 000018
【図１７】
2006352825.tif 000019
【図１８】
2006352825.tif 000020
【図１９】
2006352825.tif 000021
【図２０】
2006352825.tif 000022