(57)【特許請求の範囲】
【請求項１】
被写体の画像を撮像する撮像手段と、
被写体の複数の領域の輝度を検出する被写体輝度検出手段とを備えた撮像装置において、
前記被写体輝度検出手段で検出された被写体輝度の少なくとも２つの値に基づいて、前記画像のダイナミックレンジを圧縮するための圧縮率を算出するダイナミックレンジ圧縮特性制御手段と、
前記撮像手段で撮像された画像から反射率画像と照明画像とを抽出し、前記照明画像を前記圧縮率に基づいて圧縮して圧縮後の照明画像を得、前記圧縮後の照明画像と前記反射率画像とに基づいて、ダイナミックレンジ圧縮画像を得るダイナミックレンジ圧縮手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記ダイナミックレンジ圧縮特性制御手段は、
前記被写体輝度検出手段で検出された被写体輝度の最大値と最小値との２つの値の幅に基づいて、
前記幅が広い場合には、前記圧縮率を、前記照明画像から前記圧縮後の照明画像への曲率の強い圧縮特性カーブを与える圧縮率とし、
前記幅が狭い場合には、前記圧縮率を、前記照明画像から前記圧縮後の照明画像への曲率の弱い圧縮特性カーブを与える圧縮率とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ダイナミックレンジ圧縮特性制御手段は、
前記被写体輝度検出手段で検出された被写体輝度の主被写体輝度と背景輝度との２つの値の差に基づいて、
前記差が大きい場合には前記圧縮率を大きくし、
前記差が小さい場合には前記圧縮率を小さくすることを特徴とする請求項１に記載の撮像装置。
【請求項４】
被写体の画像を撮像する撮像手段と、
被写体の複数の領域の輝度を検出する被写体輝度検出手段とを備えた撮像システムにおいて、
前記被写体輝度検出手段で検出された被写体輝度の少なくとも２つの値に基づいて、前記画像のダイナミックレンジを圧縮するための圧縮率を算出するダイナミックレンジ圧縮特性制御手段と、
前記撮像手段で撮像された画像から反射率画像と照明画像とを抽出し、前記照明画像を前記圧縮率に基づいて圧縮して圧縮後の照明画像を得、前記圧縮後の照明画像と前記反射率画像とに基づいて、ダイナミックレンジ圧縮画像を得るダイナミックレンジ圧縮手段とを備えたことを特徴とする撮像システム。
【請求項５】
被写体の画像を撮像する撮像工程と、
被写体の複数の領域の輝度を検出する被写体輝度検出工程と、
前記被写体輝度検出工程で検出された被写体輝度の少なくとも２つの値に基づいて、前記画像のダイナミックレンジを圧縮するための圧縮率を算出するダイナミックレンジ圧縮特性算出工程と、
前記撮像工程で撮像された画像から反射率画像と照明画像とを抽出し、前記照明画像を前記圧縮率に基づいて圧縮して圧縮後の照明画像を得、前記圧縮後の照明画像と前記反射率画像とに基づいて、ダイナミックレンジ圧縮画像を得るダイナミックレンジ圧縮工程とを備えたことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システムおよび撮像方法に関し、特に、被写体の輝度によってダイナミックレンジ圧縮特性を変更する撮像装置、撮像システムおよび撮像方法に関する。
【背景技術】
【０００２】
近年の撮像素子の小型化、高画素化の流れから、撮像素子の画素サイズは小型化の一途をたどり、それに伴い、撮像素子の撮像可能な照度範囲（所謂ダイナミックレンジ：以下、Ｄレンジと言う）が狭くなり、画質に大きな影響を与えている。そのため、撮像素子の広Ｄレンジ化が望まれている。
【０００３】
この課題を解決するために、露光量の異なる画面を複数回撮影し、それら複数の画面から適正レベルの画面部分を選択して画像合成することにより、個々の画面よりも広いＤレンジの画像を合成する撮像装置（例えば、特許文献１参照）や、撮像素子の光電変換信号電荷を信号電圧に変換する電荷電圧変換部を持ち、電荷電圧変換部は異なる電圧依存性を有する複数の容量からなり、Ｄレンジが可変であるような撮像素子（例えば、特許文献２参照）、さらに、フォトダイオードの信号電荷を保持する容量を複数個備え、１回の露光で得られた信号電荷を、容量値を切り換えて複数回読み出し、読み出した信号を加算することでＤレンジを拡大する方法（例えば、特許文献３参照）等が提案されている。
【０００４】
また、ＭＯＳＦＥＴのサブスレショルド特性を用いて光電流を対数圧縮電圧に変換する対数変換型撮像素子において、ＭＯＳＦＥＴに特定のリセット電圧を与えることで、固体撮像素子本来の出力特性、すなわち入射光量に応じて電気信号が線形的に変換されて出力される線形動作状態と、前述の対数動作状態とを自動的に切り替えることが可能（以下、リニアログ特性と言う）とされた対数変換型撮像素子（以下、リニアログセンサと言う）が提案されている（例えば、特許文献４参照）。
【０００５】
しかしながら、撮影された画像を伝送、蓄積、表示する装置のＤレンジは有限であり、たとえ上述した特許文献１〜４で提案された方法等により広Ｄレンジの画像が得られたとしても、得られた情報の全てを取り扱うことは難しい。そこで、上述した方法等で得られた広Ｄレンジの画像の持つ有用な情報を残しながら、画像を伝送、蓄積、表示する装置のＤレンジとの整合をとる処理（以下、階調再生処理と言う）が必要となる。
【０００６】
階調再生処理の１例として、撮影された画像（原画像）から複数のボケ画像を作成し、得られた複数のボケ画像から合成ボケ画像を作成し、合成ボケ画像に基づいて原画像のＤレンジ圧縮を行う方法があるが、その場合に、原画像のシーン判別結果、あるいは原画像に付随した撮影情報に応じてＤレンジを圧縮する際の複数のボケ画像作成のための処理パラメータや合成ボケ画像作成のための処理パラメータを可変にする方法（例えば、特許文献５）が提案されている。
【特許文献１】特公平７−９７８４１号公報
【特許文献２】特開２０００−１６５７５５号公報
【特許文献３】特開２０００−１６５７５４号公報
【特許文献４】特開２００２−７７７３３号公報
【特許文献５】特開２００１−２９８６１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献５に提案された方法において、原画像からシーン判別処理を行う場合は、判別のために画像への処理が多くなり、シーン判別結果が得られるまでに非常に多くの時間を要するという問題点があり、原画像に付随した撮影情報を用いる場合も、既定の撮影シーン分類、撮影時のフラッシュ発光の有無、撮影倍率、主要被写体位置、撮影者の意図や好みといったような情報を加味するものの、原画像の画像データを用いてＤレンジ圧縮のためのパラメータを算出するという意味ではシーン判別を行う場合と同じであり、Ｄレンジ圧縮のためのパラメータが得られるまでに多くの時間を要するという問題点は同じである。
【０００８】
本発明は、上記事情に鑑みてなされたもので、Ｄレンジ圧縮のためのパラメータを高速に得ることができ、さらに原画像の持つ有用な情報を損なうことなくＤレンジ圧縮を行うことのできる撮像装置、撮像システムおよび撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的は、下記構成により達成することができる。
【００１０】
１．被写体の画像を撮像する撮像手段と、
被写体の複数の領域の輝度を検出する被写体輝度検出手段とを備えた撮像装置において、
前記被写体輝度検出手段で検出された被写体輝度の少なくとも２つの値に基づいて、前記画像のダイナミックレンジを圧縮するための圧縮率を算出するダイナミックレンジ圧縮特性制御手段と、
前記撮像手段で撮像された画像から反射率画像と照明画像とを抽出し、前記照明画像を前記圧縮率に基づいて圧縮して圧縮後の照明画像を得、前記圧縮後の照明画像と前記反射率画像とに基づいて、ダイナミックレンジ圧縮画像を得るダイナミックレンジ圧縮手段とを備えたことを特徴とする撮像装置。
【００１１】
２．前記ダイナミックレンジ圧縮特性制御手段は、
前記被写体輝度検出手段で検出された被写体輝度の最大値と最小値との２つの値の幅に基づいて、
前記幅が広い場合には、前記圧縮率を、前記照明画像から前記圧縮後の照明画像への曲率の強い圧縮特性カーブを与える圧縮率とし、
前記幅が狭い場合には、前記圧縮率を、前記照明画像から前記圧縮後の照明画像への曲率の弱い圧縮特性カーブを与える圧縮率とすることを特徴とする前記１に記載の撮像装置。
【００１２】
３．前記ダイナミックレンジ圧縮特性制御手段は、
前記被写体輝度検出手段で検出された被写体輝度の主被写体輝度と背景輝度との２つの値の差に基づいて、
前記差が大きい場合には前記圧縮率を大きくし、
前記差が小さい場合には前記圧縮率を小さくすることを特徴とする前記１に記載の撮像装置。
【００１３】
４．被写体の画像を撮像する撮像手段と、
被写体の複数の領域の輝度を検出する被写体輝度検出手段とを備えた撮像システムにおいて、
前記被写体輝度検出手段で検出された被写体輝度の少なくとも２つの値に基づいて、前記画像のダイナミックレンジを圧縮するための圧縮率を算出するダイナミックレンジ圧縮特性制御手段と、
前記撮像手段で撮像された画像から反射率画像と照明画像とを抽出し、前記照明画像を前記圧縮率に基づいて圧縮して圧縮後の照明画像を得、前記圧縮後の照明画像と前記反射率画像とに基づいて、ダイナミックレンジ圧縮画像を得るダイナミックレンジ圧縮手段とを備えたことを特徴とする撮像システム。
【００１４】
５．被写体の画像を撮像する撮像工程と、
被写体の複数の領域の輝度を検出する被写体輝度検出工程と、
前記被写体輝度検出工程で検出された被写体輝度の少なくとも２つの値に基づいて、前記画像のダイナミックレンジを圧縮するための圧縮率を算出するダイナミックレンジ圧縮特性算出工程と、
前記撮像工程で撮像された画像から反射率画像と照明画像とを抽出し、前記照明画像を前記圧縮率に基づいて圧縮して圧縮後の照明画像を得、前記圧縮後の照明画像と前記反射率画像とに基づいて、ダイナミックレンジ圧縮画像を得るダイナミックレンジ圧縮工程とを備えたことを特徴とする撮像方法。
【発明の効果】
【００１５】
本発明によれば、原画像撮像時の被写体輝度情報に基づいてＤレンジ圧縮のためのパラメータを算出することで、Ｄレンジ圧縮のためのパラメータを高速に得ることができ、さらに原画像の持つ有用な情報を損なうことなくＤレンジ圧縮を行うことのできる撮像装置、撮像システムおよび撮像方法を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面に基づき本発明の実施の形態を説明する。
【００１７】
まず最初に、本発明における撮像装置の一例であるデジタルカメラについて、図１および図２を用いて説明する。
【００１８】
図１は、デジタルカメラの外観模式図で、図１（ａ）は正面図、図１（ｂ）は背面図である。
【００１９】
図１（ａ）において、デジタルカメラ１のボディ１０の正面には、交換レンズ２０が取り付けれられている。ボディ１０の上面には、撮像のための操作部材であるレリーズボタン１０１が設置されており、ボディ１０の内部でレリーズボタン１０１の下部には、レリーズボタン１０１の押し込みの１段目で動作するＡＦスイッチ１０１ａと、レリーズボタンの押し込みの２段目で動作するレリーズスイッチ１０１ｂを構成する２段スイッチが配置されている。また、ボディ１０の上部には、フラッシュ１０２が内蔵され、デジタルカメラ１の動作モードを設定するモード設定ダイアル１１２が配置されている。
【００２０】
図１（ｂ）で、ボディ１０の背面には、デジタルカメラ１の電源をオン／オフするための電源スイッチ１１１、カメラの各種設定条件を変更する変更ダイアル１１３、上下左右と中央の５つのスイッチから成り、デジタルカメラ１の各動作モードでの各種設定を行うためのジョグダイアル１１５、ファインダ接眼レンズ１２１ａ、記録された画像や各種情報等を表示するための画像表示手段１３１が配置されている。
【００２１】
図２は、図１に示したデジタルカメラ１の回路の一例を示すブロック図である。図中、図１と同じ部分には同じ番号を付与した。
【００２２】
デジタルカメラ１の制御を行うカメラ制御手段１５０は、ＣＰＵ（中央処理装置）１５１、ワークメモリ１５２、記憶部１５３、データメモリ１５４等から構成され、記憶部１５３に記憶されているプログラムをワークメモリ１５２に読み出し、当該プログラムに従ってデジタルカメラ１の各部を集中制御する。データメモリ１５４は、測光やＡＦ等の各種データを記憶する。
【００２３】
また、カメラ制御手段１５０は、電源スイッチ１１１、モード設定ダイアル１１２、変更ダイアル１１３、ジョグダイアル１１５、ＡＦスイッチ１０１ａ、レリーズスイッチ１０１ｂ等の操作部材からの入力を受信し、光学ファインダ１２１上の測光モジュール１２２と交信することで測光動作を制御し、ＡＦモジュール１４４と交信することでＡＦ動作を制御し、ミラー駆動手段１４３を介してレフレックスミラー１４１及びサブミラー１４２を駆動し、シャッタ駆動手段１４６を介してシャッタ１４５を制御し、フラッシュ１０２を制御し、撮像制御手段１６１と交信することで撮像動作を制御すると共に、撮像された画像や各種情報を画像表示手段１３１に表示し、インファインダ表示手段１３２に各種情報を表示する。カメラ制御手段１５０と測光モジュール１２２とは、本発明における被写体輝度検出手段として機能する。
【００２４】
また、カメラ制御手段１５０は、外部インターフェース（Ｉ／Ｆ）１８５を介して、デジタルカメラ１の外部に設けられたパーソナルコンピュータや携帯情報端末と、撮像された画像データやデジタルカメラ１の制御信号等をやり取りする。
【００２５】
さらに、カメラ制御手段１５０は、ボディ１０と交換レンズ２０の間の交信を行う、マウント（ボディ側）１７１上に設けられたＢＬ交信手段（ボディ側）１７２と、マウント（レンズ側）２７１上に設けられたＢＬ交信手段（レンズ側）２７２を介して、交換レンズ２０のレンズインターフェース２５１経由で、レンズ２１１のフォーカスとズームの制御を行うレンズ制御手段２４１、絞り２２１の制御を行う絞り制御手段２２２、交換レンズ２０の固有情報を格納しているレンズ情報記憶手段２３１と交信を行うことで、交換レンズ２０全体を制御する。
【００２６】
交換レンズ２０のレンズ２１１によって撮像素子１６２上に結像される画像は、撮像素子１６２で光電変換された後、アンプ１６３で増幅され、フロントエンドプロセッサ（以下、ＦＥＰと言う）１６４でデジタルデータに変換されるとともに、黒レベル補正、固定パターンノイズ（以下、ＦＰＮと言う）補正等の前処理が施され、画像処理手段１６５で既定の画像処理が施され、一旦画像メモリ１８１に記録された後、最終的にはメモリカード１８２に記録される。これらの動作は、カメラ制御手段１５０の制御下で、撮像制御手段１６１によって制御される。撮像制御手段１６１、アンプ１６３、ＦＥＰ１６４および画像処理手段１６５は、撮像回路１６０を構成する。
【００２７】
撮像素子１６２は、例えば特許文献２乃至４に示されたような広Ｄレンジを持つ撮像素子であることが望ましいが、それに限るものではなく、線形の光電変換特性を持つＣＣＤ（電荷結合素子）型やＣＭＯＳ（相補型金属酸化膜半導体）型等の通常の撮像素子であってもよい。撮像素子１６２と撮像回路１６０とは、本発明における撮像手段として機能する。
【００２８】
次に、本発明における被写体輝度検出手段の要部である測光モジュール１２２における測光エリアの一例について図３を用いて説明する。図３は、撮像素子の撮像範囲と、測光モジュールの測光エリアと、ＡＦモジュールのＡＦエリアとを被写界上で光学的に重ね合わせた模式図である。
【００２９】
測光モジュール１２２の測光エリアは、撮像素子１６２の撮像範囲１６２ｚの内側のほぼ全域をにらむ測光エリアＡ０と、その内側を複数（ここでは１３個）に分割して測光する測光エリアＡ１からＡ１３との、合計１４の測光エリアからなる。カメラ制御部１５０は、測光モジュール１２２に搭載された多分割測光素子の各エリアの出力から、ＡＰＥＸ（Ａｄｄｉｔｉｖｅ  ｓｙｓｔｅｍ  ｏｆ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ＥＸｐｏｓｕｒｅ）演算により、多分割測光データとして、各測光エリアのＢｖ（Ｂｒｉｇｈｔｎｅｓｓ  ｖａｌｕｅ）値である１４個のＢｖ値（Ｂｖ（０）〜Ｂｖ（１３））あるいはＥｖ（Ｅｘｐｏｓｕｒｅ  ｖａｌｕｅ）値である１４個のＥｖ値（Ｅｖ（０）〜Ｅｖ（１３））を算出する。ここに、カメラ制御手段１５０および測光モジュール１２２は、本発明における被写体輝度検出手段として機能する。測光演算の詳細については、例えば「特開２００５−１９２１３９号公報」等に述べられているので、ここでは説明は省略する。
【００３０】
一方、ＡＦエリアは、被写界の中央をにらむＡＦエリア１４４Ｃと、左右をにらむＡＦエリア１４４Ｌおよび１４４Ｒの３つのＡＦエリアからなる。カメラ制御部１５０は、ＡＦモジュール１４４から出力されるこれら３つのＡＦエリアのＡＦデータに基づき、例えば最近接距離を示すＡＦエリア内の被写体を主被写体と判断し、レンズ制御部２４１を介してレンズ２１１を駆動し、上述した主被写体にピントを合わせて合焦信号を得る。
【００３１】
上述の説明では、３つのＡＦエリアと１４の測光エリアを持ち、ＡＦ動作によって主被写体の位置を判断するとして説明したが、もちろんＡＦエリア、測光エリアともにこの例に限るものではなく、本発明の趣旨に反しない限り構成は自由に変更可能である。また、主被写体の属するＡＦエリアの決定は、ＡＦ動作によって決定されるに限定されるものではなく、例えば撮影者が手動で選択する等の方法で決定されてもよい。
【００３２】
次に、本発明の第１の実施の形態について、図４乃至図６を用いて説明する。図４は、本発明の第１の実施の形態における画像処理手段１６５およびその周辺部を示す回路ブロック図である。
【００３３】
まず、図４において、ＡＦスイッチ１０１ａがオンされると、測光モジュール１２２により多分割測光動作が行われ、ＡＦモジュール１４４によりＡＦ動作が行われる。次に、レリーズスイッチ１０１ｂがオンされると、レフレックスミラー１４１およびサブミラー１４２がミラーアップされ、シャッタ１４５が開口され、交換レンズ２０のレンズ２１１により被写体像が撮像素子１６２上に結像され、撮像素子１６２により撮像が行われる。ここに、測光モジュール１２２による多分割測光動作は、本発明における被写体輝度検出工程として機能し、撮像素子１６２による撮像動作は本発明における撮像工程として機能する。
【００３４】
なお、本実施の形態では測光動作は測光モジュール１２２によって行うとしたが、これに限るものではなく、例えば撮像素子の画像を用いた所謂ビデオＡＥによって行ってもよい。この場合、例えば画像を水平ｍ×垂直ｎのブロックに分割して（ｍ、ｎは正の整数）各ブロックの画素値の平均値から各ブロックの平均輝度Ｉｖ（ｉｊ）を求める。ここに、
Ｉｖ（ｉｊ）＝ｌｏｇ２（ブロック（ｉｊ）の平均画素値）
である。このＩｖ（ｉｊ）を上述したＢｖ値あるいはＥｖ値と同様に扱って、圧縮特性の演算に用いればよい。
【００３５】
図４において、撮像素子１６２で撮像された撮像データ１６２ｋは、アンプ１６３で増幅された後、ＦＥＰ１６４で、黒レベル補正、ＦＰＮ補正等の前処理が施されたデジタル撮像データ１６４ａに変換され、画像処理手段１６５に入力される。入力されたデジタル撮像データ１６４ａは、ＷＢ部５０１でホワイトバランス処理された後、色補間部５０２で色補間処理が、色補正部５０３で色補正処理が施され、補正済み画像データ５０３ａとして本発明におけるダイナミックレンジ圧縮手段として機能するＤレンジ圧縮部５０４に入力される。ＷＢ部５０１、色補間部５０２および色補正部５０３で施される各々の処理は、一般的な周知の処理でよい。
【００３６】
一方、カメラ制御手段１５０で、測光モジュール１２２の出力に基づいて図５で後述する方法によりＤレンジ圧縮パラメータが算出され、Ｄレンジ圧縮特性制御信号１５０ａとしてＤレンジ圧縮部５０４に向けて出力される。ここに、カメラ制御手段１５０は本発明におけるダイナミックレンジ圧縮特性制御手段として機能する。
【００３７】
Ｄレンジ圧縮部５０４に入力された補正済み画像データ５０３ａは、カメラ制御手段１５０から出力されたＤレンジ圧縮特性制御旬号１５０ａに従って、図５で後述するＤレンジ圧縮処理が施された後、Ｄレンジ圧縮データ５０４ａとしてγ補正部５０５でガンマ補正が、色空間変換部５０６で色空間補正が施され、ＪＰＥＧ圧縮部５０７で適切な圧縮率で圧縮されて画像信号１６５ａとして撮像制御手段１６１に出力される。γ補正部５０５および色空間変換部５０６での各々の処理は一般的な周知の処理でよい。ここに、Ｄレンジ圧縮部５０４は、本発明におけるダイナミックレンジ圧縮手段として機能する。
【００３８】
撮像制御手段１６１に入力された画像信号１６５ａは、カメラ制御手段１５０の制御下で、撮像制御手段１６１により一旦画像メモリ１８１に記録された後、最終的にメモリカード１８２に記録される。
【００３９】
次に、図４に示したＤレンジ圧縮部５０４で施されるＤレンジ圧縮処理について、図５を用いて説明する。図５は、Ｄレンジ圧縮部５０４で施されるＤレンジ圧縮処理の動作の流れを示すフローチャートである。
【００４０】
ステップＳ１０１で、補正済み画像データ５０３ａから照明画像が抽出される。一般的に、画像Ｉは、照明画像Ｌと反射率画像Ｒの積として表される。
【００４１】
Ｉ＝Ｌ・Ｒ
照明画像Ｌの抽出方法については、ローパスフィルタを用いて画像Ｉから低周波成分のみを抽出する方法、もしくはメディアンフィルタやイプシロンフィルタ等を用いた照明成分抽出方法（例えば、原島他「ε−分離非線形デジタルフィルタとその応用」電子情報通信学会論文誌（Ａ）、Ｖｏｌ．Ｊ６５−Ａ、Ｎｏ．４、ｐｐ．２９７−３０４、（Ａｐｒ．１９８２））等を適宜使用する。
【００４２】
ステップＳ１０２で、画像Ｉを照明画像Ｌで除算することで、反射率画像Ｒが得られる。
【００４３】
Ｒ＝Ｉ／Ｌ
ステップＳ１０３で、上述した多分割測光データを基に、図６に後述する方法で照明画像Ｌの圧縮パラメータである圧縮率ｃが算出され、ステップＳ１０４で、照明画像Ｌの圧縮処理が行われる。圧縮処理後の照明画像を、Ｌ’とすると、
Ｌ’＝ｎ・Ｌc
である。ここに、ｎは正規化項である。
【００４４】
ステップＳ１０５で、圧縮処理後の照明画像Ｌ’と反射率画像Ｒが乗算されることで、Ｄレンジ圧縮画像Ｉ’が得られ、動作が終了される。
【００４５】
Ｉ’＝Ｌ’・Ｒ
ここに、ステップＳ１０３は本発明におけるダイナミックレンジ圧縮特性算出工程として機能し、ステップＳ１０４は本発明におけるダイナミックレンジ圧縮工程として機能する。
【００４６】
次に、図５のステップＳ１０３で行われる「照明画像圧縮パラメータ算出」について、図６を用いて説明する。図６は、照明画像Ｌの圧縮パラメータである圧縮率ｃを求める方法を示すグラフの模式図である。
【００４７】
図６（ａ）において、グラフの右側は横軸に撮像された画像データＩを、縦軸に画像データＩから抽出された照明画像Ｌをとったもので、グラフの左側は縦軸に照明画像Ｌを、横軸に圧縮後の照明画像Ｌ’をとったものである。ここでは、デジタルカメラ１の露出制御は、多分割測光データで最大輝度Ｂｖｍａｘを与えるエリアの画像データが撮像素子１６２の出力の最大値となるように絞り値とシャッタ速度が制御されるものとする。また、説明を簡単にするために、画像データＩから抽出される照明画像Ｌは、画像データＩに比例するものとする。
【００４８】
まず、多分割測光データで被写体輝度の最大値Ｂｖｍａｘ１と最少値Ｂｖｍｉｎ１の幅Ｄ１（＝Ｂｖｍａｘ１−Ｂｖｍｉｎ１）が広い場合について考える。上述したデジタルカメラ１の露出制御方法により、多分割測光の最大値Ｂｖｍａｘ１を与える測光エリアの画像データが撮像素子１６２の出力の最大値となるため、それから抽出される照明画像が照明画像Ｌの最大値Ｌ２になるので、多分割測光の最少値Ｂｖｍｉｎ１を与える測光エリアの画像データから抽出される照明画像は非常に小さい値Ｌ１１となり、画像としては暗く潰れたようになっている。
【００４９】
この場合に、照明画像値Ｌ１１を適切な明るさの照明画像値Ｌ１’に変換し、かつ照明画像の最大値Ｌ２をＬ２’に変換するような圧縮特性カーブＣＣ１を考えると、暗く潰れた画像が適切な明るさの画像に変換され、かつ最も明るい部分の画像も白潰れせずに再現されることになる。この時、図６（ａ）の左側のグラフで、点（Ｌ１１，Ｌ１’）と点（Ｌ２，Ｌ２’）を通る圧縮特性カーブＣＣ１は、以下の式で表される。
【００５０】
Ｌ’＝ｎ１・Ｌc1
ここに、ｎ１は正規化項、ｃ１は圧縮率である。
【００５１】
同様に、多分割測光データで被写体輝度の最大値（Ｂｖｍａｘ２）と最少値（Ｂｖｍｉｎ２）の幅Ｄ２（＝Ｂｖｍａｘ２−Ｂｖｍｉｎ２）が狭い場合には、多分割測光の最少値（Ｂｖｍｉｎ２）を与える測光エリアの画像データから抽出される照明画像は、上述した最小値Ｂｖｍｉｎ１の場合に比べると大きな照明画像値Ｌ２１となる。この場合には、上述したと同様に、照明画像Ｌ２１を適切な明るさの照明画像値Ｌ１’に変換し、かつ照明画像の最大値Ｌ２をＬ２’に変換するような圧縮特性カーブＣＣ２を考えると、圧縮特性カーブＣＣ２は以下の式で表される。
【００５２】
Ｌ’＝ｎ２・Ｌc2
ここに、ｎ２は正規化項、ｃ２は圧縮率であり、Ｃ１＜Ｃ２である。
【００５３】
以上に述べた照明画像Ｌと圧縮後の照明画像Ｌ’との関係を、図６（ｂ）に示した。図６（ｂ）は、図６（ａ）の左側のグラフと同じもので、被写体輝度の最大値Ｂｖｍａｘと最小値Ｂｖｍｉｎの幅Ｄが広い場合の圧縮特性カーブＣＣ１と狭い場合の圧縮特性カーブＣＣ２を例示してある。上述したように、図６（ｂ）の座標空間において照明画像の圧縮特性は、被写体輝度の最大値と最小値の幅Ｄが広いほど曲率の強い圧縮特性カーブ（図のＣＣ１）に設定され、幅Ｄが狭いほど線形に近い圧縮特性カーブ（図のＣＣ２）に設定され、Ｄレンジ圧縮特性はこの圧縮特性カーブにより制御される。
【００５４】
このようにして、多分割測光データを基に、被写体輝度の最大値Ｂｖｍａｘと最小値Ｂｖｎｉｎの幅Ｄによって照明画像Ｌの圧縮パラメータである圧縮率ｃを求めることで、従来のように原画像からシーン判別処理を行う場合に比べて圧縮率ｃの演算が非常に高速で行えるので、照明画像の圧縮処理が高速に行え、かつ適切な明るさのＤレンジ圧縮画像を得ることができる。また、被写体輝度の最大値Ｂｖｍａｘと最小値Ｂｖｎｉｎの幅Ｄに対する圧縮率ｃの関係を予め求めてルックアップテーブル等の形で記憶しておき、必要の都度テーブルから圧縮率ｃを読み出すことで、圧縮率ｃの演算を省略して更に処理を高速化することも可能である。
【００５５】
上述した例では、照明画像の圧縮処理を、本発明における撮像装置であるデジタルカメラ１内の画像処理手段１６５で行うとしたが、これに限るものではなく、例えばデジタルカメラ１外のパーソナルコンピュータ（ＰＣ）等を用いて処理してもよい。ＰＣを用いることによって、より詳細な照明画像の圧縮処理を行うことが可能となる。ここに、デジタルカメラ１やＰＣ等は、本発明における撮像システムを構成する。
【００５６】
次に、本発明の第２の実施の形態について、図７を用いて説明する。図７は、本発明の第２の実施の形態における圧縮率ｃの決定方法を示すフローチャートである。ここでは、例えば画面の中心、すなわち図３に示した測光素子１２２ａの中央エリア（Ａ７）を主被写体エリアとし、それ以外を背景エリアとして、多分割測光データから主被写体輝度Ｂｖｍａｉｎと背景輝度（例えば背景エリアの平均輝度）Ｂｖｓｕｂを求め、これから照明画像の圧縮率ｃを決定する。なお、主被写体エリアは中央エリア（Ａ７）に限るものではなく、例えば撮影者の指定するエリアであってもよいし、図３で説明したようにＡＦ動作の結果から求められる合焦エリアであってもよい。
【００５７】
図７において、ステップＳ２０１で、多分割測光のＡ７エリアの測光データから主被写体の輝度Ｂｖｍａｉｎが求められ、ステップＳ２０２で、多分割測光のＡ７以外のエリアの測光データの平均値から背景輝度Ｂｖｓｕｂが求められる。ステップＳ２０３で、主被写体輝度Ｂｖｍａｉｎと背景輝度Ｂｖｓｕｂとの差ΔＢｖ（＝Ｂｖｍａｉｎ−Ｂｖｓｕｂ）が０（ゼロ）より大きいか等しい、すなわち主被写体輝度の方が背景輝度よりも明るいか等しい順光シーンであるか否かが確認される。順光シーンである場合（ステップＳ２０３；ＹＥＳ）には、ステップＳ２０４で照明画像の圧縮率ｃが小さい値（ｃ１）に設定されて動作が終了される。これによって、圧縮特性全体に渡って平坦な傾きとなり、画像全体の階調性が確保されることになる。
【００５８】
順光シーンでない場合（ステップＳ２０３；ＮＯ）には、ステップＳ２０５で、主被写体輝度Ｂｖｍａｉｎと背景輝度Ｂｖｓｕｂとの差（Ｂｖｍａｉｎ−Ｂｖｓｕｂ）が逆光判定値ＴＨ（ここに、ＴＨは負の数）より小さいか等しい、すなわち主被写体輝度の方が背景輝度よりもかなり暗い、強い逆光シーンであるか否かが確認される。強い逆光シーンである場合（ステップＳ２０５；ＹＥＳ）には、ステップＳ２０６で照明画像の圧縮率ｃが大きい値（ｃ３）に設定されて動作が終了される。これによって、低輝度部の圧縮特性の傾きが大きくなり、輝度の低い被写体、すなわち主被写体が含まれる低輝度部の階調性が確保されることになる。逆光判定値ＴＨは、既定値であってもよいし、例えば撮影者が設定した値でもよい。
【００５９】
順光シーンでも強い逆光シーンでもない、すなわち主被写体輝度の方が背景輝度よりも少し暗い、弱い逆光シーンの場合（ステップＳ２０５；ＮＯ）には、ステップＳ２０７で照明画像の圧縮率ｃが中間の値（ｃ２）に設定されて動作が終了される。ここに、ｃ１＜ｃ２＜ｃ３である。これによって、弱い逆光シーンの場合には順光シーンと強い逆光シーンの中間の圧縮特性となる。
【００６０】
図８に、上述した方法により決定される照明画像の圧縮率ｃをパラメータにした照明画像Ｌと圧縮後の照明画像Ｌ’との関係を示した。上述したように、本例では主被写体輝度と背景輝度とを比較し、照明画像の圧縮率を、主被写体輝度が大きいほど小さく、背景輝度が大きいほど大きくなるようにＤレンジ圧縮特性を制御することにより、また特に、主被写体輝度と背景輝度とから順光シーン、強い逆光シーン、弱い逆光シーンという多段階に分けてＤレンジ圧縮特性を制御している。従って、図８に示すように、順光シーンの場合の圧縮特性のカーブはＣＣ１（Ｌ’＝ｎ１・Ｌc1）となり、圧縮特性全体に渡って平坦な傾きとなり、画像全体の階調性が確保されている。強い逆光シーンの場合の圧縮特性のカーブはＣＣ３（Ｌ’＝ｎ３・Ｌc3）となり、低輝度側の傾きが大きくなっており、輝度の低い被写体、すなわち主被写体が含まれる低輝度部の階調性が確保されている。弱い逆光シーンの場合の圧縮特性のカーブはＣＣ２（Ｌ’＝ｎ２・Ｌc2）となり、順光シーンと強い逆光シーンの中間の特性となっている。
【００６１】
なお、ここでは画像における主被写体輝度と背景輝度との関係を、順光シーン、弱い逆光シーン、強い逆光シーンの３つに分類して説明したが、これに限るものではなく、もっと大まかな分類、あるいはもっと細かい分類をしてもよいし、例えば第１の主被写体、第２の主被写体、背景といったように被写体の分類を変更してもよい。
【００６２】
次に、本発明の第３の実施の形態について説明する。ここでは、Ｇｏｓｈｔａｓｂｙの方法と呼ばれる方法を応用してＤレンジ圧縮を行う。Ｇｏｓｈｔａｓｂｙの方法とは、本来、特許文献１に示されたと同様に、露光量の異なる画面を複数回撮影し、それら複数の画像を用いて適正な画像を求めるもので、詳しくは、例えば「Ａ．Ｇｏｓｈｔａｓｂｙ，”Ｆｕｓｉｏｎ  ｏｆ  Ｍｕｌｔｉ−Ｅｘｐｏｓｕｒｅ  Ｉｍａｇｅｓ”，Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ，ｖｏｌ．２３，２００５，ｐｐ．６１１−６１８」に記載されている。
【００６３】
本第３の実施の形態においては、上述した露光量の異なる複数枚の画像の代わりに、特許文献４に示したリニアログセンサで撮影された１枚の画像を用いる。以下、図９を用いて本実施の形態を説明する。図９は、リニアログセンサで撮影された１枚の画像から複数の画像を得る方法を示す模式図で、図９（ａ）はリニアログセンサの光電変換特性を示すグラフ、図９（ｂ）は複数の画像の作成方法を示すグラフで、共に横軸に被写体輝度を、縦軸に撮像素子の画素値を線形でとってある。
【００６４】
図９（ａ）において、リニアログセンサの光電変換特性は、低輝度被写体は線形特性（図の特性９０１）で、高輝度被写体は対数特性（図の特性９０２）である。リニアログセンサで撮影された画像について、対数特性９０２の部分を演算によって線形特性９０３に伸張して線形特性の画像Ｉを得る。一方で、図３で説明した方法等により、多分割測光での各測光エリアの測光データＢｖ（１）〜Ｂｖ（Ｎ）（図３の例ではＮ＝１３）を得る。
【００６５】
次に図９（ｂ）において、線形特性の画像Ｉから、測光データＢｖ（１）〜Ｂｖ（Ｎ）が画素値の適正値（例えば画素値の最大値が８ｂｉｔの場合は１２８）となるように傾きを補正した画像Ｉ１〜ＩＮを演算により作成する。例えばエリアの測光データが明るければ（例えばＢｖ１の場合）傾きが寝た画像Ｉ１が得られる。画像Ｉ１の場合は、画像全体にわたって白潰れなく再現されているが、コントラストの低い画像となっている。また、エリアの測光データが暗い場合（例えばＢｖ３の場合）は傾きが立った画像Ｉ３が得られる。画像Ｉ３の場合は、画像の明るい部分は全て白潰れしているが、低輝度部分のコントラストは高い。エリアの測光データがＢｖ１とＢｖ３の中間の場合（例えばＢｖ２の場合）は、画像Ｉ１と画像Ｉ３の中間の画像Ｉ２が得られる。
【００６６】
このようにして得られた複数の画像Ｉ１〜ＩＮを用いてＤレンジ圧縮特性を決定する。以降の動作は上述した論文に記載の方法と同様の方法を踏襲するので、簡単な説明に留める。まず、複数の画像Ｉ１〜ＩＮをそれぞれｍ×ｎのブロックに分割して（ｍ、ｎは正の整数）、各ブロックで画像のコントラストを示す尺度であるエントロピーＥを求める。ブロック（ｊ，ｋ）のカラー画像のエントロピーをＥｃ（ｊｋ）とすると、
【００６７】
【数１】
0004687475.tif 000002
【００６８】
ここに、ｐiはブロック内における画素値ｉの発生確率を示し、ｒ、ｇ、ｂは各々Ｒ（赤）画素、Ｇ（緑）画素、Ｂ（青）画素を示す。
【００６９】
次に、各ブロック毎に最大のコントラストを与える画像を選択する。ここに、最大のコントラストを与える画像の画像番号Ｉjkは、ブロック（ｊ，ｋ）について、Ｎ枚の画像中最大のエントロピーを与える画像の番号である。このようにして選ばれたｍ×ｎ枚の画像は、このままでは繋ぎ目が不自然のままであるから、ブレンドと呼ばれる処理を施すことにより、自然な１枚の画像となる。この時の出力画像Ｏ（ｘ，ｙ）は、
【００７０】
【数２】
0004687475.tif 000003
【００７１】
となる。ここに、Ｗjkは（式３）で示されるウェイトであり、Ｉjk（ｘ，ｙ）はブロック（ｊ，ｋ）について最大のエントロピーを与える画像の画素値である。
【００７２】
【数３】
0004687475.tif 000004
【００７３】
ここに、Ｇjk（ｘ，ｙ）は（式４）で示されるガウシアンである。
【００７４】
【数４】
0004687475.tif 000005
【００７５】
ここに、（ｘjk，ｙjk）はブロックの中心画素の座標であり、σは標準偏差である。
【００７６】
本実施の形態によれば、リニアログセンサで撮影された１枚の画像から測光手段の検出結果に基づいて複数の画像を作成し、作成された複数の画像を任意の数のブロックに分割して各々のブロック毎にコントラストの高い画像を選択することでＤレンジ特性を制御し、さらにブレンド処理を行うことで良好にしかも早くＤレンジ圧縮を施すことができ、自然な画像を得ることができる。
【００７７】
以上に述べたように、本発明によれば、原画像撮像時の被写体輝度情報に基づいてＤレンジ圧縮のためのパラメータを算出することで、Ｄレンジ圧縮のためのパラメータを高速に得ることができ、さらに原画像の持つ有用な情報を損なうことなくＤレンジ圧縮を行うことのできる撮像装置、撮像システムおよび撮像方法を提供することができる。
【００７８】
尚、本発明に係る撮像装置、撮像システムおよび撮像方法を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００７９】
【図１】本発明における撮像装置の一例であるデジタルカメラの外観模式図である。
【図２】図１に示したデジタルカメラの回路の一例を示すブロック図である。
【図３】撮像範囲と、測光エリアと、ＡＦエリアとの関係を示す模式図である。
【図４】本発明の第１の実施の形態における画像処理手段およびその周辺部を示す回路ブロック図である。
【図５】Ｄレンジ圧縮処理の動作の流れを示すフローチャートである。
【図６】照明画像の圧縮特性を求める方法を示すグラフの模式図である。
【図７】本発明の第２の実施の形態における圧縮率の決定方法を示すフローチャートである。
【図８】本発明の第２の実施の形態における照明画像と圧縮後の照明画像との関係を示すグラフである。
【図９】リニアログセンサで撮影された１枚の画像から複数の画像を得る方法を示す模式図である。
【符号の説明】
【００８０】
１  デジタルカメラ
１０  ボディ
１１２  モード設定ダイアル
１２２  測光モジュール
１３１  画像表示手段
１４１  レフレックスミラー
１４２  サブミラー
１４４  ＡＦモジュール
１４５  シャッタ
１５０  カメラ制御手段
１５１  ＣＰＵ（中央処理装置）
１５２  ワークメモリ
１５３  記憶部
１５４  データメモリ
１６０  撮像回路
１６１  撮像制御手段
１６２  撮像素子
１６３  アンプ
１６４  フロントエンドプロセッサ（ＦＥＰ）
１６５  画像処理手段
５０４  Ｄレンジ圧縮部
１８１  画像メモリ
１８２  メモリカード
２０  交換レンズ
２１１  レンズ
２２１  絞り
【図１】
0004687475.tif 000006
【図２】
0004687475.tif 000007
【図３】
0004687475.tif 000008
【図４】
0004687475.tif 000009
【図５】
0004687475.tif 000010
【図６】
0004687475.tif 000011
【図７】
0004687475.tif 000012
【図８】
0004687475.tif 000013
【図９】
0004687475.tif 000014