(57)【特許請求の範囲】
【請求項１】
画像データを取得する画像データ取得工程と、
上記画像データにおける全ての画素の明度を算出すると共に、予め設定された画素の位置に対応する負値または正値の度数加重係数に基づき、各画素の位置に対応した度数を当該画素の度数として、明度の等しい画素の度数を累積して明度度数分布を計測し、かつ、累積値が負値となった明度は累積値を０度数とする度数分布計測工程と、
上記度数分布計測工程によって計測された明度度数分布における指標明度が予め設定された目標明度に一致するように前記画像データ取得工程によって取得される画像データを調整する撮像制御工程とを備えた明度調整方法。
【請求項２】
度数分布計測工程は、撮像画面をそれぞれが複数の画素から成るブロックに分割し、各ブロックに対応する度数加重係数が予め設定された加重係数設定テーブルから該当する画素の位置に対応する度数加重係数を参照して、その度数加重係数を当該画素の度数として該当する累積された度数に加算することを特徴とする請求項１記載の明度調整方法。
【請求項３】
度数分布計測工程は、互いに異なる度数加重係数が予め設定された複数の加重係数設定テーブルを動的に変更して使用することを特徴とする請求項２記載の明度調整方法。
【請求項４】
撮像制御工程は、度数分布計測工程によって計測された明度度数分布における指標明度および予め設定された目標明度を、明度に対応する対数値が設定された対数値変換テーブルから参照し、それら参照した２つの対数値の差分に応じて画像データ取得工程によって取得される画像データを調整することを特徴とする請求項１から請求項３のうちのいずれか１項記載の明度調整方法。
【請求項５】
画像データ取得工程は、連続した複数の画像を撮像するものであって、撮像制御工程は、算出した対数値の差分と時定数との積を利用して画像データ取得工程によって取得される画像データを調整することを特徴とする請求項４記載の明度調整方法。
【請求項６】
入射する光画像を光電変換して電気信号の画像データを出力する固体撮像素子と、上記固体撮像素子から出力される画像データを利得制御自在に増幅する利得制御手段と、上記画像データにおける全ての画素の明度を算出すると共に、予め設定された画素の位置に対応する負値または正値の度数加重係数に基づき、各画素の位置に対応した度数を当該画素の度数として、明度の等しい画素の度数を累積して明度度数分布を計測し、かつ、累積値が負値となった明度は累積値を０度数とする度数分布計測手段と、上記度数分布計測手段により計測された明度度数分布における指標明度が予め設定された目標明度に一致するように上記固体撮像素子の電荷蓄積時間および上記利得制御手段の利得値のうちの少なくともいずれかを制御する撮像制御手段を備えた撮像装置。
【請求項７】
入射する光画像を光電変換して電気信号の画像データを出力する固体撮像素子と、上記固体撮像素子への入射光量を制御する絞り制御手段と、上記画像データにおける全ての画素の明度を算出すると共に、予め設定された画素の位置に対応する負値または正値の度数加重係数に基づき、各画素の位置に対応した度数を当該画素の度数として、明度の等しい画素の度数を累積して明度度数分布を計測し、かつ、累積値が負値となった明度は累積値を０度数とする度数分布計測手段と、上記度数分布計測手段により計測された明度度数分布における指標明度が予め設定された目標明度に一致するように上記絞り制御手段を制御する撮像制御手段を備えた撮像装置。
【請求項８】
撮像画面をそれぞれが複数の画素から成るブロックに分割し、各ブロックに対応する度数加重係数が予め設定された加重係数設定テーブルを備え、度数分布計測手段は、上記加重係数設定テーブルから該当する画素の位置に対応する度数加重係数を参照して、その度数加重係数を当該画素の度数として該当する累積された度数に加算することを特徴とする請求項６または請求項７記載の撮像装置。
【請求項９】
互いに異なる度数加重係数がそれぞれ予め設定された複数の加重係数設定テーブルと、上記複数の加重係数設定テーブルのうちの使用する加重係数設定テーブルを動的に変更するテーブル切り替え手段とを備えたことを特徴とする請求項８記載の撮像装置。
【請求項１０】
視点位置に応じて互いに異なる度数加重係数がそれぞれ予め設定された複数の加重係数設定テーブルと、撮影者の視点位置を検出する視点検出手段と、上記視点検出手段によって検出された視点位置に応じて上記複数の加重係数設定テーブルのうちの使用する加重係数設定テーブルを動的に変更するテーブル切り替え手段とを備えたことを特徴とする請求項８記載の撮像装置。
【請求項１１】
明度に対応する対数値が設定された対数値変換テーブルを備え、撮像制御手段は、度数分布計測手段により計測された明度度数分布における指標明度の対数値を上記対数値変換テーブルから参照すると共に、予め設定された目標明度の対数値を上記対数値変換テーブルから参照し、それら参照した２つの対数値の差分に応じて固体撮像素子の電荷蓄積時間および利得制御手段の利得値のうちの少なくともいずれかを制御することを特徴とする請求項６、請求項８から請求項１０のうちのいずれか１項記載の撮像装置。
【請求項１２】
明度に対応する対数値が設定された対数値変換テーブルを備え、撮像制御手段は、度数分布計測手段により計測された明度度数分布における指標明度の対数値を上記対数値変換テーブルから参照すると共に、予め設定された目標明度の対数値を上記対数値変換テーブルから参照し、それら参照した２つの対数値の差分に応じて絞り制御手段を制御することを特徴とする請求項７から請求項１０のうちのいずれか１項記載の撮像装置。
【請求項１３】
当該撮像装置は、連続した複数の画像を撮像する撮像装置であって、撮像制御手段は、算出した対数値の差分と時定数との積を利用して固体撮像素子の電荷蓄積時間および利得制御手段の利得値のうちの少なくともいずれかを制御することを特徴とする請求項１１記載の撮像装置。
【請求項１４】
当該撮像装置は、連続した複数の画像を撮像する撮像装置であって、撮像制御手段は、算出した対数値の差分と時定数との積を利用して絞り制御手段を制御することを特徴とする請求項１２記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、デジタルカラー撮像機器における明度調整方法および撮像装置に関するものである。
【０００２】
【従来の技術】
図１５は例えば特開平１１−６９３７２号公報に示された従来のデジタルスチルカメラを示す構成図であり、図において、３１はレンズやＣＣＤ等の撮像手段、３２は撮影により得られた画像について明度度数分布を作成する明度解析手段、３３は作成された明度度数分布に基づいて絞りやシャッタースピードを調節する露出制御手段である。
図１６は従来の明度度数分布を示す特性図である。
【０００３】
次に動作について説明する。
明度度数分布を用い、飽和レベルの画素が一定数となるような明度補正を行う明度調整方法がある。これは人間の視覚特性を利用しており、人間が画像から受ける明るさの印象が、全体の平均値よりはむしろハイライト部の頻度で決まっていることから、明度度数分布の最大明度の度数を管理するという考え方に基づいて処理を行うものである。
図１５において、明度解析手段３２は、撮像手段３１により得られた画像について明度度数分布を作成し、露出制御手段３３は、作成された明度度数分布に基づいて絞りやシャッタースピードを調節する。
図１６はその適正露光されたネガフィルムの明度度数分布の一例を示したものであり、図において、明度度数分布Ｘを適正露光した明度度数分布Ｙでは、その最大明度（２５５）で１％前後のクリッピングが常に生じることが知られている。
このようなデジタルスチルカメラによれば、例えば、撮影した画像がオーバー露光で、明度度数分布において最大明度（２５５）を有する画素の割合が５％程度になってしまったとしても、ゲインを５％から１％に落とすように明度制御を行うことができ、再設定された露出値で再度撮影を行えば、最大明度を有する画素の割合が１％であるような画像データ、つまり適切な明るさの画像データを取得することができる。
このように、従来では、画像の明るさが適切か否かを明度度数分布によって判断し、この明度度数分布が上記条件を満たすものとなるように調整を行うことを趣旨とするものであり、撮影画像が何らかの条件を満たしていることを前提とするのではなく、適切な明るさの画像として必要な条件が何かということのみに着目し、その条件を満たすように処理を行うことによって、画像の内容に拘わらず常に良い結果を得ようとするものである。
【０００４】
【発明が解決しようとする課題】
従来の明度調整方法は以上のように構成されているので、例えば被写体の背後から照明が当たっているような、いわゆる逆光状態においては、明るい背景部のうち全画素の１％のみを飽和させるように明度を制御するため、被写体部分は信号レベルが低く、真っ黒な画像となってしまう黒潰れの現象が発生するのを回避できないという課題があった。
また、画面の端部であっても中央部であっても飽和画素があれば同様にカウントされるため、画面中央部の画像を重視して明度制御を行うことができないという課題があった。
さらに、明度度数分布から逆光状態や、逆に被写体のみに強い光が当たり主要被写体の信号レベルが飽和してしまう過順光状態の発生を検知し、平均値による明度制御に対して逆光であれば主要被写体の信号レベルを上げるために明るめの補正を行い、過順光であれば暗めの補正を行うような明度調整方法も存在する。しかし、この場合には逆光モードか否か、過順光モードか否か、というモードの切り替えが発生するため、デジタルビデオカメラによる撮像時やデジタルカメラにおける液晶ファインダ動作時等、連続的に自動明度処理を行う場合には処理が不安定になるなどの課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、画像における主要被写体の位置を考慮した明度調整を行うことができると共に、逆光や過順光時にも画像の白飛び、黒潰れが発生しにくく、階調性のある画像を撮影可能な明度調整方法および撮像装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る明度調整方法は、画像データ取得工程によって取得された画像データにおける全ての画素の明度を算出すると共に、予め設定された画素の位置に対応する負値または正値の度数加重係数に基づき、各画素の位置に対応した度数を当該画素の度数として、明度の等しい画素の度数を累積して明度度数分布を計測し、かつ、累積値が負値となった明度は累積値を０度数とする度数分布計測工程と、度数分布計測工程によって計測された明度度数分布における指標明度が予め設定された目標明度に一致するように画像データ取得工程によって取得される画像データを調整する撮像制御工程とを備えたものである。
【０００７】
この発明に係る明度調整方法は、度数分布計測工程において、撮像画面をそれぞれが複数の画素から成るブロックに分割し、各ブロックに対応する度数加重係数が予め設定された加重係数設定テーブルから度数加重係数に加算するようにしたものである。
【０００９】
この発明に係る明度調整方法は、度数分布計測工程において、互いに異なる度数加重係数が予め設定された複数の加重係数設定テーブルを動的に変更して使用するようにしたものである。
【００１０】
この発明に係る明度調整方法は、撮像制御工程において、度数分布計測工程によって計測された明度度数分布における指標明度および予め設定された目標明度を、明度に対応する対数値が設定された対数値変換テーブルから参照し、それら参照した２つの対数値の差分に応じて画像データ取得工程によって取得される画像データを調整するようにしたものである。
【００１１】
この発明に係る明度調整方法は、撮像制御工程において、算出した対数値の差分と時定数との積を利用して画像データ取得工程によって取得される画像データを調整するようにしたものである。
【００１２】
この発明に係る撮像装置は、固体撮像素子から出力される信号を利得制御自在に増幅する利得制御手段と、利得制御手段から出力される信号における全ての画素の明度を算出すると共に、予め設定された画素の位置に対応する負値または正値の度数加重係数に基づき、各画素の位置に対応した度数を当該画素の度数として、明度の等しい画素の度数を累積して明度度数分布を計測し、かつ、累積値が負値となった明度は累積値を０度数とする度数分布計測手段と、度数分布計測手段により計測された明度度数分布における指標明度が予め設定された目標明度に一致するように固体撮像素子の電荷蓄積時間または利得制御手段の利得値を制御する撮像制御手段とを備えたものである。
【００１３】
この発明に係る撮像装置は、固体撮像素子への入射光量を制御する絞り制御手段と、固体撮像素子から出力される画像データにおける全ての画素の明度を算出すると共に、予め設定された画素の位置に対応する負値または正値の度数加重係数に基づき、各画素の位置に対応した度数を当該画素の度数として、明度の等しい画素の度数を累積して明度度数分布を計測し、かつ、累積値が負値となった明度は累積値を０度数とする度数分布計測手段と、度数分布計測手段により計測された明度度数分布における指標明度が予め設定された目標明度に一致するように絞り制御手段を制御する撮像制御手段とを備えたものである。
【００１４】
この発明に係る撮像装置は、撮像画面をそれぞれが複数の画素から成るブロックに分割し、各ブロックに対応する度数加重係数が予め設定された加重係数設定テーブルを備えたものである。
【００１６】
この発明に係る撮像装置は、互いに異なる度数加重係数がそれぞれ予め設定された複数の加重係数設定テーブルと、複数の加重係数設定テーブルのうちの使用する加重係数設定テーブルを動的に変更するテーブル切り替え手段とを備えたものである。
【００１７】
この発明に係る撮像装置は、視点位置に応じて互いに異なる度数加重係数がそれぞれ予め設定された複数の加重係数設定テーブルと、撮影者の視点位置を検出する視点検出手段と、視点検出手段によって検出された視点位置に応じて複数の加重係数設定テーブルのうちの使用する加重係数設定テーブルを動的に変更するテーブル切り替え手段とを備えたものである。
【００１８】
この発明に係る撮像装置は、明度に対応する対数値が設定された対数値変換テーブルを備え、撮像制御手段は、度数分布計測手段により計測された明度度数分布における指標明度の対数値を対数値変換テーブルから参照すると共に、予め設定された目標明度の対数値を対数値変換テーブルから参照し、それら参照した２つの対数値の差分に応じて固体撮像素子の電荷蓄積時間または利得制御手段の利得値を制御するようにしたものである。
【００１９】
この発明に係る撮像装置は、明度に対応する対数値が設定された対数値変換テーブルを備え、撮像制御手段は、度数分布計測手段により計測された明度度数分布における指標明度の対数値を対数値変換テーブルから参照すると共に、予め設定された目標明度の対数値を対数値変換テーブルから参照し、それら参照した２つの対数値の差分に応じて絞り制御手段を制御するようにしたものである。
【００２０】
この発明に係る撮像装置は、撮像制御手段において、算出した対数値の差分と時定数との積を利用して固体撮像素子の電荷蓄積時間または利得制御手段の利得値を制御するようにしたものである。
【００２１】
この発明に係る撮像装置は、撮像制御手段において、算出した対数値の差分と時定数との積を利用して絞り制御手段を制御するようにしたものである。
【００２２】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による明度調整方法を示すブロック図であり、図において、１は画像データ取得工程、２は度数分布計測工程、３は撮像制御工程である。
図２は画素の位置に対応する度数加重係数を示す説明図である。
図３は度数加重係数を付加した明度度数分布からの明度調整方法を示す説明図である。
図４は度数加重係数を付加した明度度数分布に負数が存在する場合を示す説明図である。
図５は黒潰れや白飛びに対する効果を示す説明図である。
【００２３】
次に動作について説明する。
図１において、画像データ取得工程１では、固体撮像素子によって出力される信号、もしくは、一旦メディアに記録された画像データを読み出すデータ読み取り装置から出力される信号を読み取る。
ここで言う画像データとは、各画素の画素値が互いに独立な３つの要素の組として表されるものであり、「互いに独立な３つの要素の組」とは、ＲＧＢ、ＣＭＹ等、カラー画像を表す際に用いられている３色表色系が一般的である。但し、画素値を独立な３つの要素の組で表す方式は、ＸＹＺ表色系等、他にも多く存在し、この実施の形態１では、いずれか特定の表色系に限定されるものではない。
【００２４】
次に、画像データ取得工程１で得られた画像データに対し、度数分布計測工程２では、まず、３つの要素に基づいて定義された明度を算出する。
明度の定義としては、例えば、ＲＧＢ表色系においては、明度Ｌ、画素値を（Ｒ，Ｇ，Ｂ）として、
Ｌ＝０．２９８９・Ｒ＋０．５８６６・Ｇ＋０．１１４５・Ｂ        （１）
とする計算式が知られている。
但し、この発明の明度調整方法における明度の定義は、必ずしも上記式（１）に限定されるものではなく、ＲＧＢの各画素値のうちで最大となるものを明度として用いる、
Ｌ＝ｍａｘ（Ｒ，Ｇ，Ｂ）                                        （２）
といった計算方法や、単純にＧの画素値を明度として用いる、
Ｌ＝Ｇ                                                          （３）
といった定義方法も考えられる。
【００２５】
各画素のＲ、Ｇ、Ｂ値をそれぞれ８ビットのデータとして表すものとすると、上記式（１）に基づいて求められる明度もまた８ビットのデータとして表すことができる。この場合、明度が取り得る値は０から２５５の間の値となる。
上記のように求めた画素毎の明度の値から画像全体での明度度数分布（明度ヒストグラム）を作成する。通常の明度度数分布では、常に１画素が１度数に対応し、各画素の明度に該当する度数に対して１ずつ加算していく作業を１画面全体に渡って繰り返すことになるが、この発明の方式では、図２に示すように、予め画素の位置に対応する度数加重係数を設定しておき、各画素に対応した度数加重係数を各画素の明度に該当する度数として加算していく。この際、負数の度数加重係数値が設定されている場合には、度数は加算ではなく減算されることになる。
ここで、図２は画素の位置と度数加重係数との関係を示しており、各領域に含まれる画素の度数加重係数をその領域に書かれた数値とすることを表している。例えば、図２におけるＡの画素の明度が１００であったとすれば、画素Ａの含まれる領域の値は−０．２であるから、画素Ａの度数を−０．２として、明度１００の画素の度数の累積値から０．２を減算する処理を行う。同様にして、画素Ｂ、画素Ｃの明度がそれぞれ５０、１５０であるとすると、画素Ｂについては明度５０の画素の度数の累積値に４．０を加算し、画素Ｃについては明度１５０の画素の度数の累積値から０．４を減算する。
【００２６】
撮像制御工程３では、このように作成された加重付き明度度数分布を用いて、加重付き明度度数分布における明度０からの累積度数が全画素の度数に対して一定の割合となる明度を求める。この明度を指標明度とし、指標明度が予め定めた値である目標明度に近づくように画像データ取得工程１に対して調整を行う。
この調整の手段に関しては、画像データ取得工程１が、固体撮像素子からの信号を出力する場合には、固体撮像素子に入射する光量を変化させる方法や、固体撮像素子に備えられた信号増幅装置の増幅倍率を変更する方法、あるいは電荷の蓄積を開始してから読み出すまでの時間、すなわち、いわゆる電子シャッターのシャッター速度を変更する方法等が考えられる。
また、画像データ取得工程１が、一旦メディアに記録された画像データを読み出すデータ読み取り装置からの信号を出力する場合には、読み出した画像データに対して信号を増幅する装置の増幅倍率を変更する方法等が考えられる。
但し、この実施の形態１の明度調整手段は、上記方法に限定されるものではなく、必ず画像の明度を上げる一連の操作と、必ず画像の明度を下げる一連の操作を組み合わせたものであれば、どのようなものであっても構わない。
【００２７】
図３は具体的に加重付き明度度数分布のデータから明度調整を行う方法を示すものである。図３中、加重付き明度度数分布Ｄが得られたとすると、まず、明度の低い側から度数を累積していき、全体の総度数に対する割合が一定となる明度を求める。図３では、この一定の割合を仮に総度数の７０％とし、これを指標明度としている。加重付き明度度数分布Ｄでは、その指標明度と、予め設定された目標明度とが異なっており、指標明度を目標明度のレベルまで引き上げる必要がある。
ここでは、画像データ取得工程１が、固体撮像素子からの信号を出力する場合で、固体撮像素子に備えられた信号増幅装置の増幅倍率を変更することによって指標明度を調整するものとすると、増幅率を一定ステップずつ増加させていき、指標明度が目標明度に達したところで増加を停止させる。このような処理を行うことにより、加重付き明度度数分布Ｅに示すような指標明度が目標明度と一致した度数分布を得る。
上記のように度数加重係数として負数を用いる可能性があるため、度数分布計測工程２によって得られる加重付き明度度数分布は、図４の斜線部分のように度数が負数となる明度が存在する可能性がある。この場合には、そのまま計算を行うと明度の低い側からの累積度数が単調増加にならず、指標明度が一意に決定できない恐れがある。これを避けるため、度数が負数となっている明度の領域を度数０とみなし、全体の総度数および明度の低い側からの累積度数の計算を行えば良い。
【００２８】
以上のように、この実施の形態１によれば、度数加重係数による加重付き明度度数分布を計測するため、画像の中で各明度の画素がどの位置に分布しているかによって処理に変化を持たせることが可能である。
また、度数加重係数に負数を含めることによって、特定領域の画素についてはその影響を排除することができ、被写体の背後から照明が当たる逆光状態や、逆に被写体のみに強い光が当たり主要被写体の信号レベルが飽和してしまう過順光状態においても、主要被写体部分で信号レベルが低くなってしまう黒潰れや逆に信号レベルが飽和する白飛びの現象が発生するのを緩和することが可能である。
【００２９】
図５は黒潰れや白飛びに対する効果を示したものである。図５（ａ）のように背景が明るく被写体が暗い場合には、背景部の画素については度数に加算される度数加重係数が小さいか、もしくは負数であるため、加重を行わずに明度度数分布を作成する場合と比較して、中央部に存在する主要被写体部分の度数が増え、背景の明るい部分に相当する明度の度数は少なくなる。
ここで、仮に明度が低い側から７０％の累積度数となる明度（図５内の指標明度に当たる）を、７０％の明度レベル（図５内の目標明度に当たる）に一致させるような露出制御（明度調整）を行うと、背景部分の度数が少なくカウントされているため、中央部のコントラストを広げるような露出制御を実現することができる。
これは、図５（ｂ）のような主要被写体のみに照明が当たっている過順光状態においても同様であり、背景部に当たる明度の低い部分の度数が加重なしの場合と比較して減少するため、暗い背景部に引きずられて主要被写体部分が白く飛んでしまうのを防ぐことが可能である。
【００３０】
実施の形態２．
図６はこの発明の実施の形態２による明度調整方法を示すブロック図であり、図において、４は加重係数設定テーブルである。その他の構成については、図１と同一である。
図７は複数の画素から成る各ブロックに対応する度数加重係数を示す説明図である。
図８はこの発明の実施の形態２による他の明度調整方法を示すブロック図であり、図において、４ａ〜４ｃは互いに異なる度数加重係数が設定された複数の加重係数設定テーブル、５は複数の加重係数設定テーブル４ａ〜４ｃを動的に変更するテーブル切り替え手段である。その他の構成については、図１と同一である。
【００３１】
次に動作について説明する。
図６において、画像データ取得工程１、度数分布計測工程２、撮像制御工程３の処理については上記実施の形態１と同様であり、加重係数設定テーブル４は、度数分布計測工程２において各画素毎に加算もしくは減算する度数加重係数が予め設定されたテーブルデータである。
テーブルデータは、図２に示したように、各画素に対応する度数加重係数をそのまま記録するものでも良いし、テーブルに必要なデータサイズを節約するために、図７のように画像をエリア毎のブロックに分割し、各エリア内では度数加重係数は一定であるものとしてエリア毎の値をテーブルとして記録するものでも良い。
また、図８のように、加重係数設定テーブル４ａ〜４ｃのように複数用意し、テーブル切り替え手段５によって切り替えて使用することも可能である。テーブル切り替えのタイミングは、使用者によるスイッチ切り替えや、視線入力装置によって検知される使用者の視線方向等が考えられる。
【００３２】
以上のように、この実施の形態２によれば、度数加重係数を加重係数設定テーブル４ａ〜４ｃとして保持することにより、複数の度数加重係数を動的に使い分ける等の柔軟な使用方法を可能にしている。
また、使用者のスイッチ切り替えによる加重係数設定テーブル４ａ〜４ｃの変更では、例えば、逆光補正を行う加重係数設定テーブルと、あまり行わない加重係数設定テーブルとを用意しておき、使用者に逆光状態が発生しているかどうか、あるいは逆光補正を行いたいかどうか、といったおおまかな判断を任せることにより、使用者の意図を反映した明度調整処理を行うことができる。
さらに、視線入力装置によって加重係数設定テーブル４ａ〜４ｃを切り替える場合には、デジタルスチルカメラやデジタルビデオカメラのファインダ内で使用者が注視している画像の方向を検知し、その部分を主要被写体として加重係数設定を大きくすることが可能である。これにより、例え被写体が中央部に存在しない構図であっても、使用者の撮影しようとする部分を主要被写体とする明度制御を行うことが可能である。
さらに、画像をエリア毎のブロックに分割し、各エリアの度数加重係数のみを加重係数設定テーブル４として設定しておく場合には、各画素の度数加重係数を全て加重係数設定テーブル４として用意する場合と比較し、加重係数設定テーブル４のために用意すべきデータサイズを大幅に削減することが可能である。
【００３３】
実施の形態３．
図９はこの発明の実施の形態３による撮像装置を示す構成図であり、図において、１１は被写体像を撮像素子の撮像面に結像させるレンズ系、１２は入射する光画像を光電変換して電気信号の映像信号を出力する、電荷蓄積時間Ｓを変更できる固体撮像素子である。
１３は固体撮像素子１２からの映像信号を増幅するプリアンプ、１４はプリアンプ１３からの映像信号を増幅する、ゲインを変更可能なＡＧＣ回路（利得制御手段）、１５はＡＧＣ回路１４からの映像信号をデジタルの映像信号に変換するＡ／Ｄコンバータ、１６はＡ／Ｄコンバータ１５からの１フレーム分のデジタルの映像信号の画素値から各画素の明度を算出し、明度の等しい画素の度数を累積すると共に、加重係数設定テーブル４に予め設定された画素の位置に対応する度数加重係数を参照し、その度数加重係数を該当する累積された度数から加算または減算し、加重付き明度度数分布を計測する度数分布計測手段である。
１７は度数分布計測手段１６によって算出された加重付き明度度数分布に基づいて指標明度Ｌｈを求めると共に、Ｄ／Ａコンバータ１８およびタイミングジェネレータ１９を制御することによって、この指標明度Ｌｈを予め定めた目標明度Ｌ０に一致させる制御を行う撮像制御手段、１８はＡＧＣ回路１４のゲインＧを制御するアナログの制御信号を出力するＤ／Ａコンバータ、１９は固体撮像素子１２の電荷蓄積時間Ｓを制御する駆動パルスを供給するタイミングジェネレータである。
【００３４】
次に動作について説明する。
図９において、撮像装置に入射する光画像は、レンズ系１１によって固体撮像素子１２の撮像面に結像され、固体撮像素子１２によって電気信号の映像信号に変換された後、プリアンプ１３およびＡＧＣ回路１４によって増幅され、Ａ／Ｄコンバータ１５によってデジタルの映像信号に変換される。このデジタルの映像信号は、度数分布計測手段１６によって各画素の明度を算出すると共に、１フレーム分の画素値から各画素について算出された明度と、その画素の位置に応じた度数加重係数を参照する加重係数設定テーブル４の値から加重付き明度度数分布の計測に用いられる。
ここで、各画素の画素値は、ＲＧＢの互いに独立な３つの要素の組から成るものとするが、ＣＭＹ表色系等、画素値が互いに独立な３つの要素の組として表される他の任意の表色系のいずれかを用いても良い。
また、明度の算出は明度Ｌ、画素値を（Ｒ，Ｇ，Ｂ）として、上記式（１）という定義により求めるものとするが、３つの要素の組合せによって作成可能な任意の計算式を明度Ｌの定義として用いることが可能である。
【００３５】
フレームに含まれる各画素の明度と画面内における画素位置の組合せにより加重付き明度度数分布を順次計算する。例えば、画素値の３要素がそれぞれ８ビットのデータ幅を持つとすれば、Ｒ、Ｇ、Ｂそれぞれが０から２５５までの範囲の値を採るため、明度Ｌも０から２５５までの範囲の値となる。明度度数分布の計算のため、Ｈ（０）からＨ（２５５）まで２５６個の変数を用意しておき、画素毎に算出される明度Ｌに応じてＨ（Ｌ）に該当画素位置の度数加重係数Ｋを加算する。但し、度数加重係数Ｋは、負数を採る場合もあり、その場合は減算となる。
【００３６】
次に撮像制御手段１７によって、度数分布計測手段１６で算出された加重付き明度度数分布に基づいて、指標明度Ｌｈを求める。ここでは、指標明度Ｌｈを、加重付き明度度数分布において、明度が低い側から度数を累積し、累積度数が総度数の７０％に達する点として定義する。もちろん、指標明度Ｌｈの決定に使用する累積度数の総度数に対する割合は、任意の値を採って構わない。
具体的には、まず、加重付き明度度数分布の総度数Ｔａを求める。この際、加重付き明度度数分布は、度数が負数となる明度を含む可能性があるが、そのような明度については度数０として積算を行う。よって、定義式は下記式（４）のようになる。
【数１】
0003792555.tif 000002
これに対して、累積度数が総度数Ｔａの７０％に達する明度の指標明度Ｌｈは、総度数Ｔａと同様に度数が負数となる明度については度数０とみなして明度の低い側から積算し、積算度数が０．７×Ｔａを満たす初めての明度として定義する。定義式は下記式（５）、
【数２】
0003792555.tif 000003
を満たす最小のＬｘが指標明度Ｌｈということになる。
このようにして求められた指標明度Ｌｈと、予め定められた目標明度Ｌ０を比較し、指標明度Ｌｈが目標明度Ｌ０よりも大きい場合は、タイミングジェネレータ１９を制御し、電荷蓄積時間Ｓがより小さくなるよう調整するか、Ｄ／Ａコンバータ１８を制御し、ＡＧＣ回路１４のゲインＧがより小さくなるように調整する。
また、逆に目標明度Ｌ０が指標明度Ｌｈよりも大きい場合は、タイミングジェネレータ１９を制御し、電荷蓄積時間Ｓがより大きくなるよう調整するか、Ｄ／Ａコンバータ１８を制御し、ＡＧＣ回路１４のゲインＧがより大きくなるように調整する。
なお、明度調整の手段は、上記方法に限定されるものではなく、必ず画像の明度を上げる一連の操作と、必ず画像の明度を下げる一連の操作を組み合わせたものであれば、どのようなものであっても構わない。
【００３７】
以上のように、この実施の形態３によれば、度数加重係数による加重付き明度度数分布を計測するため、画像の中で各明度の画素がどの位置に分布しているかによって処理に変化を持たせた画像の明度調整を行う撮像装置を構成することが可能である。
また、度数加重係数に負数を含めることによって、特定領域の画素についてはその影響を排除することができ、被写体の背後から照明が当たる逆光状態や、逆に被写体のみに強い光が当たり主要被写体の信号レベルが飽和してしまう過順光状態においても、主要被写体部分で信号レベルが低くなってしまう黒潰れや逆に信号レベルが飽和する白飛びの現象が発生するのを緩和することが可能である。
これは背景が暗く主要被写体のみに照明が当たっている過順光状態においても同様であり、背景部に当たる輝度値の低い部分の度数が加重なしの場合と比較して減少するため、暗い背景部に引きずられて主要被写体部分が白く飛んでしまうのを防ぐことが可能である。
【００３８】
実施の形態４．
図１０はこの発明の実施の形態４による撮像装置を示す構成図であり、図において、２０はレンズ系１１における絞り機構を制御し、固体撮像素子１２に入射する光量を調節する絞り制御手段であり、撮像制御手段１７によって制御されるものである。
４ａ〜４ｃは互いに異なる度数加重係数が設定された複数の加重係数設定テーブル、５は複数の加重係数設定テーブル４ａ〜４ｃを動的に変更するテーブル切り替え手段である。２１は被写体確認のためにファインダを覗く撮影者の視線方向を検知し、検知された視線方向に応じてテーブル切り替え手段５を制御する視点検出手段である。その他の構成については、ＡＧＣ回路１４、Ｄ／Ａコンバータ１８、およびタイミングジェネレータ１９が含まれていない以外、図９と同一である。
図１１は視点位置に応じて互いに異なる度数加重係数が設定された複数の加重係数設定テーブルを示す説明図である。
【００３９】
次に動作について説明する。
撮像した画像をデジタルの映像信号に変換し、度数分布計測手段１６に入力する所までは、上記実施の形態３と同様であるが、度数加重係数の参照に用いる加重係数設定テーブルを複数持つ所が異なる。
この実施の形態４では、複数の加重係数設定テーブル４ａ〜４ｃのうちのいずれを使用するかはテーブル切り替え手段５によって決定される。テーブル切り替え手段５は、視点検出手段２１によって制御されており、撮影者の視線方向によって度数分布計測手段１６で用いる加重係数設定テーブルが決定される。
図１１は図７と共に、視点検出手段２１と組み合わせて用いられる複数の加重係数設定テーブルの一例となる組合せを示したものである。視線が画面中央部を注視している場合には図７に示した加重係数設定テーブルを使用し、画面内左方向を注視している場合には図１１（ａ）の加重係数設定テーブル、画面内右方向を注視している場合には図１１（ｂ）の加重係数設定テーブルを使用する。
【００４０】
以上のように、この実施の形態４によれば、画面内で視線が注視している方向の画素について度数加重係数値を大きく設定することで、例え被写体が中央部に存在しない構図であっても、使用者の撮影しようとする部分を主要被写体とする明度制御を行う撮像装置を構成することができる。
また、撮像制御手段１７において絞り制御手段２０を制御し、絞りの調節によって指標明度Ｌｈを目標明度Ｌ０に一致させる構成をとっている。この構成では指標明度Ｌｈが目標明度Ｌ０よりも大きい場合は、絞り制御手段２０によってより絞りを閉じ、固体撮像素子１２に入射する光量を減少させる。目標明度Ｌ０が指標明度Ｌｈよりも大きい場合は、絞り制御手段２０によってより絞りを開き、固体撮像素子１２に入射する光量を増加させる。
もちろん、固体撮像素子１２の蓄積時間を変更可能なシステムやＡＧＣ回路１４の利得変更可能なシステムでは、実施の形態３と同様の明度調整方法も可能であり、あるいは２つの手法を組み合わせて用いることも可能である。
さらに、画像をエリア毎のブロックに分割し、各エリアの度数加重係数のみを加重係数設定テーブルとして記録しておく場合には、各画素の度数加重係数を全て加重係数設定テーブルとして用意する場合と比較し、加重係数設定テーブルのために用意すべきデータサイズを大幅に削減することが可能である。
【００４１】
実施の形態５．
図１２はこの発明の実施の形態５による撮像装置を示す構成図であり、図において、２２は撮像制御手段１７において、指標明度Ｌｈおよび目標明度Ｌ０を対数値に変換する際に参照する対数値変換テーブルである。その他の構成については、図９と同一である。
図１３は対数値変換テーブルを示す説明図、図１４は被写体照度対数値、ゲイン設定値および蓄積時間設定値を対応させたテーブルを示す説明図である。
【００４２】
次に動作について説明する。
撮像した画像をデジタルの映像信号に変換し、度数分布計測手段１６によって加重付き明度度数分布を得る所までは、上記実施の形態３と同様であるが、指標明度Ｌｈを算出後、目標明度Ｌ０に一致させる制御を行う部分が異なる。
この実施の形態５ににおいては、飽和領域を除いてゲインや蓄積時間を２倍にすると、指標明度Ｌｈについてもほぼ２倍となり、ゲインや蓄積時間といった明度調整用のパラメータと調整指標値との間の線形性が保持されるという特長がある。このため指標明度Ｌｈを対数化して同じく対数化された目標明度Ｌ０との間の差分を求めることにより、高速安定かつ簡潔な明度補正処理を行うことができる。
具体的には、図１３に示すような対数値変換テーブル２２を用意し、そのテーブルの参照によって指標明度Ｌｈおよび目標明度Ｌ０の対数変換値を求める。二つの対数値の差分が目標明度Ｌ０に対する指標明度Ｌｈの比率を表すことになる。次に、図１４のテーブルを参照する。図１４のテーブルは、被写体照度の対数値と、その被写体照度に適した蓄積時間Ｓの設定値、およびゲインＧの設定値を対応させたものになっている。このテーブルにおいても、左列の値の差分が被写体照度の比率を表すことになるため、指標明度Ｌｈを算出する際に用いた蓄積時間Ｓの設定値、およびゲインＧの設定値に対して、先に求めた指標明度Ｌｈおよび目標明度Ｌ０の対数変換値の差分の分だけ、図１４の左列の値が変化するようにテーブルを移動させれば、指標明度Ｌｈを目標明度Ｌ０に一致させることが可能である。この際テーブルの移動量が計算で容易に求められるように、テーブル左列の値は一段毎の差分が一定となる等差級数を構成するようにしておく。
【００４３】
また、上述の方法では、蓄積時間Ｓの設定値およびゲインＧの設定値の変化と指標明度Ｌｈの変化が完全に線形に対応することを前提としているが、実際のシステムでは固体撮像素子１２の特性ばらつきや被写体条件の変動によって厳密な線形性は保たれないことが多い。この場合には、時定数Ｔ（Ｔ＜１）を導入することによって、より安定性を重視した制御を行うことも可能である。
具体的には上記で求めた指標明度Ｌｈおよび目標明度Ｌ０の対数変換値の差分Ｄに対してＤ×Ｔを求め、Ｄ×Ｔの分だけ、図１４の左列の値が変化するようにテーブルを移動させる。Ｔの値を小さくするほど、より安定した制御が可能であり、逆にＴの値を大きくするとより、高速に指標明度Ｌｈを目標明度Ｌ０に収束させることが可能である。
【００４４】
以上のように、この実施の形態５によれば、指標明度Ｌｈを対数化して、同じく対数化された目標明度Ｌ０との間の差分を求めることにより、高速安定かつ簡潔な明度補正処理を行うことができる。
【００４５】
【発明の効果】
以上のように、この発明によれば、画像データ取得工程によって取得された画像データにおける全ての画素の明度を算出すると共に、予め設定された画素の位置に対応する負値または正値の度数加重係数に基づき、各画素の位置に対応した度数を当該画素の度数として、明度の等しい画素の度数を累積して明度度数分布を計測し、かつ、累積値が負値となった明度は累積値を０度数とする度数分布計測工程と、度数分布計測工程によって計測された明度度数分布における指標明度が予め設定された目標明度に一致するように画像データ取得工程によって取得される画像データを調整する撮像制御工程とを備えるように構成したので、画像における主要被写体の位置を考慮した明度調整を行うことができると共に、逆光や過順光時にも画像の白飛び、黒潰れが発生しにくく、階調性のある画像を撮影することができる効果がある。
特に、この発明によれば、度数加重係数として負数を含み、かつ、累積値が負値となった明度は累積値を０度数とするよう構成したので、特定領域の画素についてはその影響を排除することができ、被写体の背後から照明が当たる逆光状態や、逆に被写体のみに強い光が当たり主要被写体の信号レベルが飽和してしまう過順光状態においても、主要被写体部分で信号レベルが低くなってしまう黒潰れや逆に信号レベルが飽和する白飛びの現象が発生するのを緩和することができる効果がある。
【００４６】
この発明によれば、度数分布計測工程において、画素の位置に対応する度数加重係数が予め設定された加重係数設定テーブルから度数加重係数を参照するように構成したので、加重係数設定テーブルを用いることによって、容易に該当する度数加重係数を参照することができる効果がある。
【００４７】
この発明によれば、度数分布計測工程において、撮像画面をそれぞれが複数の画素から成るブロックに分割し、各ブロックに対応する度数加重係数が予め設定された加重係数設定テーブルを用いるように構成したので、加重係数設定テーブルのために用意しなくてはならないデータサイズを大幅に削減することができる効果がある。
【００４８】
この発明によれば、度数分布計測工程において、互いに異なる度数加重係数が予め設定された複数の加重係数設定テーブルを動的に変更して使用するように構成したので、使用者の意図を反映した明度調整を行うことができる効果がある。
【００４９】
この発明によれば、撮像制御工程において、度数分布計測工程によって計測された明度度数分布における指標明度および予め設定された目標明度を、明度に対応する対数値が設定された対数値変換テーブルから参照し、それら参照した２つの対数値の差分に応じて画像データ取得工程によって取得される画像データを調整するように構成したので、高速かつ簡潔に明度調整を行うことができる効果がある。
【００５０】
この発明によれば、撮像制御工程において、算出した対数値の差分と時定数との積を利用して画像データ取得工程によって取得される画像データを調整するように構成したので、高速かつ簡潔に明度調整を行うことができる効果がある。
【００５１】
この発明によれば、固体撮像素子から出力される信号を利得制御自在に増幅する利得制御手段と、利得制御手段から出力される信号における全ての画素の明度を算出すると共に、予め設定された画素の位置に対応する負値または正値の度数加重係数に基づき、各画素の位置に対応した度数を当該画素の度数として、明度の等しい画素の度数を累積して明度度数分布を計測し、かつ、累積値が負値となった明度は累積値を０度数とする度数分布計測手段と、度数分布計測手段により計測された明度度数分布における指標明度が予め設定された目標明度に一致するように固体撮像素子の電荷蓄積時間または利得制御手段の利得値を制御する撮像制御手段とを備えるように構成したので、画像における主要被写体の位置を考慮した明度調整を行うことができると共に、逆光や過順光時にも画像の白飛び、黒潰れが発生しにくく、階調性のある画像を撮影することができる効果がある。
特にこの発明によれば、度数分布計測手段は、度数加重係数として負数を含み、かつ、累積値が負値となった明度は累積値を０度数とするよう構成したので、特定領域の画素についてはその影響を排除することができ、被写体の背後から照明が当たる逆光状態や、逆に被写体のみに強い光が当たり主要被写体の信号レベルが飽和してしまう過順光状態においても、主要被写体部分で信号レベルが低くなってしまう黒潰れや逆に信号レベルが飽和する白飛びの現象が発生するのを緩和することができる効果がある。
【００５２】
この発明によれば、固体撮像素子への入射光量を制御する絞り制御手段と、固体撮像素子から出力される画像データにおける全ての画素の明度を算出すると共に、予め設定された画素の位置に対応する負値または正値の度数加重係数に基づき、各画素の位置に対応した度数を当該画素の度数として、明度の等しい画素の度数を累積して明度度数分布を計測し、かつ、累積値が負値となった明度は累積値を０度数とする度数分布計測手段と、度数分布計測手段により計測された明度度数分布における指標明度が予め設定された目標明度に一致するように絞り制御手段を制御する撮像制御手段とを備えるように構成したので、画像における主要被写体の位置を考慮した明度調整を行うことができると共に、逆光や過順光時にも画像の白飛び、黒潰れが発生しにくく、階調性のある画像を撮影することができる効果がある。
特にこの発明によれば、度数分布計測手段は、度数加重係数として負数を含み、かつ、累積値が負値となった明度は累積値を０度数とするよう構成したので、特定領域の画素についてはその影響を排除することができ、被写体の背後から照明が当たる逆光状態や、逆に被写体のみに強い光が当たり主要被写体の信号レベルが飽和してしまう過順光状態においても、主要被写体部分で信号レベルが低くなってしまう黒潰れや逆に信号レベルが飽和する白飛びの現象が発生するのを緩和することができる効果がある。
【００５３】
この発明によれば、画素の位置に対応する度数加重係数が予め設定された加重係数設定テーブルを備えるように構成したので、加重係数設定テーブルを用いることによって、容易に該当する度数加重係数を参照することができる効果がある。
【００５４】
この発明によれば、加重係数設定テーブルにおいて、撮像画面をそれぞれが複数の画素から成るブロックに分割し、各ブロックに対応する度数加重係数が予め設定されるように構成したので、加重係数設定テーブルのために用意しなくてはならないデータサイズを大幅に削減することができる効果がある。
【００５５】
この発明によれば、互いに異なる度数加重係数がそれぞれ予め設定された複数の加重係数設定テーブルと、複数の加重係数設定テーブルのうちの使用する加重係数設定テーブルを動的に変更するテーブル切り替え手段とを備えるように構成したので、使用者の意図を反映した明度調整を行うことができる効果がある。
【００５６】
この発明によれば、視点位置に応じて互いに異なる度数加重係数がそれぞれ予め設定された複数の加重係数設定テーブルと、撮影者の視点位置を検出する視点検出手段と、視点検出手段によって検出された視点位置に応じて複数の加重係数設定テーブルのうちの使用する加重係数設定テーブルを動的に変更するテーブル切り替え手段とを備えるように構成したので、撮影者の撮影しようとする部分を主要被写体として、明度調整を行うことができる効果がある。
【００５７】
この発明によれば、明度に対応する対数値が設定された対数値変換テーブルを備え、撮像制御手段は、度数分布計測手段により計測された明度度数分布における指標明度の対数値を対数値変換テーブルから参照すると共に、予め設定された目標明度の対数値を対数値変換テーブルから参照し、それら参照した２つの対数値の差分に応じて固体撮像素子の電荷蓄積時間または利得制御手段の利得値を制御するように構成したので、高速かつ簡潔に明度調整を行うことができる効果がある。
【００５８】
この発明によれば、明度に対応する対数値が設定された対数値変換テーブルを備え、撮像制御手段は、度数分布計測手段により計測された明度度数分布における指標明度の対数値を対数値変換テーブルから参照すると共に、予め設定された目標明度の対数値を対数値変換テーブルから参照し、それら参照した２つの対数値の差分に応じて絞り制御手段を制御するように構成したので、高速かつ簡潔に明度調整を行うことができる効果がある。
【００５９】
この発明によれば、撮像制御手段において、算出した対数値の差分と時定数との積を利用して固体撮像素子の電荷蓄積時間または利得制御手段の利得値を制御するように構成したので、高速かつ簡潔に明度調整を行うことができる効果がある。
【００６０】
この発明によれば、撮像制御手段において、算出した対数値の差分と時定数との積を利用して絞り制御手段を制御するように構成したので、高速かつ簡潔に明度調整を行うことができる効果がある。
【図面の簡単な説明】
【図１】  この発明の実施の形態１による明度調整方法を示すブロック図である。
【図２】  画素の位置に対応する度数加重係数を示す説明図である。
【図３】  度数加重係数を付加した明度度数分布からの明度調整方法を示す説明図である。
【図４】  度数加重係数を付加した明度度数分布に負数が存在する場合を示す説明図である。
【図５】  黒潰れや白飛びに対する効果を示す説明図である。
【図６】  この発明の実施の形態２による明度調整方法を示すブロック図である。
【図７】  複数の画素から成る各ブロックに対応する度数加重係数を示す説明図である。
【図８】  この発明の実施の形態２による他の明度調整方法を示すブロック図である。
【図９】  この発明の実施の形態３による撮像装置を示す構成図である。
【図１０】  この発明の実施の形態４による撮像装置を示す構成図である。
【図１１】  視点位置に応じて互いに異なる度数加重係数が設定された複数の加重係数設定テーブルを示す説明図である。
【図１２】  この発明の実施の形態５による撮像装置を示す構成図である。
【図１３】  対数値変換テーブルを示す説明図である。
【図１４】  被写体照度対数値、ゲイン設定値および蓄積時間設定値を対応させたテーブルを示す説明図である。
【図１５】  従来のデジタルスチルカメラを示す構成図である。
【図１６】  従来の明度度数分布を示す特性図である。
【符号の説明】
１  画像データ取得工程、２  度数分布計測工程、３  撮像制御工程、４，４ａ〜４ｃ  加重係数設定テーブル、５  テーブル切り替え手段、１１  レンズ系、１２  固体撮像素子、１３  プリアンプ、１４  ＡＧＣ回路（利得制御手段）、１５  Ａ／Ｄコンバータ、１６  度数分布計測手段、１７  撮像制御手段、１８  Ｄ／Ａコンバータ、１９  タイミングジェネレータ、２０  絞り制御手段、２１  視点検出手段、２２  対数値変換テーブル、３１  撮像手段、３２  明度解析手段、３３  露出制御手段。
【図１】
0003792555.tif 000004
【図２】
0003792555.tif 000005
【図３】
0003792555.tif 000006
【図４】
0003792555.tif 000007
【図５】
0003792555.tif 000008
【図６】
0003792555.tif 000009
【図７】
0003792555.tif 000010
【図８】
0003792555.tif 000011
【図９】
0003792555.tif 000012
【図１０】
0003792555.tif 000013
【図１１】
0003792555.tif 000014
【図１２】
0003792555.tif 000015
【図１３】
0003792555.tif 000016
【図１４】
0003792555.tif 000017
【図１５】
0003792555.tif 000018
【図１６】
0003792555.tif 000019