(57)【要約】【課題】明るい環境から暗い環境に移動した際の自動露出調整機能の動作を高速化することのできる画像信号処理回路を提供する。【解決手段】従来、ガンマ補正回路の出力値を用いて、自動露出調整を行なっていた。しかし、暗い環境から明るい環境へ移動する場合、暗い画像が階調の中心に来るように調整されていたので、明るい画像になったときは、階調が飛んでしまい、明るい画像を階調の中心に持ってくる処理を何回もしなければならなかった。そこで、ガンマ補正回路の入力値を用いて自動露出補正を行なうようにした。この場合、暗い画面の階調値は、小さくなるので、階調値の上限までの階調数を多く取ることが出来、明るい画像を階調の中心に持ってくるまでの処理の回数を少なく出来、自動露出調整の追従性能がよくなる。【選択図】図１
2009124638.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの輝度信号を処理する信号処理回路において、
前記撮像素子から輝度信号を、表示デバイスの輝度特性とは逆方向となる特性の補正を与える補正回路と、
前記撮像素子からの輝度信号であって、前記補正回路で補正を受ける前の輝度信号に基づいて、前記撮像素子からの輝度信号の利得制御を行う利得制御部と、
を有することを特徴とする信号処理回路。
【請求項２】
前記利得制御は、撮像素子の露光時間を制御することによって行なわれることを特徴とする請求項１に記載の信号処理回路。
【請求項３】
前記利得制御は、画像信号の増幅率を制御することによって行なわれることを特徴とする請求項１に記載の信号処理回路。
【請求項４】
前記補正回路で補正を受ける前の輝度信号とは、前記補正回路にて補正された後の信号に対し、前記補正回路の輝度特性とは逆方向となる特性を与えた後の信号であることを特徴とする請求項１に記載の信号処理回路。
【請求項５】
撮像素子からの輝度信号を処理する信号処理回路において、
前記輝度信号のレベルを検出するレベル検出部と、
前記輝度信号の利得を制御する利得制御部と、
前記レベル検出部で検出するレベルの変動に応じて、前記利得制御部の制御頻度を変更する頻度制御部と、
を有することを特徴とする信号処理回路。
【請求項６】
前記制御頻度は、前記レベルが上昇した場合に変更されることを特徴とする請求項４に記載の信号処理回路。
【請求項７】
前記制御頻度の変更の割合は、前記レベルの変化の割合に依存して変更されることを特徴とする請求項５に記載の信号処理回路。
【請求項８】
請求項１または請求項５に記載の信号処理回路を備えた電子カメラ。
【請求項９】
撮像素子からの画像信号を記録する撮像方法において、
前記撮像素子から輝度信号を、表示デバイスの輝度特性とは逆方向となる特性の補正を与え、
前記撮像素子からの輝度信号であって、前記補正ステップで補正を受ける前の輝度信号に基づいて、前記撮像素子からの輝度信号の利得制御を行う、
ことを特徴とする撮像方法。
【請求項１０】
撮像素子からの画像信号を記録する撮像方法において、
前記輝度信号のレベルを検出し、
前記輝度信号の利得を制御し、
前記レベル検出部で検出するレベルの変動に応じて、前記利得制御部の制御頻度を変更する、
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサを使用した固体撮像装置に係り、特に、自動露出制御機能を有する画像信号処理回路に関する。
【背景技術】
【０００２】
近年、固体撮像素子は、デジタルスチルカメラや携帯端末等の製品に内蔵されて大量に使われることになった。そのデジタルカメラには、自動露出調整機能(AE: Auto-Exposure)と呼ばれる機能があり、環境の明るさに変化が生じても常に同じ明るさに表示が見えるように、信号増幅器のゲインや露出時間を自動的に調整させている。通常、このような制御は画面輝度を毎フレーム読み取り、一定に保ちたい明るさ(目標輝度)との比を計算して、その結果を元に露出時間とゲインとを調整することで一定の明るさに画像を表示させている。
【０００３】
図８は、従来の画像信号処理回路の一例を示す図である。
画像センサ（不図示）から入力された信号は、画質調整等画像処理回路１０において、画質等が調整され、次に、ガンマ補正回路１１に入力される。ガンマ補正回路１１では、画面輝度が調整され、次に、出力フォーマット変換回路１２に入力される。出力フォーマット変換回路１２では、画像センサからの信号のフォーマットを、表示用に変換し、画像表示用信号として出力する。また、AEは、AGC（Auto Gain Control）回路１３によって制御される。AGC回路１３は、ガンマ補正回路１１の出力を取得して、画像センサの露出時間を調整したり、信号の増幅率（ゲイン）を調整したりする。
【０００４】
従来の撮像装置としては、特許文献１がある。特許文献１においては、ゲインアップと階調変換特性（γ回路）の変更とを併せて行なうことにより、ダイナミックレンジの拡大を図った撮像装置が開示されている。
【特許文献１】特開２００２−３３９５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、デジタルカメラの画面輝度は、8bit出力の場合0〜255コードの値に数値化され出力される。明るい環境であっても、暗い環境であっても、その数値化された値において、目標輝度は通常その中間値となる120コードぐらいに設定される。明るい環境で中間値に収束している状態で暗い環境に移動する場合には、かならず暗い環境の輝度に相当する値は0〜120コードの何れかに存在するので問題はないが、暗い環境で明るい環境に移動する場合には、輝度として10倍から100もの違いが存在する可能性があり、120〜250コードの間に明るい環境に相当する輝度が存在する可能性は小さい。この場合、以下のように追従動作をする。例えば、1000Lx（ルクス）の輝度環境でAEが輝度=120で落ち着いていた時に、50Lx（ルクス）のような暗い環境に変化した場合、輝度は1/20になっているため、その比は6コードとなり、この輝度差(120/6=20倍)を追従させればよいという結果を導くことができる。しかし、逆に50lxの環境でAEが輝度=120で落ち着いている時に、1000Lxに変化すると、輝度は20倍になっているため、120×20=2400コードの出力をさせたいのだが、前述したとおり出力できる輝度範囲は0〜255コードまでで制限されてしまうため、2400にはリミッタがかかり255となってしまう。したがって、本来なら120/2400=0.05倍して追従したいのだが、その結果を導くことができずに、120/255=0.47倍までにしかすることができない。つまり、この0.05倍にいたるまで、同様な計算を数十回繰り返すことになり、追従速度が遅くなることが生じた。
【０００６】
本発明の課題は、暗い環境から明るい環境に移動した際の自動露出調整機能の動作を高速化することのできる画像信号処理回路を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一側面における信号処理回路は、撮像素子からの輝度信号を処理する信号処理回路において、前記撮像素子から輝度信号を、表示デバイスの輝度特性とは逆方向となる特性の補正を与える補正回路と、前記撮像素子からの輝度信号であって、前記補正回路で補正を受ける前の輝度信号に基づいて、前記撮像素子からの輝度信号の利得制御を行う利得制御部とを有する。
【０００８】
本発明の他の側面における信号処理回路は、撮像素子からの輝度信号を処理する信号処理回路において、前記輝度信号のレベルを検出するレベル検出部と、前記輝度信号の利得を制御する利得制御部と、前記レベル検出部で検出するレベルの変動に応じて、前記利得制御部の制御頻度を変更する頻度制御部とを有する。
【発明の効果】
【０００９】
本発明によれば、明るい環境から暗い環境に移動した際の自動露出調整機能の動作を高速化することのできる画像信号処理回路を提供することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施形態の原理を説明する図である。
デジタルカメラの機能にはガンマ補正機能があり、出力モニターのガンマカーブを補正するために、図１のとおり、モニターのガンマカーブと逆になるガンマカーブで補正を行っているが、本実施形態では、そのガンマ補正における入力値つまりガンマ補正前の値で輝度計算を行い、AEを行う。
【００１１】
つまりガンマ補正用のガンマカーブは、図１のような、正の傾きが減衰しながら正の一定値に向かうカーブを描いているため、出力で目標輝度が120コードになる入力値は約50コードと低くすることができるため、ガンマ入力値においては、上限の255コードまでの範囲を拡大させることができる。すなわち、明るい環境から暗い環境に移るときに、50/255=0.20倍まで追従することが可能になるため、出力値を用いる場合（120/255=0.47）に比べ、計算回数が少なくなり、追従速度は４倍改善させることができる。また、それに加え、読み出された輝度によってAEの追従速度を変化させる。例えば、輝度が200コードを超えた場合には通常の２倍の速度で応答させるように設定すれば、応答速度を2倍早くさせることができる。
【００１２】
図２は、本発明の実施形態に従った画像信号処理回路のブロック構成図である。
図２において、図８と同じ構成要素には同じ参照符号を付し、詳細な説明を省略する。
図２においては、AGC回路１３がガンマ補正回路１１の前段に接続され、ガンマ補正回路１１への入力値を取得する構成となっている。AGC回路１３が、ガンマ補正回路１１の入力値を使ってAEを行なうことにより、図１で説明したように、明るい環境から暗い環境に移動した場合のAEの動作を高速にすることが出来る。
【００１３】
図３及び図４は、本発明の実施形態に従った制御サイクルを早くしたり遅くしたりする処理のフローチャートである。
図３は、AGCの制御フローである。ステップＳ１０において、輝度平均を計算し、ステップＳ１１において、目標輝度との比を算出する。ステップＳ１２において、追従速度の調整を行なう。ステップＳ１３において、輝度信号のデコード値の更新を行い、ステップＳ１４において、積分時間（露出時間）とゲインを算出する。ステップＳ１５において、積分時間とゲインをセンサ部に設定し、処理を終了する。
【００１４】
図４は、輝度計算結果から追従速度（フィードバックゲイン）を変化させるための制御フローである。すなわち、図４は、ステップＳ１２の詳細な処理フローである。ステップＳ２０において、輝度計算を行い、ステップＳ２１において、輝度が所定値（Ａ）より大きいか否かを判断する。ステップＳ２１の判断がfalseの場合には、フィードバックゲインの設定値をα（第１の所定値）に設定する。αは、輝度が小さい場合であるので、小さ目の値となる。ステップＳ２１の判断がtrueの場合には、フィードバックゲインの設定値をβ（第２の所定値）に設定する。βは、輝度が大きい場合であるので、追従速度を早くさせるためにαより大きい値となる。ゲインの値は、このように、輝度値を所定値と比較し、大きい場合と小さい場合の設定値を予め決めておけばよい。また、積分時間（露出時間）も予めゲインの値と同じように、輝度値にしたがって、予め決めておけばよい。また、追従速度の変更においては、ゲイン値や積分時間をフィードバックする制御サイクルの速度を可変してもよい。すなわち、暗い環境から明るい環境へ移動する場合には、制御サイクルを速くするように制御する。どの程度速くするかは、輝度の値にしたがって、制御サイクルの速度を予め決めておき、輝度の計算値にしたがって、制御サイクルの速度を設定するようにすれば良い。
【００１５】
図５は、本発明の第２の実施形態に従った、画像信号処理回路のブロック構成図である。
図５において、図２と同じ構成要素には、同じ参照符号を付し、詳細な説明を省略する。図５は、ガンマ補正回路１１とは逆方向の所定の特性を有する入出力回路１５をガンマ補正回路１５の入力とAGC回路１３との間に用いた構成を示している。
【００１６】
AGC回路の制御系と表示系を別系統として、ガンマ補正のような曲線補正カーブとは逆方向となる特性を持つ専用回路（入出力補正回路１５）を設ける構成である。入出力補正回路１５は、AGC回路１３への入力値の変換を行なうものである。これにより、ガンマ補正による補正後の信号であったとしても、擬似的に補正前の信号を作り出すことにより第１の実施の形態同様の効果を得ることができる。
【００１７】
図６は、典型的なデジタルカメラのブロック構成図である。
撮像レンズ２０で集光された光は、光学フィルタ２１を通過し、イメージセンサ２２によって電気信号に変換される。イメージセンサ２２で得られた信号は、カメラ制御部２３によって制御され、画像データとされてから、表示装置２４によって表示される。
【００１８】
図７は、図６のイメージセンサのブロック図である。
イメージセンサは、ＩＳＰ（Image Signal Processor）３０からなる。センサのピクセルアレイ３１で光を電気信号に変換し、ADC等３２において、アナログ信号をデジタル信号に変換する。デジタル信号になった画像信号は、ベイヤーデータ補正部３３において、欠陥補正、感度補正、シェーディング補正、ノイズフィルタ補正等が行なわれる。次に、補間処理部３４において、生のデータがＲＧＢ補間される。次に、画質調整部３５において、カラー調整、ＡＷＢ（Auto White Balance）処理、輪郭強調処理、ノイズフィルタ処理、ガンマ補正等を行う。明るさ調整部３６では、AGC処理、フリッカキャンセル処理等が行なわれる。図２のAGC回路を含む構成は、画質調整部３５と明るさ調整部３６に関する部分である。出力フォーマット変換部３７では、解像度変換、YUV422出力、YCbCr出力、RGB565出力等のフォーマットにあわせた画像出力フォーマットの変換を行なう。なお、ＰＬＬは、クロック生成を行い、タイミングジェネレータは、ＩＳＰ３０の各部の動作タイミングを生成する。
【００１９】
尚、以上の実施形態では、表示デバイスの輝度特性とは逆方向となる特性の補正を与える補正回路としてガンマ補正回路を例にとり説明したが、本発明はそれに限定されるもの
ではなく、表示デバイスの輝度特性と逆方向の特性を有するものであれば本発明に適用可能である。
【００２０】
また、補正回路で補正を受ける前の輝度信号とは、補正回路の入力側の信号だけでなく、補正回路の出力側の信号であって、該補正回路の補正とは逆方向となる補正をさらに施した信号を本発明では含むことは言うまでもない。
【００２１】
以上説明したように、本発明によれば、大きな明るさ変動に対してもAEの応答速度を早くすることができる。そのため、イメージセンサの性能向上に寄与することが大きい。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態の原理を説明する図である。
【図２】本発明の実施形態に従った画像信号処理回路のブロック構成図である。
【図３】本発明の実施形態に従った制御サイクルを早くしたり遅くしたりする処理のフローチャート（その１）である。
【図４】本発明の実施形態に従った制御サイクルを早くしたり遅くしたりする処理のフローチャート（その２）である。
【図５】本発明の第２の実施形態に従った、画像信号処理回路のブロック構成図である。
【図６】典型的なデジタルカメラのブロック構成図である。
【図７】図６のイメージセンサのブロック図である。
【図８】従来の画像信号処理回路の一例を示す図である。
【符号の説明】
【００２３】
１０      画質調整等画像処理回路
１１      ガンマ補正回路
１２      出力フォーマット変換回路
１３      AGC回路
１５      入出力補正回路
２０      撮像レンズ
２１      光学フィルタ
２２      イメージセンサ
２３      カメラ制御部
２４      表示装置
３０      ＩＳＰ
３１      ピクセルアレイ
３２      ADC等
３３      ベイヤーデータ補正部
３４      補間処理部
３５      画質調整部
３６      明るさ調整部
３７      出力フォーマット変換部
【図１】
2009124638.tif 000003
【図２】
2009124638.tif 000004
【図３】
2009124638.tif 000005
【図４】
2009124638.tif 000006
【図５】
2009124638.tif 000007
【図６】
2009124638.tif 000008
【図７】
2009124638.tif 000009
【図８】
2009124638.tif 000010