(57)【特許請求の範囲】
【請求項１】
イメージセンサにより画面の明るさを自動的に調節するための方法であって、
前記イメージセンサにおける多数の緑色画素から出力される緑色画素値を全部加算する第1段階と、
前記第1段階で加算された緑色画素値を前記緑色画素の個数で割って前記緑色画素値の平均値を求める第2段階と、
前記第2段階で得られた前記平均値及び所定値を有する基準値間の差に対する絶対値を求める第3段階と、
前記絶対値と所定値を有する境界値とを比較する第4段階と、
前記第4段階の比較結果、前記絶対値が前記境界値より小さければ現在の露出時間によって次のイメージをキャプチャし、前記絶対値が前記境界値より大きければ露出調節率を求めた後自動露出調節モードがイネーブルされたかどうかを判断する第5段階と、
前記第5段階における判断の結果、前記自動露出調節モードがイネーブルされなかった場合には、前記現在の露出時間によって次のイメージをキャプチャし、前記自動露出調節モードがイネーブルされた場合には、前記現在の露出時間に前記露出調節率を乗じて求めた露出時間によって次のイメージをキャプチャする第6段階とを含んでなる、イメージセンサにおける緑色画素の平均値を利用する自動露出調節方法。
【請求項２】
前記第1段階は、ライン別に前記緑色画素値を加算することを特徴とする請求項1記載の、イメージセンサにおける緑色画素の平均値を利用する自動露出調節方法。
【請求項３】
前記基準値は、所定の明るさを使用者が指定することができるプログラミング可能な値であることを特徴とする請求項1記載の、イメージセンサにおける緑色画素の平均値を利用する自動露出調節方法。
【請求項４】
前記境界値は、使用者によりプログラミング可能なことを特徴とする請求項1記載の、イメージセンサにおける緑色画素の平均値を利用する自動露出調節方法。
【請求項５】
前記第5段階の前記露出調節率は、前記基準値を前記平均値で除した値であることを特徴とする請求項1記載の、イメージセンサにおける緑色画素の平均値を利用する自動露出調節方法。
【請求項６】
イメージセンサでの画面の明るさを自動的に調節するための装置であって、
ウィンドウモード時のウィンドウの大きさ、多数の緑色画素からの緑色画素値、現在の露出時間及び所定の基準値が入力され、
前記多数の緑色画素の画素値を積算して、それらの緑色画素の全体画素値を求める手段と、
前記全体画素値と前記緑色画素の個数とに基づいて前記緑色画素値の平均値を求める手段と、
前記基準値に対する前記平均値の偏差と所定の境界値との比較に基づいて前記露出時間の更新の如何を決定する更新決定手段と、
前記更新決定手段が露出時間の更新を決定した場合に、前記現在の露出時間、前記基準値及び前記緑色画素値の平均値に基づいて次の露出時間を求め、この次の露出時間を次のイメージキャプチャに対する露出時間として出力する手段と、
を備えてなる、イメージセンサにおける緑色画素の平均値を利用する自動露出調節装置。
【請求項７】
前記基準値は、使用者によりプログラミング可能な値であることを特徴とする請求項6記載の、イメージセンサにおける緑色画素の平均値を利用する自動露出調節装置。
【請求項８】
前記境界値は、使用者によりプログラミング可能であることを特徴とする請求項6記載の、イメージセンサにおける緑色画素の平均値を利用する自動露出調節装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はイメージセンサに関し、特にイメージセンサの性能向上のために画面の明るさ(illuminance)に最も大きい影響を及ぼす緑色画素の平均値を利用して画面の明るさを調節のための自動露出調節装置及び方法に関するものである。
【０００２】
【従来の技術】
従来は、イメージセンサでキャプチャされたイメージから、ソフトウェア的な手段を利用して現在の明るさを先に求めて、その得られた明るさがあまりに明るいとか暗いと判定される時に、イメージセンサ外部の明るさの調節装置を介して再調節した後、再び読み出して判定していた。
【０００３】
しかし、前記のように行われる従来のこのような明るさの調節は、ソフトウェアを通じて行われる明るさに対する実際の判定が、既にイメージセンサ内部的に２画面以上が進行した状態で起きるために、問題が発生する可能性があると共に、ソフトウェアの計算量が増加してソフトウェアに大きい負担を与える。そして、計算した結果を利用してプログラミングインターフェースを介してまたプログラミングし、そのプログラミングされた結果をまたイメージキャプチャの過程に反映させる場合、相当の遅延時間が必要になるという問題もある。また、CCTV(Closed Circuit TeleVision)のようにソフトウェアで明るさの調節をすることが難しい分野では、画面の明るさ調節に大きな問題点を持っている。
【０００４】
【発明が解決しようとする課題】
本発明は前記のような問題点を解決するために案出されたものであって、イメージセンサにおける緑色画素の平均値を利用してソフトウェア及びハードウェアの負担を減らし、自動的に露出時間を調節することによってイメージセンサの性能を向上させることのできる自動露出調節装置及び方法を提供することにその目的がある。
【０００５】
【課題を解決するための手段】
前記目的を達成するための本発明は、イメージセンサにより画面の明るさを自動的に調節するための方法であって、前記イメージセンサにおける多数の緑色画素から出力される緑色画素値を全部加算する第1段階と、前記第1段階で加算された緑色画素値を前記緑色画素の個数で割って前記緑色画素値の平均値を求める第2段階と、前記第2段階で得られた前記平均値及び所定値を有する基準値間の差に対する絶対値を求める第3段階と、前記絶対値と所定値を有する境界値とを比較する第4段階と、前記第4段階の比較結果、前記絶対値が前記境界値より小さければ現在の露出時間によって次のイメージをキャプチャし、前記絶対値が前記境界値より大きければ露出調節率を求めた後自動露出調節モードがイネーブルされたかどうかを判断する第5段階と、前記第5段階における判断の結果、前記自動露出調節モードがイネーブルされなかった場合には、前記現在の露出時間によって次のイメージをキャプチャし、前記自動露出調節モードがイネーブルされた場合には、前記現在の露出時間に前記露出調節率を乗じて求めた露出時間によって次のイメージをキャプチャする第6段階とを含んでなる。
【０００６】
また、本発明は、イメージセンサでの画面の明るさを自動的に調節するための装置であって、前記イメージセンサでウィドウモード時に入力されるウィドウの大きさ、前記イメージセンサで多数の緑色画素から出力される緑色画素値、現在の露出時間及び基準値が入力されて制御信号に応じて加算及びシフト演算を実行する演算手段と、クロック信号に応じて前記演算手段から出力される明るさ調節率、平均値、画素個数及び新しい露出時間を含む演算結果を貯蔵する貯蔵手段と、前記貯蔵手段から出力される演算結果、前記ウィドウモード時の前記緑色画素の個数を求めるためのウィンドウの広さ及びライン番号が入力されて前記制御信号を出力する演算制御手段と、前記基準値、境界値及び前記貯蔵手段からの平均値に応答して露出時間の更新如何を決定して更新制御信号を出力する更新決定手段と、前記更新決定手段からの更新制御信号及び自動露出調節モードに応答して前記新しい露出時間を入力されて次のイメージ捕獲に対する露出時間として出力する集積時間発生手段とを含んでなる。
【０００７】
【発明の実施の形態】
図1は、本発明を適用するための一般的なベイヤー(Bayer)パターン形態の画素アレイ(pixel array)を図示した構成図である。N×M行列で配列された画素アレイは、第1ラインのRGRG形態、第2ラインのGBGB形態で繰り返し構成される。ここで、"R"は赤色(red color)のみ透過させる赤色画素を、"G"は緑色(green color)のみ透過させる緑色画素を、"B"は青色(blue color)のみ透過させる青色画素を表す。
【０００８】
図1に示したように、ベイヤーパターンで、緑色画素や青色画素に比べて緑色画素がその2倍となっている理由は、光の3元素(赤色、緑色、青色)から明るさYを求める下記の数式1に示すように、緑色が明るさYに最も大きい影響を与えるためである。
【０００９】
【数１】
0004397079.tif 000002
ここで、Yは画面の明るさ(illuminance)を、Rは赤色画素の画素値、Gは緑色画素の画素値、Bは青色画素の画素値を各々表す。
【００１０】
前記数式1によってイメージセンサから明るさを求めるためにはR、G及びBの全ての画素値を使用するべきであるが、このような場合計算量が多くなる。
【００１１】
したがって、本発明では図1に示すように、2個の画素ごとにチェック状に配列されている緑色画素の画素値だけを利用して明るさを求めることによって、計算量を効果的に減らすことができる。
【００１２】
図2は図1の画素アレイを構成する各単位画素の一般的な構成図である。この単位画素は、物体から反射される光の光子によって生じた光電荷(photoelectric charge)を蓄積するフォトダイオード(200)、伝達制御信号(Tx)に応答して前記フォトダイオード(200)で生成された電荷をセンシングノード(N)に伝達するためのトランスファトランジスタ(MT)、リセット制御信号(Rx)に応答して前記センシングノード(N)を通じて前記フォトダイオード(200)及び出力バッファ(210)にリセット電圧レベル(reset voltage level）を出力するためのリセットトランジスタ(MR)、及び、バッファ制御信号(Bx)に応答して前記フォトダイオード(200)及び前記リセットトランジスタ(MR)からの出力信号を出力する出力バッファ(210)からなる。
【００１３】
図2を参照して、単位画素の動作を簡単に説明すれば次の通りである。
【００１４】
トランスファトランジスタ(MT)及びリセットトランジスタ(MR)をターンオンさせ、フォトダイオード(200)内に完全空乏領域を形成する。次に、リセットトランジスタがターンオン状態を維持する間、トランスファトランジスタ(MT)をターンオフさせてフォトダイオード(200)に光電荷を蓄積する。次に、トランスファトランジスタ(MT)を再びターンオンさせて、フォトダイオード(200)に蓄積された光電荷を、バッファ制御信号(Bx)に応じて出力バッファ(210)を介して画素値として出力する。ここで、バッファ制御信号(Bx）は通常のメモリのように、各画素が画素アレイのライン別にビットラインを共有するためにライン別に同時にイネーブルされる。
【００１５】
一方、フォトダイオード(200)に蓄積される光電荷量は、入力された光子数、及びトランスファ制御信号(Tx)を"ロー(low)"にしてトランスファトランジスタ(MT)がターンオフされている時間に比例する。したがって、暗い所でイメージをキャプチャする場合には、トランスファトランジスタ(MT）のターンオフ時間を長くすべきであり、明るい所では、ターンオフ時間を短くすべきである。ここで、トランスファトランジスタ(MT)がターンオフされた状態にある時間を、露出時間(exposure time)または集積時間(integration time)と呼ぶ。
【００１６】
イメージセンサでのイメージキャプチャ、及びキャプチャされたイメージの読み出し動作は、光学的写真機のように一つのフレームずつ実行されるが、ピン(pin)またはバス(bus)のような処理手段の制限によって、一つのラインずつなされる。すなわち、トランスファ制御信号(Tx)及びバッファ制御信号(Bx）は一つのラインずつ制御する。
【００１７】
図3は図1のN×M画素アレイと制御信号発生部との連結関係を示したブロック図であり、露出時間に応じてN個のトランスファ制御信号(Tx)、N個のリセット制御信号(Rx)及びN個のバッファ制御信号(Bx)を各々発生する制御信号発生部(300)と、これらトランスファ制御信号(Tx)、リセット制御信号(Rx)及びバッファ制御信号(Bx)に応じてM個の画素値を出力するN×M画素アレイ(310)とからなる。
【００１８】
図3を参照して、画素アレイの全体動作を説明する。まず、各画素の初期化段階として、トランスファ制御信号(Tx)及びリセット制御信号(Rx)を"ハイ(high)"にイネーブルさせ、各画素のフォトダイオード(図2の200)を完全空乏させる。次に、一つのラインを読み出す時間に相当する第1所定時間、ラインのトランスファ制御信号(Tx)をディスエーブルさせる。次に、第2所定時間後に前記トランスファ制御信号(Tx)をイネーブルさせて、該当ラインのバッファ制御信号(Bx)をイネーブルさせ、出力バッファ(図2の210)を通じて各画素のフォトダイオード(200)に蓄積した光電荷量に相当する電気的信号を画素値として出力する。次に、その次のラインに対して前記の過程を繰り返す。このとき、トランスファ制御信号(Tx)がディスエーブル状態にある時間が露出時間になる。
【００１９】
このように読み出した画素値はアナログ値であり、アナログ−デジタル変換器によりデジタル値に変換されて、外部回路に出力される。前記画素値は、キャプチャする対象と露出時間によって変わり、キャプチャする対象が同じ場合、画素値、即ち画面の明るさは、露出時間のみによって決定される。すなわち、露出時間が長くなるほど画面の明るさは明るくなり、露出時間が短いほど画面は暗くなる。したがって、現在の画面の明るさがあまりに明るいと露出時間を減らし、あまりに暗いと露出時間を増やす方法で画面の明るさを調節することが可能である。
【００２０】
図４は、本発明に係る画面の明るさの調節のために前記露出時間を計算するフローチャートである。
【００２１】
図４を参照すれば、画素アレイからライン別に画素値を出力し（ステップ４００）、前記画素値中の緑色画素の画素値を積算して緑色画素の全体画素値を求めた後（ステップ４０１）、前記緑色画素の全体画素値を緑色画素の個数で除して、その平均値を求める（ステップ４０２）。このとき、前記平均値が現在の画面の明るさの程度を表す。
【００２２】
次に、前記平均値と、予め使用者によりプログラミングされた所定値を有する基準値との差の絶対値である偏差値を求める（ステップ４０３）。ここで、前記基準値が選択可能とされているのは、使用者が画面の明るさについて常に一定のものを望まない場合もあることから、より明るく又はより暗くなるように画面全体の明るさを調節できるようにするためである。
【００２３】
次に、前記偏差値と、所定値を有する境界値とを比較する（ステップ４０４）。前記偏差値が前記境界値より小さい場合は、現在の画面が略所望の明るさであることを意味し、前記偏差値が前記境界値より大きい場合は、所望の明るさを得るために露出時間を調節する必要があるということを意味する。前記境界値は状況により調節可能であり、使用者によってプログラミングすることができる。
【００２４】
前記比較の結果、偏差値が境界値より小さければ次のイメージキャプチャの露出時間は現在の露出時間と同じにする（ステップ４０５）。偏差値が境界値より大きければ、前記基準値を前記平均値で割って露出調節率(exposure control rate）を求めた後（ステップ４０６）、自動露出調節モードがイネーブルされたかどうかを判断する（ステップ４０７）。
【００２５】
前記判断の結果、自動露出調節モードがイネーブルされない場合には、現在の露出時間で次のイメージをキャプチャし続けて(ステップ４０５，４０９)、自動露出調節モードがイネーブル状態でなければ次のイメージ捕獲(capture）の露出時間は現在露出時間と同じであるし(405)、自動露出調節モードがイネーブル状態であるならば現在の露出時間に前記露出調節率を乗じて次の露出時間を求めた後（ステップ４０８）、得られた次の露出時間によって次のイメージをキャプチャして、ステップ４０１以降を繰り返す（ステップ４０９）。自動露出調節モードの存在は、ユーザが明るさの自動調節を望まない場合のためである。
【００２６】
図4のようになされる露出時間計算のためには、加算器、乗算器及除算器を必要とするが、乗算器及び除算器は大きな領域を占めるため、ロジックの最小化のために加算器とシフタ(shifter)だけを利用する。すなわち、本発明では加算、除算及び乗算が同時に起こらないので、リソースシェアリングディメンジョン(resource-sharing dimensison)で、乗数のビット値に従ってシフト及び加算で乗算を処理し、除数のビット値に従ってシフト及び減算で除算を処理する。
【００２７】
図5は本発明の一実施形態に係る画面の明るさを自動的に調節するための緑色画素の平均画素値及び新しい露出時間を求める装置についてのブロック図である。この装置は、ウィンドウモード時にウィンドウの大きさ、ライン別緑色画素値、現在の露出時間及び基準値が入力されて、制御信号に応答して加算及びシフト演算を遂行する加算及びシフト部(510)と、クロック信号に応答して前記加算及びシフト部(510)からの演算結果(平均値、緑色画素個数、露出調節率、次の露出時間)を一時貯蔵した後出力するレジスタ(520)と、前記レジスタ(520)に貯蔵された平均値、露出調節率、及び画素個数、更に、クロック信号、ウィンドウモード時緑色画素の個数を求めるためのウィンドウの広さ、ライン番号が入力されて前記制御信号を出力する演算制御部(500)とからなる。
【００２８】
本発明では効率的なリソースシェアリングのために最初のライン及び最後のラインの緑色画素値は無視し、前記最初のライン及び最後のラインの処理時間に除算と乗算を実施するが、最初のラインと最後のラインの緑色画素値を考慮しなくても、画面の明るさの決定には大きな影響を及ぼさない。
【００２９】
最初のラインの処理時間に緑色画素の個数を求める乗算演算、すなわち(N−2)×(M／2)を遂行する。２番目のラインで(N−1)ラインの処理時間には緑色画素値を加算、最後のNライン処理時間で緑色画素に対する最終和を緑色画素の個数で除して平均値を求め、得られた平均値で基準値を除して露出調節率を求め、得られた露出調節率に現在の露出時間を乗じて新しい露出時間を求める。
【００３０】
最初のラインで緑色画素の個数を求める乗算をする理由は、イメージセンサのウィンドウ(window)モードのように全体画面で一部分だけを見ようとする場合開かれるウィンドウの大きさが可変的であるために、画素の個数を求める演算を実施しなければならないためである。
【００３１】
前記演算制御部(500)から加算及びシフト部(510)から出力される4ビットの制御信号は加算及びシフト部(510)で遂行する演算を制御するが、前記制御信号の各ビットによる演算は下記のように定義する。
1)制御信号[3]='1'である時加算演算を遂行
2)制御信号[2]='1'である時減算演算を遂行
3)制御信号[1]='1'である時左側シフト演算を遂行
4)制御信号[0]='1'である時右側シフト演算を遂行
【００３２】
2番目のラインで(N−1)ラインまでの緑色画素値に対する加算のためには制御信号[3]だけ'1'になれば良いし、NラインでG画素値の総合に対する平均値を求める場合と基準値を平均値で割って露出調節率を求める場合は制御信号[2]及び制御信号[0]を制御して除算演算を実行すればよい。また最初のラインで画素個数を求めたり、得られた露出調節率を利用して次の露出時間を求める場合は、制御信号[3]と制御信号[1]を制御して乗算演算を実行する。
【００３３】
演算制御部(500）は、2つの画素ごとに緑色画素が配置されるのでクロック信号が必要であり、またベイヤーパターンで現在のラインの奇数／偶数如何によって緑色画素の情報が変わるのでライン番号が入力されて、除算演算に必要とする平均値と画素個数、乗算演算に必要とする露出調節率が必要である。乗算演算では露出調節率とウィンドウの広さが乗数になり、これらの各ビットの値によって加算及びシフト部での加算処理が決定される。同じく平均値と画素個数が除数になり、これらの各ビットの値によって加算及びシフト部での減算処理が決定される。
【００３４】
加算及びシフト部(510）は最初のラインでは画素の個数を求めて、ウィンドウの大きさが被乗数になる。2番目のラインで(N−1)番目のラインまではレジスター(520)に貯蔵された緑色画素値の部分和にライン別緑色画素値を加えて最終緑色画素和を求める。前記緑色画素最終和はN番目のライン処理時画素個数で割るときの被除数になり、商は平均値になる。得られた平均値で基準値(この値がやはり被除数）を除して露出調節率を求めて、この得られた露出調節率に現在の露出時間を乗ずることにより次の露出時間になる。
【００３５】
図6は本発明に係る露出時間発生装置に対するブロック図で、基準値、境界値及び図5において出力される平均値に応じて露出時間の更新如何を決定して更新制御信号を出力する更新決定部(600)と、前記更新決定部(600)からの更新制御信号及び自動露出調節モードに応じて図5において出力される新しい露出時間が入力されて、次の露出時間を出力する露出時間発生部(610)とからなる。
【００３６】
図4及び図6を参照すれば、図5において得られた平均値と基準値との差の絶対値すなわち偏差値と境界値とを比較して、前記偏差値が前記境界値より大きい場合に露出時間を更新し、自動露出調節モードと更新制御信号がイネーブル状態の場合のみ図５において出力される新しい露出時間を次の露出時間として出力して、前記露出時間によって次のイメージをキャプチャすることによって画面の明るさが調節される。
【００３７】
前記のようになされる緑色画素値の平均値を利用した画面の明るさの自動調節装置は、ベイヤーパターンのイメージセンサだけでなく、緑色画素が異なる二つの画素(赤色画素、青色画素)に比べて画面の明るさに大きい影響をおよぼすために他のパターンの画素配列を有するイメージセンサにもそのまま適用することができる。
【００３８】
本発明の技術思想は前記望ましい実施形態によって具体的に記述されたが、前記した実施形態はその説明のためのものであり、その制限のためのものではないことを注意するべきである。また、本発明の技術分野の通常の専門家であるならば、本発明の技術思想の範囲内で多様な実施形態の変更が可能であることを理解するべきである。
【００３９】
【発明の効果】
前記のように、本発明により、イメージセンサで緑色画素値の平均値を利用して自動的に画面の明るさを調節するように構成することによって、ソフトウェア及びハードウェアの負担を減らし、イメージセンサの性能を向上させることができるという効果が得られる。
【図面の簡単な説明】
【図１】  本発明を適用するための一般的なベイヤーパターンの画素アレイを図示した構成図。
【図２】  前記図1の画素アレイを構成する各単位画素の一般的な構成図。
【図３】  前記図1の画素アレイとその画素アレイを制御するための制御部の連結関係を図示したブロック図。
【図４】  本発明に係る自動露出調節のために露出時間を計算する実施形態のフローチャート。
【図５】  本発明の一実施形態に係る自動露出調節するための緑色画素の平均値及び新しい露出時間を求める装置のブロック図。
【図６】  本発明に係る露出時間発生装置のブロック図。
【符号の説明】
500    演算制御部
510    加算及びシフト部
520    レジスタ
600    更新決定部
610    露出時間発生部
【図１】
0004397079.tif 000003
【図２】
0004397079.tif 000004
【図３】
0004397079.tif 000005
【図４】
0004397079.tif 000006
【図５】
0004397079.tif 000007
【図６】
0004397079.tif 000008