(57)【特許請求の範囲】
【請求項１】
制御データを格納する記憶回路と、
原色毎に分けられてない画素信号を受信するように結合された入力と、撮像信号を与える出力と、前記記憶回路の出力に結合され、前記制御データを受信してアナログ増幅器の利得をプログラムする制御入力とを有する前記アナログ増幅器であって、前記制御データの第１の値が第１画素信号に対して前記アナログ増幅器の利得を設定し、且つ前記制御データの第２の値が第２画素信号に対する利得を設定して、前記第１および第２の画素信号のカラー・バランスを取る前記アナログ増幅器と、
前記アナログ増幅器の入力と出力との間に結合されたコンデンサと、
前記アナログ増幅器の入力における第１及び第２の画素信号をサンプリングするため前記アナログ増幅器の入力に結合され、且つ第１画素信号が受信されたとき制御データの第１の値により設定された容量を、また第２の画素信号が受信されたとき制御データの第２の値により設定された容量を有するプログラム可能コンデンサと
を備える撮像回路。
【請求項２】
制御データを格納する記憶回路と、原色毎に分けられてない画素信号を受信するように結合された入力と、撮像信号を与える出力と、前記記憶回路の出力に結合され、前記制御データを受信してアナログ増幅器の利得をプログラムする制御入力とを有する前記アナログ増幅器と、前記アナログ増幅器の入力と出力との間に結合されたコンデンサと、前記アナログ増幅器の入力における第１及び第２の画素信号をサンプリングするため前記アナログ増幅器の入力に結合されたプログラム可能コンデンサとを備える撮像回路において画素信号のカラー・バランスを取る方法であって、
第１制御データによって前記アナログ増幅器の利得を設定して、第１画素信号を増幅するステップと、
第２画素信号が前記アナログ増幅器に印加されたとき、第２制御データによって前記アナログ増幅器の利得を変化させて、第１および第２の画素信号のカラー・バランスを取るステップであって、第２の制御データが、前記アナログ増幅器におけるプログラム可能容量の固定容量に対する比を調整することにより前記アナログ増幅器の利得を変化させる、前記第１および第２の画素信号のカラー・バランスを取るステップと
を備える方法。
【請求項３】
光センサの複数の位置に投影される画像の色を表す画素信号のストリームを与える出力を有する前記光センサと、
前記画素信号のストリームを受信するように結合された入力と、撮像信号を与える出力と、前記画素信号のストリームにマップされた制御データを受信するように結合された制御入力とを有するアナログ増幅器であって、前記画素信号のストリームの色が変化するにつれて、前記制御データがプログラム可能な前記アナログ増幅器の利得を変える前記アナログ増幅器と、
前記アナログ増幅器の入力と出力との間に結合されたコンデンサと、
前記アナログ増幅器の入力における画素信号のストリームをサンプリングするため前記アナログ増幅器の入力に結合され、且つ前記画素信号のストリームの第１画素信号が受信されたとき制御データの第１の値により設定された容量を、また前記画素信号のストリームの第２の画素信号が受信されたとき制御データの第２の値により設定された容量を有するプログラム可能コンデンサと
を備える画像捕獲回路。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般的に、集積回路に関し、更に特定すれば、撮像信号(imaging signal)を処理するカラー・バランス回路(color balancing circuit) に関するものである。
【０００２】
【従来の技術】
高解像度の画像捕獲システムは、典型的に、画像を捕獲する際、当該画像からの光を、電荷結合素子，ｐ−ｉ−ｎダイオードまたはフォトトランジスタのような、アレイ状半導体光活性検出素子(semiconductor photoactive sensing device)上に投影する。かかるアレイは、低電力で動作し、容易に半導体ダイ上に集積可能であるので、デジタル・カメラおよびスキャナのような携帯機器における使用には理想的である。各光活性検出素子は光を画素信号に変換する。システムの出力は、各画素信号毎に、ディスプレイ装置によって表示可能なフォーマットの輝度および色情報を含む画像データを与える。
【０００３】
画像の色は、３または４成分の原色に分離される。この際、画像と検出アレイとの間に光学カラー・フィルタのマトリクスを介挿することにより、実質的に１つの原色の光が各光活性素子に到達する。例えば、赤，緑および青の原色に基づくシステムは、一般的に、ＲＧＢシステムとして知られており、赤色フィルタ，緑色フィルタおよび青色フィルタのマトリクスを用いる。したがって、各光活性素子は、１つの原色の光を検出し、当該原色および光の強度を表す画素信号を生成する。原色はディスプレイ装置によって配合され、画像の他の色を再生する。ディスプレイ装置が高品位テレビジョンである場合、画素信号は、少なくとも２７．０メガヘルツのレートで発生する。
【０００４】
【発明が解決しようとする課題】
殆どのシステムでは、光活性素子の各原色に対する応答は、カラー・フィルタのために、バランスがとれていないことが多い。例えば、赤色光を検出する素子は、同じ強度の青色光を検出する素子よりも、大きな振幅の画素信号を生成する場合があり得る。カラー・インバランスを補正しないと、画像は高精度で色表示されないことになる。
【０００５】
色感度における差を補正するためには、異なる原色の画素信号を異なる利得で増幅し、画素信号のカラー・バランスを取る。従来技術のシステムでは、このようなカラー・バランスを取る場合、異なる増幅器集合内の各原色の画素信号を適切な補償利得に増幅する。例えば、赤色光から発生し、等しい強度の青色光によって発生する青色画素信号の２倍の振幅を有する赤色画素信号のカラー・バランスを取る合、青色画素信号は、赤色信号を増幅する他の増幅器よりも利得が２倍大きな増幅器において増幅する。このように多数の増幅器を用いるカラー・バランス処理は、増幅器間の不整合による固定パターン・ノイズのような、画像表示アーチファクトの問題がある。かかるアーチファクトは、識別および補正が困難または不可能である。
【０００６】
したがって、光活性検出素子の色応答における差を補償する、改良された回路および画素信号のカラー・バランス処理方法が必要とされている。
【０００７】
【発明の実施の形態】
図１は、画像捕獲素子２０および出力装置２２を含む、画像捕獲システム１０の一部分解等幅図である。画像捕獲システム１０は、画像１２を捕獲し、以下で述べるように、出力装置２２による表示のために認識可能なフォーマットのデジタル・データに変換する。
【０００８】
撮像集積回路２６を収容するパッケージ２４は、蓋２８によって封止される。蓋２８は透明部分３０を有し、光検出アレイを含む集積回路２６の領域３２上に画像１２を投影する。透明部分は、合焦レンズとして動作するように製造するか、あるいは、代わりに画像１２と領域３２との間に介挿した外部レンズによって合焦を行ってもよい。光検出アレイは、電荷結合素子，フォトトランジスタまたはｐ−ｉ−ｐダイオードのような、画素センサとして機能する、光活性半導体素子のマトリクスとして組織化されている。光は、カラー・フィルタ（図示せず）のマトリクスを通過して投影され、各光活性素子が、投影された光の強度および色を示すアナログ画素信号を生成する。領域３２は、更に、予め定義された順序で画素を選択し、出力導体３６上にアナログ画素信号のストリームを生成する回路も含む。
【０００９】
集積回路２６の領域３４は、画素ストリームを処理し、デジタル出力データを生成する信号処理回路を含む。デジタル出力信号は、パッケージ２４のワイヤ・ボンド３７およびリード３９を通じて、出力装置２２に達する。尚、図１には、図の簡略化のために、出力信号が単一のリード上に与えられるものとして示しているが、殆どの用途では、出力信号は、バスを通じてパッケージ２４の多数のリードに供給される。クロックやアドレス信号のような制御信号は、導体またはバス３８を通じて領域３４内の回路によって供給され、領域３２の検出アレイの電気的動作を制御する。
【００１０】
出力装置２２はモニタとして示すが、プリンタ，ディスク・ドライブのような記憶装置等のような、その他の種類の装置とすることも可能である。ページャまたは携帯電話機のようなワイヤレス通信装置では、画像捕獲システム１０は、画像１２を受信機に同報通信するための変調信号を与える。したがって、出力装置２２は、キャリア信号を供給する無線周波数発振器，このキャリア信号を出力データで変調する変調器および変調キャリア信号を送信するアンテナを含むことができる。
【００１１】
図２は、領域３４の信号処理回路のブロック図であり、相関二重サンプリング（ＣＤＳ：correlated double sampling）回路２０２，プログラム可能利得増幅器（ＰＧＡ：programmable gain amplifier ）２０４，アナログ／デジタル変換器（ＡＤＣ：analog-to-digital converter ）２０８，デジタル信号プロセッサ（ＤＳＰ: digital signal processor）２１０，メモリ回路２１２およびタイミング発生器２１４を含む。図では、同一の参照番号を有するエレメントは、同様の機能を提供するものとする。２７．０メガヘルツで動作する画素ストリームＶPIXEL が、導体３６上で受信される。ＶPIXEL はアナログ画素信号を含み、その振幅は、光検出アレイ内の光活性検出素子上に投影される光の量を示す。
【００１２】
カラー・フィルタ・マトリクスの構造は既知であるので、素子の製造の間に、光活性素子を各原色にマップし、マッピング・データをメモリ２１２内の色参照テーブル等に格納することができる。参照テーブルは、各光活性素子のアドレスを、関連する色情報と共に含む。更に複雑なシステムでは、各光活性素子のアレイ内の物理的な位置もマップし、参照テーブル内に格納する。ＤＳＰ２１０は、参照テーブルを通じて、光活性素子へのアクセスを制御し、ＶPIXEL を画素信号のカラー・インターリーブ・ストリーム(color-interleaved stream)として生成する。
【００１３】
ＣＤＳ回路２０２は、スイッチド・キャパシタ・サンプル／ホールド回路として動作する。この回路は、標準的な相関二重サンプリング技法を用い、各画素信号を２回検出する。１回目で基準電圧を確立し、２回目で画素電圧を生成する。基準電圧および画素電圧を減算し、比例差分出力信号ＶPP−ＶPNを生成する。かかる差分信号は、ノイズ不感性(noise immunity)を高め、システムのダイナミック・レンジを拡大する。これは、電圧が低いバッテリの電源で動作する携帯機器においては特に重要である。通常、ＣＤＳ回路２０２は、所与の電源電圧以内でダイナミック・レンジを最大とするように電圧利得を与える。例えば、バッテリ電源電圧ＶDD＝２．８ボルトで動作する携帯通信装置に用いられる一実施例では、ＣＤＳ回路２０２は約１．５の電圧利得を与える。
【００１４】
タイミング発生器２１４は、１３．５メガヘルツで動作する基準クロック信号ＲＥＦＣＬＫを受信し、クロック信号を導出する。クロック信号は、バス２０６上に供給され、画像捕獲回路の動作を同期させる。例えば、電圧制御発振器を用いてあるクロック信号を周波数同期させ、２１６．０メガヘルツで動作させることによって、ＣＤＳ回路２０２がＶPIXEL をサンプリングするタイム・スロットを設定することができる。２７．０メガヘルツで動作する画素クロック信号ＶPCLKが導体３８上に供給され、光検出アレイの画素レートを制御する。
【００１５】
ＰＧＡ２０４は、デジタル的にプログラム可能な利得を与え、ＶPIXEL の画素信号のカラー・バランスを調節し、光活性素子の異なる色に対する感度を補償する。カラー・バランスのことをホワイト・バランスと呼ぶことが多い。何故なら、白色光は光の色全てを等しい強度で含むからである。したがって、捕獲した白色画像の画素信号のカラー・バランスを取れば、画素信号は、それらの原色には無関係に、等しい振幅を有し、白色画像が正しく表示される。画素信号のカラー・バランスが取れていない場合、画像は、正確な色で表示されないので、白色画像は、白色以外の色として表示される。
【００１６】
従来技術のカラー・バランス回路は、画素信号をそれらの原色によって分離し、多数の並列な増幅器を経由して送出している。しかしながら、かかる増幅器は、固定パターン・ノイズのような画像表示アーチファクトの防止に必要な一致度を得ることが難しい。本発明は、ＶPIXEL を画素信号の単一ストリームとして発生し、画素信号の原色をインターリーブして、単一の増幅器によって直列に増幅することによって、この問題を回避する。カラー・バランスを取るには、各画素信号にマップされ、メモリ２１２の参照テーブル内に格納されているＣＯＮＴＲＯＬデータを用いて、ＰＧＡ２０４の利得を調節する。ＤＳＰ２１０は、ＣＯＮＴＲＯＬデータを対応する画素信号に同期させ、ＰＧＡ２０４の制御入力に達するバス２２２上にＣＯＮＴＲＯＬデータを生成する。したがって、動作中に(on-the-fly)利得を調節し、画素信号の色が変化するに連れて、カラー・インバランスを補償する。
【００１７】
ＡＤＣ２０８は、スイッチド・キャパシタ・パイプラインＡＤＣであり、ＰＧＡ２０４からのアナログ出力信号を、バス２０９上の代表的撮像データ(imaging data)に変換する。ＡＤＣ２０８が生成するデジタル・データのビット数と少なくとも同じ本数の導体を有するようにバス２０９を構成することによって、十分に高いデータ・レートを確保する。したがって、８ビット・デジタル・データでは、バス２０９は少なくとも８本の導体を有する。
【００１８】
ＤＳＰ２１０は、支援回路または同様のソフトウエアを実行可能な論理回路を有するマイクロプロセッサを含み、ＡＤＣ２０８からの撮像データを予め規定されたフォーマットの出力データに変換し、撮像データの読み取りおよび／または出力装置２２上での表示を可能とする。また、ＤＳＰ２１０は、ガンマ補正，画像ノイズ濾波，画素クラスタ平均化，カラー・ディープニング(color deepening) ，コントラスト強化，およびデータ補正のような、種々の他の画像処理を実行可能である。ＤＳＰ２１０を動作させるソフトウエア命令は、リード・オンリ・メモリまたはランダム・アクセス・メモリとして動作するメモリ２１２の領域に格納される。
【００１９】
ＤＳＰ２１０は、光検出アレイのアドレシングを制御し、メモリ２１２内の参照テーブルを用いて、画素信号処理の各段を通じて、ＶPIXEL の原色を追跡する。各処理段における各画素信号について、ＤＳＰ２１０は、アレイ内の発生元の光活性素子の色および物理位置を知っている。ＤＳＰ２１０は、画素信号がＰＧＡ２０４に印加されるときに、参照テーブルによって光活性素子にアドレスし、対応するＣＯＮＴＲＯＬデータを供給することによって、カラー・バランスを制御する。物理位置情報を利用することによって、ＤＳＰ２１０は、精巧度を高めたＣＯＮＴＲＯＬデータを計算し、ＰＧＡ２０４の利得に対して別の形式の補償調節を行うことが可能となる。例えば、ＤＳＰ２１０は、周辺に位置する光活性素子が発生する画素信号の利得を高めることによって、検出アレイの周辺部における露光不足のような、光学的な不完全性を補正することができる。更に別の例として、ＤＳＰ２１０は、撮像データからの光レベルを計算し、ＰＧＡ２０４の全体的な利得を調節し、劣った採光条件を補償することにより、電子的な露出制御を行うようにプログラムすることができる。かかる計算は通常非常に複雑であり、ＶPIXEL の各サイクルでは実行できないので、参照テーブルにリンクされたメモリ２１２内のバッファ・レジスタにおいてその結果を更新し、画素レートでＣＯＮＴＲＯＬデータを与える。
【００２０】
メモリ２１２は、記憶素子のリード・オンリまたはランダム・アクセス・アレイとして実施し、参照テーブル，バッファ・レジスタならびにＤＳＰ２１０が使用するソフトウエア命令およびデータを格納する。メモリのアクセスはＶPIXEL の２７．０メガヘルツ周波数で行うが、更新はそれよりも遅いレートで行うことができるので、ＤＳＰ２１０は、上述のような計算を完全に行い、出力装置２２上の画像の外観を改善することができる。システムによっては、ユーザがメモリ２１２またはＤＳＰ２１０のいずれかの外部入力（図示せず）を介して、カラー・バランス・データまたはその他のデータを与え、メモリ２１２に格納するものもある。
【００２１】
図３は、ＰＧＡ２０４，スイッチド・キャパシタ，増幅器３０２を含むパイプライン・プログラム可能利得段，固定コンデンサ３１０，３１１，プログラム可能コンデンサ３２０，３３０，およびスイッチ３１４，３１５，３１６，３１７，３２３，３２４，３３３，３３４の構成図である。ＰＧＡ２０４は、ＶPIXEL 内の画素信号のストリームを増幅し、カラー・バランス撮像信号ＶOUT を生成し、これをＡＤＣ２０８の入力に印加する。典型的に、コンデンサ３１０，３１１は、マッチング(matching)・コンデンサであり、プログラム可能コンデンサ３２０，３３０もマッチング・コンデンサである。ＰＧＡ２０４の利得は、プログラム可能コンデンサ３２０およびコンデンサ３１０の容量比によって設定される。コンデンサは増幅器よりも精度高く一致させることができるので、本発明の単一増幅器を用いる手法は、従来技術による多数の増幅器を用いたカラー・バランス処理を特徴付ける固定パターン・ノイズや他の表示アーチファクトを招くことなく、画素信号のカラー・バランスを取ることができる。更に、単一増幅器の構成は、多数の増幅器を用いる従来技術のシステムよりも消費電力が少なく、ダイ面積も小さくて済む。
【００２２】
尚、本発明の範囲から逸脱することなく、マッチング・コンデンサ以外の実施例を代わりに用いることも可能である。例えば、連続モード演算増幅器は、プログラム可能な抵抗を用いて、制御データによって利得を設定することができる。プログラム可能コンデンサ３２０は、二進加重コンデンサのアレイから成り、関連するスイッチがＣＯＮＴＲＯＬデータに応答して閉じることによって制御される。説明を簡略化するために、コンデンサ３２１，３２２および関連するスイッチ３２３，３２４のみを示す。同様に、プログラム可能コンデンサ３３０は、二進加重コンデンサのアレイから成り、関連するスイッチがＣＯＮＴＲＯＬデータに応答してイネーブルされることによって制御されるが、コンデンサ３３１，３３２および関連するスイッチ３３３，３３４のみを示す。殆どのシステムは、精度高く画素信号のカラー・バランスを取るためには、少なくとも８ビットのプログラム能力(programmability) を必要とするので、プログラム可能コンデンサ３２０，３３０は、典型的に、８つの二進加重コンデンサを含み、８ビットのＣＯＮＴＲＯＬデータに応答してイネーブルされる８つのスイッチがこれらに関連付けられている。通常、Ｎビットの精度を必要とする場合（Ｎは整数）、プログラム可能コンデンサ３２０，３３０は、Ｎ個の二進加重コンデンサ，およびＮビットのＣＯＮＴＲＯＬデータによってイネーブルされるＮ個のスイッチを含む。ＣＯＮＴＲＯＬデータが所望の利得の二進表現として構成されていない場合、デコーダ回路（図示せず）を用いて、ＣＯＮＴＲＯＬデータを二進加重形態に変換し、スイッチ３２３，３２４および３３３，３３４を制御する。プログラム可能コンデンサ３２０，３３０の容量は、コンデンサ３２１，３２２および３３１，３３２の組み合わせによって設定され、これらのコンデンサに関連するスイッチ３２３，３２４および３３３，３３４がイネーブルされる。更に、プログラム可能コンデンサ３２０，３３０は、固定コンデンサ３１２，３１３を含み、これらが増幅器３０２の入力における最小容量を確立し、安定性を低下させしかも増幅器３０２の出力においてグリッチを混入させる過度の利得変化を防止する。
【００２３】
図４のタイミング図を参照しながら、ＰＧＡ２０４の動作を見ていくことにする。図４は、ＶPIXEL の（２つの連続画素信号からの）２回の連続サイクルにおける入力信号ＶPP−ＶPN、およびその結果得られたカラー・バランス撮像信号ＶOUT を示す。ＶPP−ＶPNの最初のサイクルは、時間期間Ｔ1 ，Ｔ2 を含み、２番目のサイクルは時間期間Ｔ3 ，Ｔ4 を含む。ＶOUT の最初のサイクルは、時間期間Ｔ2 ，Ｔ3 を含み、２番目のサイクルはＴ4 ，Ｔ5 を含む。連続する画素信号は、等しい強度の白色信号によって発生され、第１画素信号（Ｔ1 の間に示すＶPP−ＶPN）が第１の原色を表し、第２の原色を表す第２画素信号（Ｔ3 の間に示すＶPP−ＶPN）よりも振幅が大きいと仮定する。
【００２４】
Ｔ1 の間、プログラム可能コンデンサ３２０，３３０のスイッチは、メモリ２１２内の参照テーブルからの第１ＣＯＮＴＲＯＬデータによってイネーブルされ、プログラム可能コンデンサ３２０，３３０の値を設定する。スイッチ３１６，３１７を閉じて、プログラム可能コンデンサ３２０，３３０を、それぞれＶPPおよびＶPNのレベルまで充電する。一方、スイッチ３１４，３１５を開いて増幅器３０２を自動ゼロ・モードとし、この間出力信号は与えられない。一実施例では、追加のスイッチ（図示せず）を用いて、双方の電極を接地に短絡させることによって、この期間においてコンデンサ３１０，３１１を放電する。
【００２５】
Ｔ2 の間、ＣＤＳ回路２０２は自動ゼロ・モードにあり、スイッチ３１６，３１７を開いて、プログラム可能コンデンサ３２０，３３０が、ＣＤＳ回路２０２によって放電されるのを防止する。一方、スイッチ３１４，３１５を閉じてＰＧＡ２０４を利得モードで動作させる。この間、ＶOUT は有効となる。
【００２６】
Ｔ3 の間、メモリ２１２の参照テーブルからの第２ＣＯＮＴＲＯＬデータが、異なる組み合わせのスイッチをイネーブルし、プログラム可能コンデンサ３２０，３３０を以前よりも低い容量に設定し、ＰＧＡ２０４の利得を増加させて、画素信号のカラー・バランスを取る。スイッチ３１６，３１７を閉じて、プログラム可能コンデンサ３２０，３３０をそれぞれＶPPおよびＶPNのレベルまで充電し、一方スイッチ３１４，３１５を開いて、増幅器３０２を自動ゼロ・モードで動作させる。
【００２７】
Ｔ4 の間、ＣＤＳ回路２０２は自動ゼロ・モードにあり、スイッチ３１６，３１７を開いて、プログラム可能コンデンサ３２０，３３０の放電を防止し、一方スイッチ３１４，３１５を閉じて、ＰＧＡ２０４を利得モードで動作させる。この間、ＶOUT は有効となる。ＰＧＡ２０４の利得増大により、第２ＶOUT 信号が生成される（Ｔ4 の間）。この信号の振幅は第１ＶOUT 信号の振幅と等しいので、これによって画素信号のカラー・インバランスを補償する。
【００２８】
以上の説明から、本発明は、画像捕獲システムにおいて画素信号のカラー・バランスを取る回路および方法を提供することが認められよう。原色に応答する画素信号は、信号ストリーム内においてインターレースされ、単一のプログラム可能増幅器において増幅される。増幅器の利得は、増幅器内のプログラム可能容量の固定容量に対する比を調節する制御データによって設定する。増幅する信号の原色が変化した場合、制御データを変更することにより、増幅器の利得を変え、画素信号のカラー・バランスを取る。コンデンサは増幅器よりも精度高く一致させることができるので、単一増幅器構成は、カラー・バランス処理を改善し、一層精度を高めた画像色を生成する。加えて、固定パターン・ノイズおよびその他の画像アーチファクトは、従来技術のシステムと比較すると減少し、更に電力消費の削減およびダイ面積の縮小という効果が得られる。
【図面の簡単な説明】
【図１】画像捕獲システムの等幅図。
【図２】信号処理回路のブロック図。
【図３】プログラム可能利得増幅器の構成図。
【図４】プログラム可能利得増幅器のタイミング図。
【符号の説明】
１０    画像捕獲システム
１２    画像
２０    画像捕獲素子
２２    出力装置
２４    パッケージ
２６    撮像集積回路
２８    蓋
３０    透明部分
３４    領域
３６    出力導体
３７    ワイヤ・ボンド
３９    リード
２０４    プログラム可能利得増幅器（ＰＧＡ）
２０６，２０９    バス
２０８    アナログ／デジタル変換器（ＡＤＣ）
２１０    デジタル信号プロセッサ（ＤＳＰ）
３０２    増幅器
３１０，３１１    固定コンデンサ
３２０，３３０    プログラム可能コンデンサ
３１４，３１５，３１６，３１７，３２３，３２４，３３３，３３４    スイッチ
【図１】
0004036541.tif 000002
【図２】
0004036541.tif 000003
【図３】
0004036541.tif 000004
【図４】
0004036541.tif 000005