(57)【要約】ビデオ画像を得る単一チップＣＭＯＳデバイスが示される。このデバイスは、シーンを表す信号を与える画素アレイと、画素アレイから信号を受取る、拡大ダイナミックレンジのサンプル・ホールド回路の列と、画素アレイから他の信号を受取る、線形のサンプル・ホールド回路の列とを備えている。さらに、制御可能な関数を決定し、拡大ダイナミックレンジのサンプル・ホールド回路および線形サンプル・ホールド回路から受取った複数の信号を制御可能な関数に従って処理して、処理されたビデオ信号を形成する画像プロセッサを備えている。さらに、制御可能な関数および処理されたビデオ信号を記憶するメモリを備える。
2005510900.tif 000002
【特許請求の範囲】
【請求項１】
単一チップＣＭＯＳ撮像装置であって、
シーンを表す信号を与える画素アレイと、
前記画素アレイから信号を受取る、拡大ダイナミックレンジのサンプル・ホールド回路の列と、
前記画素アレイから他の信号を受取る、線形のサンプル・ホールド回路の列と、
制御可能な関数を決定し、前記拡大ダイナミックレンジのサンプル・ホールド回路および前記線形のサンプル・ホールド回路から受取った複数の信号を、前記制御可能な関数に従って処理して、処理されたビデオ信号を形成する画像プロセッサと、
前記制御可能な関数および前記処理されたビデオ信号を記憶するメモリと、
を備える装置。
【請求項２】
前記メモリは、デュアルポート・メモリである、請求項１に記載の装置。
【請求項３】
前記画像プロセッサは、タイミング信号および制御信号を、前記画素アレイに送る、請求項１に記載の装置。
【請求項４】
調整された電源をさらに備える、請求項１に記載の装置。
【請求項５】
前記調整された電源から、タイミング信号を受信するウォッチドッグ回路を、さらに備える請求項４に記載の装置。
【請求項６】
前記ウォッチドッグ回路からの出力は、前記画像プロセッサのためのトリガパルスを含む、請求項５に記載の装置。
【請求項７】
前記画像プロセッサに接続され、前記処理された画像信号を所定のフォーマットに変換するディジタル／アナログ・コンバータをさらに備える、請求項１に記載の装置。
【請求項８】
前記ディジタル／アナログ・コンバータからの出力は、インタレース・ビデオ信号である、請求項７に記載の装置。
【請求項９】
前記ディジタル／アナログ・コンバータの出力は、ＲＳ−１７０コンプレイント・ビデオ信号である、請求項７に記載の装置。
【請求項１０】
前記画素アレイは、フォトディテクタ・アレイを含む、請求項１に記載の装置。
【請求項１１】
前記画素アレイは、アクティブ画素センサ・デバイスである、請求項１に記載の装置。
【請求項１２】
前記画像プロセッサは、ｉ）撮像装置の位置、ii）撮像装置の走査経路、iii ）１日のうちの時刻、iv）１年のうちの日の少なくとも１つに基づいて、プログラム可能である、請求項１に記載の装置。
【請求項１３】
撮像装置からの信号を処理する方法であって、
ａ）画像アレイから、シーンを表す画像を受取るステップと、
ｂ）前記画像のヒストグラムを作成するステップと、
ｃ）画像が、所定の明るさと所定のダイナミックレンジとを有する部分を含むか否かを、前記ヒストグラムに基づいて決定するステップと、
ｄ）現在のリセット・シーケンスが、最初のリセット・シーケンスであるか否かを、前記ステップｃ）の結果に基づいて決定するステップと、
ｅ）現在のリセット・シーケンスが変更されたか否かを、前記ステップｄ）の決定に基づいて決定し、および前記ステップａ）で受取った画像が、直前の画像に対して改善された画像であるか否かを決定するステップと、
ｆ）前記リセット・シーケンスを、前記ステップｅ）の結果に基づいて、変更するステップと、
を含む方法。
【請求項１４】
ｇ）現在のリセット・シーケンスが、最後のリセット・シーケンスから変更されたか否かを、前記ステップｃ）の結果に基づいて決定するステップと、
ｈ）現在のリセット・シーケンスが以前に変更されたか否かを、前記ステップｇ）の結果に基づいて決定するステップと、
ｉ）画像の改善があるか否かを、前記ステップｈ）の結果に基づいて決定するステップと、
ｊ）前記リセット・レベルを、前記ステップｉ）の結果に基づいて変更するステップと、
をさらに含む、請求項１３に記載の方法。
【請求項１５】
前記リセット・シーケンス調整の間に、ヒストグラミング動作を同時に実行するステップをさらに含む、請求項１３に記載の方法。
【請求項１６】
前記ステップｂ）の決定は、前記画像アレイに対する最大の明るさレベルの約１０％以内にある少なくとも１００個の画素を有する画像のヒストグラムに基づく、請求項１３に記載の方法。
【請求項１７】
前記ステップｅ）の決定は、前記ステップｂ）において作成されたヒストグラムの最大レベルと、直前の画像に対するヒストグラムの最大レベルとの比較に基づく、請求項１３に記載の方法。
【発明の詳細な説明】
【０００１】
発明の技術分野
本発明は、撮像装置、特に、低電力を必要とし、高品質画像を与える単一チップ上に形成される撮像素子および制御回路を含むＣＭＯＳ撮像装置に関する。
【０００２】
発明の背景
従来、監視装置は、ビデオ画像を得るためのシェルフ撮像素子を用いている。典型的に、これら撮像素子は、一般に小さくなく、外部電源を必要としている。また、これらの監視装置は、得られたビデオが、明るい背景に対して暗い前景、あるいは暗い背景に対して明るい前景を有する場合、明瞭な画像を与えない。このようなビデオ画像をモニタ上で観察した場合、ビデオ画像からわずかな情報しか得られない。
【０００３】
さらに、電荷結合デバイス（ＣＣＤ）撮像素子および相補型金属酸化物半導体（ＣＭＯＳ）撮像素子を含めて、今日、種々のタイプの撮像素子が用いられている。これらの撮像装置は、画素のアレイを備え、各画素は、フォトダイオードのような感光センサ素子を有している。
【０００４】
ＣＭＯＳ撮像素子は、典型的に、アクティブ画素センサのアレイと、このアレイの画素撮像素子の或る列の出力をサンプルし、ホールドする相関ダブルサンプリング回路または増幅器の列とを用いている。アクティブ画素センサ（ＡＰＳ）という用語は、トランジスタのようなアクティブ・デバイスが、各画素に結合されている電子画像センサを表している。ＡＰＳデバイスは、典型的に、ＣＭＯＳ技術を用いて作製される。
【０００５】
ＣＭＯＳ撮像装置では、各フォトダイオードは、フォトダイオードに到達する光の強度に従って、光集積期間中に、電荷、したがって電圧を蓄積する。電荷が蓄積されるにつれて、フォトディテクタは、満たされ始める。ＣＭＯＳ撮像装置では、逆バイアスされたフォトダイオードのキャパシタンスに一時的に記憶された電圧は、光電子によって発生された負電荷に従って低下する。光集積期間の終了時におけるフォトダイオード上の電荷の蓄積量は、その画素位置に対する画素値である。しかし、光集積期間の終了前に、フォトディテクタが満杯になり、および光子がフォトディテクタにさらに入射しても、電荷はさらには蓄積され得ない。したがって、例えば、フォトディテクタに供給された非常に明るい光は、光集積期間の終了前に、フォトディテクタを満杯にし、したがって飽和し、情報が失われる。
【０００６】
ＣＣＤ撮像装置では、画素セルに蓄積できる電荷の量は、フォトゲート下の空乏ウェルの深さによって制限される。空乏ゲートは、フォトゲートにポテンシャルを与えることによって形成される。フォトゲートは、フォトゲート下の半導体基板からの多数キャリアを阻止する。フォトゲートが光子にさらされ、光電子が発生すると、フォトゲート下のウェルの深さは減少する。ＣＭＯＳフォトダイオードの場合、ＣＣＤフォトゲートが明るい照明を受けると、飽和し、画像内の比較的明るい対象についての情報の喪失につながる。
【０００７】
２０００年３月２１日にLevine等に付与された米国特許第６，０４０，５７０号は、上述した飽和の問題を避けるようにＡＰＳ撮像素子を動作する方法を開示している。この方法によれば、撮像素子のためのバイアス・ポテンシャルを、２段階で供給している。第１のポテンシャルは、画素がリセットされるときに、光集積期間の開始の前に供給され、電荷は、光集積期間の第１の副期間の間蓄積される。この第１の副期間の間、画像の明るい領域は、撮像素子の一部分のフォトディテクタを飽和させる。光集積期間の第２の副期間には、フォトダイオードまたはフォトゲートに供給されるバイアス電圧が、変更されて、画素の電荷容量を増大させる。すでに飽和している画素は、この第２の副期間に、より多くの電荷を蓄積して、第１の副期間の間に飽和した他の画素に対して電荷差分を与える。光集積期間の終了時での各画素上の蓄積電荷は、その画素に対する画像信号として与えられる。したがって、各画素、したがって完全な撮像素子のダイナミックレンジは、拡大されて、１光集積期間あたり、より多くの情報を与える。
【０００８】
さらに、１９９９年９月７日にMcCafferyに付与された米国特許第５，９４９，９１８号は、ＡＰＳ撮像素子，ビデオ・プロセッサ，デュアルポート・メモリを用いて、画像強化を実現する方法を開示している。ビデオ・プロセッサは、ヒストグラミング動作を実行して、画像用の累積分布関数（ＣＤＦ）に基づいて、ルックアップテーブルを作成する。このルックアップテーブルは、画素値を再量子化して、画像内の明るいおよび／または暗い対象において、密に配列された画素値間の差を増大させる。画像データが、ビデオ・プロセッサによって受取られると、画像データは、ルックアップテーブルによって処理され、画像の背景または前景の強度がどうであろうと、ビデオ・ディスプレイ上で見えるデータの量を増大させる。
【０００９】
低コスト，低電力の撮像素子を提供するには、単一チップＣＭＯＳ撮像素子において、これら両方の処理を用いることが望ましい。
【００１０】
発明の概要
本発明は、単一集積回路上に作製されるＣＭＯＳ撮像装置である。この装置は、シーンを表す信号を与える拡大ダイナミックレンジ（ＸＤＲ）の画素のアレイを有するＡＰＳ撮像素子を備えている。この装置は、さらに、画像の制御可能な関数を計算して、この制御可能な関数を用いて、撮像素子の拡大ダイナミックレンジを調整し、および撮像素子から受信した信号を、制御可能な関数に従って再量子化する。
【００１１】
本発明の一態様によれば、画像プロセッサは、撮像素子に与えられるバイアス・ポテンシャルを制御するヒストグラミング関数を含み、拡大されたダイナミックレンジの特徴を実現する。
【００１２】
本発明の他の態様によれば、撮像装置は、制御可能な関数および処理されたビデオ信号を記憶するメモリを備える。メモリは、画像信号のフルフレームを記憶し、画像フレームを２つのシーケンシャル・フィールドとして与える。
【００１３】
本発明のさらに他の態様によれば、撮像装置は、撮像素子によって与えられるビデオ画像を、標準フォーマットに変換する回路を備えている。
【００１４】
本発明のさらに他の態様によれば、撮像装置は、ライン電流と同期して撮像装置をトリガする電力モニタ回路を備える。
【００１５】
図面の詳細な説明
図１は、本発明の撮像装置の一実施例のハイレベル・ブロック図である。種々の要素のすべては、工業標準のＣＭＯＳプロセスを用いて、単一のシリコン・ウェハ上に作製することができる。撮像装置１００は、アクティブ画素センサ（ＡＰＳ）撮像素子１１０を有している。ＡＰＳ撮像素子１１０は、フォトディテクタのアレイを有し、アレイは、例えば６４０（Ｈ）×４８０（Ｖ）のフォトダイオード・アレイとすることができる。本発明の実施例では、各フォトダイオードは、順次走査モードでサンプリングされ、連続する６４０×４８０画素の画像フレームを、１秒あたり３０フレームの速度で形成する。撮像装置１１０は、順次走査ビデオ・フレームを、インタレース走査ビデオ・フィールドに、１秒あたり６０フィールドの速度で変換する。順次走査フレームからインタレース走査フィールドを形成するこの方法は、垂直ドット・クロールおよび３０ｈｚアーティファクトのような、モーション・アーティファクトを軽減するのを助ける。ＡＰＳ撮像素子１１０は、Levine等に付与された米国特許第６，０４０，５７０号に開示されたような撮像素子とすることができ、拡大されたダイナミックレンジのサンプル・ホールド回路１１１の列と、線形のサンプル・ホールド回路１１２の列とを有する。フォトディテクタまたは画素エレメントの出力は、可視アナログ信号に変換される前に、さらなる処理のためにＡＳＩＣ１２０に送られる。
【００１６】
入力電圧は、３．３ボルト・レギュレータ１５０に供給され、そしてチャージポンプ１６０に供給される。チャージポンプは、ＡＳＩＣ１２０および他の回路のための動作電圧を与える。本発明の実施例では、チャージポンプ１６０は、レギュレータ１５０によって与えられた３．３ボルトを増大させて、ＡＰＳ撮像素子１１０に５ボルトの信号を与える。ＡＰＳ撮像素子１１０用のこの増大された電源電圧は、ＡＰＳ撮像素子が広いダイナミックレンジを有するビデオ信号を形成することを可能にする。というのは、より大きな電圧レベルが、拡大されたダイナミックレンジの回路に利用できるからである。３．３ボルト・レギュレータ１５０は、また、ウォッチドッグ回路１７０に信号を供給する。この回路は、ＡＳＩＣ１２０に、起動信号を与える。クリーンな起動パルスを供給し、ＡＳＩＣ１２０による迅速な応答を許容するウォッチドッグ回路１７０は、必要に応じてＡＳＩＣ１２０をトリガする。このことは、最初のトリガの後に、非常に短時間でシーンを取込むことを可能にする。本発明の実施例では、ウォッチドッグ回路１７０は、交流（ＡＣ）ライン電圧に応答して、６０Ｈｚの速度でトリガ・パルスを与える。以下に説明するように、これらのパルスは、ＡＳＩＣ１２０によって、３０Ｈｚのパルスに変換されて、ＡＰＳ撮像素子１１０からの順次走査画像データを取出す。６０Ｈｚパルスは、各フィールド画像が、記憶されたフレーム画像からいつ与えられるべきかを指示するために、用いられる。
【００１７】
画素リセット回路１８０は、ＡＰＳ撮像素子１１０の各画素エレメントに、要求に応じて、バイアス・ポテンシャルを供給し、センサを拡大されたダイナミックレンジのモードで動作させるために用いられる。画素リセット回路１８０は、ヒストグラミング関数によって発生された信号に応答して、ＡＳＩＣ１２０によって制御される。
【００１８】
デュアルポート・スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）１３０、およびビデオ・デジタル／アナログ・コンバータ（ＤＡＣ）１４０は、ＡＳＩＣ１２０に接続される。ＳＲＡＭ１３０は、デュアル・ポートであるので、ＡＳＩＣ１２０から送られてきたフレーム・データと、画素処理のために必要とされるルックアップ・テーブル（ＬＵＴ）とを記憶し、同時に、記憶された画像データを、ビデオＤＡＣ１４０に与えることができる。
【００１９】
ＡＳＩＣ１２０は、記憶された順次走査画像の偶数ラインのみを選択し、水平および垂直同期信号を付加し、ＤＡＣ１４０に複合信号を与えて、偶数画像フィールドを形成する。同様にして、ＡＳＩＣ１２０は、記憶されたフレームの奇数ラインを処理して、これらをＤＡＣ１４０に与え、奇数画像フィールドを形成する。奇数画像フィールドがＤＡＣに与えられると、ＡＳＩＣ１２０は、次の順次走査フレームを、ＳＲＡＭ１３０に記憶させる。本発明の実施例では、ＤＡＣ１４０は、モノクローム・アナログ・ビデオ信号を与える。このビデオ信号は、工業標準の装置上に表示および／または記録するための工業標準フォーマット（例えば、ＲＳ−１７０）に合致している。
【００２０】
ＡＳＩＣ１２０は、ＡＰＳ撮像素子１１０，メモリ１３０，ＤＡＣ１４０を制御する回路と、ＡＰＳ撮像素子１１０によって収集された画素データを処理する回路とを有している。図２に示すように、ＡＳＩＣ１２０は、クロック回路２１２からクロック信号２１０を受信する。ＡＳＩＣ１２０内のタイミング機能２１４は、クロック信号２１０を用いて、画素リセット回路１８０を制御し、およびメモリ１３０の読取り／書込み動作を制御する。ＡＳＩＣ１２０は、また、水平および垂直同期信号を発生させるタイミング機能と、メモリ制御およびヒストグラム・ブロック２１６によって実行されるすべてのビデオ処理とを用いている。
【００２１】
出力制御ブロック２１８は、水平および垂直同期信号を、メモリ１３０から読取られたインタレース・ビデオ信号に加え、複合信号をビデオＤＡＣ１４０に送る。この複合信号は、ＲＳ−１７０標準にコンプレイントな複合ビデオ出力となる。
【００２２】
メモリ制御およびヒストグラム・ブロック２１６は、例えば、１９９９年９月７日にMcCaffreyに付与された米国特許第５，９４９，９１８号に開示されたビデオ処理を行うことができる。ビデオ・データの疑似ランダム・サンプリングを行って、輝度レベルのヒストグラムを作成する。このヒストグラムは、累積分布関数（ＣＤＦ）に変換され、メモリ１３０に記憶される。ルックアップ・テーブル（ＬＵＴ）２２０が、ＣＤＦに基づいて作成され、同様にメモリ１３０に記憶される。画素データの各ユニットは、ＬＵＴ２２０を用いてＡＳＩＣ１２０によって処理されて、各フレーム内の可視データを増大させる。
【００２３】
関連特許に開示されているように、ＬＵＴ２２０は、撮像素子から戻された画素値を、メモリ１３０に記憶される出力画素値に変換する。ＬＵＴ２２０は、画素値を再量子化し、密に配列された値の間に差を生じさせる。例えば、第１画像のヒストグラム関数によって生成されたＣＤＦは、画像が、ｉ）比較的暗い画像データのみ、ii）比較的明るい画像データのみ、iii ）暗い画像データと明るい画像データとの間の画素値を有する無視できるデータを持つ、暗い画像データと明るい画像データとの混合を示すならば、ＡＳＩＣ１２０は、ＬＵＴを発生する。このＬＵＴは、或る暗い画素値および／または明るい画素値を、より明るい値および／またはより暗い値に、それぞれ変換して、大きな変異を示さない画像の領域内に、より大きいコントラストを与える。この変換は、画素の相対値に基づく。このように、画像内のより明るい画素は、明るく保持され、より暗い画素は、暗く保持される。
【００２４】
本発明の実施例では、メモリ制御およびヒストグラム回路２１６は、各受信画像に対し、ＣＤＦおよびＬＵＴを形成する。しかしＬＵＴは、それが形成された画像には用いられず、むしろ次に続く画像に用いられる。しかし、他の方法を用いることができることが考えられる。例えば、ヒストグラム関数は、Ｎ番目（Ｎは、整数であり、例えば１０）の画像毎にのみ、ＬＵＴを形成することができる。あるいはまた、ヒストグラム関数は、解析のための１つのフレーム期間と、ＬＵＴを作成するための他のフレームとを用いることができる。この他の実施例では、ＬＵＴは、シーケンスにおける次の画像に対しては用いられず、ＬＵＴを作成するために用いられた画像の後に発生する第２の画像に対して用いられる。
【００２５】
本発明の一実施例では、メモリ制御およびヒストグラム回路２１６は、画素リセット回路１８０と相互に作用して、処理された画像データが、最小の量子化歪みで良好なダイナミックレンジを示すことを保証する。この相互作用は、図４Ａ〜図４Ｄ，図５に基づいて、以下に説明する。
【００２６】
図３は、本発明の一実施例のブロック図である。図３は、撮像装置１００内のデータおよび制御信号の流れを示す。上述したように、ＡＳＩＣ１２０は、ＡＰＳ撮像素子１１０に、タイミングおよび制御信号３０２を送る。ＡＰＳ撮像素子１１０は、個々の画像フレームよりなるシーケンスの形で、画像データ３０３を形成し、処理のためにＡＳＩＣ１２０に送る。フレーム（ビデオ）３０４のシーケンスは、ＣＤＦ３０６と共に送られ、メモリ１３０に記憶される。次に、ＡＳＩＣ１２０は、順次走査ビデオを処理し、インタレース・モードで画像を読取る。ＡＳＩＣ１２０は、制御信号および他の必要な信号を、インタレース・ビデオ３０８に加え、ビデオ３０８をビデオＤＡＣ１４０に送る。ＤＡＣは、信号を、アナログ複合ビデオ信号３１０として、順次出力する。図３に示すすべての機能ブロックは、ＣＭＯＳプロセスを用いて、単一チップ上に作製される。
【００２７】
図４Ａ〜図４Ｄは、ヒストグラミング機能２１６と、リセット回路１８０との間の相互作用を説明するのに有用である。曲線４１０，４１２，４１４，４１６は、異なる照度を示している。曲線４１０は最も強く、曲線４１６は最も弱い。時刻Itは、画素に入射する光が集積される期間を示している。図４Ａに示すように、照度レベル４１０，４１２，４１４は、時刻ITで等しくなる。というのは、これら各照度は、撮像素子を飽和させるからである。上述したLevineの米国特許に開示されているように、撮像素子のコントラストを増大させるために用いることのできる１つの方法は、光集積期間の前半部分の間に撮像素子を第１レベルにリセットし、次に、光集積期間の後半部分の間にリセットレベルを増大させることである。
【００２８】
図４Ｂに示すように、撮像素子はリセットされて、光集積期間の開始時に、Ｐ１の電荷蓄積ポテンシャルを有するようになる。時刻Ｔ１で、電荷蓄積ポテンシャルは、Ｐ２に増大し、追加の電荷が撮像素子に蓄積するのを許容する。図４Ｂに示すように、照度レベル４１０のみが、画像を飽和させる（すなわち４１０Ａ）。照度レベル４１２，４１４は、増大されたリセット・ポテンシャルの故に、別個のレベルとして区別できる。これらのポテンシャルは、区別できるとしても、４１０より大きい照度レベルは、区別できず、最終照度レベル間の差の大きさは、照度の相対レベルを表していない。
【００２９】
図４Ｃに示すように、他のリセット・ポテンシャル（Ｐ３）を加えることは、より大きな照度レベルを、区別することを可能にするが、相対照度間の差を増大しない。図４Ｄに示すように、さらに他のリセット・レベル（Ｐ４）を加えることは、検出できる照度レベルを増大させ、および出力値の範囲を越えて、これらの照度レベルを拡大させる。４１０″，４１２′，４１４′，４１６は、それらの出力値で容易に区別されることがわかる。
【００３０】
本発明は、リセット・レベルの操作を、ヒストグラミング回路と組合わせて、増大したコントラストを有する画像を撮像素子１１０から得る。本発明の実施例では、個々のリセット・レベルおよびタイミングは固定され、ＡＳＩＣは画素リセット回路に、２ビット値を用いて、特定のリセット・レベルを供給するように指示する。リセット・レベルを供給するタイミングは、予め定めることができ、あるいは図５に基づいて説明されるプロセスの一部として、調整することができる。本発明の実施例では、撮像装置は、撮像素子にリセット・ポテンシャルのシーケンスを供給して、良好なダイナミックレンジを有する画像を得るようにする。このシーケンスは、図４Ａに示すように、１つのポテンシャルとすることができ、あるいは図４Ｂ〜図４Ｄに示すように、ポテンシャルの順次組合わせとすることができる。このリセット・ポテンシャル設定は、各新しい画像が受信されると、連続的に更新される。ヒストグラミング情報と共に、各画像から形成されたリセット・ポテンシャル設定が、次の画像に供給される。ヒストグラミング関数に基づいて、リセット・ポテンシャルのシーケンスをどのように変更するかの決定を、図５のフローチャート図に示す。
【００３１】
このフローチャートの第１のステップ５１０では、ＡＳＩＣ１２０は、撮像素子アレイ１１０から画像を受取り、ヒストグラムを形成する。ステップ５１２で、画像が、小さいダイナミックレンジの明るい領域を含むか否かを決定する。この決定は、例えば、画像のヒストグラムが、撮像素子に対する最大明るさレベルに、またはその近傍に（例えば１０％以内）ある非常に多数の画素（例えば、１００個以上）を有する場合に、行われる。
【００３２】
このような領域が存在しないならば、撮像素子は、小さいダイナミックレンジ、したがって各画像レベルに対して大きい量子化分解能を有するリセット・シーケンスの使用から利益を得ることができる。この例では、ステップ５２０が、現在使用中のリセット・シーケンスが、最初のシーケンス、すなわち最小のダイナミックレンジに相当するシーケンスであるか否かを決定する。最小のダイナミックレンジに相当するシーケンスであるならば、さらなる改善は不可能であり、制御は、プロセスの終了であるステップ５２６に移る。現在のシーケンスが最初のシーケンスでないならば、ステップ５２２が実行される。このステップでは、シーケンスが以前に変更されたか否かを決定し、変更されたならば、画像に改善があったか否かを決定する。画像の改善は、例えば、現在の画像のヒストグラムの最大レベルを、直前の画像の対応レベルと比較することによって、調べることができる。現在の画像が、より明るい対象を有するならば、画像を改善したリセット・シーケンスを変更する。ステップ５２２で、以前にシーケンス変更があったが、画像の改善がないならば、制御はステップ５２６に移る。改善があれば、ステップ５２４が実行される。このステップでは、リセット・シーケンスを、次に小さいダイナミックレンジに相当するシーケンスに変更し、制御をステップ５２６に移す。
【００３３】
ステップ５１２で、比較的大きい明るい領域が存在するならば、撮像素子は、より大きいダイナミックレンジを有するリセット・シーケンスの使用から利益を得ることができる。この例では、ステップ５１４は、現在使用中のリセット・シーケンスが最終シーケンス、すなわち最大のダイナミックレンジに相当するシーケンスであるか否かを決定する。最終シーケンスであるならば、更なる改善は不可能であり、制御は、ステップ５２６に移る。現在のシーケンスが、最終シーケンスでないならば、ステップ５１６が実行される。このステップでは、シーケンスが以前に変更されたか否かを決定し、変更されたならば、画像に改善があったか否かを決定する。画像の改善は、例えば、現在の画像のヒストグラムの最大レベルでの画素の数を、直前の画像の対応する画素数と比較することによって、調べることができる。現在の画像が、このレベルで以前の画像よりも少ない画素を有するならば、リセット・シーケンスを変更することは、画像を改善する。ステップ５１６で、以前にシーケンスの変更があり、画像に改善がなければ、ステップ５２６に移る。改善があれば、ステップ５１８が実行される。このステップでは、リセット・シーケンスを、次に大きいダイナミックレンジに相当するシーケンスに変更し、制御をステップ５２６に移す。
【００３４】
ＡＳＩＣ１２０がリセット・シーケンスを調整するのと同時に、ＡＳＩＣはまた、ヒストグラミング動作を実行する。したがって、画像の全コントラストと量子化分解能とは、最善の可能な値に達するまで、繰り返し増大される。カメラは、画像品質を連続的にモニタし、ＸＤＲパラメータおよびヒストグラムＬＵＴを調整するので、カメラは、周囲の明るさの状態に、連続して調整される。
【００３５】
撮像装置を、ビデオ信号のダイナミックレンジを調整する適応方法によって説明したが、撮像装置を、プログラマブル装置として構成できることが考えられる。監視の応用例では、例えば、それぞれ異なったリセット・シーケンスおよびＬＵＴを、一定の走査パス，１日のうちの時刻，１年のうちの日におけるカメラ位置に基づいて決定できる。これらのパラメータは、ＡＳＩＣ１２０にプログラムすることができ、あるいは例えば１ビットＩ2 Ｃバスによって、ＡＳＩＣ１２０に対し外部に設けることができる。したがって、撮像装置は、最適画像を作製する所定の基準に従って、プログラムすることができる。
【００３６】
本発明を、１つ以上の実施例によって説明したが、概説したように、本発明の範囲内で、実施できることが予測される。
【図面の簡単な説明】
本発明は、発明の詳細な説明を、添付の図面と共に読むことによって、最も良く理解される。通常の方法に従い、図面の要素はスケールとおりでないことを、強調しておく。逆に、種々の要素の寸法は、明瞭にするために任意に拡張しまたは縮小されている。図面には、以下の図が含まれている。
【図１】
図１は、本発明の一実施例のハイレベル・ブロック図である。
【図２】
本発明の一実施例に含まれる機能ブロックを示すブロック図である。
【図３】
本発明の一実施例における信号の流れを示すブロック図である。
【図４Ａ】
図４Ａは、本発明の動作を説明するのに有用な電圧−時間のグラフである。
【図４Ｂ】
図４Ｂは、本発明の動作を説明するのに有用な電圧−時間のグラフである。
【図４Ｃ】
図４Ｃは、本発明の動作を説明するのに有用な電圧−時間のグラフである。
【図４Ｄ】
図４Ｄは、本発明の動作を説明するのに有用な電圧−時間のグラフである。
【図５】
図５は、本発明の動作を説明するのに有用なフローチャート図である。
【図１】
2005510900.tif 000003
【図２】
2005510900.tif 000004
【図３】
2005510900.tif 000005
【図４Ａ】
2005510900.tif 000006
【図４Ｂ】
2005510900.tif 000007
【図４Ｃ】
2005510900.tif 000008
【図４Ｄ】
2005510900.tif 000009
【図５】
2005510900.tif 000010
【手続補正書】
【提出日】平成15年6月30日(2003.6.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】
前記ディジタル／アナログ・コンバータの出力は、ＲＳ−１７０に合致するビデオ信号である、請求項７に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】請求項１４
【補正方法】変更
【補正の内容】
【請求項１４】
ｇ）現在のリセット・シーケンスが、最後のリセット・シーケンスから変更されたか否かを、前記ステップｃ）の結果に基づいて決定するステップと、
ｈ）現在のリセット・シーケンスが以前に変更されたか否かを、前記ステップｇ）の結果に基づいて決定するステップと、
ｉ）画像の改善があるか否かを、前記ステップｈ）の結果に基づいて決定するステップと、
ｊ）前記シーケンス・レベルを、前記ステップｉ）の結果に基づいて変更するステップと、
をさらに含む、請求項１３に記載の方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】請求項１６
【補正方法】変更
【補正の内容】
【請求項１６】
前記ステップｃ）の決定は、前記画像アレイに対する最大の明るさレベルの約１０％以内にある少なくとも１００個の画素を有する画像のヒストグラムに基づく、請求項１３に記載の方法。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
発明の詳細な説明
図１は、本発明の撮像装置の一実施例のハイレベル・ブロック図である。種々の要素のすべては、工業標準のＣＭＯＳプロセスを用いて、単一のシリコン・ウェハ上に作製することができる。撮像装置１００は、アクティブ画素センサ（ＡＰＳ）撮像素子１１０を有している。ＡＰＳ撮像素子１１０は、フォトディテクタのアレイを有し、アレイは、例えば６４０（Ｈ）×４８０（Ｖ）のフォトダイオード・アレイとすることができる。本発明の実施例では、各フォトダイオードは、順次走査モードでサンプリングされ、連続する６４０×４８０画素の画像フレームを、１秒あたり３０フレームの速度で形成する。撮像装置１１０は、順次走査ビデオ・フレームを、インタレース走査ビデオ・フィールドに、１秒あたり６０フィールドの速度で変換する。順次走査フレームからインタレース走査フィールドを形成するこの方法は、垂直ドット・クロールおよび３０Hｚアーティファクトのような、モーション・アーティファクトを軽減するのを助ける。なお、“アーティファクト”という用語は、ここでは“不所望な結果”という意味で用いている。ＡＰＳ撮像素子１１０は、Levine等に付与された米国特許第６，０４０，５７０号に開示されたような撮像素子とすることができ、拡大されたダイナミックレンジのサンプル・ホールド回路１１１の列と、線形のサンプル・ホールド回路１１２の列とを有する。フォトディテクタまたは画素エレメントの出力は、可視アナログ信号に変換される前に、さらなる処理のためにＡＳＩＣ１２０に送られる。


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
出力制御ブロック２１８は、水平および垂直同期信号を、メモリ１３０から読取られたインタレース・ビデオ信号に加え、複合信号をビデオＤＡＣ１４０に送る。この複合信号は、ＲＳ−１７０標準に合致する複合ビデオ出力となる。


【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
図４Ａ〜図４Ｄは、ヒストグラミング機能２１６と、リセット回路１８０との間の相互作用を説明するのに有用である。曲線４１０，４１２，４１４，４１６は、異なる照度を示している。曲線４１０は最も強く、曲線４１６は最も弱い。時刻ITは、画素に入射する光が集積される期間を示している。図４Ａに示すように、照度レベル４１０，４１２，４１４は、時刻ITで等しくなる。というのは、これら各照度は、撮像素子を飽和させるからである。上述したLevineの米国特許に開示されているように、撮像素子のコントラストを増大させるために用いることのできる１つの方法は、光集積期間の前半部分の間に撮像素子を第１レベルにリセットし、次に、光集積期間の後半部分の間にリセットレベルを増大させることである。


【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
図４Ｂに示すように、撮像素子はリセットされて、光集積期間の開始時に、Ｐ１の電荷蓄積ポテンシャルを有するようになる。時刻Ｂ１で、電荷蓄積ポテンシャルは、Ｐ２に増大し、追加の電荷が撮像素子に蓄積するのを許容する。図４Ｂに示すように、照度レベル４１０のみが、撮像素子を飽和させる（すなわち４１０Ａ）。照度レベル４１２，４１４は、増大されたリセット・ポテンシャルの故に、別個のレベルとして区別できる。これらのポテンシャルは、区別できるとしても、４１０より大きい照度レベルは、区別できず、最終照度レベル間の差の大きさは、照度の相対レベルを表していない。


【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2005510900.tif 000011
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2005510900.tif 000012