(57)【特許請求の範囲】
【請求項１】
ＣＭＯＳセンサの現行動作特性に基づいて、ＣＭＯＳセンサに基づくデジタル・イメージング・システムにおける暗固定パターン・ノイズ削除処理で使用される暗画像を選択する方法において、
暗画像のキャッシュを用意するステップを含み、前記暗画像はデータ構造によって索引付けされ、前記データ構造内の各エントリは前記暗画像の１つに関連付けられた暗画像参照データを格納し、各暗画像は前記ＣＭＯＳセンサの１組の動作特性に対応し、さらに、
前記デジタル・イメージング・システムによって生成されたフレームのストリームの現行フレーム内の少なくとも１つの暗領域から現行暗画像参照データを得るステップを含み、前記少なくとも１つの暗領域は前記ＣＭＯＳセンサの一部であり、照度を受信せず、前記ＣＭＯＳセンサの前記現行動作特性のシグネチャとして動作し、
前記ＣＭＯＳセンサの動作特性が変化したときにのみ、前記現行フレームの前記暗領域から得られた前記現行暗画像参照データを、前記暗画像参照データのデータ構造内の少なくとも１つのエントリと比較するステップ、および
前記現行暗画像参照データが前記エントリに対応するとき、前記暗画像参照データのデータ構造内のエントリに関連付けられた前記キャッシュからの暗画像を使用して、暗固定パターン・ノイズ削除処理を前記フレームのストリーム上で実行するステップ
を含む方法。
【請求項２】
前記キャッシュがホスト・コンピュータ・システム上に格納されており、前記デジタル・イメージング・システムが前記ホスト・コンピュータ・システムに結合されたビデオ・カメラである請求項１に記載の方法。
【請求項３】
前記暗画像を前記ホスト・コンピュータ・システムから前記ビデオ・カメラへダウンロードすることをさらに含む請求項２に記載の方法。
【請求項４】
前記現行暗画像参照データを、前記ビデオ・カメラから前記ホスト・コンピュータ・システムへ送信することをさらに含む請求項２に記載の方法。
【請求項５】
前記用意するステップが、
新規暗画像を前記ＣＭＯＳセンサから獲得するステップと、
前記新規暗画像を前記キャッシュに格納するステップと、
前記新規暗画像に関連付けられた新規エントリを追加することによって前記暗画像参照データのデータ構造を更新するステップとを含み、前記新規エントリは前記新規暗画像に関連付けられた暗画像参照データを含み、
前記獲得するステップと、前記格納するステップと、前記更新するステップとが、前記ＣＭＯＳセンサの前記現行動作特性を示す前記現行暗画像参照データが前記暗画像参照データのデータ構造内のいかなるエントリとも対応しないときに実行される請求項２に記載の方法。
【請求項６】
前記新規暗画像を、前記ビデオ・カメラから前記ホスト・コンピュータ・システムへ転送することをさらに含む請求項５に記載の方法。
【請求項７】
前記キャッシュが満たされているとき、前記新規暗画像を格納する前に前記キャッシュ内の既存の暗画像を削除することをさらに含む請求項５に記載の方法。
【請求項８】
ＣＭＯＳセンサの現行動作特性に基づいて、ＣＭＯＳセンサに基づくデジタル・イメージング・システムにおける暗固定パターン・ノイズ削除処理で使用される暗画像を選択する方法において、
暗画像のキャッシュを用意するステップを含み、前記暗画像はデータ構造によって索引付けされ、前記データ構造内の各エントリは前記暗画像の１つに関連付けられた暗画像参照データを格納し、各暗画像は前記ＣＭＯＳセンサの１組の動作特性に対応し、さらに、
前記デジタル・イメージング・システムによって生成されたフレームのストリームの現行フレーム内の少なくとも１つの暗領域から現行暗画像参照データを得るステップを含み、前記少なくとも１つの暗領域は前記ＣＭＯＳセンサの一部であり、照度を受信せず、前記ＣＭＯＳセンサの前記現行動作特性のシグネチャとして動作し、
前記現行フレームの前記暗領域から得られた前記現行暗画像参照データが直前の暗画像参照データと異なるときにのみ、前記現行暗画像参照データを、前記暗画像参照データのデータ構造内の少なくとも１つのエントリと比較するステップ、および
前記現行暗画像参照データが前記エントリに対応するとき、前記暗画像参照データのデータ構造内のエントリに関連付けられた前記キャッシュからの暗画像を使用して、暗固定パターン・ノイズ削除処理を前記フレームのストリーム上で実行するステップ
を含む方法。
【請求項９】
前記現行暗画像参照データと前記直前の暗画像参照データの間の差が、所定のしきい値量よりも大きい請求項８に記載の方法。
【請求項１０】
ＣＭＯＳセンサの現行動作特性に基づいて、ＣＭＯＳセンサに基づくデジタル・イメージング・システムにおける暗固定パターン・ノイズ削除処理で使用される暗画像を選択および使用する装置であって、
暗画像のキャッシュを含み、前記キャッシュは前記暗画像を索引付けするデータ構造を含み、前記データ構造内の各エントリは前記暗画像の１つに関連付けられた暗画像参照データを格納し、各暗画像は前記ＣＭＯＳセンサの１組の動作特性に対応し、さらに、
現行暗画像参照データを、前記デジタル・イメージング・システムによって取り込まれたフレームのストリームの現行フレーム内の少なくとも１つの暗領域から得る手段を含み、前記少なくとも１つの暗領域は前記ＣＭＯＳセンサの一部であり、照度を受信せず、前記ＣＭＯＳセンサの前記現行動作特性のシグネチャとして動作し、さらに、
前記ＣＭＯＳセンサの動作特性が変化したときにのみ、前記現行フレームの前記暗領域から得られた前記現行暗画像参照データを、前記暗画像参照データのデータ構造内の少なくとも１つのエントリと比較する手段、および
前記現行暗画像参照データが前記エントリに対応するとき、前記データ構造内のエントリに関連付けられた前記キャッシュから選択した暗画像を使用して、暗固定パターン・ノイズ削除処理を前記現行フレーム上で実行する手段
を含む装置。
【請求項１１】
前記キャッシュがホスト・コンピュータ・システム上に格納されており、前記得る手段、前記比較する手段および前記実行する手段が、前記ホスト・コンピュータ・システムに結合されたＣＭＯＳセンサに基づくビデオ・カメラの構成要素である請求項１０に記載の装置。
【請求項１２】
前記ビデオ・カメラを前記ホスト・コンピュータ・システムに結合する双方向インタフェースをさらに含む請求項１１に記載の装置。
【請求項１３】
前記双方向インタフェースがユニバーサル・シリアル・バス（ＵＳＢ）インタフェースである請求項１２に記載の装置。
【請求項１４】
前記ビデオ・カメラが、暗固定パターン・ノイズ削除処理で使用された現行暗画像を格納するためのメモリを含み、前記選択した暗画像が前記キャッシュから前記メモリへ転送される請求項１２に記載の装置。
【請求項１５】
前記現行暗画像参照データが、前記ビデオ・カメラ上の前記得る手段から前記ホスト・コンピュータ・システムへ転送される請求項１２に記載の装置。
【請求項１６】
ＣＭＯＳセンサの現行動作特性に基づいて、ＣＭＯＳセンサに基づくデジタル・イメージング・システムにおける暗固定パターン・ノイズ削除処理で使用される暗画像を選択および使用する装置であって、
暗画像のキャッシュを含み、前記キャッシュは前記暗画像を索引付けするデータ構造を含み、前記データ構造内の各エントリは前記暗画像の１つに関連付けられた暗画像参照データを格納し、各暗画像は前記ＣＭＯＳセンサの１組の動作特性に対応し、さらに、
現行暗画像参照データを、前記デジタル・イメージング・システムによって取り込まれたフレームのストリームの現行フレーム内の少なくとも１つの暗領域から得る手段を含み、前記少なくとも１つの暗領域は前記ＣＭＯＳセンサの一部であり、照度を受信せず、前記ＣＭＯＳセンサの前記現行動作特性のシグネチャとして動作し、さらに、
前記現行フレームの前記暗領域から得られた前記現行暗画像参照データが直前の暗画像参照データと異なるときにのみ、前記現行暗画像参照データを、前記暗画像参照データのデータ構造内の少なくとも１つのエントリと比較する手段、および
前記現行暗画像参照データが前記エントリに対応するとき、前記データ構造内のエントリに関連付けられた前記キャッシュから選択した暗画像を使用して、暗固定パターン・ノイズ削除処理を前記現行フレーム上で実行する手段
を含む装置。
【請求項１７】
前記現行暗画像参照データと前記直前の暗画像参照データの間の差が、所定のしきい値量よりも大きい請求項１６に記載の装置。
【請求項１８】
ＣＭＯＳセンサの現行動作特性に基づいて、ＣＭＯＳセンサに基づくデジタル・イメージング・システムにおける暗固定パターン・ノイズ削除処理で使用される暗画像を選択および使用する装置であって、
少なくとも１つの暗領域を有するＣＭＯＳセンサを含み、前記少なくとも１つの暗領域は前記ＣＭＯＳセンサの一部であり、照度を受信せず、前記ＣＭＯＳセンサの前記現行動作特性のシグネチャとして動作し、さらに、
暗画像のキャッシュを含み、前記キャッシュは前記暗画像を索引付けするデータ構造を含み、前記データ構造内の各エントリは前記暗画像の１つに関連付けられた暗画像参照データを格納し、各暗画像は前記ＣＭＯＳセンサの１組の動作特性に対応し、さらに、
前記デジタル・イメージング・システムによって取り込まれたフレームのストリームの現行フレーム内の前記少なくとも１つの暗領域から現行暗画像参照データを得る処理ユニットと、
前記ＣＭＯＳセンサの動作特性が変化したときにのみ、前記現行フレームの前記暗領域から得られた前記現行暗画像参照データを、前記暗画像参照データのデータ構造内の少なくとも１つのエントリと比較するユニット、および
前記現行暗画像参照データが前記エントリに対応するとき、前記データ構造内のエントリに関連付けられた前記キャッシュから選択した暗画像を使用して、暗固定パターン・ノイズ削除処理を前記現行フレーム上で実行する、暗固定パターン・ノイズ差引ユニットと
を含む装置。
【請求項１９】
暗固定パターン・ノイズ削除処理で使用された現行暗画像を格納するためのメモリをさらに含み、前記選択した暗画像が前記キャッシュから前記メモリへ転送される請求項１８に記載の装置。
【請求項２０】
前記キャッシュがホスト・コンピュータ・システム上に格納されており、前記処理ユニット、前記比較ユニットおよび前記暗固定パターン・ノイズ差引ユニットが、双方向インタフェースによって前記ホスト・コンピュータ・システムに結合されたＣＭＯＳセンサに基づくビデオ・カメラの構成要素である請求項１８に記載の装置。
【請求項２１】
前記双方向インタフェースがユニバーサル・シリアル・バス（ＵＳＢ）インタフェースである請求項２０に記載の装置。
【請求項２２】
ＣＭＯＳセンサの現行動作特性に基づいて、ＣＭＯＳセンサに基づくデジタル・イメージング・システムにおける暗固定パターン・ノイズ削除処理で使用される暗画像を選択および使用する装置であって、
少なくとも１つの暗領域を有するＣＭＯＳセンサを含み、前記少なくとも１つの暗領域は前記ＣＭＯＳセンサの一部であり、照度を受信せず、前記ＣＭＯＳセンサの前記現行動作特性のシグネチャとして動作し、さらに、
暗画像のキャッシュを含み、前記キャッシュは前記暗画像を索引付けするデータ構造を含み、前記データ構造内の各エントリは前記暗画像の１つに関連付けられた暗画像参照データを格納し、各暗画像は前記ＣＭＯＳセンサの１組の動作特性に対応し、さらに、
前記デジタル・イメージング・システムによって取り込まれたフレームのストリームの現行フレーム内の前記少なくとも１つの暗領域から現行暗画像参照データを得る処理ユニットと、
前記現行フレームの前記暗領域から得られた前記現行暗画像参照データが直前の暗画像参照データと異なるときにのみ、前記現行暗画像参照データを、前記暗画像参照データのデータ構造内の少なくとも１つのエントリと比較する比較ユニット、および
前記現行暗画像参照データが前記エントリに対応するとき、前記データ構造内のエントリに関連付けられた前記キャッシュから選択した暗画像を使用して、暗固定パターン・ノイズ削除処理を前記現行フレーム上で実行する、暗固定パターン・ノイズ差引ユニットと
を含む装置。
【請求項２３】
プロセッサによって実行されるように設計された複数の機械可読命令を内部に格納している機械可読媒体であって、前記機械可読命令は暗画像のキャッシュを用意するステップであり、その暗画像はデータ構造によって索引付けされており、そのデータ構造内の各エントリは前記暗画像の１つに関連付けられた暗画像参照データを格納し、各暗画像は前記ＣＭＯＳセンサの１組の動作特性に対応するステップと、ＣＭＯＳセンサに基づくデジタル・イメージング・システムによって生成されたフレームのストリームの現行フレーム内の少なくとも１つの暗領域から現行暗画像参照データを得るステップであって、その少なくとも１つの暗領域は、前記ＣＭＯＳセンサの一部であり、照度を受信せず、前記ＣＭＯＳセンサの前記現行動作特性のシグネチャとして動作するステップと、さらに、前記ＣＭＯＳセンサの動作特性が変化したときにのみ、前記現行暗画像参照データを前記暗画像参照データのデータ構造内のエントリと比較するステップと、前記現行暗画像参照データが前記エントリに対応するとき、前記暗画像参照データのデータ構造内のエントリに関連付けられた前記キャッシュからの暗画像を使用して、暗固定パターン・ノイズ削除処理を前記フレームのストリーム上で実行するステップとを実施させる機械可読媒体。
【請求項２４】
プロセッサによって実行されるように設計された複数の機械可読命令を内部に格納している機械可読媒体であって、前記機械可読命令は暗画像のキャッシュを用意するステップであり、その暗画像はデータ構造によって索引付けされており、そのデータ構造内の各エントリは前記暗画像の１つに関連付けられた暗画像参照データを格納し、各暗画像は前記ＣＭＯＳセンサの１組の動作特性に対応するステップと、ＣＭＯＳセンサに基づくデジタル・イメージング・システムによって生成されたフレームのストリームの現行フレーム内の少なくとも１つの暗領域から現行暗画像参照データを得るステップであって、その少なくとも１つの暗領域は、前記ＣＭＯＳセンサの一部であり、照度を受信せず、前記ＣＭＯＳセンサの前記現行動作特性のシグネチャとして動作するステップと、さらに、前記現行フレームの前記暗領域から得られた前記現行暗画像参照データが直前の暗画像参照データと異なるときにのみ、前記現行暗画像参照データを、前記暗画像参照データのデータ構造内の少なくとも１つのエントリと比較するステップと、前記現行暗画像参照データが前記エントリに対応するとき、前記暗画像参照データのデータ構造内のエントリに関連付けられた前記キャッシュからの暗画像を使用して、暗固定パターン・ノイズ削除処理を前記フレームのストリーム上で実行するステップとを実施させる機械可読媒体。
【発明の詳細な説明】
【０００１】
（１．発明の分野）
本発明は、一般にデジタル・ビデオおよびスチール・カメラに関し、具体的には、ＣＭＯＳイメージ・センサを有するデジタル・カメラで取り込んだ画像の画質を改善することに関する。
【０００２】
（２．関連技術の説明）
ビデオおよびスチール・カメラにおける相補形金属酸化膜半導体（ＣＭＯＳ）技術を用いたデジタル・イメージング・センサが、電荷結合素子（ＣＣＤ）を用いたイメージング・センサに取って代わりつつある。ＣＭＯＳセンサ画像配列がシーン画像からの光に露光されるとき、光子が画像配列に当たり、電荷が画像配列内の各ＣＭＯＳセンサによって生成される。各電荷の一部は、シーン画像からの光子の割合に比例する。各電荷の残りの部分はプロセスの不正確さによるものであり、これらは固定パターンのノイズとして、ＣＭＯＳセンサによって生成された画像内に現れる。このノイズによって検知画像の画質が低下する。
【０００３】
暗固定パターン・ノイズ（ＤＦＰＮ）は、ＣＭＯＳセンサが検知したフォトダイオード漏れ電流の結果である。ＤＦＰＮはさらに、ＣＭＯＳセンサに到達する光がないときにも発生する。したがって、これはＣＭＯＳセンサ画像配列の動作に固有の１組のエラーである。ＤＦＰＮのいくつかの値が、ＣＭＯＳセンサ画像配列の個々の各ピクセルで、シーン画像により生成された電荷に追加される。各ピクセルでのＤＦＰＮは、動作温度、露光パラメータ、および画像配列内のピクセル位置に応じて著しく変動する。ＤＦＰＮを検知画像から除去して画質を改善することが、非常に望ましい。
【０００４】
ＤＦＰＮの削除は、シーン画像の検知にきわめて近接した時間に「暗画像」を取り込むことによって達成される。暗画像は、ＣＭＯＳセンサ画像配列に到達する光がないときに取り込まれる。暗画像は、シーン画像と等しい露光パラメータでも取り込まれる。次いで、暗画像データが、検知されたシーン画像データから差し引かれて、補正シーン画像データが生成される。補正シーン画像データにはＤＦＰＮによる画像低下がなく、これは通常、ＣＭＯＳセンサによって得られた画像で効果がある。
【０００５】
ＣＭＯＳセンサを画像獲得デバイスとして使用しているとき、スチールならびにビデオ・モードの動作用のＤＦＰＮ削除に使用するために、一般に電気機械式シャッタが暗画像を獲得する際に使用される。ＤＦＰＮ削除の原理を、図１Ａおよび図１Ｂに示す。図１Ａはデジタル・カメラ・システム１０であり、ソレノイドまたはモータ１４によって制御される電気機械式シャッタ１２を有する。通常の動作では、シーン画像１６がシャッタを通過して、カメラの他の構成要素によって処理される。しかし、暗画像獲得では、シャッタ１２がソレノイドまたはモータ１４の方向で閉じられるので、光が通過して他の構成要素へ到達することはない。光がＣＭＯＳセンサへ到達できないので、ＣＭＯＳセンサ画像配列１８は、現行の動作特性に従ってＣＭＯＳセンサの動作に固有の電荷を検知し、これらの電荷をＤＦＰＮとして暗画像記憶装置２０に格納する。ＣＭＯＳセンサ画像配列１８の各センサは、それ自体のＤＦＰＮ値を有する。暗画像記憶装置２０に格納されたデータは、検知画像のピクセルについてのノイズ値の配列である。図１Ｂは、獲得したＤＦＰＮデータを使用して、検知シーン画像を補正する方法を示す。シャッタ１２が開いている間に、シーン画像１６がＣＭＯＳセンサ画像配列１８によって検知される。この時点で、検知シーン画像データはＤＦＰＮを含んでいる。暗画像差引ユニット２２がカメラに含まれており、暗画像記憶装置２０を参照して以前に格納されたＤＦＰＮデータを得て、検知シーン画像データからＤＦＰＮデータを差し引いて、補正シーン画像データを生成する。ＤＦＰＮデータを検知シーン画像データから差し引くことによって、その結果生じる画像の信号対雑音比（ＳＮＲ）が著しく改善される。補正シーン画像データは他の構成要素（図示せず）に渡され、さらにユーザへの表示や記憶媒体への記録などの処理が行われる。
【０００６】
ＤＦＰＮが環境温度およびセンサの設定によって変化するので、ビデオの応用分野では、現在適用可能な暗画像を収集するために、シャッタ１２をしばしば使用する必要がある。シャッタを動かす動作によってカメラの電力消費量が増加し、ならびにシャッタ１２およびソレノイドまたはモータ１４の平均故障間隔（ＭＴＢＦ）が短かくなる。また、カメラが、ユニバーサル・シリアル・バス（ＵＳＢ）などのバス・インタフェースを介してパーソナル・コンピュータ（ＰＣ）に結合されている場合、多くの場合で頻繁にシャッタを動かすために必要な電力消費量が増加すると、バス・インタフェースによって課された電力の限界を超えるようになる。この状態が発生すると、カメラは、バッテリや他の高コストで低電力の電気機械式デバイスなどの追加資源で電力供給を補わなければならない。
【０００７】
もちろん、暗画像の獲得およびＤＦＰＮの削除を、ＣＭＯＳセンサに基づくデジタル・カメラでは省くことができるが、こうすると画質が容認できない程度に低下する結果となることがある。
【０００８】
暗画像の獲得およびＤＦＰＮの削除を行う方法で、従来技術の欠点を克服する方法が、特にＰＣに係留されたＣＭＯＳセンサに基づくデジタル・カメラに望ましいであろう。
【０００９】
（発明の概要）
本発明の一実施態様は、ＣＭＯＳセンサに基づくカメラにおける暗固定パターン・ノイズの削除を制御する方法である。この方法は、暗画像のキャッシュを用意するステップを含む。その暗画像はデータ構造によって索引付けされており、そのデータ構造内の各エントリは暗画像の１つに関連付けられた暗列参照データを格納している。さらに、現行暗列参照データを、カメラによって生成されたビデオ・フレームのストリームの現行ビデオ・フレーム内の暗列から得るステップと、現行暗列参照データを暗列参照データのデータ構造内のエントリと比較するステップと、現行暗列参照データがエントリに合致したとき、暗列参照データのデータ構造内のエントリに関連付けられたキャッシュからの暗画像を使用して、暗固定パターン・ノイズ削除処理をビデオ・フレームのストリーム上で実行するステップとを含む。
【００１０】
本発明の別の実施態様は、ＣＭＯＳセンサに基づくカメラにおける暗固定パターン・ノイズの削除を制御する装置である。この装置は、暗画像のキャッシュを含み、キャッシュは暗画像を索引付けするデータ構造を有し、データ構造内の各エントリは暗画像の１つに関連付けられた暗列参照データを格納し、さらに、現行暗列参照データを、ビデオ・フレームのストリームの現行ビデオ・フレーム内の暗列から得る回路と、現行暗列参照データがエントリに合致したとき、データ構造内のエントリに関連付けられたキャッシュから選択した暗画像を使用して、暗固定パターン・ノイズ削除処理を現行ビデオ・フレーム上で実行する回路とを含む。
【００１１】
本発明の特徴および利点は、以下の本発明の詳細な説明から明らかになるであろう。
【００１２】
（本発明の詳細な説明）
以下の説明では、本発明の様々な形態を説明する。しかし当業者には、本発明が、本発明の一部のみまたはすべての態様で実施できることが明らかとなるであろう。説明のため、特定の数字、材料および構成を、本発明を完全に理解できるようにするために示す。しかし当業者には、本発明がこれらの特定の詳細なしで実施できることも明らかとなるであろう。他の例では、本発明を不明瞭にしないために、周知の特徴を省略または簡略化する。
【００１３】
本発明は、使用されたＣＭＯＳセンサに基づくデジタル・ビデオ・カメラのＤＦＰＮを除去するための、強力な方法である。これは、ホストに基づく暗画像キャッシュを供給し、保守することに基づいている。カメラはパーソナル・コンピュータ（ＰＣ）などのホスト・コンピュータ・システムに関連づけられているので、ホストの格納および処理能力を利用することができる。ＤＦＰＮ削除処理に現在適用可能な暗画像を更新するために暗画像キャッシュを使用することによって、暗画像を獲得するためのシャッタの動作が劇的に低減され、電力などのシステム・リソースの使用量が減り、シャッタおよびソレノイドまたはモータなどの電気機械式デバイスのＭＴＢＦが向上する。さらに、ホスト上の暗画像キャッシュを使用することによって、電力使用量が減少するため、ＵＳＢなどのインタフェースを介した関連動作で、カメラを標準の電力使用量内に留めることができる。
【００１４】
一般に、いくつかの暗画像が、カメラの異なる統合、ゲインおよび温度動作特性で得られ、ホスト・コンピュータ・システム上で格納される。格納された暗画像は、ＣＭＯＳセンサ画像配列からの固定された所定の暗列のデータに従って、ホスト上で参照される。暗列データは、ＤＦＰＮの削除処理中に使用するために永久的かつ全体的に影とされたＣＭＯＳセンサ画像配列の一部を表す。図２は、本発明によるホストに基づく暗画像キャッシュ・システムの線図である。デジタル・ビデオ・カメラ３０は、双方向インタフェース３４によってホスト・システム３２に連結される。一実施形態では、このホスト・システムは、Ｓａｎｔａ  Ｃｌａｒａ，ＣａｌｉｆｏｒｎｉａのＩｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎから入手可能な、インテル・アーキテクチャ（ＩＡ）命令セット・アーキテクチャ（ＩＳＡ）および関連するマイクロ・プロセッサのファミリに基づくパーソナル・コンピュータ・システムであるが、他のパーソナル・コンピュータ、ワークステーション、セットトップ・ボックスおよびコンピュータ・システムも使用することができる。一実施形態における双方向インタフェースはユニバーサル・シリアル・バス（ＵＳＢ）であるが、コンピュータ構成要素および周辺装置を相互接続するための他のバスも使用することができる。ビデオ・カメラ３０は多数の構成要素を含み、このうち本発明に関連するもののみを図２に示す。ＣＭＯＳセンサ画像配列３６は、カメラの環境においてシーン画像を表す検知画像データを生成する。検知画像は本質的にＤＦＰＮを含む。検知画像データはＤＦＰＮ差引ユニット３８に入力される。ＤＦＰＮ差引ユニットは、現在適用可能な暗画像（図２の暗画像（Ｉ）４０）を検知画像から差し引いて、補正された検知画像を作成する。暗画像（Ｉ）４０はＤＦＰＮ値の配列であり、各ＤＦＰＮ値は検知画像内のピクセルについてのひずみ量を表す。画像処理ユニット４２は、ＤＦＰＮ差引ユニット３８の動作およびビデオ・カメラ３０とホスト・システム３２とのインタフェースを制御する。ＤＦＰＮ差引ユニット３８は、専用回路として、あるいは画像処理ユニット４２によって実行されるソフトウェアまたはファームウェアにとして実装することができる。ＤＦＰＮの削除動作は、当業者に周知の方法に従ってＤＦＰＮ差引ユニットによって実行される。
【００１５】
ホスト・システム３２は、ホスト・システムのメモリ（図示せず）に格納された暗画像キャッシュ４１を含む。暗画像キャッシュ４１は、複数の暗画像ＤＩ（０）４２、ＤＩ（１）４４ないしＤＩ（Ｍ）４６を含む。各暗画像は、ビデオ・カメラの特定の組の動作特性についてのＤＦＰＮを表す。暗画像は、暗列参照データ配列データ構造４８を介してアクセスされる。一実施形態では、暗列参照データが、ホスト・システムに格納された暗画像の最大数に対応する固定サイズの配列に含まれるが、他の周知のデータ構造およびアクセス技術も使用することができる。暗列参照データ配列内の各エントリは、関連付けられた暗画像を参照し、カメラの特定の動作環境のシグネチャを表す。ホスト・システムで動作するソフトウェア（図示せず）が、ビデオ・カメラと暗列参照データ配列および暗画像の間の対話を管理する。
【００１６】
ビデオ・カメラを初期設定したとき、暗画像キャッシュ４１から選択された暗画像が暗画像（Ｉ）４０にロードされる。この暗画像（Ｉ）４０は、ビデオ・カメラ３０が、カメラの動作特性が十分変化して新規暗画像を使用する必要があると判定するまで、ＤＦＰＮ削除処理に使用される。新規暗画像を使用するとき、暗列参照データ配列４８がアクセスされ、現行の動作特性に合致するエントリが位置指定される。現行の動作特性は、選択された暗列参照データによって識別される。合致が発見されたとき、関連付けられた暗画像が双方向インタフェース３４を介してビデオ・カメラにダウンロードされ、ＤＦＰＮ削除処理のための新規暗画像（Ｉ）になる。突合せ動作では、ＣＭＯＳイメージ・センサ配列３６内の暗列下の画像から生成されたデータを暗画像全体のシグネチャとして使用する。このシグネチャは、暗列参照データ配列４８内のエントリに突き合わせられる。このシグネチャは、ＣＭＯＳセンサ画像配列３６によって生成されたビデオ・フレームのストリームの１つのフレームから得られる。
【００１７】
ＣＭＯＳセンサ画像配列の連続動作によって生成されたビデオ・ストリームは、いくつかのフレームからなり、各フレームの直前にヘッダがある。暗列参照データが各ヘッダに含まれており、画像処理ユニット４２によって監視されて、現行の検知画像データが獲得されている動作状態が変化したかどうかが判定される。暗列参照データが著しく変化した場合（所定のしきい値量を超えるなど）、これは、動作環境が変化し、新規暗画像がＤＦＰＮ削除処理に必要になる可能性があることを示す。図３は、本発明によるビデオ・データのフレームの線図である。フレームは、ヘッダ・データ５２およびシーン画像データ５４を含む。シーン画像データは、特定の瞬時にカメラによって取り込まれたシーンを表す。ヘッダ・データは、このフレームに関する様々な制御情報、およびビデオ・ストリーム内のその場所を含む。ヘッダ・データ５２は暗列参照データ５６も含む。各固有の組の暗列参照データ５６が、（最大数の暗列参照データ・セットまで）ホスト・システム３２上の暗列参照データ配列４８に格納される。異なる暗列参照データ・セットがビデオ・ストリームのフレーム内で発生しているとき、システムは、フレーム内で表された暗列参照データの変化を検出し、フレーム内の暗列参照データを、ホスト上の暗列参照データ配列４８内の暗列参照データに突き合わせる。
【００１８】
図４Ａおよび図４Ｂは、ＣＭＯＳセンサ画像配列の線図であり、暗列参照データを図示する。画像配列のアクティブな領域は、暗画像を獲得するために閉じられ、シーン画像を獲得するために露光される。いずれの場合も、その結果生じる画像が暗列参照データを含み、これによって画像に関するシグネチャを互いに提供する。図４ＡはＳＭＯＳセンサ画像配列であり、画像配列の一部６０がシーンに対して露光される。ＣＭＯＳセンサは画像配列内に２つの垂直な長片６２、６４を含んでおり、シーンからの光に決して露光されずに常に暗く保たれるので、それによって暗列参照データを提供する。暗列参照データは、現行の動作環境のシグネチャとして動作する。図４Ｂは、シャッタが閉じているときなど、ゼロ照度が受信されているときのＣＭＯＳセンサ画像配列である。この場合、暗列参照データがなおアクセス可能であることに留意されたい。いずれの場合も等しい動作環境を使用してデータを取り込むので、暗列参照データを使用して暗画像を識別することができる。
【００１９】
ホストに基づく暗画像キャッシュを使用することによって、シャッタの動作を通じて新規暗画像を頻繁に得る必要性がなくなる。その代りに、暗画像を取り込む必要があるのは、露光パラメータまたは環境が著しく変化して、対応する暗画像がホスト・システム上の暗画像キャッシュ内に位置しないときのみである。実質的に本発明では、カメラ・システムで、将来使用するために経験する動作環境のメモリを管理することができる。暗画像キャッシュが確立された後、ビデオ・カメラは、環境および／または露光パラメータが、格納されたすべての暗画像のパラメータからの変化の所定のしきい値を上回らない限り、新規暗画像を取り込む必要がなくなる。
【００２０】
一実施形態では、暗画像キャッシュ内の暗画像が、使用頻度に基づいてランク付けされる。最もアクセス頻度の低い暗画像は、暗画像キャッシュが満たされている状態で新規暗画像が獲得されたとき、新規暗画像のために暗画像キャッシュから削除される。図５は、暗画像キャッシュ内の暗画像の置換を示す。暗画像ＤＩ（０）４２ないしＤＩ（Ｍ）４６および対応する暗列データ配列４８が、使用頻度の昇順にランク付けされる。最も使用頻度の低い暗画像ＤＩ（Ｍ）４６がホスト・システムのメモリから削除され、暗列参照データ配列が更新される。新規暗画像Ｎ６０がホスト・システムのメモリに格納され、暗列参照データ配列内で新規暗列参照データ配列エントリＤＣ（Ｎ）６２がＤＣ（Ｍ）６４と置換される。この実施形態では、最も長い間使用されなかった（ＬＲＵ）アルゴリズムを使用して、どの暗画像を置換するかを判定するが、他の代替キャッシング・アルゴリズムも使用することができる。
【００２１】
いくつかの暗画像を暗画像キャッシュ内に提供することによって、カメラ・システムは動作状態の「メモリ」を与えられる。インストレーション後にカメラ・システムの暗画像キャッシュを初期設定する方法が使用される。初期設定の状態はカメラ・システムの定常状態の動作とは異なるが、これは暗画像キャッシュが最初に暗画像を有していないからである。インストレーション段階中に、初めてカメラの電源を入れると、システムは暗画像キャッシュの作成を開始する。露光の変化が起こるたびに、新規の暗画像が、ホスト・システム上の暗画像キャッシュへ、キャッシュが満たされるまで転送される。その後、以上に述べたようなキャッシュ置換アルゴリズムを使用して、暗画像キャッシュへの変更を管理する。インストレーション中に、一連の暗画像が、システムの初期設定後に周期的な間隔をおいて取り込まれる。図６は、システム初期設定中の暗画像の周期的な獲得の線図である。開始時に、一連のビデオ・フレーム７０が、所定のビデオ・フレーム・レートでビデオ・カメラによって生成される。最初のビデオ・フレームがＴｉ  ７１の時点で生成されると間もなく、最初の暗画像７２がビデオ・カメラによって取り込まれ、ホスト・システム上の暗画像キャッシュに格納される。しばらく後のＴｊ  ７３の時点で、動作特性の変化がビデオ・フレームのヘッダ内の暗列参照データの検査によって検出されたとき、新規の暗画像７４が獲得される。このプロセスは、暗画像キャッシュが満たされ、暗画像Ｘ７６を使用して定常状態動作が達成されるまで、継続する。
【００２２】
図７は、本発明の暗画像キャッシュを管理するステップの流れ図である。開始ステップ１００の後、ステップ１０２でカメラの動作モードが検査され、ビデオ・モードがアクティブ化されているかどうかが判定される。ビデオ・モードがアクティブ化されていない場合、Ｎｏ経路１０４からステップ１０６へ進行し、そこでカメラのスチールまたは他の動作モードが処理される。そうでない場合、Ｙｅｓ経路１０８からステップ１１０へ進行する。ステップ１１０で、これがカメラの最初の操作である場合、Ｙｅｓ経路１１２からステップ１１４へ進行する。このステップで暗画像が獲得され、カメラ内のメモリに格納され、ホスト・システムのメモリにも転送される。暗列参照データ配列が、新規暗画像の存在を反映するように更新される。次いで処理は経路１１６を介してステップ１１８へ継続し、ここでカメラのビデオ・ストリームが使用可能にされる。ステップ１１０で、これがカメラの最初の操作でない場合、Ｎｏ経路１２０からステップ１２２へ進行する。このステップで、現行ビデオ・フレームからの現行暗列参照データが、カメラからホスト・システムへ送信される。ステップ１２４で、暗列参照データが暗列参照データ配列内のエントリに合致した場合、Ｙｅｓ経路１２６からステップ１２８へ進行する。ステップ１２８で、合致する暗列参照データ配列エントリに対応する、ホスト・システム上の暗画像キャッシュ内の暗画像が、双方向インタフェースを介してカメラ内の暗画像（Ｉ）記憶ユニットにダウンロードされる。
【００２３】
ステップ１２４で、暗列参照データが暗列参照データ配列内のいかなるエントリにも合致しない場合、Ｎｏ経路１３０からステップ１３２へ進行する。最大数の暗画像がすでに暗画像キャッシュ内に格納されている場合、Ｙｅｓ経路１３４からステップ１３６へ進行し、そこで最も使用頻度の低い暗画像が決定され、この暗画像が削除される。次いで、処理はステップ１１４で継続し、新規暗画像を獲得する。そうでない場合、暗画像キャッシュは満たされていないので、処理が直接Ｎｏ経路１３８からステップ１１４へ進行して、新規暗画像を獲得する。
【００２４】
ステップ１１８で、ビデオ・ストリームがカメラで使用可能にされた後、カメラ・システムはステップ１４０で周期的に検査を行い、露光パラメータが変化したかどうかを判定する。変化が検出された場合、Ｙｅｓ経路１４２からステップ１２４へ進行し、そこで現行ビデオ・フレーム・ヘッダからの現行暗列参照データが、暗列参照データ配列内のエントリに突き合わせられる。そうでなく、露光パラメータの変化が検出されなかった場合は、Ｎｏ経路１４４からステップ１４６へ進行する。このステップで、現行暗列参照データが検査され、以前に検査された暗列参照データから所定のしきい値量より多く変化したかどうかが判定される。変化が検出されなかった場合、処理はＮｏ経路１４８を介してステップ１１８で継続する。そうでない場合、著しい変化が発生している。したがって、Ｙｅｓ経路１５０からステップ１２４へ進行し、そこで現行暗列参照データが、暗列参照データ配列内のエントリに突き合わせられる。
【００２５】
代替実施形態では、ビデオ・カメラのメモリおよび処理資源が多数の暗画像の格納および操作をサポートする場合、暗画像キャッシュはホスト・システムでなくビデオ・カメラに含まれる。
【００２６】
ビデオ・モードで動作中に、周期的に電気機械式デバイスを適用してＣＭＯＳセンサを閉じると、カメラの電力使用量ならびに電気機械式デバイスのＭＴＢＦに影響を及ぼす。本発明のホストに基づく暗画像キャッシュは、電力使用量の軽減およびＭＴＢＦの向上をサポートするが、これは、暗画像を獲得するためのシャッタ使用の必要性を最小限にすると同時に、引き続きＤＦＰＮ削除を通じて最適な画質のサポートを続けることによって行われる。
【００２７】
本発明を例示的実施形態を参照して説明したが、この説明は限定の意味で解釈されることを意図したものではない。例示的実施形態の様々な変更、ならびに本発明の他の実施形態は、本発明が関係する技術分野の当業者には明らかであり、本発明の精神および範囲内のものであるとみなされる。
【図面の簡単な説明】
【図１Ａ】  暗画像を獲得するシステム（従来技術）の線図である。
【図１Ｂ】  暗固定パターン・ノイズを削除するシステム（従来技術）の線図である。
【図２】  本発明によるホストに基づく暗画像キャッシュ・システムの線図である。
【図３】  本発明によるビデオ・データのフレームの線図である。
【図４Ａ】  暗列参照データを示すＣＭＯＳセンサ画像配列の線図である。
【図４Ｂ】  暗列参照データを示すＣＭＯＳセンサ画像配列の線図である。
【図５】  暗画像キャッシュ内の暗画像の置換を示す図である。
【図６】  システム初期設定中の暗画像の周期的獲得の線図である。
【図７】  本発明の暗画像キャッシュを管理するステップの流れ図である。
【図１Ａ】
0004080691.tif 000002
【図１Ｂ】
0004080691.tif 000003
【図２】
0004080691.tif 000004
【図３】
0004080691.tif 000005
【図４Ａ】
0004080691.tif 000006
【図４Ｂ】
0004080691.tif 000007
【図５】
0004080691.tif 000008
【図６】
0004080691.tif 000009
【図７】
0004080691.tif 000010