(57)【要約】【課題】高ダイナミックレンジの細部を再現することができ、従来技術の多くの問題を克服する画像を生成するためのカメラを提供することが望ましい。【解決手段】カメラは、一組の検知素子を含む。各検知素子は、エネルギー場の像平面に配置されて、エネルギー場の局所勾配の大きさ及び符号を測定する。各検知素子は、少なくとも２つのエネルギー強度センサを含む。各エネルギーセンサは、エネルギー場の局所的な強度を測定する。強度の対数を互いに差し引き、勾配の大きさ及び符号を得る。勾配を用いてポアソンの式を解き、エネルギー場の出力画像を得る。【選択図】図５
2006157908.tif 000002
【特許請求の範囲】
【請求項１】
それぞれがエネルギー場に配置されて前記エネルギー場の局所勾配の大きさ及び符号を測定する一組の検知素子
を備える検知装置。
【請求項２】
前記エネルギー場は、電磁放射線である
請求項１記載の装置。
【請求項３】
前記電磁放射線は、可視光である
請求項２記載の装置。
【請求項４】
前記一組の検知素子は、像平面にＮ×Ｍの素子アレイとして配置される
請求項１記載の装置。
【請求項５】
前記一組の検知素子は、円筒として配置される
請求項１記載の装置。
【請求項６】
前記一組の検知素子は、周縁に一組の境界素子を含む
請求項１記載の装置。
【請求項７】
前記勾配の大きさ及び符号を勾配場として記憶するように構成されるメモリをさらに備える
請求項１記載の装置。
【請求項８】
レンズと、
シャッターとをさらに備える
請求項１記載の装置。
【請求項９】
前記検知素子の各々は、
それぞれが前記エネルギー場の局所的な強度を測定して複数の強度を得るように構成される複数のエネルギー強度センサと、
前記複数の強度を互いに差し引いて、前記局所勾配の大きさ及び符号を得る、差し引く手段とをさらに備える
請求項１記載の装置。
【請求項１０】
前記検知素子の各々の前記複数のエネルギー強度センサ及び前記差し引く手段は、差動的に接続及び転送される
請求項９記載の装置。
【請求項１１】
前記エネルギー強度センサの各々は、電荷結合素子である
請求項９記載の装置。
【請求項１２】
前記検知素子の各々の利得を他の検知素子とは独立して動的に制御して、センサの飽和を防止する、動的に制御する手段をさらに備える
請求項１記載の装置。
【請求項１３】
前記検知素子の各々により前記大きさの対数が測定される
請求項１記載の装置。
【請求項１４】
前記一組の検知素子の前記複数のエネルギー強度センサは、独立したクリーク組に動的に区分化する
請求項９記載の装置。
【請求項１５】
前記クリークの各々は、４つのエネルギー強度センサを含み、前記局所勾配の４つの大きさを測定するように構成される
請求項１４記載の装置。
【請求項１６】
前記クリークの各々は、４つのエネルギー強度センサを含み、前記局所勾配の６つの大きさ及び符号を測定するように構成される
請求項１４記載の装置。
【請求項１７】
前記独立したクリーク組は、前記勾配をインタリーブ方式で測定する
請求項１４記載の装置。
【請求項１８】
前記エネルギー場を表す出力画像を前記勾配の大きさ及び符号から生成する手段をさらに備える
請求項１記載の装置。
【請求項１９】
前記エネルギー場の強度の対数の差から勾配場を生成する手段と、
前記勾配場を用いてポアソンの式を解いて、前記出力画像中の画素の強度値を復元する、解く手段とをさらに備える
請求項１８記載の装置。
【請求項２０】
前記勾配場における回転を補正する手段をさらに備える
請求項１９記載の装置。
【請求項２１】
前記ポアソンの式は、
【数１】
2006157908.tif 000015
であり、
【数２】
2006157908.tif 000016
は、前記出力画像Ｉ中の位置（ｘ，ｙ）における画素強度のラプラシアン演算子であり、ｌｇは、前記エネルギー場の検知される強度の対数の差を示す
請求項２０記載の装置。
【請求項２２】
前記一組の検知素子は、周縁に一組の境界素子を含み、
前記一組の境界素子から強度値を求める手段と、
前記一組の境界素子の強度に対して、前記検知素子の残りから強度値を求める手段とをさらに備える
請求項２１記載の装置。
【請求項２３】
前記勾配場の位置（ｍ，ｎ）における回転は、
【数３】
2006157908.tif 000017
として定義される
請求項２１記載の装置。
【請求項２４】
前記勾配を経時的に平均化して、動きによるノイズ効果を低減する、平均化する手段をさらに備える
請求項１記載の装置。
【請求項２５】
前記勾配場をフィルタリングする手段をさらに備える
請求項１９記載の装置。
【請求項２６】
前記フィルタリングは、指向性双方向フィルタを前記勾配場に適用する
請求項２５記載の装置。
【請求項２７】
前記指向性双方向フィルタは、フィルタカーネルＧとして次のように表され、
【数４】
2006157908.tif 000018
ここで、フィルタＧｓは、前記勾配の方向に沿って分散が低く、前記勾配に垂直な方向で分散が高い楕円形のガウスフィルタであり、フィルタＧｄｉｆｆは、現位置及び隣接位置における前記勾配の大きさの差に依存するガウスフィルタであり、フィルタＧｍａｇは、前記現位置における前記勾配の大きさに依存するガウスフィルタである
請求項２６記載の装置。
【請求項２８】
比較的高い勾配の大きさから部分画像が先ず生成され、前記部分画像に応じて前記出力画像全体の生成を制約する
請求項１８記載の装置。
【請求項２９】
前記エネルギー場の焦点をぼかして、前記一組の検知素子を較正する、焦点をぼかす手段をさらに備える
請求項１記載の装置。
【請求項３０】
移動する前景物体が、前記出力画像から、前記勾配場の外れ値操作により除去される
請求項１８記載の装置。
【請求項３１】
大気中のもやが、前記出力画像から、前記勾配場に対して操作を行うことによって除去される
請求項１８記載の装置。
【請求項３２】
前記出力画像中のレンズフレア及びレンズグレアが、前記勾配場の操作によって低減される
請求項１８記載の装置。
【請求項３３】
前記大きさは、量子化される
請求項１記載の装置。
【請求項３４】
量子化レベルの数が自動的に決められる
請求項３３記載の装置。
【請求項３５】
ユーザが量子化レベルの数を決める
請求項３３記載の装置。
【請求項３６】
前記勾配の大きさ及び符号は、静的なシーンにおいて測定される
請求項１記載の装置。
【請求項３７】
前記勾配の大きさ及び符号は、時空間で測定されて、ビデオが生成される
請求項１記載の装置。
【請求項３８】
前記エネルギー場の周波数を測定する手段をさらに備える
請求項１記載の装置。
【請求項３９】
前記一組の検知素子は、検知素子の対角線格子に重ねられる検知素子の矩形格子として配置される
請求項１記載の装置。
【請求項４０】
一組の検知素子をエネルギー場に配置することと、
前記検知素子の各々により前記エネルギー場の局所勾配の大きさ及び符号を検知することと
を含む、エネルギー場の検知方法。
【請求項４１】
前記エネルギー場の放射線は、可視光である
請求項４０記載の方法。
【請求項４２】
前記一組の検知素子を像平面にＮ×Ｍの素子アレイとして配置することをさらに含む
請求項４０記載の方法。
【請求項４３】
前記一組の検知素子を環状リングとして配置することをさらに含む
請求項４０記載の方法。
【請求項４４】
前記勾配の大きさをメモリに勾配場として記憶することをさらに含む
請求項４０記載の方法。
【請求項４５】
前記検知素子の各々は、複数のエネルギー強度センサを含み、前記エネルギー強度センサの各々は、前記エネルギー場の局所的な強度を測定して複数の強度を得るように構成され、
前記複数の強度を互いに差し引いて、前記勾配の大きさを得る、差し引くことをさらに含む
請求項４０記載の方法。
【請求項４６】
前記複数のエネルギー強度センサ及び前記差し引く手段は、差動接続される
請求項４５記載の方法。
【請求項４７】
前記検知素子の各々の利得を任意の他の検知素子とは独立して動的に制御して、飽和を防止する、動的に制御することをさらに含む
請求項４５記載の方法。
【請求項４８】
前記大きさの対数が前記検知素子の各々により測定される
請求項４０記載の方法。
【請求項４９】
前記一組の検知素子の前記一組のエネルギー強度センサを、独立したクリーク組に動的に区分化することをさらに含む
請求項４５記載の方法。
【請求項５０】
前記クリークの各々により前記局所勾配の４つの大きさを測定することをさらに含む
請求項４９記載の方法。
【請求項５１】
前記独立したクリーク組は、前記勾配をインタリーブ方式で測定する
請求項４９記載の方法。
【請求項５２】
前記エネルギー場を表す出力画像を前記勾配の大きさ及び符号から生成することをさらに含む
請求項４０記載の方法。
【請求項５３】
前記大きさの対数から勾配場を生成することと、
前記勾配場を用いてポアソンの式を解いて、前記出力画像中の画素の強度値を復元する、解くこととをさらに含む
請求項５２記載の方法。
【請求項５４】
前記勾配場における回転を補正することをさらに含む
請求項５３記載の方法。
【請求項５５】
前記ポアソンの式は、
【数５】
2006157908.tif 000019
であり、
【数６】
2006157908.tif 000020
は、前記出力画像Ｉ中の位置（ｘ，ｙ）における強度のラプラシアン演算子であり、ｌｇは、前記対数を示す
請求項５３記載の方法。
【請求項５６】
前記一組の検知素子は、周縁に一組の境界素子を含み、
前記一組の境界素子から強度値を求めることと、
前記一組の境界素子の強度に対して、前記検知素子の残りから強度値を求めることとをさらに含む
請求項５３記載の方法。
【請求項５７】
前記勾配を経時的に平均化して、動きによるノイズ効果を低減する、平均化することをさらに含む
請求項４０記載の方法。
【請求項５８】
前記勾配場をフィルタリングすることをさらに含む
請求項５３記載の方法。
【請求項５９】
前記フィルタリングは、指向性双方向フィルタを前記勾配場に適用する
請求項５８記載の方法。
【請求項６０】
前記指向性双方向フィルタは、フィルタカーネルＧとして次のように表され、
【数７】
2006157908.tif 000021
ここで、フィルタＧｓは、前記勾配の方向に沿って分散が低く、前記勾配に垂直な方向で分散が高い楕円形のガウスフィルタであり、フィルタＧｄｉｆｆは、現位置及び隣接位置における前記勾配の大きさの差に依存するガウスフィルタであり、フィルタＧｍａｇは、前記現位置における前記勾配の大きさに依存するガウスフィルタである
請求項５９記載の方法。
【請求項６１】
前記エネルギー場の焦点をぼかして、前記一組の検知素子を較正する、焦点をぼかすことをさらに含む
請求項４０記載の方法。
【請求項６２】
前記エネルギー場の周波数を測定することをさらに含む
請求項４０記載の方法。
【請求項６３】
それぞれが光場に配置されて前記光場の局所勾配の大きさ及び符号を測定し、像平面にＮ×Ｍの素子アレイとして配置される一組の検知素子を備えるカメラであって、
前記検知素子の各々は、
それぞれがエネルギー場の局所的な強度を測定して複数の強度を得るように構成される複数のエネルギー強度センサと、
前記複数の強度の対数を互いに差し引いて、前記勾配の大きさ及び符号を得る、差し引く手段とをさらに有する
カメラ。
【請求項６４】
レンズと、
シャッターと、
前記勾配の大きさを記憶するように構成されるメモリとをさらに備える
請求項６３記載のカメラ。
【請求項６５】
前記検知素子の各々の前記複数のエネルギー強度センサ及び前記差し引く手段は、差動接続される
請求項６３記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、包括的にはエネルギー場の検知に関し、特にカメラによる画像の生成に関するものである。
【背景技術】
【０００２】
カメラ
デジタル画像の生成には２つの技法がよく知られている。第１の技法では、アナログフィルムをエネルギー場（例えば可視光）に暴露する。フィルムを現像し、スキャナを用いてデジタル化する。結果として得られる画像は、エネルギー場の強度分布を反映する画素値を含む。この画像はまた、周波数分布、すなわちエネルギー場の「色」を示すことができる。
【０００３】
第２の技法では、デジタルセンサアレイをエネルギー場の像平面に配置する。センサは、エネルギー強度を直接測定する。センサはまた、フィルタを用いることによって周波数選択性にすることができる。利点として、第２の技法は、即座に結果を生成し、フィルムを消費しない。これらの理由及び他の理由から、デジタルカメラは急速にアナログカメラに取って代わりつつある。
【０００４】
従来のアナログカメラでは、感光材料はフィルムである。従来のデジタルカメラでは、感光材料は電荷結合素子（ＣＣＤ）である。フィルム又はＣＣＤに到達する光量は、露出として知られる。露出は、口径とシャッター速度の関数である。場合によっては、特定の露出時間に対して許容可能な露出を得るために、焦点深度を犠牲にする必要があり得る。
【０００５】
出力デジタル画像において、エネルギー場は、画素値の格子として表現される。各画素値は、大部分において、検知されたエネルギー量に対応する。しかし、画素値は、相関のないノイズ（例えば、熱、量子化誤差、離散的な電磁束、並びにセンサ、回路及びプロセスの欠陥によるノイズ）の結果も含み得る。
【０００６】
いずれの技法も、同一の選択及び同一のタスク（例えば、シーン、視野、及びカメラ位置の選択）をユーザに課す。単なる「ポイントアンドシュート」機能に限定されないより複雑なカメラの場合、ユーザは、露出時間、レンズ口径、及び他の設定も選択しなければならない。設定は、シーンの外観を最も良く取り込む妥協である。多くの照明が不十分なシーンでは、カメラの制限のために、露出過多、露出不足、ノイズ、及びモーションブラーを避けるのは難しい。
【０００７】
従来のアナログカメラ及びデジタルカメラはいずれも、露出、レンズ及びセンサに制限がある。これらの制限は、ズームに依存した色収差、条件等色、混合照明から生じるカラーバランス誤差、ズームとフォーカスの連動調整、過度に明るい物体のグレアすなわち「ブルーミング」、及びレンズフレアコースティックスを生じる。
【０００８】
従来の強度検知式カメラに対する代替的な技法も先行技術に記載されている。いくつかの「スマートセンシング」チップは、より良い性能を得るため、又は検知構成要素及び処理構成要素をより小型にするために、光検出素子と処理回路を一体化する。
【０００９】
Mead著「Analog VLSI implementation of neural systems」（Chapter Adaptive Retina, pages 239-246, Kluwer Academic Publishers, 1989）に記載されているシリコン網膜及び適応網膜は、生体の網膜（vertebrate retina）のチップ型モデルを用いる。
【００１０】
Funatsu等著「An artificial retina chip with a 256x256 array of N-MOS variable sensitivity photodetector cells」（Proc. SPIE. Machine Vision App., Arch., and Sys. Int., vol. 2597, pages 283-291, 1995）は、光検出器からの出力を直接変調することによる入力画像の変調を記載している。しかし、これらのシステムはほとんどが、特徴部の検出等の特定用途向けに設計された特殊なハードウェアを有する。結果として、それらのシステムは、選択された特徴部を表示するだけであり、元の２Ｄ強度場から完全な出力画像を再構成することができない。
【００１１】
高速の相補形金属酸化膜半導体（ＣＭＯＳ）イメージングセンサの開発により、出力画像を生成する前に複数の入力画像を取得し処理することが可能になった。複数の入力画像を取得し単一の出力画像を生成するイメージング機構は、「複数取り込み単一画像（multiple capture single image）」（ＭＣＳＩ）と呼ばれる（Xiao等著「Image analysis using modulated light sources」（Proc. SPIE Image Sensors, vol. 4306, pages 22-30, 2001）を参照）。
【００１２】
Integrated Vision Products（Wallenbergs gata 4, SE-583 35, Linkoping, Sweden）製のＲａｎｇｅｒ（商標）カメラでは、連続する画素値を解析するプログラマブル回路を有する単一命令複数データ（ＳＩＭＤ）プロセッサアレイが利用可能である。Ｒａｎｇｅｒカメラでは、ユーザが、画素値に対して操作を行うマイクロコードをアップロードすることができる（Johansson等著「A multiresolution 100 GOPS 4 gpixels/s programmable CMOS image sensor for machine vision」（IEEE Workshop on CCD and Advanced Image Sensors, 2003）を参照）。
【００１３】
別の技法は、ＭＣＳＩ画像を取得し、周囲光の存在下であっても、ストロボ発光するＬＥＤからの高周波の光符号を復号化する（Matsushita等著「Id cam: A smart camera for scene capturing and id recognition」（ISMAR, pages 227-236, 2003）を参照）。
【００１４】
画像の生成
既知の画像生成方法の数は、ここで詳述するには多過ぎる。ほとんどの方法は、画素強度値に対して直接操作を行う。他の方法は、出力画像の強度値から画像勾配を抽出する。次に、勾配をさらに処理して、高ダイナミックレンジ（ＨＤＲ）トーンマッピング、影の除去、及び他の画像編集操作により画像を生成する。
【００１５】
別の技法は、人間の視覚系が、絶対的な光強度よりも局所的なコントラストにより敏感であるという観察に基づく。この技法は、トーンマッピング方式を用いて、従来のディスプレイに高ダイナミックレンジ画像をレンダリングする（Fattal等著「Gradient domain high dynamic range compression」（ACM SIGGRAPH, pages 249-256, 2002）を参照）。
【００１６】
別の技法は、エッジベースの圧縮を画像に適用する（J. Elder著「Are Edges Incomplete?」（International Journal of Computer Vision, 34(2/3):97-122, 1999）を参照）。ゼロをピークとするヒストグラムである勾配の解析により、超解像方式及び画像モザイク除去方式がベイヤーパターンから得られる（Tappen等著「Exploiting the sparse derivative prior for super-resolution and image demosaicing」（3rd Intl. Workshop on Stats. and Computl. Theories of Vision, 2003）を参照）。
【００１７】
ＨＤＲ画像を取得する技法はほとんどが、複数回の露出に、又は入射光の強度に応じた個々の画素の感度の調整に依存してきた（Mann等著「On Being undigital with digital cameras: Extending dynamic range by combining differently exposed pictures」（Proc. of IST 46th Annual Conf., pages 422-428, 1995）、Kang等著「High dynamic range video」（ACM Trans. Graphics, 22(3):319-325, July 2003）、及びDebevec等著「Recovering high dynamic range radiance maps from photographs」（ACM SIGGRAPH, pages 369-378, 1997）を参照）。
【００１８】
ＨＤＲ画像の取得には対数応答式（log-responding）カメラが用いられている。しかし、これらの出力画像は、強度が高くなると線分解能が低下する。
【００１９】
１つのＨＤＲ技法は、画素強度値の適応的減衰を行い、画素の露出を空間的に変化させる（Nayar等著「Adaptive dynamic range imaging: Optical control of pixel exposures over space and time」（Proc. Int'l Conf. Computer Vision, 2003）を参照）。
【００２０】
別のイメージングシステムは、マイクロミラーのプログラマブルアレイを用いる。このアレイにより、シーン光線の変調が可能になる（Nayar等著「Programmable imaging using a digital micromirror array」（Proc. Conf. Computer Vision and Pattern Recognition, 2004）を参照）。
【００２１】
測定方法
従来のアナログカメラ及びデジタルカメラのほとんどは、静的な光強度を測定する。すなわち、カメラは、次式に従って強度を経時的に平均化する。
【００２２】
【数１】
2006157908.tif 000003
【００２３】
ここで、Ｉｄは、「ディスプレイ」画素（ｍ，ｎ）における０．０＝Ｉｄ＝１．０の範囲の正規化された出力強度値であり、Ｉｓは、対応する光センサ（ｍ，ｎ）で取得される検知エネルギーであり、ｋは、露出（例えば、利得、光感度又はフィルム速度）であり、γは、コントラスト感度である。通常、ＣＣＤのコントラスト感度γは約１である。感度γが１未満である場合、コントラストを下げ、そうでなく、感度が１よりも大きい場合、コントラストを上げる。
【００２４】
式（１）は、差がコントラスト比に直接対応する対数で表すことができる。
【００２５】
【数２】
2006157908.tif 000004
【００２６】
式２は、コントラスト感度γがコントラストのスケールファクタであり、対数単位の露出ｋはオフセットであることを示す。
【００２７】
従来のほとんどのカメラでは、コントラスト感度γは取得画像全体にわたって均一である。これにより、各画素値が確実に所定の強度値範囲内となる。ｋ及びγにおける画素毎の強度の変化は、出力画像の外観に強く影響する。
【００２８】
しかし、上述のように、ディスプレイ強度Ｉｄは、離散的な光子の到来、センサ素子内の熱ノイズ、不均一なセンサ材料及び回路構成要素（例えば固定パターンノイズ）、及び外部干渉（例えばＥＭＩ／ＲＦＩ）によるノイズ、「光漏れ」、並びに処理の欠陥により生じるノイズも含む。ノイズは、正確なディスプレイ値Ｉｄを「隠す」ため、１２〜１４ビットを超えるＡ／Ｄ変換精度でも、人工的に冷却されないセンサの信号の評価はほとんど高まらない。多くの従来のデジタルカメラは、生の画素センサ強度を１０ビット又は１２ビットの値として測定する。
【００２９】
従来のデジタルカメラのほとんどはまた「準線形」であり、表示値Ｉｄの値は、シーン強度値Ｉｓに正比例することが意図されるが、従来のコンピュータディスプレイのコントラスト強調（例えばγ＝２．２）を補償するためにいくらかのコントラスト圧縮（例えばγ＝０．４５５）を含むため、結果として得られる見かけのコントラスト感度は約１である。
【００３０】
露出ｋをシーン強度Ｉｓにより指定すると、ディスプレイ強度値Ｉｄ＝１．０は「白」を表示する。すると、ディスプレイ装置のコントラスト制限は、ディスプレイ装置の暗領域における細部の欠如として見える。
【００３１】
Ａ／Ｄ分解能及びコントラスト感度γもまた、従来の準線形デジタルカメラのコントラスト範囲に上限を設ける。ディスプレイ強度値Ｉｄの２ｂ個の均一な量子化レベル、固定されたｋ及び固定されたγを用いると、カメラが取得することのできるシーン強度の最も大きな比は次のようになる。
Ｃｍａｘ＝Ｉｓｍａｘ／Ｉｓｍｉｎ＝２−ｂ／γ、又は
（ｌｏｇ（１）−ｌｏｇ（２ｂ）＝γ（ｌｏｇ（Ｉｓｍａｘ）−ｌｏｇ（Ｉｓｍｉｎ））
【００３２】
従来のデジタルカメラの中には、０．０及び１．０という極端な強度に近いＩｄ値についてコントラスト感度γが滑らかにゼロに近づく写真フィルムの「ニー（knee）」及び「ショルダー（shoulder）」応答を模倣できるものもある。カメラコントラスト応答のあまり急激でない終端は、さもなければ黒い影及び白いハイライトとなる部分においていくらかの細部を保存することができる。しかし、フィルムと同様、これらの努力は依然として、ＨＤＲシーンの詳細な画像の生成には不十分である。
【００３３】
多くの興味深いシーンが、ほとんどのＡ／Ｄ変換器にとって高過ぎるコントラストを含む。これらのＨＤＲシーンでは、従来の露出制御方法は失敗する場合が多く、ユーザは不運にも、まぶしい白又は特徴のない黒によりどちらの可視のシーン特徴部を失うかを選択しなければならない。
【００３４】
対数応答式デジタルカメラの量子化レベルは、フェヒナーの法則に従う。フェヒナーは、約１パーセント又は２パーセントの強度変化が人間の視覚系にとって「ちょうど知覚可能な差」であることを発見した。しかし、従来のカメラと同様、対数応答式カメラについて選択される量子化レベルは、シーン強度Ｉｓのダイナミックレンジ全体に及ばなければならず、この範囲内にないシーン強度はすべて失われ、取り返しがつかない。
【発明の開示】
【発明が解決しようとする課題】
【００３５】
したがって、高ダイナミックレンジの細部を再現することができ、従来技術の多くの問題を克服する画像を生成するためのカメラを提供することが望ましい。
【課題を解決するための手段】
【００３６】
本発明は、エネルギー場（例えばシーン中の可視光）を検知するための方法及び装置を提供する。本装置は、一組のエネルギー検知素子を備える。各検知素子は、エネルギー場の局所勾配の大きさ及び符号を直接検知する。出力画像は、従来技術のカメラにおけるような信号強度からではなく局所勾配から生成される。
【００３７】
特に、本発明による勾配カメラ及び方法は、従来のカメラにおけるような静的強度ではなく静的勾配を測定する。検知素子毎に符号付き勾配を量子化する。露出時間及び平均化時間を検知素子毎に局所的に求める。勾配を用いてポアソン式を解くことにより、出力画像の強度値を生成することができる。
【００３８】
本発明は、エネルギー場の局所勾配を１回の露出で直接測定する。したがって、コモンモードノイズを低減する。本発明は、従来のカメラのような画素強度飽和の影響を受けない詳細な高コントラストＨＤＲ出力画像を生成することができる。
【００３９】
本発明は、量子化ノイズを低減し、個々の検知素子における飽和の補正を可能にする。露出の計測は不要であり、レンズ口径を用いて焦点深度を厳密に制御することができる。
【発明の効果】
【００４０】
本発明は、エネルギー場を、その局所的に検知された勾配の再構成により測定する勾配カメラを提供する。このカメラは、従来のカメラに対していくつかの大きな利点を有する。高コントラストのシーンの取得に露出の計測は不要である。量子化効果は低減され、ノイズは低周波の誤差として分散される。勾配に基づく画像再構成の視覚特性は、知覚的に満足のいくものとなる。
【００４１】
本発明は、より少ない量子化レベルを使用することができる。わずか４ビットの量子化勾配が、８ビットの画素強度と同様の外観を生成する。これは、量子化強度が画像を区分的に一定なものとして近似するのに対し、量子化勾配は画像を区分的に線形なものとして近似するためである。
【００４２】
本発明によるカメラはノイズ耐性である。信号に依存する勾配ノイズは、勾配の大きさに比例し、従来のカメラにおけるような画像強度に比例するノイズよりも遥かに目立たない。
【００４３】
本発明は、飽和した勾配センサ、及び誤動作している個別のセンサを、これらの検出器の明示的な所定のマップを用いずに自動的に補正することができる。さらに、固有の差動シグナリングによりコモンモードノイズの排除を改善する。ハンドヘルドカメラについては、ぶれ（motion-smear）も抑制することができる。
【００４４】
さらに、勾配に基づく画像操作技法は、カメラ内（in-camera）効果を提供することができる。個別の勾配センサが、ブラーとノイズを最小化するために利得及び露出時間を選択することができる。フィルム粒子に似たデジタル強度カメラのノイズと異なり、検知される勾配ノイズは、画像の再構成後に、エッジをぼかさない「曇った（cloudy）」外観を持つ低周波の分散誤差のように見え、画像自体のよりコントラストの高い高周波成分によってマスクされる。
【発明を実施するための最良の形態】
【００４５】
システムの概要
図１は、本発明によるシステム１００を示す。このシステムは、エネルギー場１０１を検知し、検知したエネルギー場（例えば可視光のような電磁放射線）を表すデジタル出力画像１０２を生成する。
【００４６】
本発明のシステムは、一組１１０の検知素子２００を含む。この一組の検知素子は、エネルギー場１０１に空間的に配置される。例えば、素子２００は、図示のように、像平面にＮ×Ｍの素子アレイとして配置することができる。代替的に、検知素子は、環状リング又は円筒として配置し、医療用途及び高エネルギー物理学用途で使用されるようなエネルギー場の３次元走査を可能にすることができる。３Ｄアレイのような他の配置も可能である。好ましい実施形態において、センサ素子２００はまた、点で示すように、Ｎ×Ｍのアレイの周縁に一組の境界素子２０１も含む。
【００４７】
勾配検知素子
本発明の検知素子２００はそれぞれ、エネルギー場の、その素子のみに入射する部分の局所勾配Ｇ２０９の大きさ及び符号を測定する。勾配２０９は、メモリ１２１に記憶し、さらに、本明細書中で説明するように処理１２０して、出力画像１０２を生成することができる。本システムは、レンズ、シャッター及びフィルタも含むことができることを理解すべきである。
【００４８】
図２に示すように、各検知素子２００は、少なくとも２つのエネルギー強度センサ２１０を含む。図３は、センサ素子の代替的な配置３０１〜３０３を示す。これらの配置は、様々な方向の勾配の大きさ及び符号（例えばＧｘ及びＧｙ）を測定することができる。好ましい実施形態では、後述のように、素子を異なる「クリーク（clique）」に動的に再構成することができる。
【００４９】
エネルギー場が可視光の形態である場合、センサ２１０は、電荷を蓄積して記憶する電荷結合素子（ＣＣＤ）、すなわち金属酸化膜半導体（ＭＯＳ）キャパシタとすることができる。他の形態の電磁放射線については、当該技術分野において既知であるような適切なセンサを選択することができる。
【００５０】
強度センサ２１０の各出力２１１を乗算器２２０に接続し、乗算器の出力を増幅器２３０に接続し、増幅器２３０をＡ／Ｄ変換器２４０に接続して、Ａ／Ｄ変換器２４０への入力２３１を場の強度の対数（ｌｏｇ）にする。デジタル出力２４１を接続して、ｌｏｇ入力信号２４１間の差を測定する加算器２５０がエネルギー場の局所勾配２０９の大きさ及び符号の測度を生成するようにする。乗算器２２０は、本明細書中で説明するように、ゲインコントローラ２６０に個別に接続する。利得は、素子毎に個別に、動的に調整することもできる。
【００５１】
上記の回路は、勾配の大きさを差動的に測定及び転送して、コモンモードノイズを低減することに留意することが重要である。
【００５２】
対数勾配測定
理想的には、アレイ１１０は、場１０１の勾配の大きさ２０９を測定するノイズレスな微小面積素子の２Ｄ格子である。素子の空間サンプリングレートはまた、次式で表される測定すべきレンズの点像分布関数（ＰＳＦ）の最も高い周波数成分を超えるべきである。
【００５３】
【数３】
2006157908.tif 000005
【００５４】
ここで、∇Ｉは勾配の大きさを示す。
【００５５】
実際には、ｇｘ（ｍ，ｎ）、ｇｙ（ｍ，ｎ）は、隣接する強度センサ２１０の対からの差信号である。好ましい実施形態では、ｌｏｇ（Ｉｄ）の差を測定し、測定値から露出値ｋを排除する。
ｌｇｘ（ｍ，ｎ）＝ｌｏｇ（Ｉｄ（ｍ＋１，ｎ））−ｌｏｇ（Ｉｄ（ｍ，ｎ））、
＝γ（ｌｏｇ（Ｉｓ（ｍ＋１，ｎ））−ｌｏｇ（Ｉｓ（ｍ，ｎ）））、
且つ
ｌｇｙ（ｍ，ｎ）＝γ（ｌｏｇ（Ｉｓ（ｍ，ｎ＋１）−ｌｏｇ（Ｉｓ（ｍ，ｎ）））
【００５６】
各符号付きｌｏｇ勾配２０９（ｌｇｘ又はｌｇｙ）は、２つの局所的に調整される強度センサ２１０から求める。両方の強度センサ２１０が同一の露出ｋ及びコントラスト感度γの値を用いる限り、露出ｋの値は出力画像１０２に何ら影響を与えない。これにより、各勾配検知素子２００は、強度飽和を最大限に防止するために、共通の露出ｋを必要に応じて局所的に調整することができる。さらに、より正確な結果を得るために、ｌｇｘ及びｌｇｙそれぞれの設定γにより、Ａ／Ｄ変換器２４０への信号２３１の大きさを調整することができる。
【００５７】
本発明は、ノイズの多い飽和した量子化勾配から高コントラストのシーンを常に良好な精度で再現する。直接見ることのできる遮蔽された光源のあるシーンでさえ、１００：１未満の最大コントラスト比を有する勾配センサにより再現することができる。本明細書中で説明するようなカメラは、後述のように、それぞれが利用可能な光に対して調整され、検知した４つの値を対数の形で中継するインタリーブされた４画素強度カメラのアレイとして考えることが可能である。
【００５８】
測定クリーク
Ｎ×Ｍの適応検知素子２００の格子について全ての勾配ｌｇｘ、ｌｇｙを同時に測定する代わりに、本発明では複数の測定ステップを用いる。これは、各測定により、一対の強度センサ２１０が同一のｋ及びγの値を共有するように制約されるためである。全ての値ｌｇｘ、ｌｇｙを同時に測定した場合、信号強度を測定する従来のデジタルカメラで行われるように、画像全体に同一のｋ及びγの値を適用しなければならない。本発明では、この制限を回避したい。
【００５９】
代わりに、図４に示すように、本発明では、センサを小さな独立した「クリーク」４０１のグループに動的に区分化する。センサは、どのセンサも２つ以上のクリークのメンバとなることができるように動作中に再構成することができる。
【００６０】
当該技術分野において既知のようなグラフ理論では、クリークは完全に接続された一組のノードである。すなわち、各ノードは、別のノードへのエッジすなわち「リンク」を有する。４クリークでは、各ノードが３つの他ノードに接続し、合計で６つのエッジがある。本発明による勾配場では、グラフ表現中のエッジは検知された勾配である。
【００６１】
本発明によるシステムでは、隣り合ったセンサ２１０の対間の差４０２を測定して、クリークの４つの勾配を得る。対角線についても勾配を測定して、６つの勾配を得ることができる。その場合、誤差がさらに低減される。
【００６２】
各クリークは、場の勾配２０９の大きさを個別に測定する。各クリーク４０１のｋ及びγの値を個別に調整して、各クリークのｌｏｇ（Ｉｓ）値２３１及び次の勾配を求める。
【００６３】
特定のクリークのｋ及びγの値を動的に選択して、強度飽和を防止する。いくつかの異なるクリーク設計が可能である。最も単純なものは、２つのセンサクリークを用い、各クリークが、１回のｌｇｘ又はｌｇｙの測定に用いるセンサ対を含む。この設計では、各センサ４０３は、図４に示すように、独自のｋ及びγの値をそれぞれ有する、Ａ、Ｂ、Ｃ、及びＤとして記す４つの異なるクリークのメンバである。
【００６４】
経時的に、各センサは２つ以上のクリークに属する。クリークは、勾配を順次測定する。本発明では、２つ又はそれ以上の相互に独立したクリーク組、すなわち、センサを共有しないクリークを定義し、各組をインタリーブ方式で測定する。クリーク組を順次測定することにより、現在のクリークの共有のｋの値を最良の値に調整することができる。４つの隣接するセンサから成るクリークを、図４に示すように、適切な切り換え回路を用いてチェック盤パターンに配置することができる。
【００６５】
この「ボックス」クリークのチェッカー盤方式は、全ての（ｌｇｘ、ｌｇｙ）の値をたった２つのクリーク組Ａ及びＣにおいて一度測定する。各クリークは、２つの局所的なｋ値の間で選択を行う。したがって、Ｍ×Ｎのアレイが用いる別個のｋ値はＭＮ／２個のみである。
【００６６】
各クリークメンバ又はセンサ２１０をグラフ中のノードとみなし、メンバ間の差をノード間の「リンク」強度とみなした場合、クリークメンバ間の全ての差の完全な組は、クリークである接続されたグラフを形式的に定義する。Ａ／Ｄ変換２４０後にこれらの差を測定することにより、後述するように、クリーク内で測定されるｌｇｘ、ｌｇｙ及び任意の対角線リンクが持つ「回転（curl）」を確実にゼロにする。
【００６７】
ノイズの排除
クリークを用いて局所勾配の大きさ及び符号を測定することにより、コモンモードノイズの排除を高める。各要素２００はｌｇｘ、ｌｇｙを直接測定せず、その代わりに、先ずｌｏｇ（Ｉｓ）をセンサ毎に測定し、次に対数測定値をデジタルで差し引く２５０ことに留意することが重要である。
【００６８】
多くの従来技術のイメージセンサは、強度信号をアナログの電圧、電流又は電荷として、センサに組み込まれていないＡ／Ｄ変換器へ転送する。このタイプの転送は、近接するデジタル回路及び外部ＥＭＩ／ＲＦＩからのノイズ、クロストークの影響を受け易い。
【００６９】
本発明が用いるような差動シグナリングは、信号とその負数（＋Ｓ，−Ｓ）を２つの隣接経路２０３〜２０４（図２を参照）に沿って送ることによって、ノイズに対する免疫性を高める。両方の経路に結合する望ましくない「コモンモード」ノイズＮが減算２５０により除去される。
（Ｎ＋Ｓ）−（Ｎ−Ｓ）＝２Ｓ
【００７０】
４つのクリークメンバからのｌｏｇ（Ｉｓ）信号を隣接経路に沿って送ることにより、そのクリークの４つのＩｇｘ、Ｉｇｙの値を求めるために用いられる減算により不要な信号が相殺されるため、さらなる信号経路を用いることなくコモンモードノイズの排除を行うことができる。コモンモードノイズの排除に加えて、Ａ／Ｄ変換器２４０へのクリーク入力２３１は、「オートレンジ（auto-ranging）」Ａ／Ｄ変換を可能にして、ｌｇｘ、ｌｇｙ測定値の量子化誤差をさらに低減する。
【００７１】
また、本発明は、広範囲の入力信号強度に合わせて測定値範囲を動的に変更することによって付加的な精度を提供する。これにより、差がゼロに近く、ノイズに支配されている場合であっても、各クリーク内の信号を細かく量子化することができる。この付加的な精度により、同一の局所的な場の勾配の繰り返し測定値をデジタル平均化することによるノイズ抑制が改善される。
【００７２】
画像の生成方法
図５は、本発明による方法５００を示す。エネルギー場１０１（例えば「シーン」）を測定５１０して、勾配２０９の大きさ及び符号を取得する。この勾配は、勾配場５１１としてメモリ１２１に記憶することができる。グラフとして表現した勾配場５１１を「回転」について補正５２０する。グラフが独立している場合、これを接続５３０して補正場５３１を生成する。補正場５３１を用いてポアソンの式を解き５４０、出力画像１０２を生成する。
【００７３】
具体的には、本発明では、検知された勾配Ｉｇｘ及びＩｇｙと略同じ画像勾配Ｉｘ及びＩｙを有する２Ｄ対数強度Ｉ（＝ｌｏｇ（Ｉｄ））を最小二乗法で復元する。
【００７４】
２Ｄ対数強度の復元は、以下の関数を最小化することによって達成することができる。
【００７５】
【数４】
2006157908.tif 000006
【００７６】
Ｊを最小化するためのオイラー−ラグランジュ方程式は次の通りである。
【００７７】
【数５】
2006157908.tif 000007
【００７８】
これにより、以下のよく知られたポアソンの式が得られる。
【００７９】
【数６】
2006157908.tif 000008
【００８０】
ここで、
【００８１】
【数７】
2006157908.tif 000009
【００８２】
は同様によく知られたラプラシアン演算子である。この場合、表示強度ＩｄをＩから得ることができる。
【００８３】
ポアソンの式を解く５４０ために、マルチグリッドソルバ、連続過緩和、及び正弦変換に基づく直接解析解のような、いくつかの異なる技法が知られている（W.H. Press、S.A. Teukolsky、W.T. Vetterling、及びB.P. Flannery著「Numerical Recipes in C: The Art of Scientific Computing」（Cambridge University Press, 2nd edition, 1992）、Simchony、R. Chellappa、及びM. Shao著「Direct analytical methods for solving Poisson equations in computer vision problems」（IEEE Trans. Pattern Anal. Machine Intell., 12(5), pp. 435-446, May 1990）、並びにJian Sun、Jiaya Jia、Chi-Keung Tang、及びHeung-Yeung Shum著「Poisson matting」（ACM Trans. Graph., 23(3), pp. 315-321, 2004）を参照）。
【００８４】
境界条件
画像の生成のために、本発明では、当該技術分野で既知であるようなディリクレ境界条件を用いたい。しかし、これには、本発明で回避しようとしている、アレイ１１０の周縁において絶対強度値を測定することが必要となる。
【００８５】
そこで、本発明では、アレイ１１０の周縁に境界素子２０１の１Ｄの環を提供する。これらの素子２０１は、周縁の勾配のみを測定する。残りの内部素子はすべて、境界素子により取得された勾配に対して勾配を測定する。したがって、先ず、境界素子から画像強度を復元し、次に、境界素子の組から取得された強度に対して残りの素子から画像強度を復元する。
【００８６】
画像の生成は２ステップで行われる。先ず、境界検知素子２０１を用いて、画像の周縁において強度値を未知のオフセットまで求め（これは１Ｄ問題である）、次に、周縁の強度値を用いて、ポアソンの式を解くことにより内部画素の強度値を得る（これは２Ｄ問題である）。
【００８７】
１自由度を有する再構成画像中の未知のオフセットは大域的な露出設定になる。上記の解により、検知誤差が補正されれば、エネルギー場１０１の良好な再構成が得られる。
【００８８】
センサ誤差の補正
回転の補正
微分フィルタを自然画像に適用すると、フィルタの出力は疎になる。したがって、画像の大部分の勾配値は低い。本発明による適応的な測定値は、飽和する勾配が確実に少数のみであるようにする。勾配は、基礎にある２Ｄ関数を表すため、保存場を形成する。
【００８９】
非保存性の勾配場は非ゼロの回転を有する。したがって、飽和した勾配は非ゼロの回転を有する。さらに、製造欠陥により機能していないセンサもまた非ゼロの回転に寄与する可能性がある。したがって、本発明は、非ゼロの回転を補正５２０して、補正保存場５３１を生成する。
【００９０】
勾配場の位置（ｍ，ｎ）における回転は次のように定義される。
Ｃ（ｍ，ｎ）＝（ｌｇｘ（ｍ，ｎ＋１）−ｌｇｘ（ｍ，ｎ））−（ｌｇｙ（ｍ＋１，ｎ）−ｌｇｙ（ｍ，ｎ））                                                    （７）
これはｌｇｘｙ−ｌｇｙｘを離散的にしたものに等しい。特定の位置（ｍ，ｎ）について、ｌｇｘ又はｌｇｙのいずれか又は両方が飽和し得る。これにより、多くとも、（ｍ，ｎ）、（ｍ，ｎ−１）及び（ｍ−１，ｎ）の位置において非ゼロの回転が生じる。したがって、飽和した勾配の位置を用いて、非ゼロの回転を有する全ての勾配を求めることができる。
【００９１】
非ゼロの回転を有する画素の数をＫとする。このような画素毎に、式７を書き換えてＫ個の回転の式を得ることができる。全ての非ゼロの回転値を辞書順にスタックすることで得られるＫ×１ベクトルをｃとする。
【００９２】
辞書順とは、本明細書では以下のことを意味する。Ｃ（ｍ１，ｎ１）、Ｃ（ｍ２，ｎ２）、．．．、Ｃ（ｍＫ，ｎＫ）がＫ個の非ゼロの回転値を示すものとする。「ｍ」及び「ｎ」の値を昇順にソートすることによって、これらの値をＫ＊１ベクトルとしてスタックする。列の１番目のエントリは、「ｍ」及び「ｎ」の最小値に対応するＣ値となる。スタック中で「上」にあるエントリの「下」にあるエントリはいずれも、より大きな「ｎ」の値を有するべきである。そうでない場合、そのエントリは、より大きな「ｍ」の値を有するべきである。例えば、Ｃ（１，１）、Ｃ（４，３）、Ｃ（６，５）、Ｃ（３，４）、Ｃ（３，６）、Ｃ（５，１）、及びＣ（５，５）は次のように並べられる。
Ｃ（１，１）
Ｃ（３，４）
Ｃ（３，６）
Ｃ（４，３）
Ｃ（５，１）
Ｃ（５，５）
Ｃ（６，５）
【００９３】
形式的に、ｘは、上記のＫ個すべての回転式に出現する全てのｌｇｘ及びｌｇｙの値を示すものとし、これは、次のように書き表すことができる。
【００９４】
【数８】
2006157908.tif 000010
【００９５】
ここで、ｘ１は、既知の、すなわち飽和していない勾配測定値を示すＰ×１ベクトルであり、ｘ２は、飽和した勾配測定値を示すＬ×１ベクトルである。したがって、以下の線形連立方程式を得る。
【００９６】
【数９】
2006157908.tif 000011
【００９７】
ここで、Ａは、Ｋ×（Ｐ＋Ｌ）の疎行列である。行列Ａの各行は、Ｋ個の式のうちの１つを表し、４つのみの非ゼロ値、すなわち、ｌｇｘ（ｍ，ｎ＋１）及びｌｇｙ（ｍ，ｎ）に対応する２つの＋１と、ｌｇｘ（ｍ，ｎ）及びｌｇｙ（ｍ＋１，ｎ）に対応する２つの−１とを有する。行列Ａを
【００９８】
【数１０】
2006157908.tif 000012
【００９９】
のように書き表すことにより、次式が得られる。
【０１００】
【数１１】
2006157908.tif 000013
【０１０１】
したがって、ｘ２＝（Ａ２ＴＡ２）−１Ａ２Ｔ（ｃ−Ａ１ｘ１）であり、よって、飽和した勾配測定値を復元することができる。上記の解は、ｒａｎｋ（Ａ２）＝Ｌである場合にのみ有効である。ｒａｎｋ（Ａ２）＜Ｌである状況を以下に説明する。
【０１０２】
独立したグラフの補正
上述のように、本発明では、勾配ｌｇｘ及びｌｇｙをノード間の「リンク」として考え、飽和した勾配は「切れた」リンクを表す。検知格子が、グラフ理論により定義される接続されたグラフ又はクリークのままである場合、ｒａｎｋ（Ａ２）はＬとなる。しかし、飽和した勾配すなわち「切れた」リンクにより、任意のノードが格子の残りの部分から切り離される場合、それらの関連する勾配について回転を補正することはできない。
【０１０３】
この場合、主格子を切って独立したグラフにする。例えば、画像中に極端に明るい点がある場合、明るい点の境界上の全ての勾配を飽和させる。したがって、この明るい点を画像の残りの部分に接続する全てのリンクが切られ、明るい点に対応するノードが、主格子から切り離された独立したグラフを形成する。
【０１０４】
本発明は、独立したグラフ中の誤差を制限する。好ましい実施形態において、このような独立した各グラフは、最大の勾配値を切り離したリンクのうちの１つに割り当てることによって、主格子に接続５３０し、回転補正を用いて残りの飽和した勾配を解く。
【０１０５】
低コントラストの細部を有するＨＤＲ
量子化
本発明は、非常に広範囲のコントラストを有する画像を取得することができるが、勾配の測定値は、従来の強度カメラと比べた場合に可視の量子化誤差が遥かに少ない。従来の強度カメラは、区分的に一定の値を持つ関数として出力画像を近似し、Ａ／Ｄ変換器は、固定数の均一に離間した量子化レベルを生じる。
【０１０６】
対照的に、本発明は、区分的に線形の値、例えば区分的に一定の勾配２０９を有する強度関数として出力画像１０２を近似し、必要な勾配の数はＡ／Ｄ変換器により設定する。
【０１０７】
信号に依存したノイズ
回転及びコモンモードノイズは低減されるが、「勾配は常にノイズが多い」ことがよく知られているため、勾配の検知に基づくいかなるカメラにもノイズの問題は残る。各センサが、分散Ｖを有する付加的なゼロ平均のガウス分布ランダムノイズを有する場合、対数差測定値ｌｇｘ、ｌｇｙのノイズは分散２Ｖを有し、勾配カメラに必要な付加的な回路が新たなノイズ源を導入する。
【０１０８】
しかし、勾配ノイズは出力画像では異なって見える。上述したように、本発明では、ポアソンの式を解き、センサのノイズの多い勾配ｇｘ＋Ｎｘ、ｇｙ＋Ｎｙを積算して画像Ｉｏｕｔを再構成する。ここで、勾配は最小二乗法でｇｘ、ｇｙに最も良く一致する。積算は線形である。すなわち、Ｉｏｕｔ＝Ｉｉｄｅａｌ＋ＩＮであり、画素（ｍ，ｎ）における勾配ノイズは小さな誤差に滑らかに寄与する。結果として得られるノイズのみの画像ＩＮは、後述のように、特徴的に平滑な低周波の「曇った」外観を有する。
【０１０９】
エッジマスキングとして知られる人間の視覚系の特性は、ステップ状の切れ目に近いノイズをあまり目立たなくする。これは、人間の視覚系が、高い勾配において高いノイズを持つことにあまり反発せず、よって、本発明の勾配カメラは信号に依存するノイズを適度に「隠す」ことを示唆する。
【０１１０】
動きの排除
従来のデジタルカメラの中には、安定化機構を使用して、カメラ又はシーンの動きにより生じるブラーを低減するものもある。本発明による勾配検知式カメラは、強度の区分的に線形の変化を許容し、これにより、別の戦略を提供し、さらに、一定期間にわたる勾配を選択的に平均化することによってノイズを低減する。従来の強度カメラも同一の戦略を使用することができるが、ノイズは低減しない。
【０１１１】
基本概念は、比較回路を使用して、電流勾配測定値を時間平均した測定値と比較することである。変動がノイズにより生じるよりも大きい場合、平均化を終了し、現在の値を最良推定値として用いる。ステップ状又はリッジ状の特徴部のような、画像強度及び勾配に切れ目を生じる鮮明な画像特徴部は、特徴部が像平面を「移動する」につれて、測定される勾配に大きな変化を生じる。これらの特徴部は、画像を鮮明に保つために排除する必要がある。
【０１１２】
残念ながら、これと同じ戦略が、強度カメラでは遥かに早く終了してしまう。区分的に一定の勾配を有する画像領域、例えば滑らかな影付き領域を、本発明の勾配カメラでは動きの存在下で正確に測定することができるが、従来の強度カメラでは不可能である。本発明による勾配カメラの延長された測定・平均化時間により、測定値のノイズ量が低減する。
【０１１３】
他のノイズ問題
上述のように、本発明の勾配カメラは、信号に依存するノイズに良好に作用する。ノイズは、低い勾配では低く、高い勾配では高い。しかし、ガウス分布ランダムノイズは、ポアソンの式５３１のために「曇った」外観を有する。１つの解決策は、従来の画像におけるエッジ保存平滑化で行なわれるのと同様に、高い勾配を双方向フィルタにより選択的に保存することによってノイズを低減することができる。しかし、双方向フィルタリングを勾配に直接適用しても、満足のいくものにならない。双方向フィルタは、勾配の差が大きい場合には平滑化を行わないが、高い勾配に近い勾配を平滑化し、よってエッジを滲ませてしまう。
【０１１４】
本発明では、勾配の大きさに依存し、高い勾配の平滑化を制限するガウスフィルタを使用することを好む。したがって、本発明では、低い勾配のみを平滑化する。さらに、勾配場は２Ｄ場であるため、本発明では、楕円形の空間ガウスフィルタを使用することができる。本発明ではこれを、拡張型指向性双方向フィルタリングと呼ぶ。フィルタカーネルＧは次のように表すことができる。
【０１１５】
【数１２】
2006157908.tif 000014
【０１１６】
ここで、Ｇｓは、勾配の方向に沿って分散が低く、勾配に垂直な方向で分散が高い楕円形のガウスフィルタである。フィルタＧｄｉｆｆは、現位置（画素）と隣接画素の勾配の大きさの差に依存するガウスフィルタである。これにより、鮮明なエッジに沿った平滑化を防止する。フィルタＧｍａｇは、現画素の勾配の大きさに依存するガウスフィルタである。フィルタＧｍａｇは、高い勾配を平滑化しないことを確実にする。空間フィルタの幅及び分散を選択することによって、結果を大幅に改善することができる。
【０１１７】
別の手法は、意味のある強度表現を得ることによってノイズ問題を処理し、強度を用いてポアソンの再構成を制約する。鮮明さ及びエッジを保存するには高い勾配ほど重要であるため、先ず、高い勾配のみから部分画像を再構成し、この再構成を最小二乗解において制約として用いて、低い勾配からの強度値を再構成することができる。
【０１１８】
焦点ぼけによる較正
正確な動作のために、「クリーク」内の強度センサの利得設定を合わせ、入射信号の強度が変化するにつれて動的に変化させなければならない。設定は、製造中又は動作中に合わせることができる。
【０１１９】
検知素子２００のサイズが比較的小さいことにより、意図的に焦点をぼかすことで各クリーク中の各センサに対して事実上同一の信号強度を確実に提供するようにする。したがって、焦点ぼけを、クリークメンバ間の非ゼロのオフセットを除去するための信頼性の高い基準として用いることができる。同様に、絞りの開閉により、各クリークに入射する均一な強度を大幅に変化させることができ、各検知素子の感度設定又は利得を合わせるための信頼性の高い基準として用いることができる。クリーク内の利得をより正確に合わせるためにより高いダイナミックレンジが必要である場合、焦点をぼかした空、太陽、又は明るい電球のビューにより、必要な極端な照明を提供することができる。
【０１２０】
カメラ内効果
いくつかの勾配に基づく画像操作技法をカメラ内効果として提供することができる。これらには、同一画像中の複数の焦点距離又は深い焦点を大きなレンズ口径と組み合わせることによる、ユーザにより規定される焦点深度が含まれる。移動する前景物体、例えば移動する車両及び歩行者は、平均化時間を延長し、勾配の外れ値を排除することによって、静的なシーンから自動的に除去することができる。大気中のもやも除去することができる。レンズフレアを抑制することができ、適切な勾配操作によりレンズグレアを部分的に除去することができる。
【０１２１】
このような動作は、従来のカメラにより取得された画像に対して行うことができることに留意すべきである。しかし、その場合、後処理ステップにおいて、既に処理された出力画像の画素強度値から勾配場を、その全ての累積固有誤差とともに抽出する必要がある。次に、勾配をさらに処理し、出力画像から得られる処理済みの勾配から新たな出力画像を再構成する。
【０１２２】
対照的に、本発明は、出力画像を生成する前に、生の入力データ、すなわち符号付き勾配に対して直接操作を行うことによって、カメラ内効果を生成する。
【０１２３】
対数領域の勾配の測定
勾配信号は、高コントラストのシーンでも勾配の大きさの大部分は低いため、Ａ／Ｄ変換に良く適している。数少ない真に大きな勾配は通常、直接見ることのできる光源の遮蔽されたエッジにより生じる。対数領域において測定を行うことにより、これらの勾配でさえ、カメラレンズのインパルス応答、すなわち点像分布関数から測定可能な最大のｌｇｘ、ｌｇｙ以下に制限される。従来のカメラにより強度を直接測定する場合、同様の制限は存在しない。
【０１２４】
量子化許容差
量子化方法は、勾配カメラの性能の向上に多くの機会を提供するようである。対数勾配のヒストグラムはゼロ付近をピークとするため、小さな勾配に大きな勾配よりも付加的なレベルを割り当てる量子化器は、全体的なＲＭＳ測定誤差がより低くなる。
【０１２５】
同様に、人間の視覚系は概ねレシオメトリックである。人間の視覚の有効な強度範囲の大部分について、輝度の「ちょうどそれと分かる差」は、約１〜２パーセントのコントラストを表す。対数領域の勾配をデジタル化することによって、勾配の量子化レベルはコントラストに直接対応し、センサ利得や強度のオフセットに依存しない。
【０１２６】
いくつかの他の形態の適応的量子化により、Ａ／Ｄ量子化レベルの使用をさらに改善して、シーンのコントラストを高めることができる。例えば、オートレンジＡ／Ｄは、各クリークの信号に合った量子化レベルを割り当てることができる。勾配ヒストグラムの量子化を用いることもできる。代替的に、ユーザは、シーンを最も良くイメージングする量子化レベルを選択することができる。
【０１２７】
クリークの選択
図４に示すような４クリークの組Ａ、Ｂ、Ｃ、Ｄの簡単な拡張により、それらの組がｌｇｘ、ｌｇｙの各値について２回の個別の測定を完了する際に、ノイズをさらに低減することができ、対角の差の完全な組を測定することができる。
【０１２８】
例えば、４つのクリーク（Ａ、Ｂ、Ｃ、Ｄ）すべてからの結果を結合することができる。その場合、フィルタカーネルが４連結ではなく８連結であるポアソンソルバを用いて、集束をより速め、再構成される出力画像中のノイズをさらに低減することができる。位置に依存したフィルタカーネルを使用することによって、インタリーブされた（Ａ、Ｃ）の配置を改善することもできる。
【０１２９】
（ｍ，ｎ）の位置毎の８連結の差の測定値、例えばｌｏｇ（Ｉ（ｍ±１，ｎ±１））−ｌｏｇ（Ｉ（ｍ，ｎ））は、回転なしの測定値の数を倍にし、９ポイントのフィルタカーネル再構成とともに用いてノイズをさらに低減することができる。クリーク及びクリーク組の最良の配置は、幾何学的形状とセンサチップの能力とのバランスをとる。クリークを大きくすれば、ｋ調節回路が少なくなる可能性があるが、広く共有されるｋ値でクリークメンバのセンサが飽和する可能性が高まり、センサ効率が低下する。
【０１３０】
クリークの形状規則及び幾何学的タイル張り規則により、全ての（ｌｇｘ，ｌｇｙ）値の測定に必要な異なるクリーク組の数が決まる。選択肢の数はクリークのサイズとともに急激に大きくなる。多くのクリーク組を必要とするクリーク設計は、画像の取得に必要な時間を増加させる可能性がある。
【０１３１】
本発明を、静的なシーンの測定に関して記載してきたが、本発明による時空間勾配カメラは、動きのあるビデオを取得してもよいことが理解されるべきである。同様に、上記の説明は、輝度の解析に焦点を当てる。本発明のＨＤＲ技法は、色差を後処理中に処理することができる。色差は通常低コントラストである。したがって、色は、単一のセンサ組により検知することができる。矩形格子以外のパターンも検討することができる。例えば、軸合わせされた格子に重ねた対角線格子により集束を改善することができる。
【０１３２】
本発明を、好適な実施形態の例として記載してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るこのような変形及び変更をすべて網羅することである。
【図面の簡単な説明】
【０１３３】
【図１】本発明による勾配センサのブロック図である。
【図２】本発明による勾配検知素子の回路図である。
【図３】検知素子の配置のブロック図である。
【図４】センサのクリークのブロック図である。
【図５】本発明による検知方法のフロー図である。
【図１】
2006157908.tif 000022
【図２】
2006157908.tif 000023
【図３】
2006157908.tif 000024
【図４】
2006157908.tif 000025
【図５】
2006157908.tif 000026
【外国語明細書】
2006157908.tif 000027
2006157908.tif 000028
2006157908.tif 000029
2006157908.tif 000030
2006157908.tif 000031
2006157908.tif 000032
2006157908.tif 000033
2006157908.tif 000034
2006157908.tif 000035
2006157908.tif 000036
2006157908.tif 000037
2006157908.tif 000038
2006157908.tif 000039
2006157908.tif 000040
2006157908.tif 000041
2006157908.tif 000042
2006157908.tif 000043
2006157908.tif 000044
2006157908.tif 000045
2006157908.tif 000046
2006157908.tif 000047
2006157908.tif 000048
2006157908.tif 000049
2006157908.tif 000050
2006157908.tif 000051
2006157908.tif 000052
2006157908.tif 000053
2006157908.tif 000054
2006157908.tif 000055
2006157908.tif 000056
2006157908.tif 000057
2006157908.tif 000058
2006157908.tif 000059
2006157908.tif 000060
2006157908.tif 000061
2006157908.tif 000062
2006157908.tif 000063
2006157908.tif 000064
2006157908.tif 000065
2006157908.tif 000066
2006157908.tif 000067
2006157908.tif 000068
2006157908.tif 000069
2006157908.tif 000070
2006157908.tif 000071
2006157908.tif 000072
2006157908.tif 000073