(57)【特許請求の範囲】
【請求項１】
ピクセル構造のレポート群を少なくとも２つ備えた複数のピクセル構造並びに露光コントローラを含むピクセルアレイであって、前記ピクセル構造のレポート群のそれぞれが、少なくとも１つのレポートピクセル構造を含み、該レポートピクセル構造は、
画像センサと、
受けた電磁放射に応答して生成される前記画像センサの出力を測定するための手段であり、少なくとも１つのトリガ事象に対する少なくとも１つのトリガレベルに関連した前記出力の状態を明らかにするレポ―トを生成するための手段を含む、手段とを備え、
前記露光コントローラは、複数のピクセル構造のレポート群から複数のレポートを受けるよう、及び、前記複数の受けたレポートにおけるレポートピクセル構造の出力の状態に応答して当該ピクセルアレイにおける全ピクセルの露光を制御するよう結合され、
前記出力が最小レベルよりも高い状態、前記出力が飽和レベルに達する状態、最小レベルよりも高く、飽和レべルよりも低い第１の所定の状態に前記出力値がある状態、最小レベルよりも高く、飽和レベルよりも低く、前記第１の所定の状態よりも高い第２の所定の状態に前記出力値がある状態のうち少なくとも１つを含む群から前記状態は選択される、
ピクセルアレイ。
【請求項２】
前記露光コントローラは、前記ピクセルアレイに統合され、前記受けたレポートを処理して前記トリガ事象が起こったかどうか判断する、請求項１に記載のピクセルアレイ。
【請求項３】
前記露光コントローラは、前記ピクセルアレイに結合され、前記受けたレポートを処理して前記トリガ事象が起こったかどうか判断する、請求項１に記載のピクセルアレイ。
【請求項４】
各ピクセルのレポート群は、１つのレポートを前記露光コントローラに与える、請求項１に記載のピクセルアレイ。
【請求項５】
前記レポート群は複数のピクセル構造を含み、前記レポート群のレポートは、前記レポート群のピクセルのうち１つのピクセルのみの応答の状態をレポートする、請求項４に記載のピクセルアレイ。
【請求項６】
前記レポート群は複数のピクセル構造を含み、前記レポート群のレポートは、前記レポート群のピクセルのうち１つよりも多いピクセルの応答の状態をレポートする、請求項４に記載のピクセルアレイ。
【請求項７】
前記露光コントローラは、前記トリガ事象が起こったことを示すレポートに応答して露光の終了を制御し、前記トリガ事象はプログラム可能である、請求項１に記載のピクセルアレイ。
【請求項８】
前記レポートの内容がプログラム可能である、請求項１に記載のピクセルアレイ。
【請求項９】
関連付けられた前記少なくとも２つのレポート群によって与えられる少なくとも２つのレポートは、前記関連付けられた少なくとも２つのレポート群内の異なる数のピクセルからの応答をレポートする、請求項７に記載のピクセルアレイ。
【請求項１０】
複数のピクセルのレポート群は、各々が複数のレポートのセットを前記露光コントローラに与える、請求項１に記載のピクセルアレイ。
【請求項１１】
前記露光コントローラは、複数のレポートの１つのセットを処理して前記ピクセルアレイについての露光を判断する、請求項１０に記載のピクセルアレイ。
【請求項１２】
前記複数のレポートの１つのセットは、前記関連付けられたピクセル群内の前記ピクセルのうち１つのピクセルの前記トリガレベルに対する前記画像センサの前記出力値における応答の状態についてのレポートを備える、請求項１１に記載のピクセルアレイ。
【請求項１３】
前記複数のレポートの１つのセットは、前記関連付けられたピクセル群内の１つよりも多い前記ピクセルにおける応答の状態のレポートを備える、請求項１１に記載のピクセルアレイ。
【請求項１４】
前記露光コントローラは、複数のレポートの複数のセットを処理して前記ピクセルアレイについての露光を判断する、請求項１０に記載のピクセルアレイ。
【請求項１５】
前記複数のレポートの１つは、関連付けられたピクセル群内の前記ピクセルのうち１つのピクセルの応答のレポートを備える、請求項１４に記載のピクセルアレイ。
【請求項１６】
前記複数のレポートの１つは、前記関連付けられたピクセル群内の１つよりも多い前記ピクセルの応答のレポートを備える、請求項１４に記載のピクセルアレイ。
【請求項１７】
関連付けられた少なくとも２つの群によって与えられる前記複数のレポートの少なくとも２つは、前記関連付けられた少なくとも２つの群内の異なる数のピクセルからの応答をレポートする、請求項１４に記載のピクセルアレイ。
【請求項１８】
前記露光コントローラは、前記レポートを処理して前記トリガ事象が起こったかどうかを判断し、前記トリガ事象は、事前に設定された最大露光時間に達したという表示、最小出力信号に達したことを前記ピクセルアレイ内のすべてのレポートピクセルがレポートしたという表示、少なくとも１つのピクセルの出力飽和値に達したことを前記少なくとも１つのピクセルがレポートしたという表示、出力信号飽和値に達したことを予め設定された数のピクセルがレポートしたという表示、最小出力信号に達したことを予め設定された数のピクセルがレポートしたという表示、出力信号飽和値に達したことを第１の予め設定されたしきい値よりも大きい数のピクセルがレポートした、および最小出力信号に達したことを第２の予め設定されたしきい値よりも大きい数のピクセルがレポートしたという表示、又は、露光終了条件の組合せが発生したという表示のうち少なくとも１つを備える、請求項１に記載のピクセルアレイ。
【請求項１９】
複数のピクセル構造群を備えるピクセルアレイの露光を制御する方法であって、前記群のうち少なくとも２つの群は各々レポートピクセル構造を備え、前記方法は
受けた電磁放射に応答して生成された前記レポートピクセル構造の画像センサの出力を各レポートピクセル構造にて測定し、トリガ事象に対するトリガレベルに関連した前記出力の状態のレポートを生成するステップと、
レポートピクセル構造を備える前記少なくとも２つのピクセル構造群から受取った少なくとも２つのレポートを処理して前記トリガ事象が起こったかどうか判断するステップと、
前記トリガ事象を履行する前記レポートピクセル構造の出力の状態に応答して前記ピクセルアレイの露光を終了させるステップとを備え、
前記出力が最小レベルよりも高い状態、前記出力が飽和レベルに達する状態、最小レベルよりも高く、飽和レべルよりも低い第１の所定の状態に前記出力値がある状態、最小レベルよりも高く、飽和レベルよりも低く、前記第１の所定の状態よりも高い第２の所定の状態に前記出力値がある状態のうち少なくとも１つを含む群から前記状態は選択される、方法。
【請求項２０】
レポートピクセルを備える各ピクセル群は、１つのレポートを生成する、請求項１９に記載の方法。
【請求項２１】
前記１つのレポートは、前記ピクセル群内のピクセルのうち１つのピクセルにおける応答をレポートする、請求項１９に記載の方法。
【請求項２２】
前記１つのレポートは、前記ピクセル群内の１つよりも多いピクセルの応答をレポートする、請求項１９に記載の方法。
【請求項２３】
前記露光を終了させるステップは、レポートピクセル構造を含むピクセル群から受取った１つよりも多いレポートに応答する、請求項２０に記載の方法。
【請求項２４】
少なくとも１つのレポートは、前記少なくとも１つのレポートに関連付けられた前記ピクセル群内のピクセルのうち１つのピクセルにおける応答をレポートする、請求項２３に記載の方法。
【請求項２５】
少なくとも１つのレポートは、前記少なくとも１つのレポートに関連付けられた前記ピクセル群内の１つよりも多いピクセルの応答をレポートする、請求項２３に記載の方法。
【請求項２６】
関連付けられた少なくとも２つの群によって与えられる少なくとも２つのレポートは、前記関連付けられた少なくとも２つの群内の異なる数のピクセルからの応答をレポートする、請求項２３に記載の方法。
【請求項２７】
前記群の少なくとも１つは複数のレポートピクセルを備え、前記露光を終了させるステップは、１つ以上のピクセル群から受取った複数のレポートの１つ以上のセットに応答して動作する、請求項１９に記載の方法。
【請求項２８】
前記露光を終了させるステップは、１つのピクセル群からの複数のレポートの１つのセットのみに応答して動作する、請求項２７に記載の方法。
【請求項２９】
前記複数のレポートの１つのセットは、前記関連付けられたピクセル群内のピクセルのうち１つのピクセルにおける応答についてのレポートを備える、請求項２８に記載の方法。
【請求項３０】
前記複数のレポートの１つのセットは、前記関連付けられたピクセル群内の１つよりも多いピクセルの応答のレポートを備える、請求項２８に記載の方法。
【請求項３１】
前記露光を終了させるステップは、複数のレポートの複数のセットに応答して動作して前記ピクセルアレイについての露光を判断する、請求項２６に記載の方法。
【請求項３２】
前記複数のレポートの１つのセットは、関連付けられたピクセル群内の前記ピクセルのうち１つのピクセルにおける応答のレポートを備える、請求項３１に記載の方法。
【請求項３３】
前記複数のレポートの１つのセットは、前記関連付けられたピクセル群内の１つよりも多いピクセルの応答のレポートを備える、請求項３１に記載の方法。
【請求項３４】
関連付けられた少なくとも２つの群によって与えられる前記複数のレポートの少なくとも２つのセットは、前記関連付けられた少なくとも２つの群内の異なる数のピクセルからの応答をレポートする、請求項３１に記載の方法。
【請求項３５】
前記トリガ事象は、事前に設定された最大露光時間に達したという表示、最小出力信号値に達したことを前記ピクセルアレイ内のすべてのレポートピクセルがレポートしたという表示、少なくとも１つのピクセルの出力信号飽和値に達したことを前記少なくとも１つのピクセルがレポートしたという表示、出力信号飽和値に達したことを予め設定された数のピクセルがレポートしたという表示、最小出力信号値に達したことを予め設定された数のピクセルがレポートしたという表示、出力信号飽和値に達したことを第１の予め設定されたしきい値よりも大きい数のピクセルがレポートした、および最小出力信号値に達したことを第２の予め設定されたしきい値よりも大きい数のピクセルがレポートしたという表示、又は、露光終了条件の組合せが発生したという表示のうち少なくとも１つを備える、請求項１９に記載の方法。
【請求項３６】
プロセッサによって実施されると、請求項１９から３５のいずれかに記載の方法を前記プロセッサに実行させるコンピュータ実行可能命令を含むコンピュータ読取可能媒体。  
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
この発明は電子画像化の分野に一般的に関し、より特定的には、測光を用いてレポートする改良された撮像のための方法および装置に関する。
【背景技術】
【０００２】
発明の背景
写真は、光の作用によって画像を作り出すプロセスである。光とは、人間の目に見える周波数範囲の電磁放射について一般的に用いられる用語である。被写体から反射または発せられた光のパターンは、時間設定された露光を通して画像センサによって記録される。画像センサは、写真フィルムなどの化学的性質のもの、またはデジタルスチルおよびビデオカメラが用いるＣＣＤおよびＣＭＯＳ画像センサなどの固体の性質のものであり得る。
【０００３】
デジタルカメラは、光を焦点合せしてシーンの画像を作成する一連のレンズを有する。しかし、デジタルカメラは、従来のカメラのようにこの光を１枚の写真フィルムに焦点合せする代わりに、光の電磁放射を電荷に変換する固体画像センサに光を焦点合せする。画像センサの極小の要素は画素または「ピクセル」と称され、デジタル写真用の実際の画像センサは典型的に多数のピクセルを有する。電荷は、画像センサが感知する電磁放射の相対的な強度を示し、一般的に光強度値をピクセルと関連付けるのに用いられる。
【０００４】
写真の１つの目的は、人間の目が見た画像を正確に表わす画像を提供することである。しかしながら、人間の目はすべての波長の光に対して等しく感度があるわけではない。その結果、画像センサに当たる電磁放射に対する画像センサの応答を人間の視覚の感度に従って調整しなければならない。調整は典型的に、電磁放射に対する画像センサの露光を調整して、異なる波長に対する人間の感度を補償することによって行なわれる。
【０００５】
しかしながら、画像センサに提供すべき適正な露光レベルを判断することはしばしば困難である。光感度画像センサ構成要素に対する電磁放射の適正な露光レベルを判断および適用できないと、撮像された画像の劣化につながる。そのような劣化はしばしば「露出過度」または「露出不足」と称される。露出過度は、光感度構成要素に晒される電磁放射のレベルが光波長についての最適レベルよりも大きいときに起こる。露出過度はしばしば、撮像された画像内の明るい部分の細部が欠如する原因となる。
【０００６】
図１Ａは露出過度に対する画像センサの応答特性を図示する。横座標はセンサに当たる電磁放射の強度を表わす。縦座標は画像センサの対応する出力電圧を表わす。低強度の放射については、画像感度構成要素の電圧は電磁放射の強度とともに線形に増加する。しかしながら、電磁放射の強度が（図１ａの破線によって示されるように）しきい値Ｔｏを超えても増加すると、画像感度構成要素の出力電圧はそれに応じて変化せず、むしろある最大電圧で横ばいになる。したがって、画像感度装置は、しきい値Ｔｏを超える電磁放射強度レベルを有する画像を正確に表わすことができず、記録された画像は露出過度であると言われる。
【０００７】
図１Ｂは露出不足に対する画像センサの応答特性を図示する。露出不足は、電磁放射に対する画像感度構成要素の露光のレベルが最適レベルよりも小さいときに起こる。露出不足はしばしば、撮像された画像内の暗い部分の細部が欠如する原因となる。図１Ｂに見られるように、低強度値については、画像感度構成要素の電圧は電磁放射の強度変化に応答して変化しない。光強度が最小光強度レベルしきい値Ｔｕを過ぎた後で初めて、画像感度構成要素の電圧が電磁放射の強度とともに線形に増加する。したがって、画像感度装置は、しきい値ＴUを超えない電磁放射強度レベルを有する画像の細部または色を正確に表わすことができず、記録された画像は露出不足であると言われる。
【０００８】
図１Ｃは電磁放射に対する画像センサの適正な露光を反映する伝達関数を図示する。適正な露光は、画像が低電磁放射強度レベルの区間および高電磁放射強度レベルの区間において完全な細部を有して最適に撮像されるときに起こる。適正な露光により、当初の画像の明るい部分および暗い部分の両方を、画像の撮像された電子的な表示で正確に表わすことが可能となる。
【０００９】
図２Ａ〜図２Ｃは露光された画像のピクセル強度のヒストグラムを図示しており、露光された画像は各々が０から２５５までの可能なピクセル強度の範囲を有する。図２Ａは、たとえば１Ａに図示されるような伝達関数を有する露光プロセスを用いて過度に露出された画像において見られ得るピクセル強度のヒストグラムである。図２Ｂは、図１Ｂの伝達関数を用いて撮像された画像などの、露出不足の画像において見られ得るピクセル強度のヒストグラムである。図２Ｃは、たとえば図１Ｃの伝達関数を用いて適正に露出された画像において見られ得るピクセル強度のヒストグラムである。図２Ｃのヒストグラムはピクセル強度の正規化分布を図示する一方、図２Ａは、露出過度の画像が最大画像センサ出力値（′２５５′）で圧縮されるピクセル強度を有することを図示しており、露出不足の画像は最小画像センサ出力値（′０′）で圧縮されるピクセル強度を有する。
【００１０】
ピクセルアレイに到達する画像は、強度が大幅に異なり得、従って画像が高ダイナミックレンジを有する原因となる暗い領域および明るい領域を含む。画像のダイナミックレンジはピクセルアレイのダイナミックレンジ内に収まる場合もあるが、露光計算は極めて正確でなければならない。現実のピクセルアレイの限られたダイナミックレンジと典型的な画像の高ダイナミックレンジが組合さると、正確な露光計算が非常に困難な作業となる。
【００１１】
現在の技術は露光時間を計算する多数の方法を認識している。１つの公知の方法では、推定露光時間設定を用いて画像を撮像し、ピクセル出力ヒストグラムを観察し、新たな露光時間推定に辿り着き、この新たな露光時間推定を用いて画像を取得する。この方法は、各画像を２回撮像するため電力の浪費である。これは、第２の露光時間推定は第１の値よりもよいが依然として近似であり、かつ多数のピクセルが自身のダイナミックレンジ外の光強度に晒されることになるため、不正確でもある。
【００１２】
他の方法では、画像全体を調べ、平均の光画像強度値を測定し、この値に基づいて露光時間を計算する。しかしながら、そのような方法は画像内の光強度の実際の分布を考慮していないため不正確である。ここでもまた、多数のピクセルが自身のダイナミックレンジ外の光強度に晒されることになる。
【００１３】
適正な露光量の特定は測光によってさらに複雑になる。測光は、可視光、特にその強度を測定する科学であり、これを用いて画像強度を、人間の視覚に対するその感知輝度の観点から説明することができる。測光を用いて、波長の測定された強度を、目がその波長にどの程度感度があるかの関数である因子で重み付けすることによって、光波長に対する人間の視覚の異なる感度を明らかにすることができる。
【００１４】
測光は典型的に、特定の測光機能用に設計された電磁放射感度装置を用いて行なわれ、レポートされる。電磁感度装置は、たとえば電荷結合素子（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）装置であり得る。図３は、ピクセル構造１２などのピクセル構造および測光構造１４などの測光構造を含むピクセルアレイ１０を図示する。そのような測光装置を用いる典型的なピクセル構造は、撮像すべき画像の１つまたはそれ以上のサブエリアで測光を行なう。さまざまなサブ画像の測定を次に処理して、画像感度材料を電磁放射に晒すべきレベルを判断する。画像は第２の処理段階にかけられ、ここでは、予め計算された露光時間の間だけ固体画像センサ装置を入射する電磁放射に晒すことによって画像を次に取得する。
【００１５】
しかしながら、この測光は、撮像すべき画像内のポイントの一般的に小さなサブセットから行なわれるため、しばしば最適なものではない。サンプリングポイントのいずれかの視覚的属性および／またはアーティファクトを用いて、画像全体に適用される露光レベルを計算する。その結果、そのような測定から得られた露光時間はしばしば不正確であり、その結果処理された画像は一般的に悪い。説明した方法の他の不利な点は、画像センサの性質を考慮していないことである。たとえば、画像センサは電磁放射の異なる強度に対して異なったように応答し得る。画像センサのゲイン特性を考慮していない重み付け因子を画像センサに盲目的に適用すると、最適な出力画像を提供する問題が悪化し得る。
【発明の開示】
【課題を解決するための手段】
【００１６】
発明の要約
この発明の固体ピクセル構造は、画像センサと、受けた電磁放射に対する画像センサの応答を測定するための手段と、画像センサの応答の状態を露光コントローラにレポートするための手段とを含む。
【００１７】
本発明の他の局面によると、ピクセルアレイは、露光コントローラと、露光コントローラに結合された少なくとも１つのピクセル構造群とを含む。各ピクセル構造群は少なくとも１つのピクセル構造を含む。ピクセル構造は、画像センサと、受けた電磁放射に対する画像センサの応答を測定するための手段と、応答の状態を露光コントローラにレポートするための手段とを含む。露光コントローラは応答の状態を分析して、露光終了トリガ事象が起こったことを応答の状態が示しているかどうか判断する。
【００１８】
本発明の他の局面によると、電磁放射に対するピクセル構造群の露光を制御する方法が提供される。ピクセル構造群は少なくとも１つのピクセル構造を備え、各ピクセル構造は画像センサを有する。方法は、ピクセル群内の少なくとも１つのピクセル構造が、受けた電磁放射に対する関連付けられた画像センサの応答を測定し、群内の少なくとも１つのピクセル構造から受取った状態を分析するステップを含み、状態は、少なくとも１つのピクセル構造の画像センサに対する測定された応答に関連付けられ、方法はさらに、分析して、露光終了トリガ事象が起こったことを応答の状態が示しているかどうか判断して、露光終了事象に応答して電磁放射に対するピクセル構造群の露光を終了させるステップを含む。
【００１９】
そのような構成を用いると、ピクセル構造の露光をリアルタイムで制御でき、最適な撮像が可能となる。本発明のこれらおよび他の利点は、添付の図面と関連して以下の説明を読むと明白になるであろう。
【発明を実施するための最良の形態】
【００２０】
詳細な説明
本発明の１つの局面によると、固体ピクセル構造またはピクセルアレイは、ピクセル構造および／またはピクセルアレイ内に提供される統合された露光制御を含む。露光制御をピクセル構造および／またはアレイに含めることにより、最適な露光をリアルタイムで達成することが可能となる。最適な露光は、受けた電磁放射に対するピクセル構造の応答を測定し、ピクセル構造能力および測光しきい値に関する知識とともに応答情報を用いて、ピクセル構造がいつ最適に動作しているかを判断することによって達成される。
【００２１】
１つの実施例では、各固体ピクセル構造が測光可能である。測定は、電磁放射に対するピクセル構造の応答の特性を示す。測光能力を固体ピクセル構造に含めることにより、撮像中にピクセル露光を監視し、厳重に管理し得る。固体ピクセル構造は、露光応答特性を露光コントローラにレポートするためのレポートロジックを含む。露光コントローラは、最適な露光で画像が撮像されたことを露光応答特性が示すと露光を終了させる。固体ピクセル構造の測定およびレポートロジックによってダイナミックなフィードバックが露光コントローラロジックに与えられ、ピクセル構造のリアルタイムの応答を考慮して、ピクセル構造が電磁放射に最適に晒されることが確実なものとなる。露光測定を別個のプロセスとしてではなく撮像中に処理することができるため、露光の複雑度および電力消費が減少する。
【００２２】
この発明の利点は、図４および図５において説明されるような典型的な固体ピクセル構造動作と比較すると一番よく説明され得る。たとえば、図４は典型的なデジタル撮像装置に含まれるいくつかの構成要素を図示するブロック図である。信号源２０は、積分器２１、アナログ−デジタル変換器（ＡＤＣ）２２およびデジタル信号プロセッサ（ＤＳＰ）２３を含む信号処理チェーンに結合される。信号源２０は、自身に当たる光などの電磁放射に応答して電気的応答を生成する光強度センサであり、センサ２０および積分器２１は典型的なＣＭＯＳピクセル構造のコアを形成する。センサ２０は、一般的には露光時間と称される特定の持続時間の間だけセンサが光に晒されるデジタルカメラ適用例などの、時間設定された適用例で用いられ得る。積分器２１は、露光時間の間に受けるすべての光子によって生じるセンサ２０の応答を、たとえば露光時間の終わりに、読出すべき電圧などの１つの値に積分するように作用する。
【００２３】
図５は、典型的な画像センサアセンブリ回路をより詳細に図示する。信号源３０はたとえばフォトダイオードと言える光センサである。キャパシタ３４は単純な積分器である。積分器への入力は信号源３０の出力である。キャパシタ３４は、積分プロセスの開始前に、閉じた位置にあるスイッチ３５によってリセットされる。積分プロセスの始めにスイッチ３５が開き、キャパシタ３４両端の電圧が信号源３０から発する入力信号に応答して変化し始める。積分プロセスの終わりに、スイッチ３３が閉じて、積分器出力３６であるＶOUTがサンプリングされる。
【００２４】
積分器出力３６であるＶOUTは、一般的に、利用可能な電源電圧が課す上限を超えることができない。電源電圧は厳しい電力消費要件のために現状技術の機器では低減している。積分器出力３６は電源電圧を超えることができず、積分器出力信号が電源電圧レベルに達した後にも増大し続けると飽和してしまう。飽和は、出力電圧が利用可能な電源電圧に達して入力信号のさらなる変化に応答できなくなると起こる。
【００２５】
積分器によって限定されるようなピクセルのダイナミックレンジは、露光時間を設定する際に慎重に考慮する必要がある。露光時間が短すぎると、１つまたはそれ以上のピクセルの出力が十分高くなって雑音レベルより上に上昇することができなくなる。露光時間が長すぎると、１つまたはそれ以上のピクセルの出力が飽和してしまう。
【００２６】
図１Ｃおよび図２Ｃに関して述べたように、最適なアレイ動作は、すべてのアレイピクセルが自身の線形の出力範囲で動作し（飽和せず）、電子雑音レベルより上の出力電圧を生成するときに得られる。電子雑音レベルより上の出力電圧を生成するために、ピクセル構造のゲインは、電磁放射強度について特定された動作範囲の最小値で照らされたときに十分な出力電圧を生成するように十分に高くあるべきである。これによってピクセル構造の感度が決まる。ピクセル構造のダイナミックレンジは、この構造についての動作範囲の最大値を有する電磁放射強度で照らされたときに常に線形領域で動作してその出力を飽和させないように十分高くあるべきである。
【００２７】
この発明は、露光制御をピクセル構造、ピクセルアレイ、またはその組合せに統合する価値を認識している。以下に述べるように、露光制御をピクセル構造および／またはピクセルアレイに統合することにより、最小限の複雑度および電力消費で最適な撮像が可能となる。この発明は多くの異なる形式で、多くの異なる粒度で実現され得る。実施例はこの発明の均等の実施例のサブセットを例示しており、本発明は開示される実施例に限定されない。
【００２８】
図６はこの発明の１つの実施例を図示しており、たとえばピクセル１０１などの各ピクセルは、ピクセル出力が特定のレポート可能な状態に達するとレポート可能な追加ロジックを組込んでいる。ロジックによって示されるレポート可能な状態は設計的事項であり、ピクセル出力レベルが最小必要レベルに達した、ピクセル出力レベルが飽和レベルに達した、ピクセル出力レベルが最小必要レベルより高く飽和より低い第１の特定状態に達した、ピクセル出力レベルが第１の特定状態とは異なる、最小必要レベルより高く飽和より低い第２の特定状態に達した、ピクセル出力レベルが上記の状態の第１の組合せに達した、および／またはピクセル出力レベルが上記の状態の第２の組合せに達した、などを含み得るが、これらに限定されない。
【００２９】
状態情報は機能ブロック１０２に送られる。機能ブロック１０２は、１つの実施例では、ピクセルアレイ１００の外部のシステム構成要素とインターフェイスバス１０３を介して通信する。機能ブロック１０２は有利には動的にプログラム可能であるが、これは必須ではない。１つの実施例では、機能ブロックは露光終了トリガ条件を検出するようにプログラムされ得る。露光終了トリガ条件は、撮像プロセスの事前に選択されてもよいし、または代替的に撮像プロセスから入来する情報に応答して適応的に選択されてもよい。一例として、可能性のある予め設定された露光終了条件は、事前に設定された最大露光時間に達したという表示、最小出力電圧に達したことをすべてのピクセルがレポートした、および１つのピクセルの出力電圧飽和値に達したことを当該ピクセルがレポートしたという表示、出力飽和電圧に達したことを予め設定された数のピクセルがレポートしたという表示、最小出力電圧に達したことを予め設定された数のピクセルがレポートしたという表示、出力飽和電圧に達したことを第１の予め設定されたしきい値よりも大きい数のピクセルがレポートした、および最小出力電圧に達したことを第２の予め設定されたしきい値よりも大きい数のピクセルがレポートしたという表示、ならびに露光終了条件の組合せが発生したという表示を含むが、これらに限定されない。
【００３０】
図７は、本発明の固体ピクセル構造に含まれ得る構成要素を図示するブロック図である。図７に図示されるように、ピクセル構造は、機能ブロック１０２に送るためのステータスレポートを生成するのに必要な手段を含む、信号源５０および積分器５１に応答する手段を含む。ステータスレポートは、ピクセル構造と機能ブロックとの間で通信されることが望まれる情報に依存していずれの種類の形式も取り得る。たとえば、最も単純な実施例では、ステータスレポートは、アサートされるとピクセルが特定の状態に達したことを示し、これは次に露光終了トリガ条件の存在を示し得るトリガ信号を備え得る。より複雑な実施例では、信号は、予め定められた通信プロトコルに基づいて直列のまたは複数ビットのバス上で符号化され得る。アレイ内のポイントどうしの間でデータを通信する他の技術が、この発明の範囲に影響を及ぼすことなく本明細書中で代用され得る。
【００３１】
図８は、この発明の固体ピクセル構造６２の１つの実施例のより詳細な図を提供する。構造６２は図５に関して説明されたものと同様であるが、この発明の測光およびレポートロジック６３を含む。１つの実施例における測光およびレポートロジックは動的にプログラム可能であり、機能ブロックが、外部入力５５を介して露光基準の端およびロジック６３の露光トリガしきい値をカスタマイズする能力を含む。測定およびレポートロジック６３は１つのピクセル専用であってもよいし、または１つよりも多いピクセルについて作用してもよい。測定およびレポートロジック６３が１つよりも多いピクセルについて作用する場合、追加ピクセルの状態を示す追加データは、追加接続を介して測定およびレポートロジック６３に入力される。コネクタ６８および６９は、追加ピクセル状態データを測定およびレポートロジック６３に運ぶ例示的なコネクタである。測定およびレポートロジック６３が１つよりも多いピクセルについて作用する場合、追加接続の数は実現例の仕様に従って異なる。測光およびレポートロジック６３は、予め設定されたまたは適応的なアルゴリズムに従って動作可能である。コストおよび動作の簡潔さが主要な考慮すべき事項である場合、測定およびレポートロジック６３の動作は予め設定されて変更されなくてもよい。優れた画像センサ性能が主要な考慮すべき事項である場合は、測定およびレポートロジック６３の動作は適応的であり、外部指令に応答して変更されてもよい。入力５５は、外部指令に応答して測定およびレポートロジック６３の動作を変更するように作用する。測定およびレポートロジック６３の動作のモードは、多数の予めプログラムされた動作のモードからの選択によって、または新たな動作のモードをプログラミングすることによって変更され得る。例示的な実施例では、測定およびレポートロジック６３は、ピクセル出力信号電圧およびリセット／イネーブル指令の一方または両方を監視する。これら２つのいずれかまたはそれらの組合せに基づいて、および構造についてのプログラムされたトリガ条件に基づいて、測定およびレポートロジック６３は機能ブロック１０２にステータス信号を与えて固体構造におけるある一定の特徴の存在を示し、この特徴は、電圧レベル、電圧レベル−飽和レベル比などであり得る。プログラムされたトリガ条件は、トリガしきい値を判断する際に測光データを考慮し得る。
【００３２】
図８はしたがって、測定およびレポート能力が図５に示されるようなＣＭＯＳ画像センサにどのように組込まれ得るかを図示する。しかしながら、この発明はＣＭＯＳ画像センサのみとの使用に限定されず、さらに言えばデジタル画像センサにも限定されない。むしろ、電磁放射に対する応答を測定し、センサ挙動に関する知識を含む知識とともにその測定を用いて露光を制御するという概念は、いずれの画像感度装置とも共に用いられ得る。本発明の１つの実施例では、ピクセル構造は、引用により援用されるダビドビチ（Davidovici）による「高ダイナミックレンジ感度センサ素子またはアレイのためのシステムおよび方法（SYSTEM AND METHOD FOR A HIGH DYNAMIC RANGE SENSITIVE SENSOR ELEMENT
OR ARRAY）」と題された特許出願連続番号 （代理人整理番号680-008U）に説明されるような、高解像度および広ダイナミックレンジを備えるセンサ装置を含む。代替的な実施例では、ピクセル構造は、引用により援用されるダビドビチ（Davidovici）によって同日に提出された「ゲインを制御した高ダイナミックレンジ感度センサ素子またはアレイのためのシステムおよび方法（SYSTEM AND METHOD FOR A HIGH DYNAMIC RANGE SENSITIVE SENSOR ELEMENT
OR ARRAY WITH GAIN CONTROL）」と題された特許出願連続番号
（代理人整理番号680-010）に開示されるようなセンサ装置を含む。
【００３３】
図９は、機能ブロック１０２ならびにピクセル１０１の測定およびレポートロジックによって実行され得るステップと、構成要素間で起こり得る例示的な通信とを図示するために与えられる１対の機能フロー図を含む。プロセス７０は機能ブロック１０２によって実行され得るステップを含むのに対して、プロセス８０は測定およびレポートロジック８０によって実行され得るステップを図示する。図９は限定的ではなく例示的な例を意味しており、その均等物において多くの異なる形式を取り得、ハードウェア、ソフトウェア、またはその組合せによって制御される部分を有し得ることに留意すべきである。
【００３４】
機能ブロックのプロセスは、たとえばカメラのトリガが押下げられてピクセル構造の露光が開始されるステップ７２で始まる。機能ブロックはステップ７３に進み、ここで、各群が１つまたはそれ以上のピクセルを含むピクセル群からステータスレポートを集める。
【００３５】
測定およびレポートブロックは、ステップ８２において画像センサがアクティブになると処理を開始する。たとえば、ブロックは画像センサから電圧を検出し得る。ステップ８４において、センサ測定を監視または収集してピクセル構造がいつレポート可能な状態にあるかを判断する。ピクセル構造がレポート可能な状態にあると判断されると、ステップ８８において状態が機能ブロックにレポートされる。
【００３６】
機能ブロック１０２、２４０、３４０、４４０は１つまたはそれ以上のピクセル構造から受取ったステータスレポートを分析して、露光終了トリガ事象がいつ起こったか判断する。トリガ事象が起こると、ステップ７６において機能ブロックが露光を終了させる。機能ブロックはトリガ条件に基づいてピクセルアレイ内の１つまたはそれ以上のピクセルについて露光を終了させることができ、したがってこの発明はいずれの露光終了粒度にも限定されない。ステップ７８において、撮像された画像が記憶媒体に記録される。
【００３７】
露光時間判断に対する上述の方策は、露光時間設定が画像が撮像（取得）されている間に行われるために最大精度を達成できるという主要なメリットを有する。撮像プロセスの進行中に露光終了条件を判断する柔軟性は、露光時間を撮像すべき画像の特性に適応させて調和させることができるというメリットを有する。
【００３８】
各ピクセル構造内に測光およびレポートを含む、図６に関して説明された実施例は、市販のピクセルアレイには多数のピクセルが含まれるために比較的複雑である。デジタルスチル写真またはビデオカメラにおける場合などの撮像の一般的な被写体である意味のある画像は、隣接するピクセル間で高い相関関係を示す。高い隣接ピクセル相関関係により、レポートされたピクセル出力データの大部分が冗長になる。
【００３９】
図１０はこの発明の他の実施例を図示しており、ピクセルアレイ２００は、全ピクセルよりも少ないピクセルが自身の出力の状態をレポートする状態で配置される。ピクセル２３０、２１０および２２０によって例示されるレポートピクセルは、ピクセルアレイ全体にわたって規則的なまたは無作為なパターンで配置され得る。隣接するピクセル間の高い相関関係を用いて、撮像プロセスの劣化を最小限に抑えてレポートピクセルの数を限定する。したがって、レポートピクセルの数の下限は１であり得、レポートピクセルの数の上限はアレイのサイズと等しくなり得る。
【００４０】
図１１は本発明のさらに他の実施例を図示しており、図６および図１０の実施例と比較して複雑度を減少させた。図１１において、ピクセルアレイ３００は、自身の出力の状態をレポート可能なピクセルが共にグループ化されるようにピクセル群に配分される。出力状態レポート可能なピクセル群は、わずか２つのピクセル、およびアレイに含まれるピクセルの数と同数のピクセルを含み得るが、すべての群は同じ数のピクセルを含む。４つのピクセルを含むピクセル群３３０、３１０および３２０によって例示されるレポートピクセル群は、ピクセルアレイ全体にわたって規則的なまたは無作為なパターンで配置され得る。レポートピクセルの数の下限は１であり得、レポートピクセルの数の上限はアレイのサイズを２で除算したものと等しくなり得る。
【００４１】
図１２は本発明のさらに他の実施例を図示しており、自身の出力の状態をレポート可能なピクセルが共にグループ化されている。出力状態レポート可能なピクセル群は、わずか１つのピクセル、およびアレイに含まれるピクセルの数と同数のピクセルを含み得る。図１２の実施例は、群どうしのサイズが異なり得るために図１１のそれとは異なっている。ピクセル群４３０、４１０および４２０によって例示されるレポートピクセル群は、それぞれ１つ、４つおよび４つよりも大きい数のピクセルを含み、ピクセルアレイ全体にわたって規則的なまたは無作為なパターンで配置され得る。レポートピクセル群の数の下限は１であり得、レポートピクセル群の数の上限はアレイのサイズと等しくなり得る。
【００４２】
したがって、統合された露光制御を有するピクセル構造およびアレイを用いてピクセルアレイ露光時間を制御するための方法および装置がさまざまな実施例において示され、説明された。したがって、この発明は、測光およびレポート能力を含む改良された画像センサを提供することによって先行技術の問題点を克服する。測定およびレポート能力を用いて電磁放射に対する画像センサの露光を制御することができ、それによって、画像センサが最適な露光ポイントまたはある他のトリガしきい値レベルに達すると露光を終了させることが可能となる。また、露光を、撮像後の画像に対して行なう二次的なプロセスとしてではなく、リアルタイムで制御することが可能となる。
【００４３】
この発明には多数のメリットがある。第１のメリットは、ピクセルアレイ露光を判断するのに用いられるデータが撮像プロセスと同時にリアルタイムで撮像中の画像から抽出される、本明細書中で説明された方策の本質的な正確さである。第２のメリットは、測光能力をピクセル構造自体に組込むことにより、適切な露光レベルを判断する際に固体画像センサのいずれのゲイン特性も確実に考慮されることである。１つの共通に用いられる方策において露光時間を判断するのに必要な二重撮像プロセスを排除することによって電力消費が減少することが第３のメリットである。この発明のこれらおよび他のメリットが当業者にとって明らかである。
【００４４】
本発明のさまざまな実施例を説明したが、上記の図面の多くは本発明の実施例に係る方法、装置（システム）およびコンピュータプログラムプロダクトのフローチャート例示であることが認められるであろう。フローチャート例示の各ブロック、およびフローチャート例示内のブロックの組合せはコンピュータプログラム命令によって実現され得ることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置にロードされてマシンを製作し得、それによりコンピュータまたは他のプログラム可能なデータ処理装置上で実行される当該命令が、フローチャートブロックまたはブロック内で特定された機能を実現するための手段を作製する。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置に対して、特定の態様で機能するよう命じることが可能なコンピュータ読取可能メモリにも記憶され得、それによりコンピュータ読取可能メモリに記憶される当該命令がフローチャートブロックまたはブロック内で特定された機能を実現する命令手段を含む製造物を製作する。コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能なデータ処理装置にロードされて、当該コンピュータまたは他のプログラム可能な装置上で一連の動作ステップを実行させて、コンピュータによって実現されるプロセスを製作し得、それにより当該コンピュータまたは他のプログラム可能な装置上で実行される当該命令がフローチャートブロックまたはブロック内で特定された機能を実現するためのステップを提供する。
【００４５】
当業者は、この発明の機能を規定するプログラムが多くの形式でコンピュータに配信され得ることを容易に認めるはずである。形式は、（ａ）書込不可能記憶媒体（たとえばコンピュータＩ／Ｏアタッチメントによって読取可能なＲＯＭまたはＣＤ−ＲＯＭなどのコンピュータ内の読出専用メモリ装置）に永続的に記憶される情報、（ｂ）書込可能記憶媒体（たとえばフロッピー（登録商標）ディスクおよびハードドライブ）に可変に記憶される情報、または（ｃ）たとえば、モデムを介してコンピュータまたは電話ネットワーク上などの搬送波信号技術を含むベースバンド信号またはブロードバンド信号技術を用いて、通信媒体を通してコンピュータに伝達される情報を含むが、これらに限定されない。
【００４６】
上記の説明および図面は、この発明によって実行される動作を図示するさまざまなプロセスステップおよび構成要素を含んでいる。しかしながら、ある一定の構成要素および工程を説明したが、その説明は例示のみのためのものであり、当業者が他の機能的な技術ま
たは付加的なステップおよび構成要素を追加することができ、したがって本発明は開示された特定の実施例に限定されるべきではないことが理解される。また、さまざまな例示的な要素がハードウェア、コンピュータ上で実行されるソフトウェア、またはその組合せで実現され得ることが理解される。
【００４７】
本発明を上記の例示的な実施例を通じて説明したが、例示される実施例の修正例および変形例が、本明細書中に開示された発明概念から逸脱することなくなされ得ることが当業者に理解されるであろう。したがって、本発明は添付の請求項の範囲および思想によるものを除いて限定的であるとして解釈されるべきではない。
【図面の簡単な説明】
【００４８】
【図１Ａ】露出過度の条件におけるピクセル構造応答の特性曲線を示す図である。
【図１Ｂ】露出不足の条件におけるピクセル構造応答の特性曲線を示す図である。
【図１Ｃ】適正に露出された条件におけるピクセル構造応答の特性曲線を示す図である。
【図２Ａ】露出過度で撮像された画像のピクセル強度の分布を図示するために提供されるヒストグラムを示す図である。
【図２Ｂ】露出不足で撮像された画像のピクセル強度の分布を図示するために提供されるヒストグラムを示す図である。
【図２Ｃ】適正に露出されて撮像された画像のピクセル強度の分布を図示するために提供されるヒストグラムを示す図である。
【図３】先行技術の例示的なピクセルアレイ構造を示す図である。
【図４】ＡＤＣおよびＤＳＰが後に続く、典型的なピクセル構造の例示的な機能的に均等なブロック図である。
【図５】典型的なピクセル構造の例示的な機能的に均等な回路図である。
【図６】露光制御が統合された、この発明の固体ピクセルアレイを示す図である。
【図７】この発明の固体ピクセル構造に含まれ得る例示的な構成要素および通信バスを図示する例示的なブロック図である。
【図８】図７の固体ピクセル構造の１つの実施例の例示的な回路およびブロック回路図である。
【図９】この発明の露光制御プロセスにおいて行なわれ得る例示的なステップを図示するために提供される機能フロー図である。
【図１０】この発明の統合された露光制御を組込んだ固体ピクセルアレイの第２の実施例を示す図である。
【図１１】この発明の統合された露光制御を組込んだ固体ピクセルアレイの第３の実施例を示す図である。
【図１２】この発明の統合された露光制御を組込んだ固体ピクセルアレイの第４の実施例を示す図である。
【図１Ａ】
0004699524.tif 000002
【図１Ｂ】
0004699524.tif 000003
【図１Ｃ】
0004699524.tif 000004
【図２Ａ】
0004699524.tif 000005
【図２Ｂ】
0004699524.tif 000006
【図２Ｃ】
0004699524.tif 000007
【図３】
0004699524.tif 000008
【図４】
0004699524.tif 000009
【図５】
0004699524.tif 000010
【図６】
0004699524.tif 000011
【図７】
0004699524.tif 000012
【図８】
0004699524.tif 000013
【図９】
0004699524.tif 000014
【図１０】
0004699524.tif 000015
【図１１】
0004699524.tif 000016
【図１２】
0004699524.tif 000017