(57)【要約】  物体の光学画像を記憶する装置が、複数の画素を有する撮像デバイスを備え、各画素は、光センサ、およびセンサに結合された複数の記憶セルを含む。レンズ・システムが、物体からの光を撮像デバイスに集束させる。各画素内において、その記憶セルの第１セルは、物体からの光へのそのセンサの第１露光に対応するデータを記憶するように構成され、その記憶セルの第２セルは、物体からの光へのそのセンサの第２露光に対応するデータを記憶するように構成される。好ましい実施形態では、画素は、第１方向に沿って延びるアレイに構成され、第１露光と第２露光の間の時間間隔中、トランスレータが、第２方向において、撮像デバイスとレンズ・システムの焦点との間の相対的な併進または変位を生成するように構成される。一実施形態では、第２方向は、第１方向に対して横方向である。好ましい実施形態では、各画素は、感光性領域を備え、画素は、第２方向において測定された感光性領域のピッチの半分にほぼ等しい距離だけ変位される。このようにして、本発明は、実際の画素数を増大させずに、センサの有効画素数を増大させることによって空間解像度を増大させる。本発明の代替実施形態では、センサの動的範囲は改良される。
2009510976.tif 000002
【特許請求の範囲】
【請求項１】
物体の光学像を記憶する装置であって、
複数の画素を有する撮像デバイスを備え、
各画素が、光センサおよび前記センサに結合された複数の記憶セルを含み、
各画素内において、その記憶セルの第１セルが、そのセンサの第１露光に対応するデータを記憶するように構成され、その記憶セルの第２セルが、そのセンサの第２露光に対応するデータを記憶するように構成されることを特徴とする装置。
【請求項２】
前記物体からの光をレンズ・システム前記撮像デバイスに集束させるレンズ・システムと、
前記撮像デバイスと前記レンズ・システムの焦点の間の相対併進を生成するように構成され、前記併進が前記第１露光と前記第２露光の間に行われるトランスレータとをさらに備えることを特徴とする請求項１に記載の装置。
【請求項３】
前記複数の画素が、列の間に一様なピッチを有する列および行に配置された画素のアレイを形成し、前記トランスレータが、前記列に本質的に垂直な方向において前記ピッチの約半分である量の前記併進を生成するように構成されることを特徴とする請求項２に記載の装置。
【請求項４】
前記光センサのそれぞれが複数の側面を有し、その記憶セルの少なくとも２つが前記光センサの同じ側面上に配置されることを特徴とする請求項１に記載の装置。
【請求項５】
前記光センサのそれぞれが複数の側面を有し、その記憶セルの少なくとも１つが前記光センサの一側面上に配置され、その記憶セルの少なくとも異なる１つが前記光センサの異なる側面上に配置されることを特徴とする請求項１に記載の装置。
【請求項６】
前記物体からの光が前記センサの選択された１つを照明する開いた状態と前記物体からの光が前記センサのどれも照明しない閉じた状態とを有する光シャッタ、及びコントローラをさらに備え、前記コントローラは、（ｉ）前記シャッタを開き、それにより前記センサを前記物体からの光に露光させ、前記センサにおいて、前記画像を表す電子データを生成し、（ｉｉ）前記データを前記センサから前記第１記憶セルに転送し、（ｉｉｉ）前記トランスレータを作動させて、前記センサを前記焦点に対して変位させ、それにより、前記変位されたセンサを前記画像からの光に露光させ、前記物体を表す追加のデータを前記センサにおいて生成し、（ｉｖ）変位動作中かつ前記追加のデータを生成する前に、生成された任意のスプリアス・データを前記センサから除去し、（ｖ）前記追加のデータを前記センサから前記第２記憶セルに転送し、そして、（ｖｉ）前記シャッタを閉じるように構成されていることを特徴とする請求項２に記載の装置。
【請求項７】
前記光センサの第１サブセットが前記物体からの光に対する第１露光感度を有し、前記光センサの第２サブセットが前記物体からの光に対する第２露光感度を有することを特徴とする請求項１に記載の装置。
【請求項８】
前記センサのすべてが前記物体からの光の強度に対して本質的に同じ感度を有し、前記第１露光および第２露光が異なる所要時間を有することを特徴とする請求項１に記載の装置。
【請求項９】
前記画素の第１サブセットが第１原色の光に対する第１周波数感度を有し、前記画素の第２サブセットが第２原色の光に対する第２周波数感度を有し、前記画素の第３サブセットが第３原色の光に対する第３周波数感度を有することを特徴とする請求項１に記載の装置。
【請求項１０】
前記画素がデッド・スペースを含み、前記画素のそれぞれがｎの前記記憶セルを備え、前記画素のそれぞれの内部において、前記デッド・スペースによって占有される表面積が前記画素の全表面積の約（ｎ−１）／ｎより小さくないことを特徴とする請求項１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学画像を電子形態で記憶する装置、より具体的には、静止画像、ビデオ画像、または両方を記憶するデジタル・カメラに関する。
【背景技術】
【０００２】
デジタル・カメラの開発の傾向は、カメラの画像変換器の画素数を増大させることによって空間解像度を増大させるものである。変換器は、光検出センサ、通常は電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）デバイスの形態である。所与のサイズ（例えば、標準的な一眼レフ（ＳＬＲ）カメラの２４ｍｍ×３６ｍｍのセンサ面積）の光センサでは、画素数を増大させることは、各画素のサイズを低減することを意味する。しかし、より小さい画素は、より少ない光子を収集し、これにより、カメラの信号対雑音比は下がる。この問題は、いくつかの方式で軽減することができることが知られている。すなわちミクロレンズ・アレイを使用して光の収集効率を向上させることによって、雑音を低減するように画素の設計および製作を改良することによって、ならびに／または信号処理アルゴリズムを使用して雑音データから実時間信号を抽出することによって軽減することができる。
【０００３】
それにもかかわらず、現況技術の光センサは、収集された光子の散弾雑音および変換器回路の電子雑音の両方によって依然として制約される。光の散弾雑音は、基本的なものであり、低減することはできないが、電子雑音は、電力消費の増大を代償とするが、センサを冷却することによって低減することができる。したがって、ＳＬＲカメラの通常領域に配置することができる画素数には、実際上の限界がある。
【０００４】
最高解像度（１６．７メガピクセル）を有する現在のデジタルＳＬＲカメラは、Ｃａｎｏｎ（会社名、登録商標、以下同）によって製造されるＥＯＳ  １Ｄｓ  Ｍａｒｋ  ＩＩ（登録商標、以下同）カメラである。このカメラの解像度は、同じサイズのＩＳＯ  １００フィルムに匹敵し、多くのＩＳＯ  ４００フィルムの解像度を超える。Ｃａｎｏｎ  ＥＯＳ  １Ｄｓ  Ｍａｃｈ  ＩＩより高い画素密度を有するセンサは、現在は必要ないが、より高い解像度に対する要求は、容赦なく続いているようである−より高いメガピクセル密度およびより高い感度を有するカメラを求める写真家が、常に存在するようであると述べることができる（より高い画素数は、中間フレーム・フォーマット・カメラに存在するが、より高い密度は存在しないことに留意されたい）。
【特許文献１】米国特許出願公開第２００３／０２１０３４３号
【特許文献２】米国特許出願公開第２００４／０２４０８６７号
【非特許文献１】Ｅａｓｔｍａｎ  Ｋｏｄａｋ  Ｃｏ．、Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ  Ｔｅｃｈｎｏｌｏｇｙ  Ｄｉｖｉｓｉｏｎ［ニューヨーク州ロチェスター在］、名称「Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  （ＣＣＤ）  Ｉｍａｇｅ  Ｓｅｎｓｏｒ」、Ｋｏｄａｋ  ＣＣＤ  Ｐｒｉｍｅｒ、Ｄｏｃｕｍｅｎｔ  ＃ＫＣＰ−００１（２００１年）
【非特許文献２】ｈｔｔｐ：／／ｗｗｗ．ｋｏｄａｋ．ｃｏｍ／ＵＳ／ｅｎ／ｄｉｇｉｔａｌ／ｐｄｆ／ｃｃｄＰｒｉｍｅｒＰａｒｔ２．ｐｄｆ．
【非特許文献３】ｈｔｔｐ：／／ｗｗｗ．ｅｘｔｒｅｍｅｔｅｃｈ．ｃｏｍ．
【非特許文献４】ｈｔｔｐ：／／ｗｗｗ．ｐｉ．ｗｓ
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、デジタル・カメラの分野では、より小さいサイズの画素を使用することに付随する雑音増大の問題に悩まされることのないより高い空間解像度のデジタル・カメラが必要である。
【０００６】
さらに、いくつかのデジタル・カメラでは、光センサは、当技術分野においてデット・スペースとして知られる、光に対して感受性のない、または光から遮断されるセンサ表面積の部分を含む。感光性のセンサ表面積の割合を減少させることによって、デット・スペースは空間解像度をも低下させる。様々な光センサの設計が、デッド・スペースを生じる。例えば、１つの設計では、各画素は、フォトセルおよび横方向に隣接する記憶セル（または読取りセル）によって形成されるデッド・スペースを備える。他の設計では、センサは、光の異なる波長（例えば、原色）に応答するフォトセルを備えることが可能であり、例えば、青および緑のフォトセルは、赤のフォトセルに関してデッド・スペースと見なされる。他の設計では、センサは、光の異なる強度に応答するフォトセルを備えることが可能であり、例えば、より低い強度に感受性のあるフォトセルは、より高い強度に感受性のあるフォトセルに関してデッド・スペースであると見なされる。
【０００７】
デジタル・カメラの光センサの中に設計されるデッド・スペースのタイプにかかわらず、当技術分野では、そのようなカメラの空間解像度を向上させることも要求される。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、物体の光学像を記憶する装置は、複数の画素を有する撮像デバイスを備え、各画素は、光センサおよびセンサに結合された複数の記憶セルを備える。レンズ・システムが、物体からの光を撮像デバイスに集束させる。各画素内において、その記憶セルの第１セルは、物体からの光に対するそのセンサの第１露光に対応するデータを記憶するように構成され、その記憶セルの第２セルは、物体からの光に対するそのセンサの第２露光に対応するデータを記憶するように構成される。好ましい実施形態では、画素は、第１方向に延びるアレイに構成され、第１露光と第２露光の間の時間間隔中、トランスレータが、第２方向において、撮像デバイスとレンズ・システムの焦点との間の相対的な併進または変位を生成するように構成される。一実施形態では、第２方向は、第１方向に対して横方向である。好ましい実施形態では、各画素は、感光性領域を備え、画素は、第２方向において測定される感光性領域のピッチの半分にほぼ等しい距離だけ変位される。
【０００９】
このようにして、我々は、実際の画素数を増大させずにセンサの有効画素数を増大させることによって、空間解像度を向上させる。したがって、Ｎしか画素を有さないセンサが、２Ｎの画素を有するセンサの有効解像度を有する。
【００１０】
本発明の他の態様によれば、物体の光学像を表す電子データを生成する方法は、（ａ）物体から発する光を光学撮像デバイスの画素に入射させるステップ、（ｂ）ステップ（ａ）の最中に画素の複数露光を提供し、各露光が画素内において電子画像データを生成するステップ、および（ｃ）各露光後、データを読取りデバイスのサブセットに転送し、異なるサブセットが連続転送動作中にデータを受信するステップを含む。
【００１１】
したがって、空間解像度の増大は、複数露光、およびセンサの異なる空間位置における画像データの読取りによって達成される。
【００１２】
本発明の他の実施形態では、第１露光と第２露光の間に撮像デバイスを併進させることを必要とせずに、動的範囲が増大される。しかし、この場合、これらの露光は異なる所要時間を有する。
本発明、ならびにその様々な特徴および利点は、添付の図面と関連して取り入れられる以下のより詳細な記述から容易に理解することができる。
【発明を実施するための最良の形態】
【００１３】
デジタル・カメラの構成
本発明を詳細に議論する前に、まず、物体１２の光学像を表す電子データを生成して記憶または記録する周知の光学撮像装置１０のブロック図を示す図１を参照する（物体という用語によって、反射、屈折、散乱、または内部生成などのプロセスによって光が発する元であるあらゆる物を意味する）。簡単にするために、以下の議論では、装置１０が、交互に、像１２からの光がカメラに入るのを遮断し、またはそのような光をカメラの中に透過させるシャッタ１４を備えるデジタル・カメラであると想定する。そのようなデジタル・カメラは、静止画像、ビデオ画像、または両方を生成する能力を有することが周知である。
【００１４】
シャッタ１４が開いているとき、物体１２からの光は、レンズ・システム１６によって撮像デバイス１８に集束される。レンズ・システムは、通常、ズーム・レンズ・サブシステム、集束レンズ・サブシステム、および／または画像変位補正サブシステム（このどれも、図１には示されていない）を含む。撮像デバイス１８は、例として、周知のＣＣＤデバイスまたはＣＭＯＳデバイスを備えるが、再び簡単にするために、撮像デバイス１８は以下の議論ではＣＣＤであると想定する。ＣＣＤは、通常、行および列に構成された画素のアレイを備える色領域センサであり、別々の画素が、赤、青、および緑の色成分を受け取るように構成される。当技術分野において周知であるように、露光動作中、画素は、光電効果により、像１２からの光を、色成分の強度に対応するアナログ画像信号の形態の電子データに変換する。その後、データは、画素の外部に転送される。露光および転送の動作は、通常は１５ｍｓの大きさである所定の周期で交互に行われる。
【００１５】
本発明の例示的な実施形態では、ＣＣＤ１８は、参照によって本明細書に組み込まれているＥａｓｔｍａｎ  Ｋｏｄａｋ  Ｃｏ．（登録商標、以下同）のＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ  Ｔｅｃｈｎｏｌｏｇｙ  Ｄｉｖｉｓｉｏｎ［ニューヨーク州ロチェスター在］、名称「Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  （ＣＣＤ）  Ｉｍａｇｅ  Ｓｅｎｓｏｒ」（Ｋｏｄａｋ（登録商標、以下同）  ＣＣＤ  Ｐｒｉｍｅｒ、Ｄｏｃｕｍｅｎｔ  ＃ＫＣＰ−００１（２００１年））によって発表された論文に記載されているタイプのインタライン（ＩＬ）アーキテクチャを有する。この論文は、以下のＵＲＬを有するインターネット・ウェブサイトで見ることができる：ｈｔｔｐ：／／ｗｗｗ．ｋｏｄａｋ．ｃｏｍ／ＵＳ／ｅｎ／ｄｉｇｉｔａｌ／ｐｄｆ／ｃｃｄＰｒｉｍｅｒＰａｒｔ２．ｐｄｆ．、またはｈｔｔｐ：／／ｗｗｗ．ｅｘｔｒｅｍｅｔｅｃｈ．ｃｏｍ。ＩＬアーキテクチャは、非光感受性のまたは光が遮断された平行の読取りＣＣＤの行間において隔離された感光性領域を形成することによって、光検出機能と読取り機能を分離する。しかし、我々のＣＣＤは、図２〜６に関連して以下で記述されるように、複数の露光を処理するように修正されている。
【００１６】
ＣＣＤ１８によって生成された画像信号は、通常はデジタル信号プロセッサ（ＤＳＰ）である信号プロセッサ２０に結合される。例として、プロセッサ２０は、ＣＣＤ１８からの画像信号の雑音を低減し、画像信号のレベル（振幅）を調節する。
【００１７】
信号プロセッサ２０の出力は、アナログ・デジタル（Ａ／Ｄ）変換器２２に結合され、この変換器は、処理されたアナログ画像信号を、タイマ３４によって提供されるクロック信号に基づいて、所定のビット長（例えば、１２ビット）を有するデジタル信号に変換する。多くの応用分野において、信号プロセッサ２０およびＡ／Ｄ変換器２２は、単一チップに集積される。
【００１８】
これらのデジタル画像信号は、入力として画像プロセッサ２４に提供され、このプロセッサは、通常、（ｉ）黒レベル補正、すなわち、Ａ／Ｄ変換器２２によって生成されたデジタル信号の黒レベルを基準黒レベルに対して補正すること、（ｉｉ）白バランス補正、すなわち、Ａ／Ｄ変換器２２からの各色成分のデジタル信号のレベル変換を実施すること、および（ｉｉｉ）ガンマ補正、すなわち、Ａ／Ｄ変換器２２からのデジタル信号のガンマ特性を補正することなどを含めて、様々な動作を実施する。
【００１９】
双方向バス２７を介してコントローラ２８に結合される画像メモリ２６は、画像プロセッサ２４からの処理済みデジタル信号を撮影モードで一時的に記憶し、メモリ・カード３２からの画像データを再生モードで一時的に記憶する。
【００２０】
メモリ・カード３２は、画像データをカード３２に書き込み、かつ画像データをカード３２から読み取るための標準的なＩ／Ｆインターフェース（図示せず）を介してコントローラ２８に結合される。
【００２１】
コントローラ２８は、通常、マイクロコンピュータであり、これは、メモリ（図示せず）（例えば、画像メモリ２６から転送された画像信号を記憶するＲＡＭ、および様々なカメラ機能のプログラムを記憶するＲＯＭ）、クロック信号ＣＬＫ０のタイミング生成装置（図示せず）、ならびにセンサ・ドライバ３６、レンズ・ドライバ３８、およびシャッタ・ドライバ４０をそれぞれ介して光センサ１８、レンズ・システム１６、およびシャッタ１４の物理的な移動を制御するための制御信号のサーボ生成装置（図示せず）を含む。コントローラ２８は、センサ・ドライバ３６を介してレンズ・システム１６の焦点に対して光センサ１８の横方向位置を変位させるための制御信号を生成することが重要である。変位の動作は、次のセクションにおいてより詳細に記述される。
【００２２】
コントローラに対する外部入力が、通常、制御パッド４２によって生成される。これらの入力は、例えば、シャッタ・ボタン、モード設定スイッチ、および画像変位補正オン／オフ・スイッチを含むことが可能である。
【００２３】
改良有効空間解像度の実施形態：デッド・スペースとしての読取り領域
図２において、本発明の一実施形態による撮像デバイス１８を示す。撮像デバイス１８は、例えば上記で議論されたタイプのＩＬアーキテクチャで構成されたＮ画素１８．１のアレイを有するＣＣＤとして示されているが、複数の露光を処理し、かつカメラの見かけの空間解像度を増大させるために、以下のように修正されている。各画素１８．１の形状は、図２Ａに示されるように本質的には幅ｗを有する矩形であるが、他の幾何学的形状が実現可能である。各画素は、幅ｗｐの感光性領域（または光センサ）１８．１ｐ、およびそれぞれが幅ｗｒの複数のｎの読取り領域（または記憶セル）１８．１ｒを備える。通常、ｗ〜ｗｐ＋ｗｒである。読取り領域１８．１ｒは、その対応する感光性領域１８．１ｐに電子的に結合され、物体１２から発せられる光に対して不感受性であるか、またはその光から遮断されるように設計される。読取り領域は、光から電気（すなわち電荷）への変換に寄与しないので、デッド・スペースを構成する。撮像デバイスにおいて通常見られるその他のデッド・スペースには、例えば、ワイヤリング、記憶キャパシタ、および論理回路によって占有される領域がある。
【００２４】
好ましくは、各画素のデッド・スペースによって占有される表面積は、画素面積全体の約（ｎ−１）／ｎより小さくあるべきではない；例えば、図２のように、ｎ＝２では、読取り領域によって占有される面積は、全画素面積の少なくとも約半分であるべきである。ｎ＝３では、読取り領域によって占有される面積は、全画素面積の少なくとも約３分の２であるべきである。一方、ある状況下では、デッド・スペースによって占有される各画素の表面積の割合は、１＜ｍ＜２として、（ｎ−１）／ｎ未満、例えば（ｎ−ｍ）／ｎとすることが可能である。パラメータｍが２に近過ぎない限り、空間解像度の向上を保証するために、図５に関連して以下において記述される後処理を使用することができる。
【００２５】
読取り領域１８．１ｒは、図２Ａに示されるように、感光性領域１８．１ｐと同じ側面上に配置されことが可能であり、または画素の異なる側目上に配置されることが可能である。後者の構成は、図６の光センサ８８において示され、読取り領域８８．１ｒは、感光性領域８８．１ｐと反対の側面上に配置される。いくらかより複雑になるが、当業者なら他の構成を容易に構想することができる（例えば、１つの読取り領域が各感光性領域の側縁の１つまたは複数に沿って配置され、１つまたは複数の読取り領域が上部縁および／または底部縁に沿って配置される）。さらに、図２および６は、感光性領域が本質的に同じ平面上に配置されているかのように感光性領域を示すが、感光性領域は、多層撮像デバイス構造の異なる平面上に配置されることも可能である。例えば、読取り領域を感光性領域の下に配置することにより、感光性であるデバイス表面積の割合は増大するが、より複雑な処理を代償とする。
【００２６】
当業者なら、Ｎが通常は８よりはるかに大きく（例えば、１０６の大きさ）、ｎが２よりいくらか大きいことが可能である（しかし、複雑さは付随して増す）ことを理解するという認識のもとに、簡単にし、かつ例示を容易にするためにのみ、Ｎ＝８（図２Ｂおよび６に示されるように、それぞれが４つの画素を有する２つの列）ならびにｎ＝２［図２Ａおよび６に示されるように、２つの読取り領域１８．１ｒ（８８．１ｒ）に結合された各感光性領域１８．１ｐ（８８．１ｐ）］を選択した。
【００２７】
ＣＣＤ１８（８８）は、シャッタが開いたままであり、したがって物体１２からの光がＣＣＤに当たる時間期間中、レンズ・システム１６の焦点に関して量Δだけ横方向位置を変化させるように構成される。横方向位置によって、ＣＣＤは、通常、ＣＣＤの列に対して横の方向に移動することを意味する。したがって、移動方向は、列（図２Ｂ）の方向に対して垂直、またはそれに対して斜め（図示せず）とすることが可能である。画素は、アレイにおける感光性領域のピッチの半分にほぼ等しい距離Δだけ変位されることが好ましい。
【００２８】
この移動を実施するために、ＣＣＤ１８（８８）は、図３Ａに示されたタイプの電気機械式トランスレータ５０に取り付けられる。トランスレータ５０は、カメラ１０の内部に堅固に取り付けられたフレーム５０．１、およびＣＣＤ１８がスライド式に配置されるチャネル５０．２を含む。第１位置において、ＣＣＤ１８は、チャネル５０．２の一端において機械ストップ５０．３に当接し、第２位置において、チャネル５０．２の反対端部において機械ストップ５０．５に当接する。第３位置において、ＣＣＤ１８（８８）は、ストップ５０．３との当接に戻る。ＣＣＤの移動または併進は、センサ・ドライバ３６およびコントローラ２８（図１）からの制御信号に応答して、適切な周知の圧電作動装置（およびばねなどの関連する弾性手段）５０．４によって生じる。
【００２９】
通常の画素サイズは約５〜１０μｍなので、トランスレータ５０は、あらゆる振動を低減するように迅速な制動で、小さい着実なステップでＣＣＤ１８（８８）を移動させるように設計されるべきである。２〜６μｍの変位および１００ｋＨｚの共鳴周波数を有する圧電作動装置およびトランスレータが市販されている（例えば、Ｐｈｙｓｉｋ  ｌｎｓｔｒｕｍｅｎｔｅ［マサチューセッツ州オーバーンおよびドイツ、カールスルーエ／パルムバッハ在］のインターネット・ウェブサイトＵＲＬ  ｈｔｔｐ：／／ｗｗｗ．ｐｉ．ｗｓを参照されたい）。
【００３０】
本発明は、電子シャッタ（例えば、別々の露光を創出するようにＣＣＤをフラッシュおよび静止させる焦平面シャッタ）、または機械シャッタ（例えば、短い露光時間を達成するために共同して作用してスリットを形成する２つの可動カーテン）、あるいは両方と共に使用されることが可能である。あらゆる場合において、作動装置５０．４は、物体またはカメラが大きく移動する前に、ＣＣＤの２回以上の連続露光が行われるように十分迅速にＣＣＤの位置を変位させることができるべきである（例として、作動装置は、１０ｍｍ／ｓの大きさの速度でＣＣＤを変位させることができる）。以下で議論されるように、見かけの空間解像度の増大は、複数露光およびセンサの異なる位置における画像の読取りによって達成される。
【００３１】
本発明の様々な実施形態の動作を議論する前に、まず、露光という用語を定義する。当技術分野において周知であるように、ＣＣＤ１８（８８）の露光は、２つの事象の同時出現を含む：物体１２から発せられる光がＣＣＤ１８（８８）に当たり、入射光が、収集される画像データ（例えば、電子の形態の電荷担体）を生成する光学事象、およびＣＣＤ１８（８８）に加えられたタイミング信号が光センサ１８．１ｐ（８８．１ｐ）を電荷収集状態に置く電気事象。光学事象中、シャッタ１４は開いており、レンズ・システム１６は、物体１２からの光をＣＣＤ１８（８８）に集束させる。一方、電気事象中、タイマ３４からのタイミング信号は、各感光性領域１８．１ｐ（８８．１ｐ）内においてポテンシャル井戸を創出する。収集された電荷は、感光性領域がその後電荷移送状態に置かれるまで、すなわち、タイマ３４からのその後のタイミング信号が、捕獲された電荷を読取り領域１８．１ｒ（８８．１ｒ）に移送するまで、感光性領域１８．１ｐ（８８．１ｐ）のポテンシャル井戸に捕獲されている。
【００３２】
本発明によれば、シャッタ１４が開いている時間とシャッタが閉じられる次の時間との間の間隔中、複数露光が行われる。したがって、シャッタ１４が開いている間、光が撮像デバイス１８（８８）に連続して入射する状態で、タイマ３４からのタイミング信号は、電荷収集状態と電荷移送状態の間で感光性領域を循環する。各露光の長さは、感光性領域が各周期中に電荷収集状態に依然としてある時間に対応する。例えば、感光性領域を電荷収集状態に置く第１タイミング信号と、収集された電荷を第１読取り領域に移送する第２タイミング信号との間に行われる第１露光に言及する。感光性領域を電荷収集状態に置く第３タイミング信号と、収集された電荷を第２読取り領域に移送する第４タイミング信号との間に行われる第２露光に言及する。同様にして、ｎ番目の露光を定義することができる。
【００３３】
動作時、シャッタ・ボタンが作動されるとき、コントローラ２８は、制御信号をシャッタ・ドライバ４０に送信し、これによりシャッタ・ドライバはシャッタ１４を開き、タイマ３４は、感光性領域１８．１ｐ（８８．１ｐ）を電荷収集状態に置くように、タイミング信号をＣＣＤ１８（８８）に送信する。第１露光に対応するこの時点で、ＣＣＤ１８は、図３Ａおよび図２Ｂの上部に示されるように第１位置にある。第１位置において、各画素１８．１の各感光性領域１８．１ｐは、物体１２からの光に露光され、これにより電荷が、キャパシタとして作用する領域１８．１ｐのポテンシャル井戸を満たす。第１露光後、タイマ３４は、追加のタイミング信号をＣＣＤ１８（８８）に送信し、それにより、これらの感光性領域１８．１ｐ（８８．１ｐ）のそれぞれに貯蔵されている電荷は、やはりキャパシタとして機能する読取り領域１８．１ｒ（８８．１ｒ）の第１サブセットに移送される。例えば、図２Ａの実施形態では、各感光性領域１８．１ｐに貯蔵されている電荷は、その上方読取り領域１８．１ｒ１に移送される。したがって、感光性領域１８．１ｐは、電荷が一掃され、その後の露光から光を受け取る（および電荷を貯蔵する）準備が整う。対照的に、図６の実施形態では、第１露光後、各感光性領域８８．１ｐからの電荷は、例えばその左側読取り領域８８．１ｒ１に移送される。したがって、感光性領域８８．１ｐは、電荷が一掃される。
【００３４】
シャッタ１４が依然として開いている状態で、ＣＣＤ１８（８８）全体は、新しい位置に変位される；すなわち、コントローラ２８は、制御信号をセンサ・ドライバ３６に送信し、これにより作動装置５０は、図２Ｂおよび３Ａに示されるように、ＣＣＤの列に垂直な方向に量ΔだけＣＣＤ１８（８８）を併進させる。ＣＣＤ変位動作中、ＣＣＤ１８は、物体１２からの光に依然として露光されている。しかし、タイマ３４は、変位動作中に収集されたあらゆるスプリアス電荷の感光性領域１８．１ｐ（８８．１ｐ）をリセットまたはフラッシュし、それらを電荷収集状態に戻すために、他のタイミング信号をＣＣＤ１８（８８）へ送信する。この段階で、第２露光が開始される；電荷は、感光性領域１８．１ｐ（８８．１ｐ）のポテンシャル井戸を再び満たすが、今回は、収集された電荷は、物体１２のわずかに異なる部分に対応する。以前デッド・スペースに当たった物体１２からの光が、この場合は感光性領域に当たっていることが重要である。第２露光が完了した後、タイマ３４は、追加のタイミング信号をＣＣＤ１８（８８）に送信し、それにより、電荷は、やはりキャパシタとして機能する読取り領域１８．１ｒ（８８．１ｒ）の第２サブセットに移送される。例えば、図２Ａの実施形態では、各感光性領域１８．１ｐからの電荷は、その下方読取り領域１８．１ｒ２に移送される。この段階において、読取り領域１８．１ｒ１は、第１露光からの電荷を含み、一方、読取り領域１８．１ｒ２は、第２露光からの電荷を含む。画素アレイ全体についての読取り領域の両セットからの電荷は、その後、信号プロセッサ２０に順次出力される。
【００３５】
対照的に、図６の実施形態では、第２露光後、各感光性領域８８．１ｐからの電荷は、例えば、その右側読取り領域８８．１ｒ２に移送される。したがって、感光性領域８８．１ｐは、電荷が一掃される。この段階で、読取り領域８８．１ｒ１は、第１露光からの電荷を含み、一方、読取り領域８８．１ｒ２は、第２露光からの電荷を含む。画素アレイ全体についての読取り領域の両方のセットからの電荷は、その後、並行して信号プロセッサ２０に出力される。例として、左読取り領域８８．１ｒ１の電荷は、カラム８８．２を下方に変位され、一方、右読取り領域８８．１ｒ２の電荷は、カラム８８．３を下方に変位される。
【００３６】
光センサ１８（８８）を複数露光間において変位させる正味の効果は、見かけの画素数をＮから２Ｎに増大させることによって、カメラの空間解像度を増大させることである（空間解像度によって、単位長さあたりの区別可能な線の数を意味する）。したがって、図２の例を使用して、センサ１８は、Ｎ＝８の画素しか有していないが（図２Ｂ）、２Ｎ＝１６の画素を有するセンサ１８’の解像度を有する（図２Ｃ）。同様の注釈が、図６の光センサに当てはまる。
【００３７】
一般的には、有効空間解像度は、カメラが感光性領域あたりｎの読取り領域を有し、かつシャッタが開かれるたびにｎの複数露光を提供するように設計されることを条件として、ＮからｎＮに増大される。さらに各画素の内部において、デッド・スペースと見なされる表面積の割合は、画素の全表面積の約（ｎ−１）／ｎより小さくないことが好ましい。
【００３８】
焦点に対するセンサの併進
センサ１８（８８）と焦点の間の相対併進は、レンズ・システム１６を操作することによって達成することもできる。この場合、センサ１８（８８）は静止しており、撮像レンズ・サブシステムの構成要素の１つまたは複数が移動され（例えば、併進、回転、または両方）、物体１２の画像を複数露光間において変位させることになる。
【００３９】
さらに、上述されたように、センサ１８（８８）の相対変位は、ＣＣＤの列に対して斜めに実施することができ（例えば、対角線に沿って）、これにより、相対変位前および相対変位後の感光性領域間おいて生じる重複の種類は実質的に変化する。例えば、例として垂直列および水平行に構成された画素を有する図２Ｂの光センサの実施形態では、変位Δの水平成分が感光性領域の幅ｗｐ＝ｍｄより小さい場合、そのような重複が存在し（図５のように）、変位Δの成分がこの幅に等しい場合、そのような重複は存在しない（図４のように）。さらに、変位が水平成分および垂直成分の両方を有する場合（すなわち、斜めの変位）、垂直成分は、どの感光性領域が重複するかに影響を与える。したがって、斜めの変位により、図５に示された２ではなく４つの第１露光感光性領域（図示せず）とそれぞれが重複する第２露光（変位された）感光性領域となることがある。
【００４０】
どちらの場合でも、次いで、周知の後信号処理ソフトウェアを使用して、実際の変位していない画素アレイより高い有効な解像度を与えるように、重複領域の２つの読取りの間に補間することができる。光センサ１８が、列に垂直な方向において感光性領域の中線間距離によって確定されたピッチ２ｄを有する（図４）画素の行および列の規則アレイ（例えば、図２Ｂ）を備える実施形態を考慮する。本発明の直接的な実施態様では、図４に示されるように、感光性領域１８．１ｐの幅ｗｐは、それらの領域間のピッチ２ｄの半分に等しくされ、画素は、第１露光後、距離ｄだけ変位される。第１露光中の画素の位置は、実線によって示され、第２露光中は、破線によって示されている。第１露光後、センサは、矢印６０の方向において右に変位され、次いで第２露光が行われる。したがって、実際に第２露光において測定される画像データは、ギャップまたは重複のない画素の連続配列を創出する。
【００４１】
他の実施形態では、センサ・アレイは、各感光性領域の面積が、画素変位方向が矢印７０によって示される図５に示されているように、より大きい、例えば半ピッチのｍ倍であるように設計される。この場合、２つの露光は空間的に重複し、ぼかし効果または平滑化効果を創出する。しかし、ｍが２に近過ぎない限り、ぼかしを簡単な信号処理で除去して、所望の半ピッチ解像度を得ることができる。より具体的には、ｍ＝１の場合に得られる画素値の理想的な配列は、ｘ［１］、ｘ［２］、ｘ［３］、．．．であると想定する。１＜ｍ＜２である場合、得られたぼかし配列は、ｙ［１］、ｙ［２］、ｙ［３］、．．．であり、ｙ［ｉ］は、式（１）によって与えられ、
【数１】
2009510976.tif 000003
上式で、ρ＝（ｍ−１）／２である。理想的な配列は、ｘ＝ｈ＊ｙを得るように、データｙを逆フィルタでたたみ込むことによって回復することができる。画像プロセッサ２４の内部に含まれる逆フィルタに必要な係数ｈ［ｉ］は、式（２）によって与えられる。
【数２】
2009510976.tif 000004
ρが１／２に近過ぎない限り、係数ｈ［ｉ］は、｜ｉ｜が増大するにつれ、迅速に減少し、それにより、配列は、少数の係数に切り詰めることができる。代替実施態様は、ｘ１＝ｙを設定し、次いでｎ＝１、２、．．．について式（３）によって与えられる形態のいくつかのヤコビ反復を実施する。
【数３】
2009510976.tif 000005
再び、ρが１／２に近過ぎない限り、この手続きは、わずかに数回の反復後にｘの良好な推定に収束する。
【００４２】
改良有効空間解像度の実施形態：デッド・スペースの他の形態
上述された本発明の実施形態は、感光性領域の間に配置された不感光性のまたは光が遮断された読取り領域の形態にあるデッド・スペースの存在のために有利である。しかし、上述された本発明の原理は、光センサが以下の他のタイプのデッド・スペースを含むデジタル・カメラに適用されることが可能である。例えば、（１）感光性領域の１つのサブセットが、感光性領域の少なくとも１つの他のサブセットとは異なる光の波長に対する感度（色感度）を有するデッド・スペース、および（２）感光性領域の１つのサブセットが、感光性領域の少なくとも１つの他のサブセットとは異なる光の強度に対する感度（露光感度）を有するデッド・スペースなど。これらの例では、感光性領域の１つのサブセットで画像データを収集する観点から、すべての他のサブセットは、デッド・スペースを構成すると見なされる。したがって、デッド・スペースは、読取り領域が感光性領域の下に埋め込まれる場合でさえ存在する。
【００４３】
デッド・スペースのタイプに関係なく、本発明のこれらの実施形態のすべては、前述されたように、各感光性領域に結合された複数の読取り領域、複数露光、ならびに露光間において焦点に対して光センサを変位させることを含む。
【００４４】
例えば、前述のＫｏｄａｋ  ＣＣＤ  Ｐｒｉｍｅｒの１０ページに記載されているタイプの色フィルタ・アレイを考慮する。色フィルタは、異なる光の波長（例えば、原色である赤、青、および緑のそれぞれ）に応答して異なる感光性領域をレンダリングするために使用される。１つの波長に応答する感光性領域は、他の光の波長に関してデッド・スペースであると見なすことができる。したがって、赤の光の観点から、緑および青の感光性領域は、デッド・スペースを構成する。同様に、緑の光の観点から、赤および青の感光性領域は、デッド・スペースを構成する、などである。したがって、我々の変位および複数露光の手法を使用して、ギャップを埋める方式を提供し、それにより、より高い空間解像度を達成することができる。例えば、周期的に繰り返され、かつ赤、緑、または青の光に対する応答性をそれぞれ指定するためにＲ、Ｇ、またはＢでそれぞれ標識付けされている感光性領域のアレイの以下の部分を考慮する。
ＲＢＲＢＲＢＲＢ
ＧＧＧＧＧＧＧＧ
ＲＢＲＢＲＢＲＢ
ＧＧＧＧＧＧＧＧ
光センサは、下方向においてかつ右に対角線状にレンズ・システムの焦点に対して変位される。その結果、カメラは、完全にサンプリングされた緑データのアレイを有効に認識し、一方、赤データについて以下に示されるタイプのパターンにおいて半分のみサンプリングされた青データのアレイおよび半分サンプリングされた赤データのアレイを有効に認識する。
Ｒ  Ｒ  Ｒ  Ｒ
Ｒ  Ｒ  Ｒ  Ｒ
Ｒ  Ｒ  Ｒ  Ｒ
Ｒ  Ｒ  Ｒ  Ｒ
代替として、以下のパターンを有する感光性領域のアレイでは、
ＲＧＢＲＧＢＲＧＢ
ＲＧＢＲＧＢＲＧＢ
ＲＧＢＲＧＢＲＧＢ
ＲＧＢＲＧＢＲＧＢ
我々のカメラは、２つの水平変位および３つの露光を使用することによって、各色について完全にサンプリングされたデータのアレイを有効に認識し、または、１つの水平変位および２つの露光を使用することによって、各色について２／３サンプリングされたデータのアレイを有効に認識する。
【００４５】
一方、光強度に対して異なる感度を有する感光性領域（例えば、感光性領域の１つのサブセットが相対的に高い感度を有し、少なくとも１つの第２サブセットが、相対的により低い感度を有するアレイ）を有する光センサを考慮する。当技術分野では、感度は、より大きな表面積を有する感光性領域において増大することが周知である。したがって、２つのサブセットは、異なる面積を有する感光性領域に対応することができる。したがって、両方のタイプの感光性領域を有する光センサを使用して、空間解像度を増大させることができるが、その理由は、より感度のある領域が、物体１２の暗い領域からの有用な読みを提供し、一方、より感度のない領域が、物体１２の明るい領域からの有用な読みを提供するからである。読みの２つのセットは、高コントラストのシーンの高品質画像を得るために、当技術分野において周知の後処理技法によって組み合わされる。
【００４６】
改良有効動的範囲の実施形態
本発明のＣＣＤおよびＣＭＯＳ光センサの実施形態において使用されるタイプの感光性領域は、αを感光性領域の感度、Ｉを感光性領域に入射する光の強度、ｔを露光時間として、積αＩｔによって与えられるエネルギーを有効に測定する。画像を生成するのに有用なデータを得るために、エネルギーは、上限と下限の間になければならず、これにより、光センサ、したがってカメラの動的範囲が画定される。物体（または物体を含むシーン）が比較的低いコントラストを有する場合、異なる感光性領域に当たる光の強度に大きなばらつきはない。したがって、感光性領域のすべてに適切な共通の露光時間を見つけるのは直接的である；すなわち、各感光性領域によって吸収されるエネルギーが動的範囲内にあるという意味で適切である。一方、物体またはシーンが比較的高いコントラストを有する場合、異なる感光性領域に当たる光の強度には大きなばらつきがある。したがって、感光性領域のすべてに適切な共通の露光時間が存在しない可能性がある。通常、兼合いが生じる。露光時間が長過ぎる場合、いくつかの感光性領域は飽和される；短過ぎる場合、その他は、雑音フロアにおいてデータを失う。
【００４７】
しかし、本発明の他の実施形態は、そのような光センサの有効動的範囲を増大させ、それにより、高コントラストの物体またはシーンにおいて使用するのにより適切となる。この場合、感光性領域のすべてが、本質的に同じ感度を有する。しかし、第１露光および第２露光は、異なる所要時間を有する。より具体的には、物体１２が、例えば高コントラストのシーンを構成する場合、第１露光は、感光性領域において電荷を生成する比較的短い所要時間（例えば、約０．５ｍｓから５ｍｓ）を有し、電荷は、その後、読取り領域の第１サブセットに移送されて貯蔵される。一方、第２露光は、感光性領域において電荷を生成する比較的より長い所要時間（例えば、約１０ｍｓから１００ｍｓ）を有し、電荷は、その後、読取り領域の第２サブセットに移送されて貯蔵される。次いで、両方のサブセットの貯蔵電荷は、読み取られて処理される。
【００４８】
本発明のこの実施形態は、前述されたように、各感光性領域に結合された複数の読取り領域、および複数露光を含むが、露光間に焦点に対して光センサを変位させる必要性を排除する。
【００４９】
例えば、図２Ｃに示されたように、本質的にデッド・スペースを有さず、かつ感光性領域の下に埋め込まれた読取り領域を有する１６の感光性領域のアレイを考慮する。比較的高いコントラストを有する物体またはシーンについて、カメラは、まず、短い露光画像を取り入れ、１６のデータ点を読取り領域の第１サブセットに記憶し、次いで、相対的により長い露光画像を取り入れ、１６の追加のデータ点を読取り領域の第２の異なるサブセットに記憶する（当然、露光の順序は反対にすることができる）。記憶されたデータは、物体またはシーンの同じ１６の空間位置に対応する。物体またはシーンの明るい領域のデータ点は、読取り領域の第１サブセットに記憶されている有用なデータであるが、読取り領域の第２サブセットでは飽和している。反対に、物体またはシーンの暗い領域のデータ点は、読取り領域の第２サブセットに記憶されている有用なデータであるが、読取り領域の第１サブセットでは非常に小さい（本質的にゼロ）。次いで、周知の信号処理技法を使用して、読取り領域の両方のサブセットに記憶されているデータを組み合わせて、１６の有用なデータ点を得る。
【００５０】
他の実施形態
上述された構成は、本発明の原理の適用を表すために考案することができる多くの可能な特定の実施形態の単なる例示であることを理解されたい。本発明の精神および範囲から逸脱せずに、当業者なら、これらの原理による多くの異なる他の構成を考案することができる。
【００５１】
具体的には、本発明の他の実施形態は、上記の手法のいくつかを組み合わせる。例えば、光センサがデッド・スペースを有し、ほぼ同じ感度および感光性領域あたり３つの読取り領域をすべてが有する感光性領域のアレイを備える場合、コントローラは、周期あたり３つの露光について設計することができる：第１および第２の短い露光（ＣＣＤはこれらの露光間に併進される）、ならびに第３のより長い露光（ＣＣＤは第２と第３露光の間で併進されない）。この実施形態は、物体１２の明るい領域について向上された解像度、および暗い領域について通常の解像度を提供する。
【００５２】
また、画像自体が複数露光の所要時間より迅速に変化している場合、我々のカメラによって創出された最終画像がぼやける可能性があることにも留意されたい。その場合、我々のカメラは、あらゆる外部振動に応答して露光中に光センサ１８を移動させるように、従来の技術によって記載される種類の機構を設けることが可能である。この設計は、写真家が三脚を使用せずに弱い光の条件下において鮮明な写真を撮ることを可能にし、既存のセンサの解像度を増大させるために複数露光について使用することもできる（例えば、両方とも参照によって本明細書に組み込まれている米国特許出願公開第２００３／０２１０３４３等および同２００４／０２４０８６７号を参照されたい）。
【００５３】
さらに、本発明は、複雑さをいくらか増すことを代償として、読取り中の画像のスメアを低減するという利点を有する。いくつかの実施形態においてＩＬタイプのＣＣＤアーキテクチャを使用することにより、完全フレーム・センサと比較して感光性領域の割合は減少するが、前述のＫｏｄａｋ  ＣＣＤ  Ｐｒｉｍｅｒに記載されているように、光を集中させ、感光性領域へ再び向ける周知のミクロレンズ・アレイによって、より低い感度を補償することができる。
【００５４】
さらに、列および行に構成された矩形画素の矩形アレイとして光センサ１８を示したが、当業者なら、本発明は、おそらくは複雑さの増大を代償とするとしても、画素が行／列以外の構成で構成される、および／または画素が矩形以外の形状を有する他のタイプのアレイで実施することができることを理解するであろう。
【００５５】
一般的には、画像は、データ平面が、特定のタイプの測定（例えば、入射光の色または強度に基づく測定、あるいは露光時間に基づく測定）に対応する数の２次元（２Ｄ）アレイである、複数のデータ平面を含むことが可能であることに注目する。アレイにおける数の位置は、測定が行われた物体または画像の上の空間位置に対応する。例えば、異なる感光性領域が色に対して異なる応答性を有する本発明の向上空間解像度の実施形態では、白黒写真は、１つのデータ平面からなり、一方、カラー写真は、３つのデータ平面、すなわち、ＲＧＢに対応する数の３つの２Ｄアレイを有する。一方、異なる感光性領域が光強度に対して異なる応答性を有する本発明の向上空間解像度の実施形態では、高感度で測定された数のアレイ、および低感度領域で測定されたアレイの２つのデータ平面が存在する。カメラの内部または外部におけるその後の処理が、複数のデータ平面を組み合わせて、単一の白黒またはカラー写真を形成する。これらの場合の両方において、本発明を使用して、物体または画像におけるデータ平面のそれぞれの空間解像度を増大させ、それにより、画像全体の空間解像度を増大させることが可能である。最後に、本発明の改良動的範囲の実施形態では、短い露光で測定された数のアレイ、およびより長い露光でのアレイ測定の２つのデータ平面が存在する。カメラの内部または外部におけるその後の処理が、複数のデータ平面を単一の写真に組み合わせる。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態によるデジタル・カメラのブロック図である。
【図２】本発明の一実施形態によるＣＣＤ画素の概略的な上面図である。
【図３】図１の撮像デバイス、したがって図２または図６の画素を変位させる例示的な装置の概略的な上面図である。
【図４】本発明の代替実施形態による、画素がどのように変位されるかを示す画素の概略的な上面図である。
【図５】本発明の代替実施形態による、画素がどのように変位されるかを示す画素の概略的な上面図である。
【図６】本発明の代替実施形態による、ＣＣＤ画素の概略的な上面図である。
【図１】
2009510976.tif 000006
【図２】
2009510976.tif 000007
【図３】
2009510976.tif 000008
【図４】
2009510976.tif 000009
【図５】
2009510976.tif 000010
【図６】
2009510976.tif 000011
【国際調査報告】
2009510976.tif 000012
2009510976.tif 000013
2009510976.tif 000014