(57)【特許請求の範囲】
【請求項１】
閉じられた(closed)光環境(light environment)において使用するための内視鏡(endoscopic)装置であって、
手持ち(hand holding)構造体(structure)、
本体(body)の第１の端部に内腔基部(lumen base)によって取り付けられた内腔(lumen)、および
前記本体の前記内腔基部と反対側の前記内腔の先端部(tip portion)
を備える、内視鏡本体と、
前記先端部の最も遠位の部分(distal most portion)に配置されたレンズと、
前記内腔の前記先端部近くに配置された撮像センサであって、
電磁放射を検出するための画素の配列、
前記画素配列によって発生されるデータを送信するための転送(transfer)ポート、
アナログ画素データをデジタルデータに変換するためのデジタイザ、
前記画素配列によって発生される前記データに対するオフセット制御をもたらすための黒クランプ回路、および
前記撮像センサと、前記撮像センサから遠隔に配置された画像信号処理回路との間の電気的通信をもたらす電気的接続部
を備える撮像センサと
を備え、
前記画素配列がアクティブ画素および光学黒画素を備え、前記光学黒画素は複数の列に構成され、前記画素配列内で前記アクティブ画素に隣接した光学黒行を含まず、
前記内視鏡装置は複数の制御レジスタをさらに備え、前記制御レジスタはシフトレジスタによってロードされるデジタルラッチであり、
前記シフトレジスタの１つがフレームごとのパラメータ変化に専用化される、内視鏡装置。
【請求項２】
前記アクティブ画素および前記光学黒画素は前記画素配列からの出力を較正する、請求項１に記載の内視鏡装置。
【請求項３】
前記光学黒画素は前記画素配列内で前記アクティブ画素に隣接した列に構成される、請求項１に記載の内視鏡装置。
【請求項４】
前記撮像センサが単一のデジタイザを備える、請求項１に記載の内視鏡装置。
【請求項５】
前記撮像センサが複数のデジタイザを備える、請求項１に記載の内視鏡装置。
【請求項６】
前記撮像センサが単一の出力ポートを備える、請求項１に記載の内視鏡装置。
【請求項７】
前記撮像センサが複数の出力ポートを備える、請求項１に記載の内視鏡装置。
【請求項８】
前記光学黒画素の列が、光学黒列の数を低減するために複数回サンプルされる、請求項３に記載の内視鏡装置。
【請求項９】
前記光学黒画素は前記画素配列内で前記アクティブ画素に隣接した列に構成され、前記光学黒画素の列は前記撮像センサの右側および左側に構成される、請求項１に記載の内視鏡装置。
【請求項１０】
前記撮像センサの右側の前記光学黒列の１つが複数回サンプルされる、請求項９に記載の内視鏡装置。
【請求項１１】
前記撮像センサの左側の前記光学黒列の１つが複数回サンプルされる、請求項９に記載の内視鏡装置。
【請求項１２】
前記撮像センサの右側の前記光学黒列の１つが複数回サンプルされ、前記撮像センサの左側の前記光学黒列の１つが複数回サンプルされる、請求項９に記載の内視鏡装置。
【請求項１３】
前記撮像センサの右側の複数の前記光学黒列が複数回サンプルされる、請求項９に記載の内視鏡装置。
【請求項１４】
前記撮像センサの左側の複数の前記光学黒列が複数回サンプルされる、請求項９に記載の内視鏡装置。
【請求項１５】
前記撮像センサの右側の複数の前記光学黒列が複数回サンプルされ、前記撮像センサの左側の複数の前記光学黒列が複数回サンプルされる、請求項９に記載の内視鏡装置。
【請求項１６】
前記黒クランプ回路が前記撮像センサに対して遠隔に配置される、請求項１に記載の内
視鏡装置。
【請求項１７】
前記装置が前記黒クランプ回路を制御するためのコマンドインターフェースをさらに備える、請求項１６に記載の内視鏡装置。
【請求項１８】
前記黒クランプ回路がデジタル−アナログ変換器によって発生される電圧を検出する、請求項１に記載の内視鏡装置。
【請求項１９】
前記黒クランプ回路がチャージポンプによって発生される電圧を検出する、請求項１に記載の内視鏡装置。
【請求項２０】
撮像センサ補正の一部分が前記撮像センサに対して遠隔に配置される、請求項１に記載の内視鏡装置。
【請求項２１】
撮像センサ補正のすべてが前記撮像センサに対して遠隔に配置される、請求項１に記載の内視鏡装置。
【請求項２２】
前記シフトレジスタの長さは任意である、請求項１に記載の内視鏡装置。
【請求項２３】
前記シフトレジスタがシリアル、２線式プロトコルを用いてロードされる、請求項１に記載の内視鏡装置。
【請求項２４】
前記撮像センサが複数の画素配列を備え、前記複数の画素配列は３次元画像を生成するために用いられる、請求項１に記載の内視鏡装置。
【請求項２５】
前記撮像センサが前記画素配列を備える第１の基板と、前記画素配列のためのサポート回路を備える第２の基板とをさらに備え、前記サポート回路を備える前記第２の基板は、前記画素配列を備える前記第１の基板から遠隔に配置される、請求項１に記載の内視鏡装置。
【請求項２６】
前記第１の基板が前記第２の基板に対して垂直に整列される、請求項２５に記載の内視鏡装置。
【請求項２７】
前記光学黒画素は前記画素配列内で前記アクティブ画素に隣接した列に構成され、前記光学黒画素の列はラインオフセットを計算するために複数回サンプルされる、請求項１に記載の内視鏡装置。
【請求項２８】
前記光学黒画素は前記画素配列内で前記アクティブ画素に隣接した複数の列に構成され、前記複数の列は前記黒クランプ回路、および画像信号プロセッサによって行われる黒クランプ計算のための、ベースライン黒レベルを計算するために用いられる、請求項１に記載の内視鏡装置。
【請求項２９】
前記黒クランプ計算が前記デジタイザに先行する電圧オフセットを制御するために用いられ、単純指数平滑法（ＳＥＳ）を用いてデータのフレーム全体内の全体的なオフセットを決定するために、複数のラインオフセットを用いる、請求項２８に記載の内視鏡装置。
【請求項３０】
イメージセンサによって発生される固定パターンノイズを補償するためにメモリ記憶された２次元フレームデータをさらに備える、請求項１に記載の内視鏡装置。
【請求項３１】
前記２次元フレームデータが暗フレーム捕捉から導き出される、請求項３０に記載の内視鏡装置。
【請求項３２】
前記暗フレーム捕捉が放射源をパルス化しないことによって容易にされる、請求項３１に記載の内視鏡装置。
【請求項３３】
画素オフセットが前記暗フレーム捕捉に対する単純指数平滑法によって算出される、請求項３１に記載の内視鏡装置。
【請求項３４】
周辺光が不足(ambient light deficient)した環境におけるデジタル撮像のためのシステムであって、
電磁放射を検出するための撮像センサであって、
電磁放射を検出するための画素の配列と、
前記画素配列によって発生されるデータを送信するための転送ポートと、
アナログ画素サンプルをデジタル数に変換するためのデジタイザと、
前記画素配列によって発生される前記データに対するオフセット制御をもたらすための黒クランプ回路と
を備える、撮像センサと、
前記周辺光が不足した環境にアクセスするための内視鏡と、
前記内視鏡に取り付けられたハンドピースであって、前記ハンドピースを操ることによって前記内視鏡を操作することができる、ハンドピースと、
プロセッサを備える制御ユニットであって、前記撮像センサと電気的に通信することができる、制御ユニットと、
前記ハンドピースと前記制御ユニットを電気的に接続する接続ケーブルと
を備え、
前記画素配列がアクティブ画素および光学黒画素を備え、前記光学黒画素は複数の列に構成され、前記画素配列内で前記アクティブ画素に隣接した光学黒行を含まず、
前記システムはトップレベル事象(event)１ビットコマンドのために用いられるコマンドレジスタをさらに備える、システム。
【請求項３５】
前記画素配列が前記画素配列からの出力を較正するためのアクティブ画素および光学黒画素を備える、請求項３４に記載のシステム。
【請求項３６】
前記光学黒画素が、前記画素配列内でアクティブ画素に隣接した列に構成される、請求項３５に記載のシステム。
【請求項３７】
前記画素配列から遠隔に配置することができる、黒クランプ制御プロセスをさらに備える、請求項３４に記載のシステム。
【請求項３８】
前記画素配列によって生成され得る画像データを処理するためのプログラマブルゲートアレイをさらに備える、請求項３４に記載のシステム。
【請求項３９】
５０個より少ない数の光学黒画素列をさらに備え、それによりそれらは精度をもたらすために前記システムの動作内で再サンプルすることができる、請求項３４に記載のシステム。
【請求項４０】
前記光学黒画素の列は、前記アクティブ画素列の互いに対向する第１の側および第２の側に均一に配置されている請求項３５に記載のシステム。
【請求項４１】
前記光学黒画素の列は、前記アクティブ画素列の互いに対向する第１の側および第２の側に不均一に配置されている、請求項３５に記載のシステム。
【請求項４２】
光学的黒画素によって受け取られた前記データを平均化し、前記平均を前記システム内のメモリに記憶された所定の目標値と比較する、黒クランプ制御プロセスをさらに備える、請求項３５に記載のシステム。
【請求項４３】
フレーム全体に対する１組の測定された補正されていないラインオフセットを累積する
ためのメモリをさらに備える、請求項３４に記載のシステム。
【請求項４４】
暗電流を補償するための電圧を制御するためのデジタル−アナログ変換回路をさらに備える、請求項３４に記載のシステム。
【請求項４５】
暗電流を補償するための電圧を制御するためのチャージポンプ回路をさらに備える、請求項３４に記載のシステム。
【請求項４６】
複数のレジスタをさらに備える、請求項３４に記載のシステム。
【請求項４７】
前記トップレベル事象(event)１ビットコマンドは、チップリセットまたは他のレジスタに対するロードである、請求項３４に記載のシステム。
【請求項４８】
前記ハンドピースに対して遠位の部分において、前記内視鏡内に配置されたイメージセンサをさらに備える、請求項３４に記載のシステム。
【請求項４９】
前記ハンドピースに配置されたイメージセンサをさらに備える、請求項３４に記載のシステム。
【請求項５０】
放射源から前記内視鏡の先端まで光ファイバを通して伝送される、電磁放射のパルスを放射するための前記放射源をさらに備える、請求項３４に記載のシステム。
【請求項５１】
発光源から前記内視鏡に電磁放射を伝送するための光ファイバと、前記制御ユニットからイメージセンサへの電子的通信をもたらすための導電性の線材とを備えたケーブルをさらに備える、請求項３４に記載のシステム。
【請求項５２】
前記制御ユニット内に配置され、発光源および前記撮像センサと電気的に通信するコントローラをさらに備える、請求項３４に記載のシステム。
【請求項５３】
前記ハンドピース内に配置され、発光源および前記撮像センサと電気的に通信するイメージセンサをさらに備える、請求項３４に記載のシステム。
【請求項５４】
放射源に結合されたイメージセンサをさらに備える、請求項３４に記載のシステム。
【請求項５５】
各ライン内の１組の光学黒画素を用いて測定されたライン平均を差し引くことによってラインノイズを補正するための、遠隔に処理されるアルゴリズムをさらに備える、請求項３４に記載のシステム。
【請求項５６】
画素データを送信するための複数の転送ポートをさらに備える、請求項３４に記載のシステム。
【請求項５７】
複数のデジタイザをさらに備える、請求項３４に記載のシステム。
【請求項５８】
前記画素配列に対して遠隔に配置されたデジタイザをさらに備える、請求項３４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明の一実施例は、例えば、最小面積モノリシックＣＭＯＳイメージセンサを用いたカメラシステムに関する。
関連出願の相互参照
本出願は、本明細書の以下で特に現れる部分を非限定的に含み、それらの全体が本明細書に組み込まれる２０１２年７月２６日に出願した米国特許仮出願第６１／６７６，２８９号、および２０１３年３月１５日に出願した米国特許仮出願第６１／７９０，５９０号の利益を主張するものであり、参照による組み込みは以下を例外とし、すなわち上述の出願のいずれかの部分が本出願と矛盾する場合は、本出願が前記上述の出願に優先する。
【背景技術】
【０００２】
[0001]技術の進歩は、医療用途のための撮像能力の進歩をもたらした。最も有益な進歩の一部の恩恵を受けた１つの領域は、内視鏡を構成する構成要素が進歩したことによる、内視鏡外科手術の領域である。例えば関節鏡検査および腹腔鏡検査において用いられる従来の内視鏡は、イメージセンサが、装置の近位端において、ハンドピースユニット内に配置されるように設計される。このような構成では内視鏡ユニットは入射光を、その長さに沿って、複雑な１組の正確に結合された構成部品を通じて、損失および歪みを最小にしながらセンサに向けて透過するべきである。構成部品は高価であり、製造プロセスは労働集約型となり得るので、内視鏡ユニットのコストはオプティクスによるものが支配的となり得る。さらのこのタイプのスコープは、機械的に繊細であり、比較的軽微な衝撃が容易に構成部品を損傷し、またはそれらの相対的な整列を乱し得る。これにより、画像品質を維持するために頻繁な、高価な修理サイクルが必要になる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
[0002]減じられた光環境において高品質のビデオストリームを維持することができ得る、内視鏡医療用途のための面積が縮小されたイメージセンサを実現するための方法およびシステムが必要とされ得る。センサの面積を縮小することによって、センサを内視鏡の遠位端に配置することが可能になり、したがってコストが大幅に低減する。これは修理または消毒サイクルが不要な、単回使用の内視鏡の可能性をもたらす。あるいはそれらは後に分解し、それらの構成部品の一部をリサイクルすることができる。
【課題を解決するための手段】
【０００４】
本願発明の一実施例は、例えば、最小面積モノリシックＣＭＯＳイメージセンサを用いたカメラシステムに関する。
【０００５】
[0003]理解され得るように本開示は、本明細書で開示され、本明細書における考察および添付の図によってさらに実際的となる、効率的および簡潔なやり方で、これを行うことができる方法およびシステムを提供する。
【０００６】
[0004]本開示の非限定的および非網羅的な実装形態について、別段の指定がない限り様々な図を通して同じ参照番号は同じ部品を指す、以下の図を参照して述べられる。本開示の利点については、以下の説明および添付の図面に関連して、よりよく理解され得る。
【図面の簡単な説明】
【０００７】
【図１Ａ】[0005]図１Ａは、従来技術において一般的な画素配列の一実装形態を示す図である。
【図１Ｂ】[0006]図１Ｂは、光学黒列内に形成された光学黒画素を有する、本開示の原理および教示により作製された画素配列の一実装形態を示す図である。
【図１Ｃ】[0007]本開示の原理および教示による、システム回路および補足的システムハードウェアの概略図である。
【図２】[0008]本開示の原理および教示による、アクティブ記録画素列と光学黒画素列の関係を示す、例示の画素配列を示す図である。
【図３】[0009]本開示の原理および教示による、アクティブ記録画素列と低減された数の光学黒画素列の関係を示す、例示の画素配列を示す図である。
【図４】[0010]本開示の原理および教示による、一実装形態による例示の方法のハードウェア流れ図である。
【図５】[0011]本開示の原理および教示による、一実装形態による例示の方法のハードウェア流れ図である。
【図６】[0012]本開示の原理および教示による、一実装形態による分割された光システムと共に用いるための例示の方法の流れ図およびハードウェア概略図である。
【図７】[0013]本開示の原理および教示による、一実装形態による例示の方法の流れ図である。
【図８Ａ】[0014]本開示の原理および教示による、一実装形態による例示の方法の流れ図である。
【図８Ｂ】[0015]本開示の原理および教示による、一実装形態による例示の方法の流れ図である。
【図９】[0016]一実装形態による例示の方法の流れ図である。
【図１０】[0017]本開示の原理および教示による、一実装形態による例示の方法のハードウェア流れ図である。
【図１１】[0018]図１１Ａは、本開示の教示および原理による、３次元画像を生成するための複数の画素配列を有する一実装形態を示す図である。                    図１１Ｂは、本開示の教示および原理による、３次元画像を生成するための複数の画素配列を有する一実装形態を示す図である。
【図１２】[0019]図１２Ａは、画素配列を形成する複数の画素列は第１の基板上に位置し、複数の回路列は第２の基板上に位置し、画素の１つの列とそれに関連するまたは対応する回路の列との間の電気的接続および通信を示す、複数の基板上に構築された撮像センサの一実装形態の斜視図である。                    図１２Ｂは、画素配列を形成する複数の画素列は第１の基板上に位置し、複数の回路列は第２の基板上に位置し、画素の１つの列とそれに関連するまたは対応する回路の列との間の電気的接続および通信を示す、複数の基板上に構築された撮像センサの一実装形態の側面図である。
【図１３】[0020]図１３Ａは、複数の画素配列およびイメージセンサが複数の基板上に構築される、３次元画像を生成するための複数の画素配列を有する、撮像センサの一実装形態の斜視図である。                    図１３Ｂは、複数の画素配列およびイメージセンサが複数の基板上に構築される、３次元画像を生成するための複数の画素配列を有する、撮像センサの一実装形態の側面図である。
【発明を実施するための形態】
【０００８】
[0021]本開示は、先進の内視鏡を実現するための方法、システム、およびコンピュータプログラム製品、および医療処置時のそれらの使用にわたる。以下の本開示の考察では添付の図面が参照される場合があり、それらは本明細書の一部となり、それらにおいて、本開示を実施することができる特定の実装形態が例示として示され得る。本開示の範囲から逸脱せずに、他の実装形態を利用することができ、構造的な変更を行うことができることが理解され得る。
【０００９】
[0022]関節鏡検査および腹腔鏡検査において用いられる従来の内視鏡は、イメージセンサが、装置の近位端において、ハンドピースユニット内に配置されるように設計される。このような構成では内視鏡ユニットは入射光を、その長さに沿って、複雑な１組の正確に結合された構成部品を通じて、損失および歪みを最小にしながらセンサに向けて透過するべきである。構成部品は高価であり、製造プロセスは労働集約型となり得るので、内視鏡ユニットのコストはオプティクスに関連するコストによって決まる。
【００１０】
[0023]上記の欠点に対する解決策は、内腔内の遠位端において、内視鏡自体内にイメージセンサを配置することであり、それによって例えば携帯電話カメラなどの関連するデバイスにおいて一般に実現され得る、より大きな光学的簡潔性、ロバスト性、および経済性を潜在的にもたらす。しかし、それ自体の１組の光学的課題をもたらすので、この手法に対する満足な解決策は決してささいでなく、とりわけセンサが極めて狭い面積内に適合すべきであることはささいなことではあり得ない。
【００１１】
[0024]センサ面積に挑戦的な制約を課すことは、結果として画素がより少なくおよび／またはより小さくなり得る。それにしたがって画素数を少なくすることは空間分解能に直接影響を及ぼす。また画素面積を縮小することは、利用可能な信号容量および感度を低下させ得る。信号容量を低下させることは、ダイナミックレンジ、すなわち大きな明るさの範囲を有してシーンからすべての有用な情報を同時に捕捉するカメラの能力を低下させることになる。撮像システムのダイナミックレンジを画素自体のそれよりも拡げるための様々な方法がある。しかしそれらのすべては何らかの犠牲（例えば分解能またはフレームレートにおいて）を伴い、極端な場合には、問題になる望ましくないアーチファクトを導入または強調させ得る。あるいは、感度を低下させることは、結果としてシーンのより暗い領域を満足な信号レベルにもたらすために、より大きな光パワーが必要になり得る。Ｆ値を小さくすることでも感度の低下を補償することもできるが、空間歪みおよび焦点深度の減少の代償を伴う。
【００１２】
[0025]撮像センサ技術においてＣＭＯＳイメージセンサは、それらの統合および操作のより高い容易性、より優れたまたは同等の画像品質、より広い用途、およびより低いコストのために、内視鏡などの最新のカメラ用途において、従来のＣＣＤ撮像素子を広く置き換えてきている。しかしＣＭＯＳセンサは、最適な結果を得るためには、考慮されるべきいくつかの望ましくない特性をもたらす。
【００１３】
[0026]イメージセンサは、画像情報をデジタルデータに変換するために必要な回路を含むことができ、センサチップ自体に組み込まれた様々なレベルのデジタル処理を有することができる。デジタル処理は、増幅器の挙動における変動から生じ得るＣＭＯＳセンサの非理想性を補正する目的の基本的アルゴリズムから、標準のｓＲＧＢ色空間でのビデオデータを生成する（オンチップカメラ）全面的な画像信号処理（ＩＳＰ）チェーンまでの範囲に及ぶ。
【００１４】
[0027]所与のカメラシステムに対するセンサの望ましい複雑さの程度は、いくつかの要因によって決定することができ、イメージセンサのために利用可能な物理的スペースが、その１つとなり得る。最も極端な機能的に最小のＣＭＯＳセンサは、基本的な画素配列、ならびにアナログデータをチップから外に駆動するためのシリアル化およびバッファリング回路のみをもつことになる。画素を動作させかつ読み出すために必要なすべてのタイミング信号は、外部的に供給され得る。制御信号を外部的に供給する必要性は、そうでなければ光を集めるためにより有効に使われ得る、大幅な占有面積を消費する、多くのパッドを追加することになり得る。したがって、電気的通信接続の必要性のため、画素配列の近くで機能を最小にすることが、使用する面積を最小にすることには必ずしもならない。
【００１５】
[0028]サポート回路が遠隔に配置される場合、および第２段がセンサからかなりの距離にある場合は、データをデジタル領域で送信することは、干渉ノイズおよび信号劣化の影響をほとんど受けないようにすることができるので、いっそう望ましいものとなる。導体の数を最小にすることは、複雑さおよびカメラ製造のコストを増大させることに加えて（スペースを消費する）センサ上のパッドの数を低減するので、強く望まれ得る。センサにアナログ−デジタル変換を追加することが必要になり得るが、アナログ信号をバッファリングおよび送信することに関連する信号劣化を保証する必要がないことで、追加の面積はある程度相殺され得る。面積の消費の観点では、ＣＩＳ技術において利用可能な通常のフィーチャサイズを前提として、図９に見られるように、１組の制御レジスタ、およびレジスタを制御する簡単なコマンドインターフェースを用いて、チップ上ですべての内部論理信号を発生することが好ましくなり得る。
【００１６】
[0029]高度に制御された照明環境での、低減された画素数を用いた高精細度の撮像は、高いフレーム捕捉レートに関連した光源におけるフレームごとのパルス化されたカラー切り換え、および特別に設計された単色センサによって達成することができる。面積が縮小されたイメージセンサの画素は、色を認識しないので、実効的な空間分解能は、従来の単一センサカメラにおけるカラー（通常はベイヤーパターンでフィルタされる）のものより、かなり高くなる。それらはまた、消耗される入射光子がずっと少ないので、より高い量子効率を有することができる。さらにベイヤーをベースとする空間的色変調は、ベイヤーパターンに関連する色アーチファクトをぼやけさせるために、単色の場合と比べて付随するオプティクスのＭＴＦが低くなることが要求される。これは、カラーセンサによって実現することができる実際の空間分解能に、有害な影響を及ぼす。
【００１７】
[0030]この特定の開示はまた、イメージセンサが内視鏡の遠位端に存在することができる、内視鏡用途のためのシステムソリューションに関係し得る。最小面積センサをベースとするシステムを得る努力においては、明白な画素数の低減を超えて、本明細書で述べられるように、開発することができる他の設計の側面がある。特に、チップへの接続部（パッド）の数と共に、チップのデジタル部分の面積が最小化されるべきである。本開示は、このようなシステムの実現のためにこれらの目標を達成する新規な方法について述べる。これは、いくつかの新規な特徴を有する、フルカスタムのＣＭＯＳイメージセンサを設計するものである。
【００１８】
[0031]本開示の実装形態は、以下でより詳しく述べられるように、例えば１つまたは複数のプロセッサおよびシステムメモリなどのコンピュータハードウェアを含む、専用または汎用コンピュータを備えるまたは利用することができる。本開示の範囲内の実装形態はまた、コンピュータ実行可能命令および／またはデータ構造を伝達するまたは記憶するための、物理的および他のコンピュータ可読媒体を含むことができる。このようなコンピュータ可読媒体は、汎用または専用コンピュータシステムによってアクセスすることができる、任意の利用可能な媒体とすることができる。コンピュータ実行可能命令を記憶するコンピュータ可読媒体は、コンピュータ記憶媒体（デバイス）である。コンピュータ実行可能命令を伝達するコンピュータ可読媒体は、伝送媒体である。したがって、例として非限定的に、本開示の実装形態は、少なくとも２つの明瞭に区別される種類のコンピュータ可読媒体、すなわちコンピュータ記憶媒体（デバイス）と伝送媒体とを備えることができる。
【００１９】
[0032]コンピュータ記憶媒体（デバイス）は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ソリッドステートドライブ（「ＳＳＤ」）（例えばＲＡＭに基づく）、フラッシュメモリ、相変化メモリ（「ＰＣＭ」）、他のタイプのメモリ、他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、またはコンピュータ実行可能命令またはデータ構造の形での所望のプログラムコード手段を記憶するために用いることができ、汎用または専用コンピュータによってアクセスすることができる任意の他の媒体を含む。
【００２０】
[0033]「ネットワーク」は、コンピュータシステムおよび／またはモジュールおよび／または他の電子デバイスの間での電子データの移送を可能にする、１つまたは複数のデータリンクとして定義することができる。情報がネットワークまたは他の通信接続（有線、無線、または有線または無線の組み合わせのいずれか）を通してコンピュータに転送または供給される場合は、コンピュータは接続を適切に伝送媒体と見なす。伝送媒体は、コンピュータ実行可能命令またはデータ構造の形での所望のプログラムコード手段を伝達するために用いることができ、汎用または専用コンピュータによってアクセスすることができる、ネットワークおよび／またはデータリンクを含むことができる。上記の組み合わせも、コンピュータ可読媒体の範囲内に含められるべきである。
【００２１】
[0034]さらに、様々なコンピュータシステム構成要素に到達するとすぐに、コンピュータ実行可能命令またはデータ構造の形でのプログラムコード手段は、自動的に伝送媒体からコンピュータ記憶媒体（デバイス）に転送され得る（または逆も同様である）。例えば、ネットワークまたはデータリンクを通して受け取られたコンピュータ実行可能命令またはデータ構造は、ネットワークインターフェースモジュール（例えば「ＮＩＣ」）内のＲＡＭにバッファすることができ、次いで最終的にコンピュータシステムＲＡＭ、および／またはコンピュータシステムにおける揮発性の低いコンピュータ記憶媒体（デバイス）に転送することができる。ＲＡＭはまた、ソリッドステートドライブ（ＦｕｓｉｏｎＩＯなどの、ＳＳＤまたはＰＣＩｘベースのリアルタイムメモリ階層化ストレージ）を含むことができる。したがってコンピュータシステム構成要素に、伝送媒体も（さらには主として）利用する、コンピュータ記憶媒体（デバイス）を含み得ることが理解されるべきである。
【００２２】
[0035]コンピュータ実行可能命令は例えば、プロセッサにおいて実行されたときに、汎用コンピュータ、専用コンピュータ、または専用処理デバイスに、特定の機能または一群の機能を行わせる命令およびデータを備える。コンピュータ実行可能命令は、例えば２進値、アセンブリ言語などの中間フォーマット命令、さらにはソースコードとすることができる。本主題については構造的特徴および／または方法論的動作に固有の用語で述べてきたが、添付の「特許請求の範囲」において定義される本主題は、必ずしも述べられる特徴または上述の動作に限定されない場合があることが理解され得る。むしろ述べられる特徴および動作は、諸請求項を実現する例示の形として開示される。
【００２３】
[0036]当業者には、本開示はパーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、ハンドヘルドデバイス、ハンドピース、カメラ制御ユニット、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話、ＰＤＡ、タブレット、ページャ、ルータ、スイッチ、様々な記憶装置などを含む、多くのタイプのコンピュータシステム構成を有するネットワークコンピューティング環境において実施できることが理解され得る。本開示はまた、ネットワークを通してリンクされた（有線データリンク、無線データリンクのいずれかにより、または有線および無線データリンクの組み合わせにより）、ローカルおよびリモートコンピュータシステムの両方がタスクを実行する、分散システム環境において実施することができる。分散システム環境ではプログラムモジュールは、ローカルおよびリモートメモリ記憶装置の両方に配置することができる。
【００２４】
[0037]さらに適切な場合には、本明細書で述べられる機能は、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、またはアナログ構成要素の１つまたは複数において行うことができる。例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）およびプログラマブルゲートアレイ（ＰＧＡ）を、本明細書で述べられるシステムおよび手順の１つまたは複数を実行するようにプログラムすることができる。以下の説明および特許請求の範囲の全体にわたって、特定のシステム構成要素を指すために、いくつかの用語が用いられる。当業者には理解されるように、構成要素は異なる名前で呼ぶことができる。本文書では、名前が異なるが機能は異ならない構成要素は区別しないことが意図される。
【００２５】
[0038]イメージセンサは、オフセット較正の目的のために、特別な目的の、光学的に不感なまたは光学黒（ＯＢ）行（配列の上部および／または下部に）と、列（配列の右および／または左に）とを組み込むことができる。上部および下部ＯＢ行１０９と、左および右ＯＢ列１０７と共に、記録領域内の画素１０５を有する、イメージセンサ１０１の例示のレイアウトを図１Ａに示すことができる。ＯＢ行１０９は、通常はＯＢクランプアルゴリズムのために、アナログ画素黒レベルを監視するために用いられる。ＯＢ行１０９はまた、通常は列固定パターンノイズまたはＦＰＮ（ＣＦＰＮ）を打ち消す目的のデジタルアルゴリズムによって用いられる。一実施形態ではガードリング１１１は、イメージセンサ１０１の周囲を取り囲むことができる。一方、ＯＢ列１０７は、通常はラインノイズを打ち消すための手段として、ラインオフセットを評価する目的を有する。ラインノイズは時間的なものとなり得るので、オフセットはフレームごとに各ラインに対して新たに算出されるべきである。
【００２６】
[0039]画素配列のサイズにおける全体的な縮小は、ＯＢ行１０９を取り除き、ＯＢクランプアルゴリズムのために、ＯＢ行１０９の代わりにＯＢ列１０７を用いることによって達成することができる（以下の考察を参照）。一実装形態では、ＣＦＰＮを含むすべてのＦＰＮタイプは、暗データのフレームを取得することによって打ち消すことができ、それによって専用のＣＦＰＮ補正、およびその関連するＯＢ行１０９の必要性をなくする。図１Ｂは、ＯＢ行は存在しないが代わりにＯＢ列１０７を備える、まさにそのようなイメージセンサ１０１および画素配列１０５の一例を示す。
【００２７】
[0040]図１Ｃは、例示のコンピューティングデバイス１００を示すブロック図とすることができる。コンピューティングデバイス１００は、本明細書で述べられるようなものなどの、様々な手順を行うために用いることができる。コンピューティングデバイス１００は、サーバ、クライアント、または任意の他のコンピューティング構成要素として機能することができる。コンピューティングデバイスは、本明細書で論じられる様々な監視機能を行うことができ、本明細書で述べられるアプリケーションプログラムなどの、１つまたは複数のアプリケーションプログラムを実行することができる。コンピューティングデバイス１００は、デスクトップコンピュータ、ノートブックコンピュータ、サーバコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータなどの多種多様なコンピューティングデバイスの任意のものとすることができる。
【００２８】
[0041]コンピューティングデバイス１００は、１つまたは複数のプロセッサ１０２、１つまたは複数のメモリデバイス１０４、１つまたは複数のインターフェース１０６、１つまたは複数の大容量記憶装置１０８、１つまたは複数の入力／出力（Ｉ／Ｏ）デバイス１１０、およびディスプレイ装置１３０を含み、これらのすべてはバス１１２に結合される。プロセッサ１０２は、メモリデバイス１０４および／または大容量記憶装置１０８に記憶された命令を実行する、１つまたは複数のプロセッサまたはコントローラを含む。プロセッサ１０２はまた、キャッシュメモリなどの様々なタイプのコンピュータ可読媒体を含むことができる。
【００２９】
[0042]メモリデバイス１０４は、揮発性メモリ（例えばランダムアクセスメモリ（ＲＡＭ）１１４）、および／または不揮発性メモリ（例えばリードオンリメモリ（ＲＯＭ）１１６）などの様々なタイプのコンピュータ可読媒体を含む。メモリデバイス１０４はまた、フラッシュメモリなどの書き換え可能ＲＯＭを含むことができる。
【００３０】
[0043]大容量記憶装置１０８は、磁気テープ、磁気ディスク、光ディスク、固体メモリ（例えばフラッシュメモリ）などの様々なコンピュータ可読媒体を含む。図１Ｃに示されるように、特定の大容量記憶装置は、ハードディスク装置１２４とすることができる。様々なコンピュータ可読媒体から読み出すおよび／またはそれらに書き込むことを可能にするために、大容量記憶装置１０８にはまた様々な装置を含むことができる。大容量記憶装置１０８は、リムーバブル媒体１２６および／または非リムーバブル媒体を含む。
【００３１】
[0044]Ｉ／Ｏデバイス１１０は、データおよび／または他の情報を、コンピューティングデバイス１００に入力するまたはそれから取り出すことを可能にする様々なデバイスを含む。例示のＩ／Ｏデバイス１１０は、カーソル制御デバイス、キーボード、キーパッド、マイク、モニタまたは他のディスプレイ装置、スピーカ、プリンタ、ネットワークインターフェースカード、モデム、レンズ、ＣＣＤまたは他の画像捕捉デバイスなど含む。
【００３２】
[0045]ディスプレイ装置１３０は、コンピューティングデバイス１００の１人または複数のユーザに情報を表示することができる、任意のタイプのデバイスを含む。ディスプレイ装置１３０の例は、モニタ、ディスプレイ端末、ビデオ投影装置などを含む。
【００３３】
[0046]また画素配列１３５を含むことができ、これはシステム内の他の回路に対して遠隔に動作することができる。
【００３４】
[0047]インターフェース１０６は、コンピューティングデバイス１００が、他のシステム、デバイス、またはコンピューティング環境と対話することを可能にする様々なインターフェースを含む。例示のインターフェース１０６は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ネットワーク、およびインターネットへのインターフェースなどの、任意の数の種々のネットワークインターフェース１２０を含むことができる。他のインターフェースは、ユーザインターフェース１１８および周辺装置インターフェース１２２を含む。インターフェース１０６はまた、１つまたは複数のユーザインターフェース要素１１８を含むことができる。インターフェース１０６はまた、プリンタ、ポインティングデバイス（マウス、トラックパッドなど）、キーボードなどのためのインターフェースなどの１つまたは複数の周辺インターフェースを含むことができる。
【００３５】
[0048]バス１１２は、プロセッサ１０２、メモリデバイス１０４、インターフェース１０６、大容量記憶装置１０８、およびＩ／Ｏデバイス１１０が互いに、ならびにバス１１２に結合された他のデバイスまたは構成要素と、通信することを可能にする。バス１１２は、システムバス、ＰＣＩバス、ＩＥＥＥ１３９４バス、ＵＳＢバスなどの、いくつかのタイプのバス構造の１つまたは複数を表す。
【００３６】
[0049]例示の目的のために本明細書では、プログラムおよび他の実行可能プログラムコンポーネントは個別のブロックとして示されるが、このようなプログラムおよびコンポーネントは、様々な時点においてコンピューティングデバイス１００の異なる記憶構成要素内に存在することができ、プロセッサ１０２によって実行されることが理解され得る。あるいは、本明細書で述べられるシステムおよび手順は、ハードウェアにおいてまたは、ハードウェア、ソフトウェア、および／またはファームウェアの組み合わせにおいて実現することができる。例えば、本明細書で述べられるシステムおよび手順の１つまたは複数をオン・ザ・フライで、またはシステムの初期化の前に実行するように、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）をプログラムすることができる。
【００３７】
[0050]ＯＢ列の数は、スペースの制約に応じて、典型的には１００以上となり得る。利用可能なＯＢが多いほど、ラインオフセット精度は高くすることができる。精度が高いことは、補正後のラインノイズが少ないことを意味する。通常は図２に示されるように、各ラインに対して、すべての利用可能な物理ＯＢが読み出されることになる。必要な数の物理ＯＢ画素を有する代わりに、（所与の一定の精度目標に対して）、より少ない数の物理画素が実装され、水平読み出しプロセス時にそれらが複数回、再サンプルされれば、さらなる配列サイズの縮小の程度を達成することができる。この手法は、図３に示される。
【００３８】
[0051]デジタイザの出力に存在する生のＣＭＯＳイメージセンサデータは、理想とは遠いものとなり得る。多くの場合、画素の水平行を読み出す最適の順序は、配列内の実際の物理的順序とは同じにならない。また生のデータは通常は、読み出しアーキテクチャの性質も反映する、望ましくないアーチファクトを示し、これは低い明るさおよびそれに対応する高いゲインの状況において非常に顕著となる。これらの読み出しアーチファクトは通常は、水平読み出しプロセスに関連する回路リセットの結果として生じ得る、列ごとのオフセットの変動および時間的ラインノイズから生じる、列ＦＰＮを含み得る。
【００３９】
[0052]画素内のフォトダイオードによって発生され得るある程度の暗信号が、ＣＭＯＳセンサのもう１つの性質となり得る。この電流から生じる積分された信号の大きさは、露出時間および温度の両方に依存する。この暗信号は、光信号と区別できない場合があるので、その変化は、アナログ領域における信号ペデスタルの変化となる。ＡＤＣの利用可能なダイナミックレンジを十分に活用するためには、暗信号をサンプルし、それに対して調整することが重要となり得る。図４は、これがＣＭＯＳセンサにおいて通常どのように行うことができるかを示す。ＯＢ画素からのデータは、オンチップロジック内で平均化され、目標デジタル黒レベルと比較することができる。黒レベルをできるだけ目標に近づけるために、入力オフセット電圧に対して連続的な調整が行われる。これは黒クランプ、またはＯＢクランププロセスと呼ぶことができる。
【００４０】
[0053]大部分の市販のセンサは、黒クランプおよびデジタルノイズ補正を行うために、チップ上にロジックを組み込んでいる。しかしこのロジックは、最小面積センサを有するカメラシステムを開発するための努力おいては、センサ上に存在する必要なく、これらの補正を画像信号処理チェーン（ＩＳＰ）に移動することは意味がある。これは、補正は多数の利用可能なゲートおよびＲＡＭと共に、ＦＰＧＡまたはＡＳＩＣ内に存在すればリソース制限となる度合いが低いので、全体のシステム性能に関して、実際には最終的に利点を有する。
【００４１】
[0054]図５は、どのようにしてＯＢクランプロジックをセンサから（センサ補正アルゴリズムと共に）移動できるかを示す。この場合は、ＯＢクランプロジックからのアナログ調整についての情報は、そのコマンドインターフェースを通じて、命令によってセンサに送信することができる。
【００４２】
[0055]図６は、最小面積センサを組み込んだシステムとの関連において開発された、ＩＳＰのフロントエンドの例示の実装形態を示す。この例ではセンサ上に、それぞれ偶数および奇数番号の列を変換し、２つの差動ポート上にシリアルデータを送信する、２つのデジタイザがある。
【００４３】
[0056]逆シリアル化に続いて、第１のプロセスは、各ポートに対するラインを適切な順序に再構成することに関係するものとすることができる。黒クランプおよびラインノイズ補正に対処する、次の２つの補正ブロックは、共にデータ経路に固有であり、すなわち２つのチェーンは別々に扱われることになる。
【００４４】
[0057]黒クランプ：図７の流れ図は、典型的に、従来型のチップ上のＣＭＯＳ撮像システム内でＯＢクランプロジックがどのように動作するかの一例とすることができる。典型的には、複数のＯＢ行から、フレームごとに行われる複数のサンプルおよびアナログ調整があり、一方、ＯＢ行画素はデジタル読み出し経路内にある。先に論じられたように、最小面積センサのために、ＯＢ画素の数は必要な最小に削減されるべきであり、これはＯＢ行を除去し、ＯＢ列を用いて黒クランプおよびラインノイズを較正することによって達成することができる。図８Ａおよび８Ｂの流れ図は、これを達成する方法の概略を示す。基本的な概念は、フレーム全体に対して１組の測定され、補正されないラインオフセットを累積し、最終の推定を用いて黒クランプ調整を行うものとすることができる。一方、それぞれの個々のラインオフセット推定は、個々のラインにデジタル調整を行うために、後のプロセスに供給することができる。
【００４５】
[0058]黒クランプレベルの調整は、センサ上のＤＡＣまたはチャージポンプを用いて、ＤＣ電圧（Ｖｂｌａｃｋｃｌａｍｐ）を制御することによって行うことができる。ＡＤＣに入る画素電圧オフセットは、例えばフォトダイオード内の暗電流により変動し、したがってＤＡＣは、デジタル領域における黒オフセットを評価することによって定期的に調整される必要がある。
【００４６】
[0059]正常に挙動しない個々のＯＢ画素は、黒オフセット測定の品質を大幅に悪化させる場合があり、したがってそれらに対処することが非常に重要となり得る。各ＯＢ画素に対して、当該の画素およびその４つの隣接のものを含む、５つからなるグループの中央値を取得することが、良好な手法となり得る。次いで最終のラインオフセット推定が、すべての中央値の平均として取得されることになる。始めと終わりにおいて統計量を失わないように、ＯＢのサンプルの全体をバッファし、５つからなるサンプルを循環させるなどの、何らかの対策がなされるべきである。これはデータのパイプライン化を必要とし、結果として少なくとも行当たり、ＡＤＣチャネル当たりのＯＢの総数に等しい遅延を生じる。
【００４７】
[0060]偶数チャネル（偶数−奇数の散在を有する２つのＡＤＣを仮定）に対する、ラインオフセット推定は、行番号をｒとして、
【００４８】
【数１】
0006461790.tif 000002
【００４９】
[0061]ここでＮＯＢは行当たりのＯＢ画素の総数とすることができ、μｉはＯＢ画素ｉに対する中央値とすることができ、ラインオフセットは次のように算出される。
【００５０】
【数２】
0006461790.tif 000003
【００５１】
[0062]同様に奇数チャネル（偶数−奇数の散在を有する２つのＡＤＣを仮定）に対する、ラインオフセット推定は、行番号をｒとして、
【００５２】
【数３】
0006461790.tif 000004
【００５３】
ただし、
【００５４】
【数４】
0006461790.tif 000005
【００５５】
[0063]全体的なフレーム黒レベルを取得するためには、すべてのラインオフセットを累積して、単純指数平滑法（ＳＥＳ）を用いて全体的な黒レベルを算出することが、良好な手法となり得る。ＳＥＳを用いることの利点は、フレームの終わりに向かって行は最終の黒推定により大きな影響をもち得ることであり、これはサブフレームのタイムスケール上で生じる黒オフセットの変化に対処するために望ましくなり得る。
【００５６】
[0064]ＳＥＳにおいては移動推定は、サンプルが利用可能となるたびに、増分的に調整することができる。都合のよいようにサンプルは、前回の推定に加えられる前に、２進数（２ｑ）で除算することができる。結果を正規化するために、前回の推定は毎回初めに（２ｑ−１）／２ｑで乗算することができる。高いｑの値は、結果として安定なシナリオにおいて時間にわたる、より高い統計的精度を生じる。低いｑの値は、急速な変化に対して、補正をより反応的にすることができる。ｑは、調整可能なパラメータとして利用できるようにするべきである。
【００５７】
【数５】
0006461790.tif 000006
【００５８】
ただし、ｋｒは行ｒの後の黒レベル推定とすることができ、Ｌｒは行ｒに対するラインオフセット推定とすることができる。黒クランプＤＡＣに対してどうすべきかについての決定は、配列内の最後の行が加えられた後に行うことができる。
【００５９】
[0065]黒クランプアルゴリズムは目標黒レベルを必要となり、これは調整可能なパラメータとして供給され得る。当該のチャネルのためのセンサ上の黒クランプＤＡＣは、観測された黒推定が目標より高いか低いかに応じて、押し上げられまたは押し下げられることになる。押し上げる大きさは、黒オフセットが目標に近いことを条件として、例えば最小単位すなわちＤＡＣの１カウントとすることができる。黒レベルが目標から大きく離れている場合は、より大きな比例的な押し上げを行うことができ、図８Ａを参照されたい。アルゴリズムは、黒クランプＤＡＣカウントとセンサＡＤＣカウントの間の対応性の粗い較正、および出力黒レベルに対するＤＡＣ調整の方向性を知ることが必要となる。
【００６０】
[0066]ラインノイズ補正：「ラインノイズ」は、画素の水平行のオフセットにおける確率的な、時間的変動を指す。複数の発生源があり得るが、画素の行が読み出されるたびにリセットされる、アナログ要素から生じるリセットノイズと考えることができる。これは時間的なものであり、新しい補正はフレームごとに、新しいラインのたびに算出されるべきである。ＡＤＣ入力における増幅段は最後のアナログ要素となり得るので、ラインノイズは、現象論的にＡＤＣチャネルごとに独立に現れ得ると考える妥当な理由があり得る。したがって、各ＡＤＣ（チャネル）を別々に補正することが最適な手法となり得る。
【００６１】
[0067]ラインオフセット推定のために用いられるＯＢ画素のサンプルは、補正が適用されるサンプルとは別のものとなり得るので（およびサンプル統計は有限であるので）、ラインノイズを完全に除去することは不可能となり得る。すべてのノイズがガウス分布であると仮定すると、補正後のラインノイズは、ＯＢ画素内に存在する画素時間的ノイズから生じる、ラインオフセット推定の不確かさにほぼ等しくなり得る。
【００６２】
【数６】
0006461790.tif 000007
【００６３】
ただし、σＬ，ｐｏｓｔは補正後の時間的ラインノイズ、σＰはＯＢ画素時間的ノイズ、ＮＯＢはＯＢ画素の数とすることができる。ラインノイズ補正はまた、主としてＯＢ画素内に存在する画素ＦＰＮの結果として、空間的ラインノイズ成分を導入する。
【００６４】
【数７】
0006461790.tif 000008
【００６５】
このアーチファクトは、チェーンにおいて後に、ＦＰＮ補正によって除去され得る。シミュレーションでは、時間的ラインノイズが目に付かないようにするためには、大きさが画素時間的ノイズの約１／１０未満となるべきであることが示された。この基準は、ライン当たり、少なくとも１００個のＯＢ画素が必要となることを示す。
【００６６】
[0068]光学的に観測される（クリア）画素に対するラインノイズ補正の適用：
ｘ’ｉ＝ｘｉ−Ｌ＋Ｂ
ただし、Ｌは「黒クランプ」モジュールからポートされた、現在のラインに対するラインオフセット推定、およびＢは黒クランプ目標レベルとすることができる。
【００６７】
[0069]全ライン再結合：これは単に２つのデータチャネルを全ラインに組み合わせるものである。これらは、最終的なクリア画素の順序が、配列内の正しい順序を反映するようにインターリーブされる必要がある。
【００６８】
[0070]ＦＰＮ補正：ＣＭＯＳイメージセンサは複数のノイズ源を有し、その大きさおよび外観は一連の物理条件に依存する。コヒーレントな成分を有しない純粋なポワソンまたはガウス分布時間的ノイズ（例えばショットノイズ、またはソースフォロワ１／ｆ読み出しノイズ）は、極めて自然なノイズに見える。すべての他の感知し得るノイズタイプは、同じ振幅に対してずっと大きな程度に画像品質を劣化させ得る。空間的ノイズ（ＦＰＮ）は特に顕著となる場合があり、ＣＭＯＳセンサは本質的に少なくとも２つの発生源、すなわち画素ＦＰＮおよび列ＦＰＮを有する。画素ＦＰＮは、主として画素ごとのフォトダイオード漏洩電流（暗信号）の変動（ＤＳＮＵ）による。この発生源は、接合温度（ＴＪ）に指数関数的に依存し、露出時間に線形的に依存し得る。列ＦＰＮは、読み出しアーキテクチャの結果となる場合があり、同じ列内からの画素が共通のアナログ読み出し要素を通じて通される。
【００６９】
[0071]通常はオンチップデジタルＦＰＮ補正は、列ＦＰＮ成分のみに対処するものであり、列当たり１つのオフセット補正レジスタを必要とする。このような補正の精度は、通常は列当たりおよそ２０ビットであり、これは１９２０×１０８０の配列に対して約５ｋＢのＲＡＭとなる。デジタルセンサ補正からＩＳＰへの移動の利点の１つは、ＲＡＭの容易な入手性である。これは任意の行、列、または画素ごとの成分も相殺する、包括的なＦＰＮ補正の可能性をもたらす。これは、それぞれの新しい暗フレームサンプルを、物理画素ごとをベースに、移動オフセット推定を調整するために用いることができる単純指数平滑法（ＳＥＳ）によって達成することができる。
【００７０】
[0072]プログラマブルデジタルゲイン：図６の最後のブロックは、プログラマブルデジタル増幅器に対応する。ＣＭＯＳ  ｉＳｏＣは通常は、非常に細かい増分を有するデジタルプログラマブルゲイン段が装備される。これは、通常はゲインおよび露出時間を変調する自動露出プロセスを容易にするためである。
【００７１】
[0073]デジタル増幅器は、センサＡＤＣのレンジをＩＳＰのレンジにそろえるために用いることができる（例えば１１ビットＡＤＣから１２ビットＩＳＰに対して２倍する）。小さな大きさのデジタルゲインはまた、ＡＤＣのフルレンジにおいて明瞭になる、デジタルラインノイズおよびＦＰＮ補正の跡を整形するために用いることができる。
【００７２】
[0074]構成レジスタアドレスＲＯＭの最小化：従来のＣＭＯＳイメージセンサは、どのようにセンサが動作するかを制御する目的のために、多くの書き込み可能なレジスタを組み込んでいる。それらは通常は、例えば画素収集および読み出しサイクル、増幅器オフセットおよびゲインなどのための、バイアス電圧および電流、タイミングパラメータを調整するためのＤＡＣ設定を組み込む。典型的には８ビットまたは１６ビットのデータを含む各レジスタに、特定の８ビットまたは１６ビットのアドレスを割り当てることが通常の慣例となり得る。
【００７３】
[0075]よりスペースを節約する手法は、大量の制御ＲＡＭを単一の長いレジスタに組み合わせるものである。極端な場合では、すべてのパラメータを単一のレジスタに置くことができ、アドレスＲＯＭは必要ない。しかし制御レジスタに書き込むのは時間がかかり、通常のビデオ用途は、フレームごとをベースとして少数の動作パラメータ（露出時間など）の変化を伴うものなので、この解決策は非常に実用的とはなり得ない。最も実用的な解決策は、機能的に関係するパラメータの組を少数の長いレジスタ内に連結することによってもたらされ得る。例えば１０個のレジスタ（４つのアドレスビットを要する）をもつことと、１個をもつこととで示唆されるスペースの違いは、無視できる程度となり得る。特に、高いレート（例えばフレームごと）で周期的に書き込まれるすべてのパラメータが、書き込むのに必要な時間を最小に保つために、専用のレジスタ（フレームレジスタ）内に一緒に属するようにすることは意味がある。このようなパラメータは、露出時間、ゲイン、増分オフセット調整、および連続した高品質ビデオを維持するために必要なその他のものを含む。デジタルデータ経路ロジックが、前述のようにチップから移動された場合は、黒クランプ電圧調整データも、やはりフレームごとに更新されるべきであるので、このようなレジスタに属する。一実装形態では、この構成フェーズの間にレジスタに書き込むことができ、したがって全体のフレームタイミングに対する、フレームレジスタ書き込みのタイミングは、カメラによって注意深く制御されるべきである。
【００７４】
[0076]パラメータのレジスタグループ化の他の例は、アナログ電流、アナログ電圧、画素タイミング、垂直タイミング、センサコマンド（リセットその他）などを含み得る。図９に、特定の最小面積センサに対するレジスタの構成を示すことができる。「コマンド」レジスタは、チップリセット、およびそれより下に示される他のレジスタに対するロードなどの、トップレベル事象指向１ビットコマンドのために用いることができる。２線式プロトコルアドレスデコーダは、到来する２線式プロトコルデータをどのシフトレジスタに向けて方向付けるかを決定する。「フォーマット」レジスタにロードするためには、例えば外部コントローラは、フォーマットレジスタに関連付けられたアドレスを有するコマンドを送出する。これは、データのストリームをフォーマットレジスタのシフトレジスタ内に置く。次いでデータをラッチするために、特定の「ロードフォーマット」ビットがセットされた状態でフォローアップコマンドを、コマンドレジスタに送出することができる。複数の制御レジスタが用いられ得ることが理解されるであろう。制御レジスタは、シフトレジスタによってロードすることができるデジタルラッチとすることができる。シフトレジスタの長さは任意とすることができる。一実施形態では複数の制御レジスタの大部分は、数十ビットを含むシフトレジスタを用いてロードすることができる。一実施形態では複数の制御レジスタの大部分は、数百ビットを含むシフトレジスタを用いてロードすることができる。一実施形態では複数の制御レジスタの大部分は、数千ビットを含むシフトレジスタを用いてロードすることができる。一実施形態ではシフトレジスタは、シリアル、２線式プロトコルを用いてロードすることができる。一実施形態ではシフトレジスタの１つは、例えば積分時間および黒クランプオフセット調整などの、フレームごとのパラメータ変化に対して専用とすることができる。
【００７５】
[0077]図１０は、センサが内視鏡ユニットの遠位端に組み込まれた、内視鏡用途のための最小面積センサの一実施形態に対する全体のブロック図を示す。
【００７６】
[0078]図１１Ａおよび１１Ｂは、本開示の教示および原理による、３次元画像を生成するための複数の画素配列を有する、モノリシックセンサ２９００の一実装形態のそれぞれ斜視図および側面図を示す。このような一実装形態は、３次元画像捕捉のために望ましく、２つの画素配列２９０２および２９０４は、使用時にオフセットされ得る。他の実装形態では、第１の画素配列２９０２および第２の画素配列２９０４は、電磁放射の所定の範囲の波長を受け取るための専用とすることができ、第１の画素配列は、第２の画素配列とは異なる範囲の波長の電磁放射に専用となる。
【００７７】
[0079]図１２Ａおよび１２Ｂは、複数の基板上に構築された撮像センサ３０００の一実装形態のそれぞれ斜視図および側面図を示す。図示のように、画素配列を形成する複数の画素列３００４は第１の基板３００２上に配置され、複数の回路列３００８は第２の基板３００６上に配置される。図にはまた、画素の１つの列と、その関連するまたは対応する回路の列との間の電気的接続および通信が示される。一実装形態では、他のやり方ではその画素配列およびサポート回路を単一のモノリシック基板／チップ上に有して製造されるイメージセンサは、サポート回路のすべてまたは大部分から分離された画素配列を有することができる。本開示は少なくとも２つの基板／チップを用いることができ、それらは３次元積層技術を用いて一緒に積層されることになる。２つの基板／チップの第１のもの３００２は、イメージＣＭＯＳプロセスを用いて処理することができる。第１の基板／チップ３００２は、全く画素配列のみ、または限られた回路に取り囲まれた画素配列から構成され得る。第２のまたは後続の基板／チップ３００６は、任意のプロセスを用いて処理することができ、イメージＣＭＯＳプロセスからのものである必要はない。第２の基板／チップ３００６は、非限定的に、基板／チップ上の非常に限られたスペースまたは面積内に多様なおよびいくつかの機能を統合するための高密度デジタルプロセス、または例えば精密なアナログ機能を集積するためのアナログプロセス、または無線能力を実装するためのＲＦプロセス、またはＭＥＭＳ（微小電気機械システム）デバイスを統合するためのＭＥＭＳとすることができる。イメージＣＭＯＳ基板／チップ３００２は、任意の３次元技法を用いて、第２のまたは後続の基板／チップ３００６と積層することができる。第２の基板／チップ３００６は、他のやり方では周辺回路として第１のイメージＣＭＯＳチップ３００２内に実装されることになり（モノリシック基板／チップ上に実装される場合）したがって増加された全体のシステム面積を有することになる、回路のほとんどまたは大部分を、画素配列サイズを一定に保ちながら、かつ最大限まで最適化されて、サポートすることができる。２つの基板／チップの間の電気的接続は相互接続部３００３および３００５を通して行うことができ、これはワイヤーボンディング、バンプ、および／またはＴＳＶ（シリコン貫通ビア）とすることができる。
【００７８】
[0080]図１３Ａおよび１３Ｂは、３次元画像を生成するための複数の画素配列を有する、撮像センサ３１００の一実装形態のそれぞれ斜視図および側面図を示す。３次元イメージセンサは、複数の基板上に構築することができ、複数の画素配列および他の関連する回路を備えることができ、第１の画素配列を形成する複数の画素列３１０４ａ、および第２の画素配列を形成する複数の画素列３１０４ｂは、それぞれの基板３１０２ａおよび３１０２ｂ上にそれぞれ配置され、複数の回路列３１０８ａおよび３１０８ｂは別の基板３１０６上に配置される。また列画素と、関連するまたは対応する回路の列との間の電気的接続および通信が示される。
【００７９】
[0081]本開示の教示および原理は、本開示の範囲から逸脱せずに、再使用可能装置プラットフォーム、限定使用装置プラットフォーム、リポーザブル使用装置プラットフォーム、または単回使用／使い捨て装置プラットフォームにおいて使用され得ることが理解されるであろう。再使用可能装置プラットフォームにおいては、装置の洗浄および殺菌はエンドユーザが責任をもつことが理解されるであろう。限定使用装置プラットフォームにおいては、装置は動作不能になる前に、ある指定された回数使用することができる。通常の新しい装置は消毒されて届けられ、追加使用は、エンドユーザが追加使用の前に洗浄および殺菌する必要がある。リポーザブル使用装置プラットフォームにおいては、新しいユニットより安いコストでの追加使用のために、装置すなわち単回使用装置を再処理（例えば洗浄、パーケージング、および殺菌）することができる。単回使用／使い捨て装置プラットフォームにおいては、装置は無菌で手術室に供給され、捨てられる前に１回だけ使用される。
【００８０】
[0082]閉じられた光環境において使用するための内視鏡の一実施形態は、内視鏡本体であって、手持ち構造体と、本体の第１の端部に内腔基部によって取り付けられた内腔と、本体の内腔基部と反対側の内腔の先端部とを形成する、内視鏡本体と、先端部の最も遠位の部分に配置することができるレンズと、内腔の先端部近くに配置することができる撮像センサであって、電磁放射を検出するための画素の配列であって、画素配列は、前記画素配列からの出力を較正するためのアクティブ画素および光学黒画素を有することができ、光学黒画素は、画素配列内でアクティブ画素に隣接した列に構成することができる、画素の配列と、画素配列によって発生されるデータを送信するための転送ポートと、アナログ画素サンプルをデジタル数に変換するためのデジタイザと、画素配列によって発生されるデータに対するオフセット制御をもたらすための黒クランプ回路と、黒クランプ回路を制御するための、メモリに記憶することができるプロセスと、撮像センサと、内視鏡本体内の撮像センサおよび制御ユニットとは遠隔に配置され得る画像信号処理回路との間の電気的通信をもたらすことができる電気的接続部とを備える、撮像センサとを備えることができる。
【００８１】
[0083]周辺光が不足した環境におけるデジタル撮像のためのシステムの一実施形態は、電磁放射を検出するための撮像センサであって、前記画素配列からの出力を較正するためのアクティブ画素および光学黒画素を有する、画素配列であって、光学黒画素は、画素配列内でアクティブ画素に隣接した列に構成することができる、画素配列と、画素配列によって発生されるデータを送信するための転送ポートと、アナログ画素サンプルをデジタル数に変換するためのデジタイザと、画素配列によって発生されるデータに対するオフセット制御をもたらすための黒クランプ回路と、黒クランプ回路を制御するための、システムのメモリに記憶することができるプロセスとをさらに備える、撮像センサと、周辺光が不足した環境にアクセスするための内視鏡と、前記内視鏡に取り付けられたハンドピースであって、前記ハンドピースを操ることによって前記内視鏡を操作することができる、ハンドピースと、プロセッサを備える制御ユニットであって、撮像センサと電気的に通信することができる、制御ユニットと、ハンドピースと制御ユニットを電気的に接続する接続ケーブルと、を備えることができる。
【００８２】
[0084]さらに本開示の教示および原理は、赤外線（ＩＲ）、紫外線（ＵＶ）、およびＸ線などの可視および非可視スペクトルを含む電磁エネルギーのあらゆる波長を含むことができる。
【００８３】
[0085]上記の説明は、例示および説明のために示されたものである。これは網羅的であること、または開示された正確な形に本開示を限定することを意図するものではない。上記の教示に照らして、多くの変更形態および変形形態が可能である。さらに、上述の代替実装形態のいずれかまたはすべては、本開示のさらなる複合実装形態を形成するために望まれる任意の組み合わせにおいて用いられ得ることが留意されるべきである。
【００８４】
[0086]さらに、本開示の特定の実装形態が説明され例示されたが、本開示は、そのように説明され例示された特定の形または構成に限定されるものではない。本開示の範囲は、本明細書に添付された特許請求の範囲、将来提出される特許請求、および異なる出願、およびそれらの等価なものによって定義されるものである。
【図１Ａ】
0006461790.tif 000009
【図１Ｂ】
0006461790.tif 000010
【図１Ｃ】
0006461790.tif 000011
【図２】
0006461790.tif 000012
【図３】
0006461790.tif 000013
【図４】
0006461790.tif 000014
【図５】
0006461790.tif 000015
【図６】
0006461790.tif 000016
【図７】
0006461790.tif 000017
【図８Ａ】
0006461790.tif 000018
【図８Ｂ】
0006461790.tif 000019
【図９】
0006461790.tif 000020
【図１０】
0006461790.tif 000021
【図１１】
0006461790.tif 000022
【図１２】
0006461790.tif 000023
【図１３】
0006461790.tif 000024