(57)【要約】【課題】センサピクセルアレイから２つの視野の画像を生成するための新規な方法および装置を提供する。【解決手段】この方法は、感知ピクセルのアレイを提供することを含む。アレイ中の感知ピクセルのブロックにそれぞれ対応する複数のディジタルデータストリームを連続的に生成することによって、アレイディジタルデータストリームを生成する。どのブロック中でもすべての感知ピクセルを同時にサンプリングする。アレイディジタルデータストリームから、第１および第２のディジタルビデオストリームを生成する。第１および第２のディジタルビデオストリームは、それぞれアレイの第１および第２の視野を含む。第１のディジタルビデオストリームの各ピクセルは、複数の感知ピクセルサンプルをフィルタリングおよびサブサンプリングした組合せに対応する。【選択図】図１
2004343760.tif 000002
【特許請求の範囲】
【請求項１】
感知ピクセルのアレイを提供するステップと、
前記アレイ中の前記感知ピクセルのブロックにそれぞれ対応する複数のディジタルデータストリームを連続的に生成することによって、アレイディジタルデータストリームを生成するステップと、
前記アレイディジタルデータストリームから第１および第２のディジタルビデオストリームを生成するステップと、を含み、
どの前記ブロック中でもすべての前記感知ピクセルが同時にサンプリングされ、
前記第１および第２のディジタルビデオストリームがそれぞれ前記アレイの第１および第２の視野を含み、前記第１のディジタルビデオストリームの各ピクセルが、複数の前記感知ピクセルサンプルをフィルタリングおよびサブサンプリングした組合せに対応する、
センサピクセルアレイから２つの視野の画像を生成する方法。
【請求項２】
前記第１の視野は前記アレイ全体を含む、請求項１に記載の方法。
【請求項３】
前記各感知ピクセルブロックはｎ×ｍアレイを含み、前記ｎおよびｍはそれぞれ１よりも大きい、請求項２に記載の方法。
【請求項４】
前記フィルタリングは、前記ブロックディジタルデータストリームの複数タップ水平フィルタリングおよび複数タップ垂直フィルタリングを含む、請求項２に記載の方法。
【請求項５】
前記フィルタリングは、フィルタタップ重みを掛ける乗算、加算、丸め、クリッピング、またはスケーリングを含む、請求項２に記載の方法。
【請求項６】
前記サブサンプリングは前記アレイの列方向と行方向のどちらかで実施される、請求項２に記載の方法。
【請求項７】
前記各感知ピクセルブロックは１×ｍアレイを含み、前記ｍはそれぞれ１よりも大きい、請求項２に記載の方法。
【請求項８】
前記第２の視野は前記アレイ全体の一部を含む、請求項２に記載の方法。
【請求項９】
前記第２のディジタルビデオストリームの各ピクセルが単一の前記感知ピクセルサンプルに対応する、請求項８に記載の方法。
【請求項１０】
前記アレイ全体に対する前記第２の視野の位置は可動である、請求項８に記載の方法。
【請求項１１】
前記アレイ全体に対する前記第２の視野の前記位置はフレームごとに可動である、請求項１０に記載の方法。
【請求項１２】
前記第２のディジタルビデオストリームをビデオフレームの先頭にリタイミングするステップをさらに含む、請求項８に記載の方法。
【請求項１３】
感知ピクセルのアレイを提供するステップと、
前記アレイ中の前記感知ピクセルのブロックにそれぞれ対応する複数のディジタルデータストリームを連続的に生成することによって、アレイディジタルデータストリームを生成するステップと、
前記アレイディジタルデータストリームから第１および第２のディジタルビデオストリームを生成するステップと、を含み、
どの前記ブロック中でもすべての前記感知ピクセルが同時にサンプリングされ、
前記第１および第２のディジタルビデオストリームがそれぞれ前記アレイの第１および第２の視野を含み、前記第１のディジタルビデオストリームの各ピクセルが、複数の前記感知ピクセルサンプルをフィルタリングおよびサブサンプリングした組合せに対応し、前記第１の視野が前記アレイ全体を含み、前記第２の視野が前記アレイ全体の一部を含み、前記アレイ全体に対する前記第２の視野の位置が可動である、
センサピクセルアレイから２つの視野の画像を生成する方法。
【請求項１４】
前記各感知ピクセルブロックはｎ×ｍアレイを含み、前記ｎおよびｍはそれぞれ１よりも大きい、請求項１３に記載の方法。
【請求項１５】
前記フィルタリングは、前記ブロックディジタルデータストリームの複数タップ水平フィルタリングおよび複数タップ垂直フィルタリングを含む、請求項１４に記載の方法。
【請求項１６】
前記フィルタリングは、フィルタタップ重みを掛ける乗算、加算、丸め、クリッピング、またはスケーリングを含む、請求項１４に記載の方法。
【請求項１７】
前記サブサンプリングは前記アレイの列方向と行方向のどちらかで実施される、請求項１４に記載の方法。
【請求項１８】
前記各感知ピクセルブロックは１×ｍアレイを含み、前記ｍはそれぞれ１よりも大きい、請求項１３に記載の方法。
【請求項１９】
前記第２のディジタルビデオストリームの各ピクセルは単一の前記感知ピクセルサンプルに対応する、請求項１３に記載の方法。
【請求項２０】
前記アレイ全体に対する前記第２の視野の前記位置がフレームごとに可動である、請求項１３に記載の方法。
【請求項２１】
前記第２のディジタルビデオストリームをビデオフレームの先頭にリタイミングするステップをさらに含む、請求項１３に記載の方法。
【請求項２２】
感知ピクセルのアレイと、
複数のアナログディジタル変換器と、
前記アレイ中の前記感知ピクセルのブロックにそれぞれ対応する複数のディジタルデータストリームを連続的に生成することによってアレイディジタルデータストリームを生成する手段と、
前記アレイディジタルデータストリームから第１のディジタルビデオストリームを生成するための第１の視野読出しブロックと、
前記アレイディジタルデータストリームから第２のディジタルビデオストリームを生成するための第２の視野読出しブロックと、を含み、
どの前記感知ピクセルのブロック中でもすべての前記感知ピクセルが前記アナログディジタル変換器によって同時にサンプリングされ、
前記第１のディジタルビデオストリームが前記アレイの第１の視野を含み、前記第１のディジタルビデオストリームの各ピクセルが、複数の前記感知ピクセルサンプルをフィルタリングおよびサブサンプリングした組合せに対応し、
前記第２のディジタルビデオストリームが前記アレイの第２の視野を含む、
第１および第２の視野を有するイメージャ装置。
【請求項２３】
前記第１の視野は前記アレイ全体を含む、請求項２２に記載の装置。
【請求項２４】
前記各感知ピクセルブロックはｎ×ｍアレイを含み、前記ｎおよびｍはそれぞれ１よりも大きい、請求項２３に記載の装置。
【請求項２５】
前記フィルタリングは、前記ブロックディジタルデータストリームの複数タップ水平フィルタリングおよび複数タップ垂直フィルタリングを含む、請求項２４に記載の装置。
【請求項２６】
前記フィルタリングは、フィルタタップ重みを掛ける乗算、加算、丸め、クリッピング、またはスケーリングを含む、請求項２４に記載の装置。
【請求項２７】
前記サブサンプリングは前記アレイの列方向と行方向のどちらかで実施される、請求項２４に記載の装置。
【請求項２８】
前記各感知ピクセルブロックは１×ｍアレイを含み、前記ｍがそれぞれ１よりも大きい、請求項２２に記載の装置。
【請求項２９】
前記第２の視野は前記アレイ全体の一部を含む、請求項２２に記載の装置。
【請求項３０】
前記第２のディジタルビデオストリームの各ピクセルは単一の前記感知ピクセルサンプルに対応する、請求項２９に記載の装置。
【請求項３１】
前記アレイ全体に対する前記第２の視野の位置は可動である、請求項２９に記載の装置。
【請求項３２】
前記アレイ全体に対する前記第２の視野の前記位置はフレームごとに可動である、請求項３１に記載の装置。
【請求項３３】
前記第２の視野読出しブロックは、前記第２のディジタルビデオストリームをビデオフレームの先頭にリタイミングする、請求項２９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度イメージャの設計に関し、より詳細には、広範囲ウィンドウと高解像度ウィンドウを同時に出力するイメージャに関する。
【背景技術】
【０００２】
本出願は、２００３年５月１３日に出願された米国仮出願第６０／４７０１４７号の優先権を主張するものであり、これを参照により本明細書に組み込む。
ビデオカメラで録画された場面を、広視野と高解像度の両方で提供することが望ましい場合がしばしばある。当技術分野では、これは２つのカメラを使用して達成されてきた。すなわち、広角カメラと高解像度カメラが電動プラットフォームと共に使用されてきた。これらの方法は、第２のカメラ、および回転プラットフォームなどの関連ハードウェアにより、コストが余計にかかるという欠点を被っている。
【０００３】
撮像システムに関係する従来技術の発明はいくつかある。Ｓｍｉｔｈに発行された米国特許第５,９２６,２１８号には、ビューファインダ画像を生成するための第１の低解像度センサと、高解像度画像を生成するための第２の高解像度画像センサとを備えるカメラが教示されている。Ｂｒａｕｎに発行された米国特許第５,５３２,７３７号には、複数のカメラがミラーシステムを介して同じ画像の異なる視野を受け取るように配置された、ビデオカメラシステムが記載されている。ＭｃＣｏｌｌｏｕｇｈに発行された米国特許第５,０６５,０２４号には、赤外線撮像システムが記載されている。このシステムでは、可変視野が可能である。一連の検出器を交換可能に使用して、可変視野を提供する。Ｚｗｉｒｎに発行された米国特許第５,０２３,７１９号には、赤外線カメラから複数のリアルタイム画像を提供する方法が教示されている。
【特許文献１】米国特許第５,９２６,２１８号
【特許文献２】米国特許第５,５３２,７３７号
【特許文献３】米国特許第５,０６５,０２４号
【特許文献４】米国特許第５,０２３,７１９号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の主要な目的は、効果的で非常に製造可能性の高いイメージャアーキテクチャを提供することである。
本発明の別の目的は、電動プラットフォームを必要とせずに、単一のカメラを使用して広視野と高解像度の両方を生成する方法を提供することである。
【０００５】
本発明の別の目的は、単一のセンサアレイを使用して複数の視野を生成する方法を提供することである。
本発明の別の目的は、フィルタリングおよびサブサンプリングによって、かつ複数のアナログディジタル変換器を使用して、単一のセンサアレイから複数の視野を生成する方法を提供することである。
【０００６】
本発明の別の目的は、別個のプロセッサを必要としない方法を提供することである。
本発明の別の目的は、光学部品の電動プラットフォームなしで複数の視野が可能なイメージャを提供することである。
【課題を解決するための手段】
【０００７】
本発明の目的により、センサピクセルアレイから２つの視野の画像を生成する方法が達成される。この方法は、感知ピクセルのアレイを提供することを含む。アレイ中の感知ピクセルのブロックにそれぞれ対応する複数のディジタルデータストリームを連続的に生成することによって、アレイディジタルデータストリームを生成する。どのブロック中でもすべての感知ピクセルを同時にサンプリングする。アレイディジタルデータストリームから、第１および第２のディジタルビデオストリームを生成する。第１および第２のディジタルビデオストリームは、それぞれアレイの第１および第２の視野を含む。第１のディジタルビデオストリームの各ピクセルは、複数の感知ピクセルサンプルをフィルタリングおよびサブサンプリングした組合せに対応する。
【０００８】
また、本発明の目的により、第１および第２の視野を有するイメージャ装置が達成される。この装置は、感知ピクセルのアレイと、複数のアナログディジタル変換器とを備える。アレイ中の感知ピクセルのブロックにそれぞれ対応する複数のディジタルデータストリームを連続的に生成することによってアレイディジタルデータストリームを生成する手段が備わる。どのブロック中でもすべての感知ピクセルがアナログディジタル変換器によって同時にサンプリングされる。第１の視野読出しブロックが、アレイディジタルデータストリームから第１のディジタルビデオストリームを生成する。第１のディジタルビデオストリームは、アレイの第１の視野を含む。第１のディジタルビデオストリームの各ピクセルは、複数の感知ピクセルサンプルをフィルタリングおよびサブサンプリングした組合せに対応する。第２の視野読出しブロックが、アレイディジタルデータストリームから第２のディジタルビデオストリームを生成する。第２のディジタルビデオストリームは、アレイの第２の視野を含む。
【０００９】
添付の図面は、この記述の物質的部分を形成する。
【発明を実施するための最良の形態】
【００１０】
本発明の好ましい実施形態により、新規な撮像方法および装置を開示する。電動の光学部品やプラットフォームなしで、単一のセンサアレイから狭視野と広視野の両方を提供することのできるイメージャが達成される。本発明はその範囲を逸脱することなく適用および拡張することができることは、当業者には明らかなはずである。
【００１１】
ここで図１〜６を参照しながら、本発明の複数視野イメージャを以下に例示し論じる。特に図１を参照すると、本発明の複数視野イメージャの好ましい一実施形態のブロック図が示されている。この装置は、ピクセルセンサアレイ１００と、ＡＤＣブロック１０２中の複数のアナログディジタル変換器１１６と、２つのウィンドウ読出しブロック１０４および１１４を備える。ピクセルセンサアレイ１００は、当技術分野で周知の要素であり、入射光を電気信号に変換する半導体材料などの材料を含む。アレイ１００は、入射光の中の画像を復号できるように多数の個別ピクセルを含む。通常、ピクセルはそれぞれ、入射光の強度に比例するアナログ電圧を生成する。アナログイメージャピクセル値は、並列アナログディジタル変換器（ＡＤＣ）ブロック１０２を使用してディジタル値に変換される。並列ＡＤＣブロック１０２は、並列接続された複数のアナログディジタル変換器（ＡＤＣ）サブブロック１１６を有し、各ＡＤＣサブブロック１１６は、ピクセルセンサアレイ１００中のピクセルのサブセットまたはブロックを変換する。図１には、８つのＡＤＣサブブロック１１６が示されている。ＡＤＣブロック１０２中のＡＤＣサブブロック１１６を並列で使用することにより、２Ｋ×２Ｋピクセルなどの場合の高解像度イメージャを高速で読み取ることができる。さらに、より多くのＡＤＣサブブロック１１６を使用してより多くの並列処理を生み出すほど、各ＡＤＣサブブロック１１６はより遅いクロックレートで稼動させることができる。クロックレートが遅いほど、各ＡＤＣサブブロック１１６から得られる精度は高くなる。
【００１２】
アナログディジタル変換器は、ブロック中の各ピクセルを同時にサンプリングして（この場合は一度に８ピクセルまで）、ブロックについてのディジタルストリームを生成する。次いで、ＡＤＣブロック１０２からのディジタルストリームは、複数のウィンドウ読出しブロックセット１０４および１１４に送られる。ピクセルのブロックは、ピクセルアレイ１００全体がフレームとして周期的にディジタル変換されるように、ＡＤＣブロック１０２によって連続的にサンプリングされる。生成された（ＡＤＣブロック１０２の並列出力としての）ブロックディジタルストリームの累積的な連続は、サンプリングされた各フレームに対する、アレイ全体のアレイディジタルストリームを形成する。
【００１３】
図１には、２つのウィンドウ読出しブロック、すなわち第１のウィンドウ読出しブロック１０４および第２のウィンドウ読出しブロック１１４が示されている。各「ウィンドウ」は、ピクセルセンサアレイの視野に対応する。第１のウィンドウ読出しブロック１０４は、第１の視野を制御し、第２のウィンドウ読出しブロック１１４は、第２の視野を制御する。ウィンドウ読出しブロック１０４および１１４はそれぞれ、フィルタ／サブサンプラ１０８、サブウィンドウセレクタ１１０、時分割マルチプレクサ１１２、リタイマ１２２などのサブブロックを含むことができる。ただし、ウィンドウ読出しブロック１０４および１１４は、必ずしもこれらのブロックすべてを含む必要はない。図１に示す例では、第１のウィンドウ読出しブロック１０４は、すべてのサブブロック、すなわちフィルタ／サンプラ１０８、サブウィンドウセレクタ１１０、時分割マルチプレクサ１１２、およびリタイマ１２２を示している。ウィンドウ読出しブロック１０４および１１４の出力１１８および１２０は、特定のサブウィンドウ中にあるピクセル値をラスタ走査順に表す連続的なサンプルストリームである。
【００１４】
ウィンドウ読出し回路１０４および１１４は、イメージャから出力されるウィンドウを制御する。イメージャがすべてのピクセル値を出力するのは望ましくない場合がしばしばある。例えば、３０フレーム／秒で各フレームにつき２Ｋ×２Ｋピクセルを出力する高解像度イメージャの場合、このイメージャを１２６メガヘルツ（ＭＨｚ）で読み出して処理しなければならない。この計算能力には、コストのかかるハードウェアが必要になる。さらに、この解像度のビデオは、既存のほとんどのモニタ、ビデオレコーダ、および処理装置に適合しない。これらのほとんどは、６４８×４８０のＶＧＡ解像度になる。サブウィンドウセレクタ１１０は、第１のディジタルビデオストリーム１１８に出力されることになるピクセルセンサアレイ１００のサブウィンドウを制御する。ウィンドウ位置指定ライン１２４および１２６が、選択されるウィンドウを決定する。ウィンドウ読出しブロック１０４および１１４の目的は、所望の解像度よりも大きい場合のあるイメージャエリアの選択領域を、所望の解像度で出力できるようにすることである。
【００１５】
ウィンドウ読出しブロックの動作を説明するために、第１のウィンドウ読出しブロック１０４を参照する。最初に、ＡＤＣ１１６からの並列のブロックディジタルストリームが、フィルタ／サブサンプラ１０８によって読み取られる。このブロックは、ピクセル値にディジタル空間フィルタを（場合によっては並列で）適用してからそれらをサブサンプリングするフィルタリング回路を含む。フィルタリングの目的は、サブサンプリングによって引き起こされるかもしれない画像中の空間エイリアシングを最小限に抑えることである。フィルタ／サブサンプラ１０８は、１つまたは複数の並列チャネル１１１上にサンプルを出力する。フィルタ／サブサンプラ１０８は、ビデオスカラチップと同様の目的を果たすが、処理速度の理由で、通常実施される場合のような連続的なストリームではなく、並列入力ストリームを使用して実現されなければならない。さらに、場合によっては、フィルタ／サブサンプラ１０８は、単一段だけを使用して実施するのではなく、パイプライン接続された複数のフィルタ段を使用して実現してもよいことに留意するのは重要である。このような複数段設計は、イメージャ回路が単一のチップ上に取り付けるには大きすぎ、したがって２つのチップ間で分割しなければならない場合、または既存のフィルタリングチップをイメージャと共に使用するのが望ましい場合に、望ましいことがある。
【００１６】
フィルタ／サブサンプラ１０８の出力は、サブウィンドウセレクタ１１０に送られ、サブウィンドウセレクタ１１０は、所望のサブウィンドウに含まれるサンプルを選択する。次いで、サブウィンドウセレクタ１１０からの出力は、時分割マルチプレクサ１１２によって処理される。時分割マルチプレクサ１１２は、並列ストリームからの選択されたサンプルを、サンプルがラスタ順に現れる単一の連続的なストリームにインターリーブする。サブウィンドウセレクタ１１０は、ウィンドウ位置指定ライン１２４を使用してサブウィンドウを外部から指定できるようにする。この指定は、人間のオペレータまたは自動プログラムによって提供することができ、フレームごとに変更することができる。サブウィンドウをフレーム間でずらすことにより、ディジタルパン／チルト機構が得られる。リタイマブロック１２２は、時分割マルチプレクサ１１２から出力されたディジタルピクセルストリームを、ディジタイザやビデオレコーダなどの標準装置への入力に適合するタイミングフォーマットに変換する。リタイマ１２２は、サブウィンドウセレクタ１１０が利用される場合にのみ必要である。というのは、サブウィンドウセレクタ１１０の出力のタイミングは、ピクセルセンサアレイに対するサブウィンドウの位置に依存するからである。
【００１７】
次に図２を参照すると、前述の設計のより具体的な一実施形態が示されている。高解像度ディジタルパン／チルト・イメージャは、例えば２５６０×１９２０ピクセルのピクセルセンサアレイを具備したピクセルセンサアレイ２００を有し、２つの画像読出し、すなわち広視野（ＷＦＯＶ）読出し２１８と狭視野（ＮＦＯＶ）読出し２４０を伴う。これらの画像読出し２１８および２４０すなわちディジタルビデオストリームは、それぞれＷＦＯＶブロック２０４およびＮＦＯＶブロック２１４に対応する。
【００１８】
ＷＦＯＶビデオ出力２１８は、イメージャ視野全体のビデオストリームだが、より低いサンプリング解像度であり、通常は６４０×４８０サンプル、すなわちおよそ４ピクセルごとに１サンプルである。このサンプル数は、ＷＦＯＶを１ピクセルごとに１サンプルの最高レートでサンプリングした場合に得られるであろう２５６０×１９２０サンプルよりも、計算的に処理が安価である。この出力を生成するために、ＷＦＯＶウィンドウ読出しブロック２０４は、フィルタ／サブサンプラ２０６および時分割マルチプレクサ２０８を含む。ＷＦＯＶ出力２１８はセンサアレイ２００の画像エリア全体をカバーするように意図されているので、サブウィンドウセレクタおよびリタイマは必要ない。ＮＦＯＶ読出し２４０は、元の最高サンプリングレート、例えばアレイ２００中のピクセルごとに１サンプルで得られる、イメージャの通常６４０×４８０サンプルのサブウィンドウであることが好ましい。したがって、ＮＦＯＶウィンドウ読出しブロック２１４は、単純にサブウィンドウセレクタ２２６、時分割マルチプレクサ２２８、およびリタイマ２３０で構成される。元のピクセル解像度が保持され、したがってフィルタ／サブサンプラは必要ない。
【００１９】
この場合、８つのＡＤＣ２１６を並列で使用して、アナログピクセルがディジタル値に変換される。ＡＤＣが２０ＭＨｚで稼動する場合、これは、２５６０×１９２０のピクセルアレイ全体を、３３ミリ秒の１フレーム時間未満で読み取れることを意味する。フィルタ／サブサンプラの設計は、ＡＤＣがイメージャ上でそれらのピクセル値を空間パターンから読み取る際の、空間パターンに大きく依存する。図３および４に、２つの基本的な読出し設計を示す。
【００２０】
図３を特に参照すると、ＡＤＣ３１６は、小ブロック３２０、この場合は４×２ピクセル寸法のブロック３２０を並列でディジタル化するように構成されている。各ＡＤＣはブロック３２０中の別個のピクセルを扱い、したがって、インターリーブされたピクセルが異なるＡＤＣによって読み取られる。このタイプの設計を、インターリーブ式ＡＤＣ設計と呼ぶ。図４を参照すると、各ＡＤＣ４１６は、インターリーブされないピクセルのセット４１０を担当し、したがって各ＡＤＣ４１６は実質的に、画像タイルを撮像する。このタイプの設計を、タイル化ＡＤＣ設計と呼ぶ。各ＡＤＣは、図示のように１×ｍサンプルとして行の一部または列の一部をサンプリングする。
【００２１】
インターリーブ式ＡＤＣとタイル化ＡＤＣの両方の設計で、フィルタ／サブサンプラは、フィルタ回路のセットを並列に適用する。図３に示したインターリーブ式ＡＤＣ設計では、各ＡＤＣ３１６は、ブロックまたはフィルタ近傍３２０中のピクセル３１８に接続し、かつ、前の隣接ブロックの読取り時に読み取られて記憶された値があればそれらにも接続する。次に図５を参照すると、図３のインターリーブ式４×２読出しをフィルタリングするための設計が象徴的に示されている。ブロック５００は、ピクセル５０２、５０４、５０６、５０８、５１０、５１２、５１４、５１６の４×２アレイを含む。６つのフィルタ回路をフィルタサブサンプラが備える３×３分離フィルタを使用する。このフィルタは、フィルタＡ５３０、Ｂ５３２、Ｃ５３４、Ｄ５３６、Ｅ５３８、Ｆ５４０を備える。フィルタＡ〜Ｄは３タップ水平フィルタリングを実施し、フィルタＥおよびＦは３タップ垂直フィルタリングを実施する。各フィルタ回路は、フィルタタップ重みを掛ける乗算、加算、丸め、クリッピング、スケーリングのための回路を含むことができる。フィルタＥ５３８およびＦ５４０の出力５３９および５４１は、フィルタ／サブサンプラブロックの出力である。この設計は、水平と垂直の両方で、係数２のサブサンプリングを実施する。明白なことだが、この接続性は、より大きい近傍のフィルタが使用される場合、または異なるサンプリングレートが望まれる場合には、変更しなければならない。周囲ピクセル５４２、５４４、５４６、５２０、５２２、５２４、５２６、およびフィルタモデル５５８および５６２が示されている。周囲ピクセルの値は、遅延モデル５５０、５５２、５５６、５６０、５６４を使用して組み込まれることに留意されたい。
【００２２】
次に図６を参照すると、タイル化ＡＤＣ設計の場合のフィルタ／サブサンプラ設計が象徴的に示されている。タイル化設計は、図４に示したとおりである。再び図６を参照すると、各タイル６０１〜６０８に対して、フィルタ回路６１１〜６１８およびサブサンプラ６２１〜６２８がある。この設計は単純だが、２つのタイルが接する縁部を扱うには特別な注意が必要である。
【００２３】
前述のように、場合によっては、フィルタ／サブサンプラブロックは、単一段だけを使用して実施するのではなく、パイプライン接続された複数のフィルタ段を使用して実現することができる。前述のようにこれは、フィルタリングを実施する回路がイメージャチップ上に取り付けるには大きすぎるときに行うことができる。このような状況は、大きい垂直近傍を使用して画像をフィルタリングするのが望ましいときに生じる場合がある。フィルタに含まれる追加の垂直行にはそれぞれライン遅延が伴うので、フィルタを実現するのに必要な回路の量を主に決定するのは、フィルタの垂直範囲である。したがって、複数のフィルタ／サブサンプル段で動作する複数段フィルタ設計を使用することが望ましいことがある。例えば、各方向でｋ個のタップを備えるフィルタを動作させることが望ましいと仮定する。このフィルタを、幅ｗの全解像度画像に適用するには、総計（ｋ−１）ｗ個のメモリ素子に対してｋ−１本の遅延ラインが必要になる。フィルタに応じて、まず（ｍ＋１）個のタップを備えるフィルタを全画像解像度で適用することによって近似することが可能である。ここで、ｋおよびｎは奇数であり、ｍは偶数であると仮定する。このような設計は、総計ｍｗ＋（ｗ／２）個のメモリ素子を有することになる。通常、ｎは、式ｎ＋ｎ−１＋ｍ＝ｋを満たすように選択することができる。この場合、遅延ラインに使用されるメモリ素子の総数は、（ｋ／４＋３ｍ／４＋１／４）ｗになり、これは、特定の値のｋおよびｍに応じて、かなりの節約になる場合がある。例えば、ｋ＝１１、ｍ＝２、ｎ＝５の場合、遅延ラインに対して１０ｗ個ではなく４．５ｗ個のメモリ素子しか必要ない。
【００２４】
フィルタ／サブサンプラの複数段の実装形態に関してさらに留意すべき点は、時分割マルチプレクサを１つの段の一部にすることができる点である。これは、後の段の１つを実施するのに使用される回路のクロックレートが、時分割されたストリーム内をサンプルが流れるレートを扱うのに十分なほど速いときに、有用である可能性が高い。例えば、１１タップのフィルタをフレームサイズｗ×ｈのイメージャに適用して、係数４でサブサンプリングすることが目標である場合の問題を考えてみる。所望のフィルタに応じて、この問題は、２つの段に分解可能である。第１の段では、３タップのフィルタを適用し、係数２でサブサンプリングする。第２の段では、９タップのフィルタを適用し、さらに係数２でサブサンプリングする。イメージャのフレームレートをｆとして、第２の段のための回路が（ｗ／２）×（ｈ／２）×ｆのレートで連続的なデータを扱うことができる場合、第２の段は、単一のフィルタだけを使用して実現することができる。したがって、時分割マルチプレクサを第１の段の出力に配置して、連続的なストリームを構築することができる。
【００２５】
再び図２を参照すると、ＮＦＯＶウィンドウ読出しブロック２１４が示されている。このブロック中では、サブウィンドウセレクタ２２６が、Ａ／Ｄブロック２０２からの並列データストリームをとり、所望のサブウィンドウに含まれるピクセルを選択する。次いで、時分割マルチプレクサ２２８が、選択されたこれらのピクセルをラスタ順に出力し、リタイマ２３０が、これらの信号をリタイミングして、ＮＦＯＶ出力ライン２４０に出力するためにフレーム時間の最初と一致させる。所望のサブウィンドウは、人間のオペレータまたは自動プログラムによって、ＮＦＯＶウィンドウ位置指定ライン２３８を使用して外部から指定され、フレームごとに変更することができる。サブウィンドウをフレーム間でずらすことにより、ディジタルパン／チルト機構が得られる。
【００２６】
このようなシステムの適用例の１つは、ＷＦＯＶ出力画像を監視して動きを検出および追跡し、次いでＮＦＯＶウィンドウを動体の位置または予測位置にくるように指定する、撮像システムである。次いでＮＦＯＶは、人間による検分のためにモニタに送ることができ、さらに、追加の自動機構によって処理することができる。特に有用なこのような追加の機構の１つは「歪み除去」回路である。セキュリティカメラの一般的な慣例では、例えば「魚眼レンズ」のように、カメラで撮像される角度量を最大限にする撮像構成が使用される。残念ながら、これらの撮像構成は普通、非常に歪んだ画像をもたらす。この歪んだ画像は人間には解釈しにくいが、自動化されたコンピュータプログラムがこのような画像に作用することは、なお可能である。例えば、自動化された手段が歪んだ画像中で動きを検出した場合であって、ＮＦＯＶウィンドウが歪んだ画像から適切なサブウィンドウを読み取るように配置されていた場合、後続の処理を使用してこの歪みに「歪み除去」を施すことができ、この結果、当該の動体を撮像した、歪みのない高解像度ウィンドウが得られる。
【００２７】
前述のイメージャ設計は、多くの様々な物理形式で実現することができる。第１に、アナログイメージャブロック２００は、ディジタル値に変換することのできる任意の感知技術で構成することができる。第２に、並列ＡＤＣブロック２０２の内部構造は、様々に変えることができる。第３に、ウィンドウ読出しブロックは、イメージャブロック２００と同じチップ上に実装しても別個のチップ上に実装してもよく、ウィンドウ読出しブロック内の種々のコンポーネントは、同じチップ上にあっても異なるチップ上にあってもよい。さらに、フィルタ／サブサンプラ２０６、サブウィンドウセレクタ２２６、時分割マルチプレクサ２０８および２２８を実施するための回路は、別々に存在する必要はなく、統合設計内に結合してもよい。
【００２８】
次に、本発明の利点を要約する。効果的で非常に製造可能性の高いイメージャアーキテクチャが提供される。電動プラットフォームを必要とせずに、単一のカメラを使用して広視野と高解像度の両方を生成する方法が実現する。複数視野を生成するこの方法は、単一のセンサアレイを使用する。単一のセンサアレイから複数視野を生成するこの方法は、フィルタリングおよびサブサンプリングによって、かつ複数のアナログディジタル変換器を使用して実施される。この方法は、別個のプロセッサを必要としない。光学部品の電動プラットフォームなしで複数視野が可能なイメージャが達成される。
【００２９】
好ましい実施形態に示したように、本発明の新規な方法および装置は、従来技術に代わる効果的かつ製造可能な代替を提供する。
本発明をその好ましい実施形態に関して特に図示および記述したが、本発明の趣旨および範囲を逸脱することなく形式および詳細の様々な変更を行うことができることは、当業者には理解されるであろう。
【図面の簡単な説明】
【００３０】
【図１】複数視野イメージャのブロック図を示す、本発明の好ましい一実施形態を示す図である。
【図２】広視野と狭視野の処理を示す好ましい実施形態を示す図である。
【図３】インターリーブされたピクセルの小ブロックを並列で読み出すためのシステムをブロック図の形で示す、好ましい一実施形態を示す図である。
【図４】インターリーブされない、またはタイル化されたピクセルの小ブロックを並列で読み出すためのシステムをブロック図の形で示す、好ましい一実施形態を示す図である。
【図５】インターリーブされたピクセルの読出しをフィルタリングするためのシステムを流れ図の形で示す、好ましい一実施形態を示す図である。
【図６】タイル化されたピクセルの読出しをフィルタリングするためのシステムを流れ図の形で示す、好ましい一実施形態を示す図である。
【符号の説明】
【００３１】
１００  ピクセルセンサアレイ
１０２  並列アナログディジタル変換器（ＡＤＣ）ブロック
１０４  第１のウィンドウ読出しブロック
１０８  フィルタ／サブサンプラ
１１０  サブウィンドウセレクタ
１１１  並列チャネル
１１２  時分割マルチプレクサ
１１４  第２のウィンドウ読出しブロック
１１６  アナログディジタル変換器（ＡＤＣ）サブブロック
１２２  リタイマ
１２４  ウィンドウ位置指定ライン
１２６  ウィンドウ位置指定ライン
２００  ピクセルセンサアレイ
２０２  並列ＡＤＣブロック
２０４  ＷＦＯＶウィンドウ読出しブロック
２０６  フィルタ／サブサンプラ
２０８  時分割マルチプレクサ
２１４  ＮＦＯＶウィンドウ読出しブロック
２１６  ＡＤＣ
２１８  広視野（ＷＦＯＶ）読出し
２２６  サブウィンドウセレクタ
２２８  時分割マルチプレクサ
２３０  リタイマ
２３８  ＮＦＯＶウィンドウ位置指定ライン
２４０  狭視野（ＮＦＯＶ）読出し
３１６  ＡＤＣ
３１８  ピクセル
３２０  小ブロック
４１０  インターリーブされないピクセルのセット
４１６  ＡＤＣ
５００  ブロック
５０２、５０４、５０６、５０８、５１０、５１２、５１４、５１６  ピクセル
５４２、５４４、５４６、５２０、５２２、５２４、５２６  周囲ピクセル
５５８、５６２  フィルタモデル
５５０、５５２、５５６、５６０、５６４  遅延モデル
６０１、６０２、６０３、６０４、６０５、６０６、６０７、６０８  タイル
６１１、６１２、６１３、６１４、６１５、６１６、６１７、６１８  フィルタ回路
６２１、６２２、６２３、６２４、６２５、６２６、６２７、６２８  サブサンプラ
【図１】
2004343760.tif 000003
【図２】
2004343760.tif 000004
【図３】
2004343760.tif 000005
【図４】
2004343760.tif 000006
【図５】
2004343760.tif 000007
【図６】
2004343760.tif 000008