(57)【要約】      （修正有）【課題】ローパスフィルタによって光信号の時間的に正確な走査が可能な画像センサのピクセルデザインとピクセル読出構造を提供する。【解決手段】ピクセルユニット１０２は、少なくとも１つの第１のマルチプレクサ信号１１８および第１のマルチプレクサ信号１１８とは相違する第２のマルチプレクサ信号１２０を生成するために構成されたマルチプレクサユニット１１０と、第１のマルチプレクサ信号１１８の時間的に限定された積分値を中間保存するための少なくとも１つの第１のメモリユニット１１４および第２のマルチプレクサ信号１２０の時間的に限定された積分値を中間保存するための第２のメモリユニット１１６を有するメモリ装置１１２とを含む。ピクセルユニット１０２は、第１のマルチプレクサ信号１１８および第２のマルチプレクサ信号１２０の時間的にオーバーラップする走査を可能にする。【選択図】図１
2018050280.tif 000002
【特許請求の範囲】
【請求項１】
画像センサ（１００）のためのピクセルユニット（１０２）において、前記ピクセルユニット（１０２）は次の各構成要件を有しており、すなわち、
光信号（１０６）を処理信号（１０８）へ変換するためのフォトダイオード（１０４）と、
処理信号（１０８）を利用して少なくとも１つの第１のマルチプレクサ信号（１１８）および前記第１のマルチプレクサ信号（１１８）とは相違する第２のマルチプレクサ信号（１２０）を生成するために構成されたマルチプレクサユニット（１１０）と、
前記第１のマルチプレクサ信号（１１８）を中間保存するための少なくとも１つの第１のメモリユニット（１１４）および前記第２のマルチプレクサ信号（１２０）の時間的に限定された積分値を中間保存するための第２のメモリユニット（１１６）を有するメモリ装置（１１２）とを有しているピクセルユニット。
【請求項２】
前記マルチプレクサユニット（１１０）は前記第１のマルチプレクサ信号（１１８）を生成するために前記処理信号（１０８）を第１の増幅係数で増幅するため、および／または前記第２のマルチプレクサ信号（１２０）を生成するために第２の増幅係数で増幅するために構成されている、請求項１に記載のピクセルユニット（１０２）。
【請求項３】
前記マルチプレクサユニット（１１０）は前記第１のマルチプレクサ信号（１１８）と前記第２のマルチプレクサ信号（１２０）を同時に生成するように構成されている、請求項１または２に記載のピクセルユニット（１０２）。
【請求項４】
前記マルチプレクサユニット（１１０）は前記第１のマルチプレクサ信号（１１８）を第１の時点で、および前記第２のマルチプレクサ信号（１２０）を第２の時点で生成するように構成されている、請求項１または２に記載のピクセルユニット（１０２）。
【請求項５】
前記フォトダイオード（１０４）、前記マルチプレクサユニット（１１０）、および前記メモリ装置（１１２）は互いに直列につながれていており、前記第１のメモリユニット（１１４）と前記第２のメモリユニット（１１６）は互いに並列につながれている、請求項１から４のうちいずれか１項に記載のピクセルユニット（１０２）。
【請求項６】
前記第１のメモリユニット（１１４）および前記第２のメモリユニット（１１６）を同時に読み出すための読出接点（１２６）を有している、請求項１から５のうちいずれか１項に記載のピクセルユニット（１０２）。
【請求項７】
前記フォトダイオード（１０４）は前記マルチプレクサユニット（１１０）に連続的な電流を前記処理信号（１０８）として供給するために構成されている、請求項１から６のうちいずれか１項に記載のピクセルユニット（１０２）。
【請求項８】
前記フォトダイオード（１０４）は時間スキーマを有する時間離散的な信号を前記処理信号（１０８）として前記マルチプレクサユニット（１１０）に供給するために構成されており、前記マルチプレクサユニット（１１０）は前記第１のマルチプレクサ信号（１１８）および前記第２のマルチプレクサ信号（１２０）を生成するために前記時間スキーマを利用するために構成されている、請求項１から６のいずれか１項に記載のピクセルユニット（１０２）。
【請求項９】
前記フォトダイオード（１０４）と前記マルチプレクサユニット（１１０）の間につながれた少なくとも１つの追加メモリユニット（２００）を前記処理信号（１０８）の中間保存のために有しており、前記マルチプレクサユニット（１１０）は前記追加メモリユニット（２００）に中間保存されている処理信号（１０８）を利用して前記第１のマルチプレクサ信号（１１８）および／または前記第２のマルチプレクサ信号（１２０）を生成するために構成されている、請求項１から８のうちいずれか１項に記載のピクセルユニット（１０２）。
【請求項１０】
第１の半導体層（３００）と第２の半導体層（３０２）とからなる層複合体を有しており、前記フォトダイオード（１０４）は前記第１の半導体層（３００）に配置されており、前記マルチプレクサユニット（１１０）および／または前記メモリ装置（１１２）は前記第２の半導体層（３０２）に配置されている、請求項１から９のうちいずれか１項に記載のピクセルユニット（１０２）。
【請求項１１】
前記マルチプレクサユニット（１１０）は前記処理信号（１０８）を利用して同時に、または少なくとも１つの別の時点で、前記第１のマルチプレクサ信号（１１８）および／または前記第２のマルチプレクサ信号（１２０）と相違する少なくとも１つの別のマルチプレクサ信号（１２４）を生成するために構成されており、前記メモリ装置（１１２）は前記別のマルチプレクサ信号（１２４）の時間的に限定された積分値を中間保存するための少なくとも１つの別のメモリユニット（１２２）を有している、請求項１から１０のうちいずれか１項に記載のピクセルユニット（１０２）。
【請求項１２】
請求項１から１１のうちいずれか１項に記載の少なくとも１つのピクセルユニット（１０２）を有している画像センサ（１００）。
【請求項１３】
光信号（１０６）をセンシングする方法（９００）において、前記方法（９００）は次の各ステップを含んでおり、すなわち、
前記光信号（１０６）が処理信号（１０８）に変換（９１０）され、
少なくとも１つの第１のマルチプレクサ信号（１１８）および該第１のマルチプレクサ信号（１１８）とは相違する第２のマルチプレクサ信号（１２０）が前記処理信号（１０８）を利用して生成（９２０）され、
第１のメモリユニット（１１４）で前記第１のマルチプレクサ信号（１１８）の時間的に限定された積分値が中間保存（９３０）され、第２のメモリユニット（１１６）で前記第２のマルチプレクサ信号（１２０）の時間的に限定された積分値が中間保存（９３０）される方法。
【請求項１４】
請求項１から１１のいずれか１項に記載のピクセルユニット（１０２）を利用して画像を生起する方法（１１００）において、前記方法（１１００）は次の各ステップを含んでおり、すなわち、
前記第１のマルチプレクサ信号（１１８）および前記第２のマルチプレクサ信号（１２０）がインターフェース（１２６）を介して前記メモリ装置（１１２）へと読み込まれ（１１１０）、
前記第１のマルチプレクサ信号（１１８）および前記第２のマルチプレクサ信号（１２０）を利用して画像を表す画像信号（３０６）が再構成（１１２０）される方法。
【請求項１５】
請求項１３に記載の方法（１０００）を実施および／または制御するために構成されたユニット（４１０，４２０，４３０）を有している装置（３０４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、それぞれの独立請求項の分野に属する装置または方法を前提とする。コンピュータプログラムも本発明の対象物である。
【背景技術】
【０００２】
画像センサの走査は、通常、結果として生じるフレームレートに比べて比較的短い露光時間で行われる。このとき露光時間は、時間領域における長方形と理想化してみなすことができるローパスフィルタとして作用する。
【発明の概要】
【０００３】
以上の背景のもとで、ここで提案される取組により、画像センサのためのピクセルユニット、画像センサ、光信号をセンシングする方法、ピクセルユニットを制御する方法、ピクセルユニットを利用して画像を生起する方法、さらには当該方法のうち少なくとも１つを適用する装置、ならびに最後に相応のコンピュータプログラムがそれぞれ主請求項に基づいて提案される。従属請求項に記載されている方策により、独立請求項に記載の装置の好ましい発展形と改良形が可能である。
【０００４】
画像センサのためのピクセルユニットが提案され、ピクセルユニットは次の各構成要件を有している：
光信号を処理信号へ変換するための場合により複合型のフォトダイオード；
処理信号を利用して少なくとも１つの第１のマルチプレクサ信号および第１のマルチプレクサ信号とは相違する第２のマルチプレクサ信号を生成するために構成されたマルチプレクサユニット；
および
第１のマルチプレクサ信号の時間的に限定された積分値を中間保存するための少なくとも１つの第１のメモリユニットおよび第２のマルチプレクサ信号の時間的に限定された積分値を中間保存するための第２のメモリユニットを有するメモリ装置。
【０００５】
このことは、ローパスフィルタリングされたマルチプレクサ入力信号の時間的にオーバーラップする走査を可能にする。メモリ装置に保存される、両方のマルチプレクサ信号の時間的に限定された積分値から、ピクセルユニットにより検出された画像を表す画像信号を再構成することができる。
【０００６】
処理信号を利用して、たとえば少なくとも２つまたは少なくとも３つの互いに異なる複数の信号を同時に生成することができるという利点があり、それは１つの実施形態では連続する各々の時点について、あるいは少なくとも多数の離散する時点についてである。
【０００７】
ピクセルユニットとは、光信号をセンシングするためのユニットであると理解することができる。フォトダイオードとは、光子流を電子流に変換するための場合により複合型の感光性素子であると理解することができる。光信号とは、たとえば任意の（空間的および時間的な）（変調）変化率を有する、時間的に連続する一定でない電磁信号であると理解することができる。処理信号とは、フォトダイオードの電気的な出力信号であると理解することができる。マルチプレクサユニットとは、信号マルチプレクサであると理解することができる。たとえばマルチプレクサユニットは連続的なディバイダとして、時間離散的なディバイダとして、すなわち時分割マルチプレクサとして構成されていてよい。マルチプレクサ信号とは、マルチプレクサユニットによりたとえば処理信号の増幅によって生成される信号であると理解することができる。第１および第２のメモリユニットは、たとえばそれぞれコンデンサであってよい。それぞれのマルチプレクサ信号の間の差異は、１つの実施形態では、少なくとも１つの信号の生成中に実行される信号増幅ないし減衰（すなわち乗算）から生じる。
【０００８】
ここで提案される取組が依拠する知見は、少なくとも２つのメモリユニットと組み合わされたマルチプレクサからなるハードウェア構造を利用することで、ローパスフィルタによって光信号の時間的に正確な走査が可能となるように、画像センサのピクセルデザインとピクセル読出構造を適合化できるというものである。
【０００９】
１つの実施形態では、マルチプレクサユニットは、第１のマルチプレクサ信号を生成するために処理信号を第１の増幅係数で増幅するために構成され、またはその追加もしくは代替として、第２のマルチプレクサ信号を生成するために第２の増幅係数で増幅するために構成されていてよい。第１の増幅係数と第２の増幅係数は互いに相違していてよい。この実施形態により、第１のマルチプレクサ信号および第２のマルチプレクサ信号の生成の時点に応じて、メモリユニットをそれぞれ異なる強さで充電することができる。
【００１０】
１つの実施形態では、マルチプレクサユニットは、第１のマルチプレクサ信号と第２のマルチプレクサ信号を同時に生成するように構成されていてよい。さらに別のマルチプレクサ信号が生成される場合、これも同じく同時に生成することができる。マルチプレクサユニットは、この実施形態では、連続的なディバイダとして施工されていてよいのが利点である。
【００１１】
別の実施形態では、マルチプレクサユニットは、第１のマルチプレクサ信号を第１の時点で生成するとともに第２のマルチプレクサ信号を第２の時点で生成するように構成されていてよい。このことが特に好適なのは、処理信号が時間離散的な信号である場合である。ただしこの取組は、時間的に連続する処理信号の場合にも適用することができる。この実施形態では、マルチプレクサユニットは時間離散的なディバイダとして施工されていてよい。
【００１２】
別の実施形態では、フォトダイオード、マルチプレクサユニット、およびメモリ装置は互いに直列につながれていてよい。このとき第１のメモリユニットと第２のメモリユニットは互いに並列につながれていてよい。それにより、簡素でロバスト性の高い配線がピクセルユニットの内部で可能となる。
【００１３】
さらにピクセルユニットが、第１のメモリユニットおよび第２のメモリユニットを同時に別々に読み出すための読出接点を有していると好ましい。読出接点とは、第１のメモリユニットおよび第２のメモリユニットと導電接続された接触部材であると理解することができる。それにより、ピクセルユニットの簡素な電気接触が可能となる。
【００１４】
さらにフォトダイオードは、マルチプレクサユニットに連続的な電流を処理信号として供給するために構成されていてよい。このときマルチプレクサユニットは、処理信号を利用して第１の電流を第１のマルチプレクサ信号として生成するとともに、第１の電流とは相違する第２の電流を第２のマルチプレクサ信号として生成するために構成されていてよい。それにより、マルチプレクサユニットを連続的なディバイダとして具体化することができる。
【００１５】
別案として複合型のフォトダイオードは、時間スキーマを有する時間離散的な信号を処理信号としてマルチプレクサユニットに供給するために構成されていてよい。１つの実施形態ではマルチプレクサユニットは、第１のマルチプレクサ信号および第２のマルチプレクサ信号を生成するために時間スキーマを利用するために構成される。たとえば処理信号の第１のパルスを第１のメモリユニットへ供給し、これに後続する処理信号の第２のパルスを第２のメモリユニットへ供給することができる。このときパルスはマルチプレクサユニットによってそれぞれさらに適当に増幅することができ、たとえば操作または乗算することができる。
【００１６】
別の実施形態では、ピクセルユニットは、フォトダイオードとマルチプレクサユニットの間につながれた少なくとも１つの追加メモリユニットを処理信号の中間保存のために有していない。このときマルチプレクサユニットは、第１のマルチプレクサ信号またはその追加もしくは代替として第２のマルチプレクサ信号を、追加メモリユニットに中間保存されている処理信号を利用して生成するために構成されていてよい。追加メモリユニットは、たとえば中間コンデンサであってよい。それにより、弱い光信号の効率的な処理も保証することができる。
【００１７】
１つの実施形態では、別途のキャパシタンスをなす追加メモリユニットはフォトダイオードの直後で「パルスモード」のとき常に少数の電子で充電され、次いで、中間メモリに付属する個々のストレージノードへマルチプレクスされる。このことは、大きい増幅についての低いキャパシタンスを可能にする。
【００１８】
連続的なモードのとき、このキャパシタンス（存在する場合）はマルチプレクサの連続的な動作によって連続的に放電される。すなわち、キャパスタンスは場合によりすでにローパスフィルタとして、たとえばＲ−Ｃ素子としても作用する。
【００１９】
コンデンサのない連続的なモードでは、マルチプレクサは１つの実施形態では電圧によってではなく電流によって作動する。
【００２０】
ピクセルユニットは、第１の半導体層と第２の半導体層とからなる層複合体により具体化されていてよい。このときフォトダイオードは第１の半導体層に配置されていてよい。実施形態に応じて、マルチプレクサユニットまたはその追加もしくは代替としてメモリ装置は第２の半導体層に配置されていてよい。層複合体は、たとえばいわゆるスタックドダイパッケージであってよい。このような実施形態により、ピクセルユニットを低コストに小型化することができる。
【００２１】
半導体層は場合によりウェーハとして、またはシリコンをベースとする機能ユニットとして製作されていてよい。
【００２２】
別の実施形態では、マルチプレクサユニットは処理信号を利用して同時に、または少なくとも１つの別の時点で、第１のマルチプレクサ信号と相違する、またはその追加もしくは代替として第２のマルチプレクサ信号と相違する、少なくとも１つの別のマルチプレクサ信号を生成するために構成されていてよい。それに応じてメモリ装置は、この別のマルチプレクサ信号の時間的に限定された積分値を中間保存するための少なくとも１つの別のメモリユニットを有することができる。それにより、中間保存されるマルチプレクサ信号の数を増やすことができる。
【００２３】
ここで提案される取組は、さらに、上記の各実施形態のうちの１つに基づく少なくとも１つのピクセルユニットを有する画像センサを提供する。
【００２４】
さらに、ここに記載している取組は光信号をセンシングする方法を提供し、この方法は次の各ステップを含んでいる：
【００２５】
光信号が処理信号に変換され；
【００２６】
少なくとも１つの第１のマルチプレクサ信号、および第１のマルチプレクサ信号とは相違する第２のマルチプレクサ信号が処理信号を利用して生成され；
【００２７】
第１のメモリユニットで第１のマルチプレクサ信号の時間的に限定された積分値が中間保存され、第２のメモリユニットで第２のマルチプレクサ信号の時間的に限定された積分値が中間保存される。
【００２８】
この方法は、たとえば上記の各実施形態のうちの１つに基づくピクセルユニットを利用して実施することができる。
【００２９】
さらに、ここで提案される取組は上記の各実施形態のうちの１つに基づくピクセルユニットを制御する方法を提供し、この方法は次の各ステップを含んでいる：
【００３０】
処理信号が読み込まれ；
【００３１】
処理信号を利用してマルチプレクサユニットを制御するための制御信号が出力される。
【００３２】
１つの実施形態では、マルチプレクサは独立した「タイマー」から制御信号の供給を受け、すなわち第１のマルチプレクサ信号は任意の加重関数Ｇ１（ｔ）を有する信号であり、第２のマルチプレクサ信号は任意の加重関数Ｇ２（ｔ）を有する信号である。加重信号の生成はグローバルに処理することができる。
【００３３】
さらに、ここに記載されている取組は上記の各実施形態のうちの１つに基づくピクセルユニットを利用して画像を生起する方法を提供し、この方法は次の各ステップを含んでいる：
【００３４】
第１のマルチプレクサ信号および第２のマルチプレクサ信号がインターフェースを介してメモリ装置へと読み込まれ；
【００３５】
第１のマルチプレクサ信号および第２のマルチプレクサ信号を利用して画像を表す画像信号が再構成される。
【００３６】
この方法は、たとえばソフトウェアとして、またはハードウェアとして、またはソフトウェアとハードウェアからなる混合形態で、たとえば制御装置にインプリメントされていてよい。特にスタックドダイでの具体化は下側のレイヤで行うことができる。
【００３７】
システム全体で多数のメモリを必要としないようにするために、好適には再構成はスタックドダイの非センサレイヤで実行され得る。
【００３８】
そのために本装置は、信号またはデータを処理するための少なくとも１つの計算ユニット、信号またはデータを保存するための少なくとも１つのメモリユニット、センサからセンサ信号を読み込むための、またはアクチュエータへデータ信号もしくは制御信号を出力するための、センサまたはアクチュエータとの少なくとも１つのインターフェース、および／または通信プロトコルに埋め込まれたデータの読み込みまたは出力をするための少なくとも１つの通信インターフェースを有することができる。計算ユニットはたとえば信号プロセッサ、マイクロコントローラなどであってよく、メモリユニットはフラッシュメモリ、ＥＰＲＯＭ、または磁気メモリユニットであってよい。通信インターフェースは、データを無線式および／または回線式に読み込み、もしくは出力するために構成されていてよく、回線式にデータを読み込み、もしくは出力することができる通信インターフェースは、これらのデータをたとえば電気式または光学式に相応のデータ伝送回線から読み込み、もしくは相応のデータ伝送回線へ出力することができる。
【００３９】
装置とは、本件においては、センサ信号を処理し、それに依存して制御信号および／またはデータ信号を出力する電気機器であると理解することができる。この装置は、ハードウェアおよび／またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアとしての構成では、インターフェースはたとえば装置の種々の機能を含むいわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが独自の集積回路であり、または少なくとも部分的に離散的なコンポーネントからなっていることも可能である。ソフトウェアとしての構成では、インターフェースはたとえばマイクロコントローラに他のソフトウェアモジュールとともに存在するソフトウェアモジュールであってよい。
【００４０】
半導体メモリ、ハードディスクメモリ、あるいは光学メモリのような機械式に読み取り可能な媒体または記憶媒体に保存されていてよく、特にプログラム製品またはプログラムがコンピュータや装置で実行されるときに、上に説明した実施形態のうちいずれか１つに基づく方法の各ステップを実行、具体化、および／または制御するために利用される、プログラムコードを有するコンピュータプログラム製品またはコンピュータプログラムも好ましい。
【００４１】
本発明の実施例が図面に示されており、以下の記述において詳しく説明する。図面は次のものを示す：
【図面の簡単な説明】
【００４２】
【図１】１つの実施例に基づく画像センサの光センサを示す模式図である。
【図２】１つの実施例に基づく画像センサを示す模式図である。
【図３】１つの実施例に基づく画像センサを示す模式図である。
【図４】１つの実施例に基づく装置を示す模式図である。
【図５】１つの実施例に基づくマルチプレクサユニットを制御するための３つの制御信号を模式的に図示するためのグラフである。
【図６】ローパス特性を模式的に図示するためのグラフである。
【図７】オーバーラップする相応のローパスフィルタによる理想的な時間的走査のための露光スキーマを模式的に図示するためのグラフである。
【図８】画像センサの典型的な時間的走査を模式的に図示するためのグラフである。
【図９】光信号をセンシングする方法の一実施例のフローチャートである。
【図１０】１つの実施例に基づくピクセルユニットを制御する方法のフローチャートである。
【図１１】１つの実施例に基づくピクセルユニットを利用して画像を生起する方法のフローチャートである。
【発明を実施するための形態】
【００４３】
本発明の好都合な実施例についての以下の記述では、異なる図面に示されていて類似の作用をもつ部材については同一または類似の符号が使われており、そのような部材について繰り返し説明することはしない。
【００４４】
図１は、１つの実施例に基づく画像センサ１００の光センサの模式図を示している。示されているのは、画像センサ１００を時間的に正確に走査するためのピクセル構造の原理的な構造である。画像センサ１００は、光信号１０６を処理信号１０８へ変換するためのフォトダイオード１０４を有するピクセルユニット１０２と、マルチプレクサユニット１１０と、第１のメモリユニット１１４および第２のメモリユニット１１６からなるメモリ装置１１２とを含んでいる。メモリ装置１１２は、マルチプレクサユニット１１０のマルチプレクサ出力部に接続されている。この実施例では、フォトダイオード１０４、マルチプレクサユニット１１０、およびメモリ装置１１２は互いに直列につながれている。マルチプレクサユニット１１０は、処理信号１０８から同時に、またはそれぞれ異なる時点で、第１のマルチプレクサ信号１１８および少なくとも１つの第２のマルチプレクサ信号１２０を生成するために構成されている。同時の生成の場合、マルチプレクサユニット１１０は連続式のマルチプレクサとして施工されていてよい。それぞれ異なる時点での生成の場合、マルチプレクサユニット１１０は時間離散的なマルチプレクサとして施工されていてよい。マルチプレクサユニット１１０は、第１のマルチプレクサ信号１１８をマルチプレクサ出力部を介して第１のメモリユニット１１４へ送るために構成され、第１のメモリユニットは、第１のマルチプレクサ信号１１８の時間的に限定された積分値を中間保存するために構成されている。それに応じてマルチプレクサユニット１１０は、第２のマルチプレクサ信号１２０を第１のマルチプレクサ信号１１８に準じてマルチプレクサ出力部を介して第２のメモリユニット１１６へ送り、そこで時間的に限定された積分値を中間保存するために構成されている。
【００４５】
図１では、メモリ装置１１２は両方のメモリユニット１１４，１１６に追加して、マルチプレクサユニット１１４が処理信号１０８を利用して生成する少なくとも１つの別のマルチプレクサ信号１２４を中間保存するために、少なくとも１つの任意選択の別のメモリユニット１２２を含んでいる。少なくとも３つのメモリユニット１１４，１１６，１２２がたとえば互いに並列につながれて、中間保存された３つのマルチプレクサ信号１１８，１２０，１２４を同時に読み出すために、それぞれ読出接点１２６と電気的に切換可能なように導電接続されている。図１に示す実施例では、３つのメモリユニット１１４，１１６，１２２は３つのコンデンサＣ１，Ｃ２，Ｃ３として構成されている。
【００４６】
図２は、１つの実施例に基づく画像センサ１００の模式図を示している。図２に示す画像センサ１００は、上で図１を参照して説明した画像センサに基本的に相当するが、フォトダイオード１０４とマルチプレクサユニット１１０の間に任意選択の追加メモリユニット２００が、本例では追加のコンデンサＣＳが、フォトダイオード１０４の後の中間メモリとしてつながれているという相違点がある。追加メモリユニット２００は処理信号１０８を中間保存するために構成されており、マルチプレクサユニット１１０は、中間保存された処理信号１０８を追加メモリユニット２００から受け取り、上で図１を参照して説明した仕方により処理する。
【００４７】
図３は、１つの実施例に基づく画像センサ１００の、たとえば上で図２を参照して説明した画像センサの模式図を示している。示されているのは、スタックドダイテクノロジーでの光子電子変換と信号前処理へのピクセル構造の配分である。そのためにピクセルユニット１０２は、信号生起層とも呼ぶ第１の半導体層３００と、信号後処理層とも呼ぶ第２の半導体層３０２とからなる層複合体により具体化される。第１の半導体層３００は、フォトダイオード１００ならびに追加メモリユニット２００を含んでいる。第２の半導体層３０２は、マルチプレクサユニット１１０、メモリ装置１１２、ならびに画像を表す画像信号３０６を生起する装置３０４を含んでいる。たとえば読出接点を介して３つのメモリユニット１１４，１１６，１２２に接続される装置３０４は、メモリ信号とも呼ぶ３つのメモリ内容を利用して時間的な画像信号３０６を再構成するために構成されている。
【００４８】
ここで説明するいずれの実施例にも該当するのは、マルチプレクサ信号１１８，１２０，１２４がローパスフィルタリングされないことである。ローパスフィルタリングは、ここではコンデンサとして製作されるメモリ装置１１４，１１６，１２２で初めて行われる。そして、ここではコンデンサ信号と呼ぶメモリ信号から再構成が行われる。
【００４９】
図４は、１つの実施例に基づく装置３０４の、たとえば上で図３を参照して説明した装置の模式図を示している。装置３０４は、３つのマルチプレクサ信号１１８，１２０，１２４を読み込むための読込ユニット４１０を含んでいる。再構成ユニット４２０は、メモリ装置１１４，１１６，１２２に由来する３つのメモリ信号を利用して画像信号３０６を再構成するために構成されている。
【００５０】
本実施例では読込ユニット４１０は、さらに処理信号１０８を読み込んで、これを出力ユニット４３０へ転送するために構成されている。出力ユニット４３０は、処理信号１０８の受信に反応して、マルチプレクサユニットを制御するための制御信号４３２を出力するために構成されている。
【００５１】
図５は、１つの実施例に基づくマルチプレクサユニットを制御するための３つの制御信号４３２，５００，５０２を模式図に図示するためのグラフを示している。３つの制御信号は、たとえば上で図３および４を参照して説明した装置により生起されていてよい。各々の時点で、メモリ装置の各々のメモリノードＣについての信号加重が存在する。
【００５２】
図６は、ローパス特性６００を模式的に図示するためのグラフを示している。示されているのは、実質的に三角形の曲線形状を有する目標走査のローパス特性である。
【００５３】
図７は、オーバーラップする相応のローパスフィルタ７００，７０２，７０４，７０２，７０４，７０６による理想的な時間的走査のための露光スキーマを模式的に図示するためのグラフを示している。
【００５４】
図８は、画像センサの典型的な時間的走査を模式的に図示するためのグラフを示している。示されているのは、時間領域のローパスフィルタを表す矩形信号８００である。
【００５５】
図９は、光信号をセンシングする方法９００の一実施例のフローチャートを示している。方法９００は、たとえば上で図１から５を参照して説明したピクセルユニットを利用して実施することができる。このとき第１のステップ９１０で、光信号が処理信号に変換される。次のステップ９２０で、処理信号を利用して第１のマルチプレクサ信号および第１のマルチプレクサ信号とは相違する第２のマルチプレクサ信号が生成される。最後にステップ９３０で、第１のマルチプレクサ信号の時間的に限定された積分値の中間保存が第１のメモリユニットで行われるとともに、第２のマルチプレクサ信号の時間的に限定された積分値の中間保存が第２のメモリユニットで行われる。
【００５６】
図１０は、１つの実施例に基づくピクセルユニットを、たとえば上で図１から５を参照して説明したピクセルユニットを、制御する方法１０００のフローチャートを示している。ここでは第１のステップ１０１０で処理信号が読み込まれる。第２のステップ１０２０で、処理信号を利用して、ピクセルユニットのマルチプレクサユニットを制御するための制御信号が出力される。
【００５７】
図１１は、１つの実施例に基づくピクセルユニットを、たとえば上で図１から５を参照して説明したピクセルユニットを利用して画像を生起する方法１１００のフローチャートを示している。ここでは第１のステップ１１１０で、第１のマルチプレクサ信号および第２のマルチプレクサ信号がインターフェースを介してメモリ装置へ、たとえば読出接点を介して読み込まれる。第２のステップ１１２０で、メモリ装置に保存されている両方のマルチプレクサ信号の時間的に限定された積分値を利用して、画像を表す画像信号が再構成される。
【００５８】
次に、提案される取組について図１から１１を参照しながら別の言葉で再度説明する。
【００５９】
現代の画像センサは通常、次のような原理に従って機能する。光学系が、画像センサまたはイメージャとも呼ばれる平坦なセンサの上に光画像を生成する。画像センサがこの画像を空間的、時間的に走査する。時間的な走査はフレームレートにより規定され、いくつかの設計では個別の光センサ・サンプリングレートによっても規定される。
【００６０】
このとき通常のカメラコンポーネントは次のような機能を果たす。光学系は空間的なローパスフィルタとして作用する。光センサは、今日では２、３百万個の個々の光センサで成り立っており、各々の光センサが空間的な走査点をなす。露光時間は時間的なローパスフィルタとして作用する。
【００６１】
エイリアシングのない走査のために、ローパスフィルタはサンプリング周波数に合わせて適合化されて、サンプリング周波数がシャノンのナイキストサンプリング定理に基づき、ローパスフィルタの限界周波数の少なくとも２倍になるようになるのがよい。以下において、信号は常に走査前にローパスフィルタを通過するものとする。
【００６２】
それが行われないとき、走査された信号はエイリアシング・アーティファクトを含む。空間的なエイリアシング現象は、通常、コントラストの大きいエッジのところではフリンジとして、点状の物体では消失と再発生によって、そして均等で周期的なパターンをもつ物体ではいわゆるモアレ現象として認識可能となる。
【００６３】
時間的な信号では、エイリアシング現象は、まっすぐな可動の物体が湾曲して結像されるローリング・シャッター現象、ホイールが特定の速度以上のときに後方に向かって回転するように見えるワゴン・ホイール現象、および、ＬＥＤ交通標識や車両のテールライトのようにパルス化された光源の撮影時の問題によって現れる。このような現象は人間の視覚でも発生し、その場合にも、時間的なエイリアシング現象を完全には防止できないことが示されている。
【００６４】
機械でものを見る分野での用途については、オプティカルフローが１つの重要な補助量となる。オプティカルフローは、時間的に正確に走査された信号により、その品質に関して明らかに向上させることができる。
【００６５】
最新の画像センサの機能形態は、結果として生じるフレームレートに比べて比較的短い露光時間に依拠している。この露光時間は、時間領域における長方形として理想化してみなすことができるローパスフィルタとして作用する。
【００６６】
周波数空間において、幅ｔｅｘｐを有する長方形のローパスフィルタはｓｉ関数として表される：
【数１】
2018050280.tif 000003
【００６７】
ｓｉ曲線の第１のゼロ通過は次のところに位置しており：
【数２】
2018050280.tif 000004
それと同時に、ローパスフィルタの限界周波数について通常の近似をなす。
【００６８】
ｔｅｘｐ≒５００μｓの通常の露光時間を、ｔｆｒａｍｅ≒１／３０≒３３ｍｓの通常の画像反復レートまたはサンプリング周波数と比較すると、ローパスフィルタのサンプリング周波数ｆｓａｍｐｌｅと限界周波数ｆＮｙｑが次式で得られる：
【数３】
2018050280.tif 000005
【００６９】
ただし、サンプリング定理により次式が成り立つのがよい：
【数４】
2018050280.tif 000006
【００７０】
図８は現在通常の走査スキーマを示している。これによりナイキスト定理が明らかに破られる。このことは、たとえばゆっくりと動く雲や写真のケースのように、この世界で高い周波数が生じていない限りにおいては問題とならない。
【００７１】
ビデオベースの運転者アシストの分野では、特に標準適用事例におけるシーンの高速の変化が特別に重要であり、それは、たとえば歩行者の四肢のオプティカルフローを計算する場合や、ブレーキランプや交通標識のようなＬＥＤライトを検知する場合である。したがって、光信号が時間的にも正確に走査されるのがよい。
【００７２】
時間的に正確な走査のために、次式
【数５】
2018050280.tif 000007
が満たされるのがよい。
【００７３】
ただし、それによって次式ももたらされる：
【数６】
2018050280.tif 000008
【００７４】
それが意味するのは、正確な走査のための露光時間は通常のフレームの２倍の長さだけ続くのがよいことである。これに加えて、改善されたローパスフィルタのために、時間的に適合化された信号形成がさらに必要となる。図６および７は、ナイキスト適合的な走査スキーマを示している。
【００７５】
実際のフレームレートは、ナイキスト適合的なケースでは、ローパスフィルタの幅に照準を定める。通常の画像センサでは、ＳＮＲや夜間用の設計などの周辺条件に基づき、１ｍｓよりも長い積分時間を１日を通じて可能にするのが難しい。そのために、時間的に正確な走査においてはフレームレートも増大する。しかし、これを後置された画像処理部によって再び低いフレームレートに減らして、データレートを維持することができる。出力信号がエイリアシング現象を含んでいないので、正確なダウンサンプリングでの低減されたフレームレートを有する最終信号は、やはりエイリアシングを含んでいない。
【００７６】
すなわちローパス設計に応じて、個々のフレームが重みづけされて、オーバーラップするように露光されるのがよい。この問題は空間的な走査における画像センサですでに標準サンプリングの概念で知られている。空間的には光学系の不鮮明さは、信号がピクセル次元を超えてローパスフィルタリングされることを保証するが、それに対して従来、時間の次元についての相応の対応物は欠如している。
【００７７】
それに対してここに記載される取組は、時間的に正確な走査のための時間的なローパスフィルタを具体化するためのピクセル設計の選択肢を創出する。
【００７８】
ピクセル設計の分野では、信号は時間的に量子化される前に、アナログ式のローパスフィルタリングにかけられることが保証されるのがよい。このときフォトダイオード１０４は光子電子コンバータとしての役目を果たす。そこでは、処理信号１０８とも呼ぶフォトダイオードの出力信号が、電気的・時間的なローパスフィルタを通るように案内されるのがよい。以下において、相応の具体化の可能性について説明する。
【００７９】
時間的な走査のオーバーラップにより、各々のフォトダイオードユニット１０４について２つまたはそれ以上のメモリユニットが必要である。これらのメモリユニットは、たとえばコンデンサとして具体化される。第１のフレームでの積分がまだ完了していない間に、第２のフレームの積分がすでに開始される。第１のフレームが完了すると、第３のフレームの積分が開始される。第１のフレームも有限の読出時間を必要とするので、たとえば少なくとも３つのメモリユニットがマルチプレクサユニット１１０に接続される。一般には次のように言える：ローパスフィルタをフレームレートよりも幅広くしたいときは、オーバーラップに応じていっそう多くのメモリユニットが消費される。
【００８０】
後処理が十分に高いコストをかけて設計されていれば、３つのメモリユニット１１４，１１６，１２２の信号から光信号３０６を所望の時点で正確に再構成し、次のローパスフィルタリングの後に時間フレームレートで出力することもできる。
【００８１】
ここではさらに、２つの時点の間での信号の平均的な変化を計算して出力するという選択肢もあり、これは時間勾配画像とも呼ばれる。
【００８２】
各画像の個別露光から、信号の時間的変化がどの程度大きい算出もすることができ、これはフィーチャマスクとも呼ばれる。この場合、たとえば再構成される画点のマーキングが閾値関数を通して行われる。たとえばあるセンサ素子の信号が１つの走査周期内で閾値を超えて、たとえば２５パーセントを超えて変動しているとき、該当する画像領域が変動しているとしてマーカービットによりマーキングされる。このことは、人工的な光源の検知について有用な場合がある。閾値は適合化可能であってよい。
【００８３】
ピクセルユニット１０２は、次のような順序を有する原理的構造を有している：フォトダイオード１０４、任意選択の追加メモリユニット２００、マルチプレクサユニット１１０、およびメモリキャパシタンス１１４，１１６，１２２。機能的にはマルチプレクサユニット１１０は、時間的なローパス挙動を保証する。図５は、この課題を果たすためにマルチプレクサユニット１１０が負荷される、考えられる制御信号を明示している。マルチプレクサユニット１１０は各々の時点について、ローパス特性に相当する信号加重をなす。そしてこの加重が、フォトダイオード信号１０８または追加メモリユニット２００の信号に適用される。
【００８４】
技術的にはマルチプレクサユニット１１０は、たとえば連続的なディバイザーとして具体化される。そのために処理信号１０８が電流として具体化され、マルチプレクサユニット１１０へ連続的に供給される。そしてマルチプレクサユニットが、時点に応じてそれぞれ異なる強さの電流を個々のメモリユニットについて生起する。すなわちマルチプレクサユニット１１０は、時間的に個別の増幅係数を光電流に適用し、そのようにして、最新の時点に応じてメモリユニットをそれぞれ異なる強さで充電する複素回路である。こうして各メモリユニットは最終的に、時間的にローパスフィルタリングされた信号をそれぞれの走査点に関して含んでいる。このことは全体の機能形態にとって重要である。
【００８５】
上述した連続的なプロセスは、時間離散的なプロセスとして具体化することもできる。そのためにフォトダイオード１０４が、ローパス時間帯のあいだ繰り返して、たとえば数百回読み出される。そして、中間保存される処理信号１０８の形態の結果信号は、障壁層キャパシタンスまたは追加メモリユニット２００のいずれかで累積された電子の数として存在する。そしてこの電子が、マルチプレクサユニット１１０で最新の重みづけに応じてメモリユニットへ供給される。
【００８６】
すぐ上に説明した信号ディバイザは、時間的なドメインに変換することもできる。そのためにフォトダイオード１０４がローパス時間帯で再び数百回読み出される。ただし今回は個々の読出パルスの時間が、ローパスフィルタの最新の重みづけに応じて適合化される。すなわちマルチプレクサユニット１１０は、生起される信号をパルスごとに、３つのメモリノード１１４，１１６，１２２のうち１つのみに供給する。このことは、特定の照明状況のときに少数の電子しか集めることができない場合に有意義である。
【００８７】
旧来の半導体プロセスでは、平坦な２Ｄ構造で相並んで回路が具体化される。しかし現代の半導体プロセスは、複数の回路を３Ｄ構造で相上下して位置させて接続することができる。これはスタックドダイテクノロジーとも呼ばれる。
【００８８】
時間的に正確なサンプリングのケースについては、上で言及した複合的なハードウェア構造が必要である。それは典型的には、２Ｄ構造ではコスト効率的に具体化可能でない。しかしスタックドダイプロセスにより、このような障害を克服することができる。
【００８９】
そのために光子電子変換のための各ユニットが上側の層３００に残され、それに対してマルチプレクサユニット１１０およびそれ以後の後処理ステップを実施するためのユニット、たとえば勾配形成やフレーム時点での信号再構成のためのユニットは低いほうの層３０２へと移される。実施例に応じて第２の層３０２は、たとえば１４ｎｍまたは７ｎｍで第１の層３００とは異なる製造テクノロジーで製作することもでき、それにより、明らかにいっそう複雑な標準信号前処理ステップが可能となる。図３は、このような種類のピクセルユニット１０２の構造の模式的な図を示す。
【００９０】
ある実施例が第１の構成要件と第２の構成要件との間に「および／または」結合を含んでいるとき、このことは、当該実施例が１つの実施形態では第１の構成要件と第２の構成要件を両方とも有しており、別の実施形態では第１の構成要件または第２の構成要件のいずれかのみを有していると読まれるべきである。
【符号の説明】
【００９１】
１００  画像センサ
１０２  ピクセルユニット
１０４  フォトダイオード
１０６  光信号
１０８  処理信号
１１０  マルチプレクサユニット
１１２  メモリ装置
１１４  第１のメモリユニット
１１６  第２のメモリユニット
１１８  第１のマルチプレクサ信号
１２０  第２のマルチプレクサ信号
１２２  別のメモリユニット
１２４  別のマルチプレクサ信号
１２６  インターフェース
２００  追加メモリユニット
３００  第１の半導体層
３０２  第２の半導体層
３０４  装置
３０６  画像信号
４１０，４２０，４３０  ユニット
９００  方法
９１０  変換
９２０  生成
９３０  中間保存
１０００  方法
１１００  方法
１１１０  読込
１１２０  再構成
【図１】
2018050280.tif 000009
【図２】
2018050280.tif 000010
【図３】
2018050280.tif 000011
【図４】
2018050280.tif 000012
【図５】
2018050280.tif 000013
【図６】
2018050280.tif 000014
【図７】
2018050280.tif 000015
【図８】
2018050280.tif 000016
【図９】
2018050280.tif 000017
【図１０】
2018050280.tif 000018
【図１１】
2018050280.tif 000019
【外国語明細書】
2018050280000001.pdf