Source: https://patents.google.com/patent/JP2006020037A/en
Timestamp: 2018-11-20 17:56:37
Document Index: 779623240

Matched Legal Cases: ['art 25', 'art 27', 'art 26', 'art 28', 'art 28', 'Application No. 2003', 'Application No. 2003', 'Application No. 2003', 'Application No. 2003', 'Application No. 2003', 'Application No. 2003', 'Application No. 2003', 'Application No. 2003', 'Application No. 2003', 'Application No. 2003', 'art 3']

JP2006020037A - Physical information acquisition method, physical information acquisition device, and semiconductor device for detecting physical quantity distribution - Google Patents
Physical information acquisition method, physical information acquisition device, and semiconductor device for detecting physical quantity distribution Download PDF
JP2006020037A
JP2006020037A JP2004195503A JP2004195503A JP2006020037A JP 2006020037 A JP2006020037 A JP 2006020037A JP 2004195503 A JP2004195503 A JP 2004195503A JP 2004195503 A JP2004195503 A JP 2004195503A JP 2006020037 A JP2006020037 A JP 2006020037A
JP2004195503A
JP4826071B2 (en )
JP2006020037A5 (en )
<P>PROBLEM TO BE SOLVED: To solve the problem of return noise due to a decrease in Nyquist frequency with a simple configuration in an imaging device performing thinning-adding operations. <P>SOLUTION: As a thinning-adding operation part 25, a memory circuit part 27 is prepared which has a plurality of storage elements holding respective pixel signals from pixels of the same color in a processing unit block together. As the storage element, sample holding capacitors of a CDS processing part 26 are used. A plurality of columns having pixels of the same color are connected by using a connection control part 28 and pixel information of those columns is led to a common storage element to average addition results of a plurality of columns obtained by addition by rows. Alternatively, storage elements of a plurality of columns after adding operations are connected to a horizontal signal lines 18 at the same time by using the connection control part 28 to lead all addition results to the horizontal line 18. <P>COPYRIGHT: (C)2006,JPO&NCIPI
本発明は、物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置に関する。 The present invention relates to a semiconductor device of the physical information acquisition method and physical information acquiring apparatus, and physical quantity distribution detection. より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置を用いる場合に好適な、単位構成要素から単位信号を読み出す駆動制御技術に関する。 More specifically, for example, light or a plurality of unit elements that sensitive to electromagnetic waves input from the outside such as the radiation become arrayed, an electrical signal a physical quantity distribution converted into an electric signal by unit components as can be read, for example, such as a solid-state imaging device, suitable in the case of using a semiconductor device of a physical quantity distribution detection relates to a driving control technology for reading the unit signal from the unit elements.
光や放射線などの外部から入力される電磁波あるいは圧力（接触など）などの物理量変化に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。 Physical quantity distribution obtained by arranging a plurality unit elements for the sensitive (e.g. pixels) in a line shape or a matrix for the physical quantity change such as electromagnetic waves or pressure input (contact, etc.) from the outside, such as light or radiation sensing semiconductor devices are used in a variety of fields.
たとえば、映像機器の分野では、物理量の一例である光（電磁波の一例）の変化を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の撮像素子（撮像デバイス）を用いた固体撮像装置が使われている。 For example, in the field of video equipment, the physical quantity of which it is an example of light (electromagnetic waves example) CCD (Charge Coupled Device) type or MOS (Metal Oxide Semiconductor) for detecting a change in or CMOS (Complementary Metal-oxide Semiconductor) type image pickup of the solid-state imaging device is used with elements (imaging device).
また、読出手法としては、１行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式に適合するように、垂直列ごとにＡＤ変換部やその他の信号処理を行なう信号処理部を配置したいわゆる列並列方式を採っているものもある。 As the reading technique, to fit the system to read out pixel signals in units of rows are simultaneously accessed one row from the pixel portion, a signal processing unit that performs AD conversion unit or other signal processing for each column some of which adopts a so-called column-parallel manner arranged. 特に、ＣＤＳ処理機能部やデジタル変換部を垂直列ごとに設け、順次出力側に読み出す方式のものをカラム型と称している。 In particular, provided the CDS processing units and ADCs for each column, is called a column-type of a type that are sequentially read out to the output side.
一方、ＣＣＤやＣＭＯＳイメージセンサに代表される固体撮像素子の小型化、低価格化により、これらを利用した各種映像機器、たとえば静止画を撮影するデジタルスチルカメラやカメラ付き携帯電話あるいは動画を撮影するビデオカメラなどが急激に普及しつつある。 On the other hand, the miniaturization of the solid-state imaging device typified by a CCD or CMOS image sensor, a low cost, to the various kinds of image apparatuses utilizing these, a digital still camera and a mobile phone or with video camera for capturing a still image for example shooting such as a video camera is spreading rapidly. なかでもＣＭＯＳイメージセンサは、ＣＣＤに比べて低消費電力、低コストで製造可能であることから、将来ＣＣＤを置き換えるものとして注目を集めている。 Of these CMOS image sensors, low power consumption as compared with the CCD, since it can be manufactured at low cost, it has attracted attention as a replacement for CCD future.
また、近年、半導体技術の進歩により、固体撮像素子の高画素化が急速に進んでおり、たとえば数１００万画素の固体撮像素子が開発され、高解像度が要求されるデジタルスチルカメラや映画用のビデオカメラなどに利用されている。 In recent years, advances in semiconductor technology, is progressing rapidly high pixel of the solid-state imaging device, for example, developed several million pixels of the solid-state imaging device, a high resolution is the digital still camera and a movie request It has been used, such as a video camera. その中でもＣＭＯＳセンサは各画素に光電変換素子と読出回路が設けられた固体撮像装置であり、各画素をランダムにアクセスすることや、高速に読み出すことができることから、将来を有望視されているセンサである。 CMOS sensors Among them is a solid-state imaging device where the photoelectric conversion element and reading circuit is provided in each pixel, and to randomly access each pixel, since it can be read at high speed, it is promising future sensor it is.
ここでたとえば、ＣＭＯＳイメージセンサでは、画素ごとに光電変換によって電子が蓄積された後、各画素列（垂直列）を指定するアドレス制御信号がＳＣＵ（Sensor Control Unit ；駆動制御部）から出され、それを受けて画素信号が順次読み出される。 Here, for example, a CMOS image sensor, after electrons have been accumulated by the photoelectric conversion in each pixel, the address control signal specifying a respective pixel columns (vertical columns) SCU; issued by the (Sensor Control Unit drive controller), pixel signals are sequentially read by receiving it.
具体的には、画素部の近傍には垂直走査回路内にアドレス設定回路が配置され、アドレス設定回路からアドレス制御信号が供給され、画素を順次選択するようになっており、垂直走査回路は、この選択結果を受けた水平アドレス位置や画素トランジスタをオンオフ制御する各種制御信号（纏め駆動制御信号）を、駆動バッファを介して各画素に供給することで、各画素を駆動制御する。 Specifically, is arranged address setting circuit to the vertical scanning circuit in the vicinity of the pixel portion, the address control signal is supplied from the address setting circuit is adapted to sequentially select the pixels, the vertical scanning circuit, various control signals for turning on and off the horizontal address position or the pixel transistor which receives this selection result (collectively driving control signal) via the drive buffer to supply to each pixel, and controls driving each pixel. 結果的に、画素自身が現在選択されているアドレスであるかどうかをデコード可能になる。 Consequently, it is possible decode whether the address pixel itself is currently selected.
このように、Ｘ−Ｙアドレス型固体撮像素子では、アドレス指定によって任意の位置の画素から信号を取り出すことができると言った、各画素への任意アクセス性を挙げることができ、画素で得られた信号電荷をシフトレジスタで画素を選択して順番に読み出すＣＣＤ(Charge Coupled Device )型イメージセンサと異なり、画素の信号を読み出す順番を比較的自由に設定可能であるという特徴を有する。 Thus, in the X-Y address type solid-state imaging device, said to be able to take out signals from the pixels of an arbitrary position by addressing can include any accessibility to each pixel, obtained by the pixel signal selects a pixel in the shift register a charge different from a CCD (charge Coupled Device) type image sensor sequentially reads out the, has the feature that it is possible to set the order of reading signals from the pixel relatively freely.
一方、全画素を読み出す場合においてアドレス設定回路をカウンタ回路（以下アドレスカウンタともいう）で構成する場合、垂直，水平の各アドレスカウンタは“１”ずつ加算して全画素を走査するが、使用目的によっては必ずしも全画素を出力しない場合もある。 On the other hand, when configuring a counter circuit an address setting circuit when reading out all the pixels (hereinafter referred to as the address counter), vertical, and scans all the pixels in the horizontal of each address counter by adding by "1", the intended use depending sometimes necessarily not output all pixels.
たとえば、デジタルスチルカメラに代表される静止画の撮像技術では、画質向上の観点から、シャッタを切って取り込んだ静止画には高精細化が要求されるために、撮像デバイスとして多画素のＣＭＯＳ型固体撮像素子を用い、全画素の画素情報を独立に読み出すことによって静止画を得る“全画素読出モード”がよく知られている。 For example, in the still picture imaging techniques typified by a digital still camera, from the viewpoint of improving image quality, to a high definition is required for the still image captured off the shutter, CMOS-type multi-pixel as the imaging device using a solid-state imaging device to obtain a still image "all-pixel output mode" is well known by reading independently pixel information of all pixels.
しかしながら、全画素を読み出していては画素数が多すぎてモニタ動画のための十分なフレームレートを実現できなくなっている。 However, have read all pixels are no longer able to achieve a sufficient frame rate for monitor videos number of pixels is too large. すなわち、被写体を確認している段階においては、被写体画像を小型の液晶モニタなどに映し出しているため、液晶モニタの画素数に応じた、荒い画像（低解像度の画像）でよい。 That is, in the step of confirming the subject, since the mirrors the object image such as a small liquid crystal monitor, corresponding to the number of pixels of the liquid crystal monitor, or a rough image (low resolution image).
そこで、“全画素読出モード”の他に、画素情報を間引くいわゆる間引処理や、たとえば行や列を数個ずつ（隣接した画素に限らない）選択して加算する“加算処理モード”などを実装することがある。 Therefore, in addition to the "all-pixel output mode", so-called thinning processing or thinning out pixel information, for example, rows and columns by several pieces of the like (adjacent not limited to the pixel) is summed by selecting "addition processing mode" there be implemented. これらのモードでは、間引いて、あるいは加算して出力画素数を減らして、フレームレートを上げるようにしている。 In these modes, thinned by, or in addition to reducing the number of output pixels, so that the frame rate is increased.
すなわち、間引処理モードは、たとえば、被写体を確認している段階（モニタリングモード）で、液晶モニタの画素数に応じた荒い画像（低解像度の画像）で出力したり、動画については画素情報を間引きすることによって情報量を減少させて伝送したりする際に利用される。 That is, thinning processing mode, for example, at the stage, making sure the object (monitoring mode), and outputs with rough image corresponding to the number of pixels of the liquid crystal monitor (low resolution image), the pixel information about video It is used when or transmitted by reducing the amount of information by thinning. また、加算処理モードは、出力画素数を減らしてフレームレートを上げる目的以外にも、複数行（たとえば２行）から信号を出力して、それらを加算することで、ダイナミックレンジを拡大する目的でも使用される。 Also, addition processing mode, in addition to the purpose of increasing the frame rate by reducing the number of output pixels, and outputs a signal from a plurality of rows (e.g., two rows), by adding them, also for the purpose of expanding the dynamic range used.
また、ビデオカメラにおいても、画素数が増大するにつれて、撮像素子の情報を読み出すのに要する時間が増大する問題が生じるので、動画を撮影する場合などには、撮像素子の信号の読み出し周波数を高くしたり、撮像素子の情報を間引くなどにより実質的に画素数を少なくしたりして読み出す技術が提案されている。 Also in the video camera, as the number of pixels is increased, since the problem of the time required to read the information of the image pickup device is increased occurs, the like when recording movies, high read frequency of the signal from the image sensor or, techniques substantially read out or reducing the number of pixels has been proposed by such thinning information of the imaging device.
ここで、間引処理や加算処理の実現に当たっては、たとえば、イメージセンサから画素情報を全画素分読み出した後、外部の信号処理系で画素情報を間引く方法や加算する方法が採られていた。 Here, when the realization of the thinning-out processing or addition processing, for example, after reading all the pixels of the pixel information from the image sensor, a method and a method of adding thinned out pixel information outside of the signal processing system has been employed.
ところが、このような間引き処理方法や加算処理方法では、各処理によって情報量を減らしているにも拘らず、イメージセンサの駆動周波数は不変であるので、消費電力を低減することにはならず、逆に信号処理系に負荷をかける結果となる。 However, such a thinning processing method and addition processing method, despite being reduced amount of information by each of the processing, since the image drive frequency of the sensor is unchanged, not to reduce the power consumption, Conversely it results in burdening the signal processing system.
このように、画素情報を全画素分読み出した後、外部の信号処理系で画素情報の間引き処理や加算処理などの画素数低減に関わる付加的な処理を行な方法を採っていた理由としては、以下のようなことが挙げられる。 Thus, after reading all the pixels of the pixel information, as the reason for the additional processing involved in the number of pixels, such as thinning processing or addition processing of pixel information reduced by an external signal processing system it has adopted a line way , and to be as follows.
１）カラーフィルタの空間配置と出力順序を保って画素情報を間引くことができない。 1) it can not be thinned out pixel information maintained spatial arrangement of the color filters and the output order.
２）画素を選択する選択手段として用いる通常のシフトレジスタでは画素が順に選択されてしまう。 In a normal shift register which is used as a selection means for selecting a 2) pixels will be selected pixels in order.
３）ＣＣＤイメージセンサでは画素からの情報の読み出しが順番にしか行なえない。 3) reading information from the pixels in the CCD image sensor can not be performed only in the order.
このような問題を解決するために、たとえば特許文献１には、行列状に配列された各画素に対して所定のカラーコーディングを持つカラーフィルタが形成されてなるＸ−Ｙアドレス型固体撮像素子を用い、このＸ−Ｙアドレス型固体撮像素子に対して間引読出しが指定されたときに、システムのクロック周波数を変換し、その変換したクロック周波数に基づいてカラーコーディングに対応した順番で画素を選択して画素信号を読み出すことで、画素から画素情報を読み出す段階で間引き処理を行なう仕組みが開示されている。 To solve such a problem, for example, Patent Document 1, the X-Y address type solid-state imaging device in which the color filter having a predetermined color coding for each pixel arranged in a matrix is ​​formed used, selected when the thinning-out reading is specified, convert the clock frequency of the system, the pixel in the order corresponding to the color coding on the basis of a clock frequency thereof converted to this X-Y address type solid-state image pickup element by reading out the pixel signal to a mechanism for performing decimation processing is disclosed in the step of reading the pixel information from pixels.
ＣＣＤ型イメージセンサでも、間引き読出モードや加算読出モードを取り得るが、画素で得られた信号電荷をシフトレジスタで画素を選択して順番にしか読出しを行なえないという構造上の制約から、その実体は、イメージセンサから画素情報を全画素分読み出した後、外部の信号処理回路で画素情報の間引き処理や加算処理を行なうようにしていた。 At CCD image sensor, may take the thinning readout mode and addition read mode, the limitation on the structure of not performing a read only in order to select the pixels in the shift register the signal charge obtained at the pixel, the entity , after reading all the pixels of the pixel information from the image sensor, it has been to perform the thinning process and the addition process of the pixel information in the external signal processing circuit. これに対して、Ｘ−Ｙアドレス型イメージセンサでは、画素情報の間引き処理や加算処理を実質上、撮像デバイス側で行なうことが可能で、外部の信号処理回路を割愛できる利点がある。 In contrast, in the X-Y address type image sensor, substantially thinning processing or addition processing of pixel information, can be carried out by the imaging device side, it can be advantageously omitted external signal processing circuit.
また、たとえば特許文献２には、Ｇ(緑)ストライプ方式のカラーコーディングを持つ色分離フィルタ配列において、４行ずつを行ブロック、４列ずつを列ブロックとし、２分の１間引き読出しを行なう場合に、画素マトリクスの１行目を読み出すときは奇数列ブロックではブロック内の１列目と２列目、偶数列ブロックではブロック内の１列目と４列目を読み出し、第１行ブロックの３行目、すなわち画素マトリクスの３行目を読み出すときは奇数列ブロックではブロック内の１列目と４列目、偶数列ブロックではブロック内の１列目と２列目を読み出す仕組みが開示されている。 Further, for example, Patent Document 2, in the color separation filter array having color coding G (green) stripe, a row block by four rows, one by four columns and column block, 1 case of performing thinning reading 2 minutes to, first and second columns in the block is odd column block when reading the first row of the pixel matrix, an even column block reads the first column and the fourth column in the block, 3 in the first row block th row, i.e. the first column and the fourth column in the block is odd column block when reading the third row of the pixel matrix, with the first column and the mechanism for reading the second column in the block is disclosed an even column block there.
特開２００１−２９８７４８号公報 JP 2001-298748 JP 特開２０００−００４４０６号公報 JP 2000-004406 JP
特許文献１に記載の仕組みでは、信号処理系に負荷をかけることなく画素情報量を間引き圧縮することができ、しかもシステムのクロック周波数の変換に伴って消費電力を低減できるとともに、動作モードを変えてもフレームレートを一定にできる。 In the mechanism disclosed in Patent Document 1, it is possible to compress thinning amount of pixel information without burdening the signal processing system, yet it is possible to reduce the power consumption with the conversion of the system clock frequency, changing the operating mode possible frame rate constant even. しかしながら、システムクロックを１／９（間引き率が１／９）として、画素情報を間引き処理しながら、飛び飛びに画素情報を読み出すと、読み出す画素間の距離が増大する。 However, the system clock 1/9 (thinning rate is 1/9) as while processing thinned pixel information and reading out pixel information at intervals, the distance between the pixels read out is increased.
ここで、画素間の距離をｐとすると、画素の配列ピッチｐで定まるナイキスト周波数ｆn は式（１）で表すことができる。 Here, if the distance between the pixels and p, the Nyquist frequency fn which is determined by the arrangement pitch p of the pixels can be expressed by Equation (1). したがって、画素間の距離ｐが増大するにつれて、ナイキスト周波数ｆｎは減少し、ナイキスト周波数ｆｎ以上の空間周波数を持つパターンが相対的に増加するため、折返しノイズが増加し、画像に多大な影響を及ぼす。 Therefore, as the distance p between the pixels is increased, the Nyquist frequency fn is decreased, because the pattern having a spatial frequency above the Nyquist frequency fn relatively increased, aliasing noise increases, significantly affecting image .
また、特許文献２に記載の仕組みでは、先述した手順で間引き処理を行なうと、読み出される画素の間隔がたとえば複数種類存在し、画素ピッチごとに異なった空間周波数を有することになるため、折返しノイズが増加し、偽色が発生する。 Further, in the mechanism disclosed in Patent Document 2, when the decimation processing in the foregoing described procedure, since the interval between the pixels to be read for example by a plurality of types exist, will have a spatial frequency which is different for each pixel pitch, aliasing noise There was an increase, false color occurs. このように間引き処理を行なう過程において、折返しノイズが増加し、偽色の増加がみられることは、大きな問題となっている。 In the process in this manner performs the thinning process, increased aliasing noise, the increase in false color is observed, has become a big problem.
すなわち、間引き読出し時に、画素の色配列と同じになるように、画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、単純に画素を読み飛ばすようにすると、読み出す画素間の距離が増加するため、配列ピッチで定まるナイキスト周波数が減少し、ナイキスト周波数以上の空間周波数を持つパターンが相対的に増加するため折返しノイズが増加する。 That is, when the thinning-out reading, to be the same as the color array of pixels, the sequence of pixel information, remains the same as the all-pixel reading in both spatial positional relationship, when simply to skip pixels, the distance between the pixels read out There to increase, decrease the Nyquist frequency determined by the arrangement pitch, a pattern having a spatial frequency above the Nyquist frequency aliasing noise for relatively increased to increase. また、読み出す画素が、２つ以上の画素間の距離を持つ間引き読出し手法においても、ピッチごとに異なった空間周波数を有するため折返しノイズが増加する。 Also, pixels to be read out, also in the thinning read-out method with a distance between two or more pixels, aliasing noise increases because they have different spatial frequencies for each pitch.
本発明は、上記事情に鑑みてなされたものであり、擬似的に画素面積を増加させることによって折返しノイズを低減することのできる仕組みを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a mechanism capable of reducing aliasing noise by causing artificially increase the pixel area.
本出願人は、特願２００３−０４３８９７号にて、擬似的に画素面積を増加させることによって折返しノイズを低減可能とした仕組みを提案した。 The Applicant has in Japanese Patent Application No. 2003-043897, has proposed to reduce possible with the mechanism of the aliasing noise by increasing the pseudo pixel area. この仕組みでは、固体撮像素子（イメージセンサ）から画素情報を間引いて読み出す過程において、水平行方向および垂直列方向にて互いに隣接する複数の画素からなる画素ブロックを単位画素ブロック（処理単位ブロック）とし、単位画素ブロック内の同色の色分離フィルタの画素情報を擬似的に１画素分の画素情報として読み出す。 In this mechanism, in the process of reading from the solid-state imaging device (image sensor) by thinning out the pixel information, the pixel block composed of a plurality of pixels that are adjacent to each other in the horizontal row and vertical column and unit pixel block (processing unit block) reads the pixels of the same color information of the color separation filter in the unit pixel block as pixel information of pseudo one pixel.
具体的な一例として、折返しノイズを抑制した状態で加算間引きする。 As a specific example, it adds thinning while suppressing the aliasing noise. たとえば、ＣＭＯＳセンサのスキャニングにおいて、間引き読出し時に、画素を読み出す間隔（周波数）が異なったり、その間隔が大きかったりすると、折返しノイズが発生し易くなる。 For example, in scanning the CMOS sensor, when the thinning readout, or different intervals of reading the pixels (frequency), if the interval is large or, more likely aliasing noise is generated. そこで、たとえば５×５の画素を１ブロックとし、その中心に位置する色分離フィルタと同色の色分離フィルタの情報を５×５内の画素ブロックから読み出し、加算し、平均化することで、読出信号を減少させ、擬似的に画素面積を増加させることで、折返しノイズを低減する。 Therefore, for example, the pixels of 5 × 5 and 1 block, that the information of the color separation filter and the same color separation filter is located in the center read from the pixel block in the 5 × 5, adds and averages the read signal reduces, by artificially increasing the pixel area to reduce the aliasing noise.
しかしながら、特願２００３−０４３８９７号に記載の仕組みを単純に適用すると、間引きブロックの大きさに合わせて、ラインメモリが増大する可能性がある。 However, when simply applying the mechanism disclosed in Japanese Patent Application No. 2003-043897, in accordance with the size of the decimation block, the line memory is likely to increase. また、ラインメモリの量を抑えると、読み出す画素に抜けが生じ、画質を劣化させる可能性がある。 Further, when suppressing the amount of the line memory, cause omission to a pixel to be read, it can degrade the image quality.
そこで、本願においては、特願２００３−０４３８９７号に記載の間引き加算処理の仕組みを利用しつつ、回路構成をさらに簡易にできる仕組みを提案する。 Therefore, in the present application, while utilizing the mechanism of decimation and addition processing described in Japanese Patent Application No. 2003-043897 proposes a mechanism can be further simplified circuit configuration.
すなわち、本発明に係る物理情報取得方法は、物理量の変化を検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、単位構成要素が所定の順に配された物理量分布検知のための半導体装置を使用して、物理量についての所定の検知条件の元で取得された前記単位信号に基づいて、所定目的用の物理情報を取得する物理情報取得方法であって、単位構成要素から単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、処理単位ブロック内の一方の方向における所定の条件に合致する複数の単位構成要素からの各単位信号を共通の処理回路に導くことで、処理単位ブロック内の所定の条件に合致する複数の単位構成要素からの単 That is, the physical information acquisition method according to the invention comprises a unit signal generator for outputting a signal unit which detects a change in physical quantity in the unit elements, because the physical quantity distribution sensing unit elements are arranged in a predetermined order use of a semiconductor device, based on said unit signals obtained in a predetermined detection condition of the original physical quantity, a physical information acquisition method for acquiring physical information for a predetermined object, a unit from the unit components plurality in a process of thinning out and reading out the signal, the blocks comprising a plurality of the unit elements as a processing unit block adjacent to each other at a predetermined condition at a predetermined direction, satisfies a predetermined condition in one direction in the processing unit block by directing the unit signals from the unit elements of the common processing circuitry, single from a plurality of unit elements that matches a predetermined condition in the processing unit block 信号を擬似的に１つの処理単位ブロックの情報として読み出すようにした。 And a signal read out as information pseudo one processing unit blocks.
また、本発明に係る物理情報取得装置は、上記本発明に係る物理情報取得方法を実施するのに好適な装置であって、単位構成要素から単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、処理単位ブロック内の一方の方向における所定の条件に合致する複数の単位構成要素からの各単位信号を共通の処理回路に導くことで、処理単位ブロック内の所定の条件に合致する複数の単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す駆動制御部を備えるものとした。 The physical information acquisition apparatus according to the present invention is an apparatus suitable for carrying out the physical information acquisition method according to the present invention, in a process of thinning out and reading out the unit signals from the unit elements, at a predetermined direction the block consisting of a plurality of the unit elements adjacent to each other under a predetermined condition and a processing unit blocks, each unit signals from the plurality of unit elements that matches a predetermined condition in one direction in the processing unit block of the common by directing the processing circuit, and intended to comprise a driving control unit for reading the unit signals from the plurality of unit elements that matches a predetermined condition in the processing unit block as information pseudo one processing unit blocks.
また、本発明に係る半導体装置は、上記本発明に係る物理情報取得装置に用いて好適な装置である。 The semiconductor device according to the present invention is the preferred device using the physical information acquiring apparatus according to the present invention.
また従属項に記載された発明は、本発明に係る物理情報取得方法、物理情報取得装置、あるいは半導体装置のさらなる有利な具体例を規定する。 The invention described in the dependent claims, the physical information obtaining method according to the present invention, the physical information acquisition device, or to define a further advantageous embodiment of the semiconductor device.
たとえば、処理回路は、処理単位ブロック内の所定の条件に合致する複数の単位構成要素からの各単位信号を纏めて保持可能な複数の記憶素子と、複数の記憶素子の何れに所定の条件に合致する複数の単位構成要素からの各単位信号を纏めるかを制御する接続制御部とを備えるものとするのがよい。 For example, the processing circuit includes a plurality of memory elements capable of holding together the respective unit signals from the plurality of unit elements that matches a predetermined condition in the processing unit blocks, to any of a predetermined condition of a plurality of storage elements it is preferable assumed and a connection control unit that controls whether summarized respective unit signals from the plurality of unit elements that match. ここで、記憶素子は、単位構成要素からの単位信号に含まれるノイズ成分を抑制するＣＤＳ処理などにも使用されるものとするのがよい。 Here, the memory element is preferably set to intention to be used, for example, suppress CDS processing the noise components contained in the unit signals from the unit elements.
また、単位構成要素が行列状に配されているものの場合、接続制御部を、単位画素ブロック内の所定の条件に合致する複数の単位構成要素を持つ複数列を接続して、それら複数列の単位信号を共通の記憶素子に導くように切替制御するスイッチを有するものとするのがよい。 Also, if although unit elements are arranged in a matrix, a connection control unit connects a plurality of rows with a plurality of unit elements that matches a predetermined condition in the unit pixel block, a plurality rows it is preferable assumed to have a switch for switching control to guide the unit signals to a common memory element. こうすることで、単位画素ブロック内の所定条件に合致する同一行の複数列の情報をそれぞれ個別の記憶素子に纏めて格納することで、加算処理を実現できる。 In this way, the information of the plurality of rows in the same row that matches the predetermined condition of the unit pixel block respectively by storing together in a separate memory element, can be realized addition.
また、このようにして、行ごとに、同一行の複数列の情報をそれぞれ個別の記憶素子に纏めて格納し加算した後に、この加算結果を読み出すため、第１の手法として、接続制御部を、単位画素ブロック内の所定の条件に合致する複数の単位構成要素を持つ複数列の記憶素子を接続して、複数列の記憶素子に保持されている各行の複数列分の情報を加算し、この加算した結果を平均化するように切替制御するスイッチを有するものとするのがよい。 Moreover, in this way, for each row, the information of the plurality of rows in the same row after each stored together in a separate memory element addition, for reading the addition result, as a first approach, the connection control unit , by connecting the storage elements of a plurality of rows with a plurality of unit elements that matches a predetermined condition in the unit pixel block, and adds the information of the plurality of rows worth of each row held in the storage element of the plurality of rows, it is preferable assumed to have a switch for switching control so as to average the added result. あるは、第２の手法として、接続制御部を、単位画素ブロック内の所定の条件に合致する複数の単位構成要素を持つ複数列の記憶素子に格納されている処理単位ブロック内の同色の色分離フィルタの画素情報を同時に出力するように切替制御するスイッチを有するものとするのがよい。 There is a second approach, the connection control unit, the same color of the color processing unit block stored in the storage element of a plurality of rows with a plurality of unit elements that matches a predetermined condition in the unit pixel block it is preferable assumed to have a switch for switching control so as to output the pixel information of the separation filter at the same time.
本発明によれば、所定方向にて所定の条件で互いに隣接する複数の単位構成要素からなるブロックを処理単位ブロックとし、処理単位ブロック内の一方の方向における所定の条件に合致する複数の単位構成要素からの各単位信号を共通の処理回路に導くことで、処理単位ブロック内の所定の条件に合致する複数の単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出すようにした。 According to the present invention, a block composed of a plurality of unit elements that are adjacent to each other at a predetermined condition at a predetermined direction and a processing unit block, one plurality of unit arrangement which meets a predetermined condition in the direction of the processing unit block by directing the unit signals from the elements to a common processing circuit, to read out the unit signals from the plurality of unit elements that matches a predetermined condition in the processing unit block as information pseudo one processing unit blocks It was.
これによって、処理単位ブロック内の所定条件に合致する複数の単位構成要素からの単位信号を１つの処理回路にて纏めて取り扱うことができるようになる。 Thus, it is possible to handle collectively the unit signals from the plurality of unit elements that satisfies a predetermined condition in the processing unit blocks at one processing circuit. 処理単位ブロック内の対象となる単位構成要素の数が増加しても、１つの処理回路にて纏めて取り扱うことができ、対象となる単位構成要素の数に関わらず、加算処理用の回路構成がコンパクトになる。 The number of unit elements of interest in the processing unit block is increased, it can be handled together by a single processing circuit, regardless of the number of unit elements of interest, the circuit arrangement for adding process There becomes compact. 間引き加算処理が可能な装置において、ナイキスト周波数の減少による折返しノイズの問題を簡易な構成で解決できるようになる。 In the decimation and addition processing apparatus capable, it becomes possible to solve the problem of aliasing noise by reducing the Nyquist frequency with a simple configuration.
図１は、本発明の一実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 Figure 1 is a schematic configuration diagram of a CMOS solid-state imaging device according to an embodiment of the present invention. この固体撮像装置１は、カラー画像を撮像し得る電子スチルカメラとして適用されるようになっている。 The solid-state imaging device 1 is adapted to be applied as an electronic still camera capable of capturing a color image. また、静止画撮像モード時には、全画素を順番に読み出すモードが設定されるようになっている。 Further, in the still image capturing mode, mode for reading all pixels sequentially is adapted to be set. また、通常の静止画撮像モードとは異なる特殊撮影モードとして、行や列を数個ずつ飛ばしながら読み出す間引き読出モード、行や列を数個ずつ選択して読み出し加算して出力する加算読出モードなど、画素の信号を読み出す順番を通常の静止画撮像モードとは異なる順番にする特殊読出モードが設定可能に構成されている。 Further, as a special imaging mode different from the normal still image capturing mode, the thinning readout mode for reading while skipping rows and columns by several, addition read mode and outputs the addition reading by selecting a row or column by several such , and is configured to be set a special read mode to a different order from the order of the normal still-image capturing mode for reading signals from the pixel.
固体撮像装置１は、入射光量に応じた信号を出力する受光素子を含む画素が行および列に配列された（すなわち２次元マトリクス状の）撮像部を有し、各画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部が垂直列ごとに設けられたカラム型のものである。 The solid-state imaging device 1 includes a pixel including a light receiving element for outputting a signal corresponding to the amount of incident light are arranged in rows and columns (i.e. a two-dimensional matrix of) has an imaging unit, a signal output from each pixel voltage a signal, CDS; those (correlated double sampling correlated double sampling) processing function unit of the column type provided for each column. すなわち、図１（Ａ）に示すように、固体撮像装置１は、複数の単位画素３（単位構成要素の一例）が行および列に配列された撮像部（画素部）１０と、撮像部１０の外側に設けられた駆動制御部７と、間引き加算処理部２５とを備えている。 That is, as shown in FIG. 1 (A), the solid-state imaging device 1 includes a plurality of unit pixels 3 imaging unit are arranged in rows and columns (an example of unit elements) (pixel portion) 10, the imaging unit 10 of a driving controller 7 provided outside, and a thinning-out and addition processing unit 25. 駆動制御部７としては、たとえば、水平走査回路１２と垂直走査回路１４を備える。 The drive control unit 7, for example, a vertical scanning circuit 14 horizontal scanning circuit 12.
間引き加算処理部２５は、ＣＤＳ処理部（カラム回路）２６と、メモリ回路部２７と、接続制御部２８とを有して構成されている。 Decimation and addition processing unit 25, CDS processing section (column circuit) 26, a memory circuit section 27 is configured and a connection control unit 28. なお、詳しくは後述するが、本実施形態における間引き加算処理部２５は、メモリ回路部２７の構成をより簡易にするべく、メモリ機能要素を、ＣＤＳ処理部２６が備える容量素子（キャパシタあるいはコンデンサともいう）をアナログメモリ素子として兼用するようにしている点と、接続制御部２８を利用して、複数列や複数行の画素情報を、アナログメモリ素子を利用して加算処理や平均化処理をするようにしている点に特徴を有する。 Although details will be described later, skipping and adding processing unit 25 in this embodiment, in order to more simplify the configuration of the memory circuit 27, the memory functional element, the capacitive element (capacitor or capacitors both provided to the CDS processing section 26 to say) and that is adapted to also as analog memory elements, using the connection control unit 28, the pixel information of a plurality of columns and a plurality of rows, the addition processing and the averaging processing using the analog memory device characterized in that it is so.
図１（Ａ）では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の画素が配置される。 In FIG. 1 (A), but is not shown the part of the simple row and column for, in reality, each row or each column, the pixels of several tens to several thousands are arranged. なお、図示を割愛するが、撮像部１０には、各画素に所定のカラーコーディングを持つ色分離フィルタが形成されている。 Incidentally, although not illustrated, the imaging unit 10, a color separation filter having a predetermined color coding to each pixel is formed. また図示を割愛するが、撮像部１０の各画素は、フォトダイオードなどの光電変換素子およびトランジスタ回路によって構成されている。 Although not shown in the drawing, each of the pixels of the imaging unit 10 is configured by a photoelectric conversion element and a transistor circuit, such as a photodiode.
また、駆動制御部７の他の構成要素として、水平走査回路１２、垂直走査回路１４、ＣＤＳ処理部２６、メモリ回路部２７、あるいは接続制御部２８などの固体撮像装置１の各機能部に所定タイミングの制御パルス（ＣＮ１，ＣＮ２，ＣＮ３，ＣＮ４など）を供給するタイミングジェネレータ（読出アドレス制御装置の一例）２０が設けられている。 Predetermined Further, as other components of the driving controller 7, the horizontal scanning circuit 12, the vertical scanning circuit 14, CDS processing section 26, each functional unit of the solid-state imaging device 1, such as a memory circuit (27) or the connection control unit 28, (an example of a readout address control device) control pulse (CN1, CN2, CN3, CN4, etc.) timing generator supplies timing 20 is provided.
単位画素３は、垂直列選択のための垂直制御線１５を介して垂直走査回路１４と、垂直信号線１９を介してＣＤＳ処理部２６と、それぞれ接続されている。 The unit pixel 3 includes a vertical scanning circuit 14 via the vertical control lines 15 for the vertical column selection, a CDS processing unit 26 via the vertical signal line 19 are connected. 水平走査回路１２や垂直走査回路１４は、たとえばシフトレジスタを有して構成され、タイミングジェネレータ２０から与えられる駆動パルスに応答してシフト動作（走査）を開始するようになっている。 The horizontal scanning circuit 12 and the vertical scanning circuit 14 is configured, for example, includes a shift register, in response to the drive pulse given from the timing generator 20 and starts a shift operation (scan). このため、垂直制御線１５には、単位画素３を駆動するための種々のパルス信号が含まれる。 Therefore, the vertical control line 15 includes various pulse signals for driving the unit pixels 3.
水平走査回路１２は、水平方向の読出列（水平方向のアドレス）を規定する（ＣＤＳ処理部２６内の個々のカラム回路やメモリ回路部２７の各メモリを選択する）水平アドレス設定部１２ａと、水平アドレス設定部１２ａにて規定された読出アドレスに従って、ＣＤＳ処理部２６やメモリ回路部２７の各信号を水平信号線１８に導く水平駆動回路１２ｂとを有する。 The horizontal scanning circuit 12, (selects each memory of each column circuit and a memory circuit (27) of the CDS processing section 26) defining the horizontal read column (horizontal address) and horizontal address setting unit 12a, accordance with a read address defined by the horizontal address setting unit 12a, and a horizontal drive circuit 12b for guiding the signal of the CDS processing section 26 and the memory circuit section 27 to the horizontal signal line 18. 水平アドレス設定部１２ａは、図示を割愛するが、シフトレジスタを有して構成されており、メモリ回路部２７に記憶された画素情報を順に選択し、その選択した画素情報を水平信号線１８に出力する選択手段としての機能を持つ。 Horizontal address setting unit 12a is not shown in the drawing, is constituted with a shift register, selects a pixel information stored in the memory circuit 27 sequentially, and the selected pixel data to the horizontal signal line 18 having a function as a selection means for outputting.
垂直走査回路１４は、垂直方向の読出行（垂直方向のアドレス）や水平方向の読出列（水平方向のアドレス）を規定する（撮像部１０の行を選択する）垂直アドレス設定部１４ａと、垂直アドレス設定部１４ａにて規定された読出アドレス上（水平行方向）の単位画素３に対する制御線にパルスを供給して駆動する垂直駆動回路１４ｂとを有する。 The vertical scanning circuit 14 defines the vertical readout lines (vertical address) and horizontal read column (horizontal direction address) (selects a row of the imaging unit 10) and the vertical address setting unit 14a, vertical and a vertical drive circuit 14b for driving by supplying a pulse to the control line to the unit pixels 3 of the address setting unit 14a at a defined read on the address (horizontal row direction).
垂直アドレス設定部１４ａは、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタ１４２と、電子シャッタ用の行の制御を行なうシャッタシフトレジスタ１４４とを有する。 Vertical address setting unit 14a includes a vertical shift register 142 for performing basic control of the line for reading out a signal, and a shutter shift register 144 for controlling the row for an electronic shutter.
垂直シフトレジスタ１４２は、撮像部１０から画素情報を読み出すに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動回路１４ｂとともに信号出力行選択手段を構成している。 The vertical shift register 142 is for selecting each pixel on a row basis when reading out pixel information from the imaging unit 10 constitute a signal output row selection means with each row of the vertical drive circuit 14b. シャッタシフトレジスタ１４４は、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動回路１４ｂとともに電子シャッタ行選択手段を構成している。 Shutter shift register 144 is for selecting each pixel on a row-by-row basis when performing electronic shutter operation, constitute the electronic shutter row selection means with each row of the vertical drive circuit 14b.
タイミングジェネレータ２０は、水平アドレス信号を水平アドレス設定部１２ａへ、また垂直アドレス信号を垂直アドレス設定部１４ａへ出力し、各アドレス設定部１２ａ，１４ａは、それを受けて対応する行もしくは列を選択する。 The timing generator 20, a horizontal address signal to the horizontal-address setting unit 12a, also outputs a vertical address signal to the vertical address setting unit 14a, the address setting unit 12a, 14a may select the corresponding row or column receives it to.
なお、タイミングジェネレータ２０は、撮像部１０や水平走査回路１２など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。 The timing generator 20, an imaging unit 10 and the horizontal scanning circuit 12, independently of the other functional elements may be provided as a separate semiconductor integrated circuit. この場合、撮像部１０や水平走査回路１２などから成る撮像デバイスとタイミングジェネレータ２０とにより、半導体システムの一例である撮像装置が構築される。 In this case, the image pickup device and a timing generator 20 consisting of an imaging unit 10 and the horizontal scanning circuit 12, the imaging apparatus is constructed as an example of a semiconductor system. この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。 The imaging device may be provided as an imaging module that is also incorporated, such as signal processing circuit and a power supply circuit of the peripheral.
カラム回路としてのＣＤＳ処理部２６は、垂直列ごとに設けられており、１行分の画素の信号を受けて、その信号を処理する。 CDS processing section 26 as a column circuit is provided for each column receives signals of pixels of one line and processes the signals. たとえば、ＣＤＳ処理部２６は、ノイズ除去手段の機能を備えており、タイミングジェネレータ２０から与えられるサンプルパルスＳＨＰとサンプルパルスＳＨＤといった２つのサンプルパルスに基づいて、垂直信号線１９を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル（ノイズレベル；０レベル）と真の信号レベルとの差分をとる処理を行なうことで、画素ごとの固定ばらつきによる固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除く。 For example, CDS processing section 26 has a function of the noise removing unit, based on two sample pulses such sample pulse SHP and sample pulse SHD supplied from the timing generator 20, input via the vertical signal line 19 for the pixel information of the voltage mode, the pixel reset immediately after the signal level; by performing the processing of taking the difference between (noise level 0 level) and a true signal level, fixed pattern noise (FPN with fixed variations for each pixel; Fixed Pattern noise) and removing the noise signal component called a reset noise.
なお、ＣＤＳ処理部２６の後段には、必要に応じてＡＧＣ(Auto Gain Control) 回路やＡＤＣ(Analog Digital Converter)回路などをＣＤＳ処理部２６と同一の半導体領域に設けることも可能である。 Note that the subsequent CDS processing section 26, may be provided to an AGC (Auto Gain Control) circuit or ADC (Analog Digital Converter) same semiconductor region and CDS processing section 26 and the circuit as needed.
ＣＤＳ処理部２６により処理された電圧信号は、先ずメモリ回路部２７に送られる。 Voltage signal processed by the CDS processing section 26 is sent first to the memory circuit section 27. メモリ回路部２７は、ＣＤＳ処理部２６を経た画素情報を記憶する。 Memory circuit section 27 stores the pixel information through the CDS processing section 26. ここでは、メモリ回路部２７のメモリ容量については問わないものとする。 Here, it is assumed that no matter the memory capacity of the memory circuit 27.
メモリ回路部２７に一時的に記憶された画素情報は、水平走査回路１２からの水平選択信号により駆動される図示しない水平選択スイッチを介して所定のタイミングで読み出されて水平信号線１８に伝達されて、水平信号線１８の後端に接続された出力バッファ２９に入力される。 Temporarily stored pixel information in the memory circuit section 27, the transfer is read at predetermined timing via the horizontal selection switch (not shown) driven by a horizontal selection signal from the horizontal scanning circuit 12 to the horizontal signal line 18 is inputted to the output buffer 29 connected to the rear end of the horizontal signal line 18.
出力バッファ２９は、撮像部１０から水平信号線１８を通して出力される各画素の信号を適当なゲインで増幅した後、撮像信号Ｓ０として外部回路１００に供給する。 The output buffer 29 amplifies the signal of each pixel output from the imaging unit 10 through the horizontal signal line 18 with a suitable gain, and supplies the external circuit 100 as imaging signals S0.
つまり、本実施形態のカラム型の固体撮像装置１においては、単位画素３からの出力信号（電圧信号）が、垂直信号線１９→ＣＤＳ処理部２６→メモリ回路部２７→水平信号線１８→出力バッファ２９の順で出力される。 That is, in the column-type solid-state imaging device 1 of the present embodiment, the output signal (voltage signal) from the unit pixels 3, the vertical signal line 19 → CDS processing section 26 → the memory circuit section 27 → the horizontal signal line 18 → output It is output in the order of buffer 29. その駆動は、１行分の画素出力信号は垂直信号線１９を介してパラレルにＣＤＳ処理部２６に送り、ＣＤＳ処理後の信号（詳しくはメモリ回路部２７の出力）は水平信号線１８を介してシリアルに出力するようにする。 Driving the pixel output signal for one row is sent to CDS processing section 26 in parallel via a vertical signal line 19, the signal after CDS processing (details output of the memory circuit section 27) via the horizontal signal line 18 so as to output to the serial Te.
なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素３に対して水平行方向および垂直列方向の何れに配するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。 As long as it is capable of driving each vertical column or horizontal row, or each of the pulse signals to the unit pixels 3 disposed in either a horizontal row and vertical column, or drive for applying a pulse signal physical wiring methods clock line is free.
本実施形態の固体撮像装置１の外部回路１００は、撮像部１０や駆動制御部７などが同一の半導体領域に一体的に形成された固体撮像素子とは別の別の基板（プリント基板もしくは半導体基板）上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。 External circuit 100 of the solid-state imaging device 1 of the present embodiment, another different substrate from the solid-state imaging device such as an imaging unit 10 and the drive control section 7 are integrally formed on the same semiconductor region (PCB or a semiconductor is constructed on a substrate), so that the circuit configuration corresponding to the shooting mode is taken. 撮像部１０や駆動制御部７などからなる固体撮像素子と、外部回路１００とによって、固体撮像装置１が構成されている。 And the solid-state image sensor consisting of an imaging unit 10 and the driving control unit 7, by an external circuit 100, the solid-state imaging device 1 is configured.
たとえば、図１（Ｂ）に示すように、外部回路１００は、出力バッファ２９から出力されたアナログの撮像信号Ｓ０をデジタルの撮像データＤ０に変換するＡ／Ｄ（Analog to Digital ）変換部１１０と、Ａ／Ｄ変換部１１０によりデジタル化された撮像データＤ０に基づいてデジタル信号処理を施すデジタル信号処理部（ＤＳＰ；Digital Signal Processor）１３０とを備える。 For example, as shown in FIG. 1 (B), the external circuit 100, a A / D (Analog to Digital) converter 110 for converting an image signal S0 analog output from the output buffer 29 into digital imaging data D0 , the digital signal processing unit that performs digital signal processing based on the image pickup data D0 digitized by the a / D converter 110; and a (DSP digital signal processor) 130.
デジタル信号処理部１３０は、たとえば、Ａ／Ｄ変換部１１０から出力されるディジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。 Digital signal processor 130, for example, has a function of a digital amplifier section to output the appropriate amplifying the digital signal output from the A / D converter 110. また、たとえば色分離処理を施してＲ（赤），Ｇ（緑），Ｂ（青）の各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニタ出力用の画像データＤ２を生成する。 Further, for example, R (red) is subjected to color separation processing, G (green), and generates image data RGB representative of each image of the B (blue), and subjected to other signal processing on the image data RGB monitor generating image data D2 for output. また、デジタル信号処理部１３０には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。 Further, the digital signal processing unit 130, a function unit which performs such signal compression processing for storing imaging data in a recording medium is provided.
また外部回路１００は、デジタル信号処理部１３０にてデジタル処理された画像データＤ２をアナログの画像信号Ｓ１に変換するＤ／Ａ（Digital to Analog ）変換部１３６を備える。 The external circuit 100 includes a D / A (Digital to Analog) conversion unit 136 for converting the image data D2 that has been digitally processed by the digital signal processing unit 130 into an image signal S1 analog. Ｄ／Ａ変換部１３６から出力された画像信号Ｓ１は、図示しない液晶モニタなどの表示デバイスに送られる。 Image signal S1 output from the D / A converter 136 is sent to a display device such as a liquid crystal monitor (not shown). 操作者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の操作を行なうことが可能になっている。 Operator while watching the menu or image displayed on the display device, it becomes possible to perform various operations such as switching the imaging mode.
なお、図１では、固体撮像素子の後段の信号処理を担当する外部回路１００を固体撮像素子（チップ）外で行なう例を示しているが、チップ内部に、外部回路１００の全てもしくは一部（たとえばＡ／Ｄ変換部１１０やデジタルアンプ部など）の機能要素を、チップに内蔵するように構成してもよい。 In FIG. 1, the external circuit 100 is responsible for subsequent signal processing of the solid-state imaging device is shown an example in which outside the solid-state imaging device (chip), in the chip, all or part of an external circuit 100 ( the functional elements such as a / D converter 110 and the digital amplifier section), may be configured to on-chip.
このような構成の固体撮像装置１において、垂直シフトレジスタ１４２、シャッタシフトレジスタ１４４、およびそれらを制御するタイミングジェネレータ２０により、撮像部１０の各画素を水平行単位で順に選択し、その選択した１つの水平行分の画素の情報を同時に読み出すタイプのＣＭＯＳイメージセンサが構成されている。 In the solid-state imaging device 1 having such a configuration, the vertical shift register 142, a timing generator 20 for controlling the shutter shift register 144, and they were each pixel of the imaging unit 10 selects sequentially with water parallel units, and the selected 1 One of the read information of the pixels of the horizontal row at one time type CMOS image sensor is formed.
また、メモリ回路部２７、水平アドレス設定部１２ａ（詳しくはその内部の図示しない水平シフトレジスタ）、水平信号線１８、およびそれらを制御するタイミングジェネレータ２０により、撮像部１０から画素情報を間引いて読み出す過程において、本実施形態特有の機能として、水平行方向および垂直列方向にて互いに隣接する複数の画素からなる画素ブロックを単位画素ブロックとし、この単位画素ブロック内の同色の色分離フィルタの画素情報を擬似的に１画素分の画素情報として読み出す駆動手段が構成されている。 Further, the memory circuit section 27, a horizontal address setting unit 12a (details horizontal shift register (not shown) inside thereof), the timing generator 20 to control the horizontal signal line 18, and their, thinning out and reading out pixel information from the imaging unit 10 in the process, as the embodiment of specific functions, the pixel block composed of a plurality of pixels that are adjacent to each other in the horizontal row and vertical column and unit pixel block, pixels of the same color information of the color separation filter in the unit pixel block is configured driving means for reading out the pixel information of pseudo one pixel. この点については、後で詳しく説明する。 This point will be described in detail later.
たとえば、撮像部１０から画素情報を読み出すに当たり、撮像部１０の各水平行の画素の内の何れかが垂直シフトレジスタ１４２によって選択されると、その選択された信号出力対象の画素行（以下信号出力行という）の各画素において、光電変換素子によって光電変換され、蓄積された信号電荷（電子もしくはホール）に応じた信号レベルと、この光電変換素子をリセットした後の基準レベル（０レベル）は、各垂直列のＣＤＳ処理部２６に伝達される。 For example, when reading out pixel information from the imaging unit 10, each of the any of the horizontal row of pixels is selected by the vertical shift register 142, the selected signal output target pixel row (hereinafter signal of the imaging unit 10 in each pixel of the output of the line), is photoelectrically converted by the photoelectric conversion element, a signal level corresponding to the accumulated signal charge (electrons or holes), the reference level (0 level after resetting the photoelectric conversion element) , it is transmitted to the CDS processing section 26 of each vertical column.
また、電子シャッタ動作に際して、シャッタシフトレジスタ１４４によって電子シャッタ対象の画素行（以下電子シャッタ行という）が選択されると、その選択された電子シャッタ行の各画素の光電変換素子がリセットされる。 Further, in the electronic shutter operation, the pixel row of the electronic shutter object by the shutter shift register 144 (hereinafter referred to as the electronic shutter row) is selected, the photoelectric conversion element of each pixel of the selected electronic shutter row are reset. シャッタシフトレジスタ１４４は、垂直シフトレジスタ１４２が信号出力行を駆動した直後に、垂直シフトレジスタ１４２と同様の駆動パルスで動作する。 Shutter shift register 144, immediately after the vertical shift register 142 drives the signal output line, it operates in a similar drive pulse and vertical shift register 142. そして、電子シャッタ行と信号出力行の各画素の信号をＣＤＳ処理部２６で取り込む。 Then, taking the signal of each pixel of the electronic shutter row and signal output row by the CDS processing section 26.
電子シャッタ行と信号出力行が一定の間隔で進んで行くとき、信号出力行から出力される画素情報は、電子シャッタ行から信号出力行まで進んで行く期間に光電変換素子で光電変換された光量に対応する信号となる。 When the electronic shutter row and signal output row advances at regular intervals, the signal pixel information outputted from the output line, the amount of light is photoelectrically converted by the photoelectric conversion element during a period when advances from the electronic shutter row to the signal output line a corresponding signal to. したがって、電子シャッタ行と信号出力行の間隔を調節することにより、光電変換素子への照射時間すなわち電荷蓄積時間を変えることができる。 Therefore, by adjusting the spacing of the electronic shutter row and signal output row, it is possible to change the irradiation time or the charge accumulation time of the photoelectric conversion element.
垂直シフトレジスタ１４２およびシャッタシフトレジスタ１４４を制御する制御パルスＣＮ１は、タイミングジェネレータ２０により生成される。 Control pulse CN1 for controlling the vertical shift register 142 and the shutter shift register 144 is generated by the timing generator 20. したがって、電子シャッタ機能のための電荷蓄積時間の調整は、タイミングジェネレータ２０で生成する各制御パルスＣＮ１のタイミング関係を調節することによって実現できる。 Therefore, adjustment of the charge accumulation time for the electronic shutter function can be achieved by adjusting the timing relationship between the control pulse CN1 generated in the timing generator 20.
全画素読出し時には、電子シャッタおよび読出しの各動作は、第１行から最終行または最終行付近の画素行までを順に垂直シフトレジスタ１４２の制御の元で選択することで、略全ての水平行に対して行なわれる。 When all pixel reading, the operation of the electronic shutter and reading, by selecting the control in the original last row or the last row near the pixel row until the turn vertical shift register 142 from the first row, substantially all of the water parallel to It is done for.
読み出された画素情報は、メモリ回路部２７に記憶される。 Pixel information read is stored in the memory circuit 27. そして、任意のタイミングにおいて任意の画素情報を複数同時にメモリ回路部２７から水平信号線１８へ出力し、読み出す。 Then, it outputs the arbitrary pixel information at any time from a plurality simultaneously the memory circuit section 27 to the horizontal signal line 18, reads. ここまでは、一般的なＣＭＯＳイメージセンサの場合と同様の動作である。 So far, the same operation as the case of a general CMOS image sensor.
＜間引き加算処理の動作；第１実施形態の基本＞ <Operation of the decimation and addition processing; basic of the first embodiment>
図２は、間引き加算処理時の駆動方法の第１実施形態を説明する図である。 Figure 2 is a diagram illustrating a first embodiment of a driving method during thinning-out and addition processing. ここで、図２（ａ）は、１／９の割合で画素情報量を圧縮するときの従来の間引き加算処理の場合の一例を示し、図２（ｂ）は、本実施形態に係る間引き加算処理の場合の一例を模式化し、画素の並びで示している。 Here, FIG. 2 (a) shows an example of the conventional decimation and addition processing when compressing pixel information amount at a ratio of 1/9, FIG. 2 (b), thinning-out and addition according to the present embodiment an example of a case of processing schematizes shows a sequence of pixels.
本実施形態の固体撮像装置１では、間引き加算処理の過程において、水平行方向および垂直列方向にて互いに隣接する複数の画素からなる画素ブロックを１単位とし、その単位画素ブロックが互いに重なり合うことなく敷き詰められた状態で、単位画素ブロック中に存在する同色の色分離フィルタの画素情報を１画素分の情報として読み出すことにより、画素サイズを擬似的に増加させ、読み出す画素間隔を一定とし、また画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、ナイキスト周波数以上の空間周波数領域のＭＴＦ(Modulation Transfer Function)値を減少させることによって折返しノイズを低減する構成を採っている。 In the solid-state imaging device 1 of the present embodiment, in the course of decimation and addition processing, a pixel block consisting of a plurality of pixels that are adjacent to each other in the horizontal row and vertical column as one unit, without the unit pixel block overlap each other in spread was state by reading the pixel information of same color separation filter present in the unit pixel block as information for one pixel, artificially increases the pixel size, the pixel interval for reading is constant, also the pixel the order information, remains the same as the all-pixel reading in both spatial positional relationship, adopts a configuration for reducing aliasing noise by reducing the MTF (Modulation Transfer Function) value of the Nyquist frequency or higher spatial frequency domain.
たとえば、従来の間引き加算処理においては、図２（ａ）に示すように、単純に２行目の２，５，８，…列の各画素情報を順番に読み出し、最終列または最終列付近まで達すると、次いで５行目の２，５，８，…列の各画素情報を順番に読み出し、以下同様の動作を繰り返す。 For example, in the conventional decimation and addition processing, as shown in FIG. 2 (a), simply reading 2,5,8 in the second row, ... each pixel column information in order, to the vicinity of the last column or last column reached, and then reads 2, 5, 8 of the line 5, ... each pixel column information in order to repeat the same operation follows. なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。 Incidentally, either skipping and adding process reads the pixel information of the extent is changed by setting. このようにして、１／９の圧縮率で間引き操作を行なうと、読み出す画素間の距離が増加するため、ナイキスト周波数が減少し、それに伴って相対的にナイキスト周波数以上の空間周波数が増加するために折返しノイズが増加する。 Thus, 1 if / 9 performs decimation operation in compression ratio, the distance between the pixels read out is increased, the Nyquist frequency is reduced, because the relatively Nyquist frequency or higher spatial frequency increases with it aliasing noise is increased.
ここで、読み出す画素のピッチ幅を減少させてナイキスト周波数を増加させるか、もしくはナイキスト周波数以上の周波数領域のＭＴＦ値を減少させれば、折返しノイズを低減することができる。 Here, either to reduce the pitch of the pixels increases the Nyquist frequency of reading, or if caused to decrease the MTF value of the Nyquist frequency or higher frequency range, it is possible to reduce the aliasing noise. 画素幅をＸ、空間周波数をωとすると、ＭＴＦ値は、式（２）で表すことができ、画素面積が増加するにつれて減少する。 When the pixel width X, the spatial frequency and omega, MTF values ​​can be represented by the formula (2), it decreases as the pixel area increases.
そこで、折返しノイズを低減するために、本実施形態の固体撮像装置１では、それぞれ３以上の奇数行×奇数列すなわち（２ｋ＋３）×（２ｋ＋３）（ｋは０以上の正の整数；以下条件式Ａという）の画素ブロックを単位画素ブロックとし、その単位画素ブロックが互いに重なり合うことなく敷き詰められた状態で、この単位ブロック内に存在する同色の色分離フィルタの画像情報の全てを加算することにより、擬似的に画素面積を増加させ、ナイキスト周波数以上の空間周波数領域のＭＴＦ値を低減しながら、画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、画素情報を間引く。 Therefore, in order to reduce aliasing noise, in the solid-state imaging device 1 of the present embodiment, three or more respective odd rows × odd columns ie (2k + 3) × (2k + 3) (k is 0 or a positive integer; following conditional expression a unit pixel block pixel block called a), in a state in which the unit pixel blocks are laid without overlapping each other, by adding all of the image information of the same color separation filter present in this unit block, artificially increasing the pixel area, while reducing the MTF value of the Nyquist frequency or higher spatial frequency domain, the sequence of pixel information, remains the same as the all-pixel reading in both spatial positional relationship, it thinned out pixel information.
たとえば、図２（ｂ）に示すように、一例として、２行２列を単位とし、その単位の繰返しのカラーコーディングを持つ色分離フィルタが配された画素配列において、たとえばｋ＝０の場合すなわち１／９の割合で画素情報量を圧縮するに当たって、３×３の画素ブロックを単位画素ブロック（図中、太い四角で囲んだブロック）とする。 For example, as shown in FIG. 2 (b), as an example, two rows and two columns of the unit, in the pixel array color separation filters are arranged with color coding of repetition of the unit, for example k = 0 i.e. when compressing the amount of pixel information at a ratio of 1/9, 3 × 3 pixel block unit pixel block and (in the figure, a block surrounded by a bold squares). なお、便宜上、これら単位画素ブロックの配列に対して仮想画素行名ａ，ｂ，ｃ，…、仮想画素列名ａ，ｂ，ｃ，…をそれぞれ付すものとする。 For convenience, the virtual pixel row names a, b, c, to the sequence of these unit pixels blocks ..., which are denoted virtual pixel column names a, b, c, ..., respectively.
そして、先ず、１行目の１，３列目、および３行目の１，３列目の同色の色分離フィルタ（図中、斜線部）の画素情報、すなわちａ行ａ列目の画素ブロック内の同色、本例ではＧ（緑）の画素情報をすべて加算して１画素分の情報として出力する。 Then, first, pixel information of 1,3 column of the first row, and third row of 1,3 row of same color separation filter (in the figure, the hatched portion), namely a row a-th column of the pixel block the same color of the inner, in the present embodiment outputs as information of one pixel by adding all the pixel information of G (green).
なお、単位画素ブロック内の同色の画素情報を全て加算する処理をどのようにして実現するかについては、たとえば、特願２００３−０４３８９７号にて提案したように、同色の画素情報の全てをメモリ回路部２７から水平信号線１８上へ同時に読み出すことによっても実現できるが、本実施形態では、そのような仕組みを採らずに、メモリ回路部２７の構成をより簡易にできる仕組みを採用する。 Note that the how to to implement the process of adding all the pixels of the same color information in the unit pixel block, for example, as proposed in Japanese Patent Application No. 2003-043897, a memory all the pixels of the same color information can be realized by simultaneously read from the circuit portion 27 to the upper horizontal signal line 18, in the present embodiment, without taking such mechanism employs a mechanism capable of a configuration of a memory circuit (27) more easily. この点については、後で詳しく説明する。 This point will be described in detail later.
次に、１行目の４，６列目および３行目の４，６列目の同色の色分離フィルタの画素情報、すなわちａ行ｂ列目の画素ブロック内の同色、本例ではＢ（青）の画像情報をすべて加算して１画素分の情報として出力する。 Next, the first line of 4, 6-row and third row of 4,6 column same color separation pixel information of the filter, namely a row b-th column of the same color in the pixel block, in this example B ( by adding all the blue image information) is output as the information for one pixel. 以下同様の操作を、ａ行目について画素ブロック単位で繰り返す。 The same operation is repeated in each pixel block for a row.
ａ行目において、読み出す画素が最終列または最終列付近に達すると、３段下がって、４行目の１，３列目および６行目の１，３列目の同色の色分離フィルタの画素情報、すなわちｂ行ａ列目の画素ブロック内の同色、本例ではＲ（赤）の画像情報をすべて加算して１画素分の情報として出力する。 In a row, the read pixel reaches near the last column or last column, down three stages, 1, 3 column and the sixth row of the 1,3 row of the same color pixels of the color separation filters in the fourth row information, i.e. b rows a-th column of the same color in the pixel block, in this example outputs as one pixel of information by adding all the image information of R (red). なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。 Incidentally, either skipping and adding process reads the pixel information of the extent is changed by setting.
次いで、４行目の４，６列目および３行目の４，６列目の同色の色分離フィルタの画素情報、すなわちｂ行ｂ列目の画素ブロック内の同色、本例ではＧの画像情報をすべて加算して１画素分の情報として出力する。 Then, the fourth row of the 4,6 column and third row of 4,6 column same color separation pixel information filters, i.e. b row b-th column of the same color in the pixel block, G image in this example by adding all information to output as information for one pixel. 以下同様の操作を、ｂ行目について画素ブロック単位で繰り返す。 The same operation following, b-th row is repeated in each pixel block.
以下、最終行または最終行付近の画素情報まで同様の操作を繰り返す。 Hereinafter, the same operation is repeated until the last line or pixel information in the vicinity of the last row.
このような操作によって間引き読出し処理を行なうことにより、擬似的に画素面積を増加させ、ナイキスト周波数以上の空間周波数領域のＭＴＦ値を減少させることができるため、折返しノイズを低減でき、偽色の少ない間引き加算処理を実現できる。 By performing the thinning readout processing by such operations, pseudo-increased pixel area, it is possible to decrease the MTF value of the Nyquist frequency or higher spatial frequency domain, it is possible to reduce the return noise, less false color It can realize the thinning-out addition processing.
また、３以上の奇数行×奇数列の画素ブロックを単位画素ブロックとすることで、単位画素ブロック内の同色の色分離フィルタの画素情報を、単位画素ブロックの重心を崩さないように加算して出力することができる。 Further, by setting the pixel block of three or more odd-numbered rows × odd column and unit pixel block, the pixels of the same color information of the color separation filter in the unit pixel block, by adding so as not to destroy the center of gravity of the unit pixel block it is possible to output.
＜間引き加算処理の動作；第１実施形態の変形例＞ <Operation of the decimation and addition processing; modification of the first embodiment>
図３〜図５は、間引き加算処理時の駆動方法の第１実施形態の変形例を説明する図である。 3 to 5 are diagrams illustrating a modification of the first embodiment of the driving method during thinning-out and addition processing. 上述した第１実施形態の間引き加算処理においては、条件式Ａにおいて、ｋ＝０の３×３の画素ブロックを単位画素ブロックとした場合を例に挙げて説明したが、これに限られるものではなく、図示を割愛するが、ｋが１以上、すなわちｋ＝１の５×５の画素ブロックを単位画素ブロックとする１／２５の割合での画素情報量の圧縮や、ｋ＝２の７×７の画素ブロックを単位画素ブロックとする１／４９の割合での画素情報量の圧縮などの場合にも、同様に適用でき、同様の効果を享受できる。 In the decimation and addition processing of the first embodiment described above, the conditional expression A, has been described by taking a case where the pixel block of 3 × 3 of k = 0 the unit pixel block as an example, be limited to this without although illustration is omitted, k is 1 or more, i.e. k = 1 for compression and the amount of pixel information of a pixel block of 5 × 5 at a rate of 1/25 of a unit pixel block, k = 2 of 7 × 7 pixel block in the case of such pixel information of compression at a rate of 1/49 of a unit pixel block, similarly applied can be the same effect.
また、画素情報を単位画素ブロックの重心を崩さないように読み出し、間引き加算する手法としても何通りか考えられる。 The read so as not disturb the center of gravity of the unit pixel block pixel information considered several ways as a technique for skipping and adding. 具体的には、たとえばｋ＝３のとき、図３（ａ）に示すように、９×９の単位画素ブロックの出力として、画素配列の１，９行目の１，９列目、３，７行目の３，７列目、５行５列目の各画素情報を加算して出力し、他の単位画素ブロックについても、同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出したり、図３（ｂ）に示すように、単位画素ブロックの出力として、画素配列の１，９行目の１，５，９列目、３，７行目の３，７列目の各画素情報を加算して出力し、他の単位画素ブロックについても、同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出す手法である。 Specifically, when k = 3, as shown in FIG. 3 (a), as the output of the unit pixel block 9 × 9, 1,9 column of the 1,9 row of the pixel array, 3, 3,7 column of the seventh row, and adding the pixel information of five rows and five column outputs, for the other unit pixel block, while skipping and adding repeats the same operation, any of all the pixels and reading, as shown in FIG. 3 (b), as the output of the unit pixel block, 1,5,9 column of the 1,9 row of the pixel array, each of the 3,7 column of the 3,7 row and adding and outputting the pixel information, for the other unit pixel block, while skipping and adding repeats the same operation is a technique of reading out any of all pixels.
また、図４に示す手法は、横方向（列配垂直列方向）の空間周波数による折返しノイズを特に低減したいときに考えられる間引き加算の手法であり、横方向の画素面積を擬似的に増加させている。 Further, the method shown in FIG. 4 is a decimation and addition technique is considered when it is desired to particularly reduce aliasing noise by spatial frequency in the horizontal direction (row arrangement vertical column) artificially increasing the pixel area of ​​the lateral ing.
具体的には、３×３の画素ブロックを擬似的に単位画素ブロックとし、この単位画素ブロックのａ行ａ列目の出力として２行目の１，３列目の画素情報を加算して出力する。 Specifically, 3 blocks of pixels × 3 and pseudo unit pixel block, adding and outputting 1,3 row of pixel information in the second row as the output of a row a th column of the unit pixel block to. 次に、ａ行ｂ列目の出力として２行目の４，６列目の画素情報を加算して出力する。 Then, adding and outputting 4,6 row of pixel information in the second row as the output of a row b-th column. 以下同様に最終列または最終列付近まで加算出力する。 Hereinafter similarly added output to near the last column or last column. なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。 Incidentally, either skipping and adding process reads the pixel information of the extent is changed by setting.
この後、単位画素ブロックのｂ行ａ列目の出力として、５行目の１，３列目の画素情報を加算して出力する。 Thereafter, as the output of the b rows a-th column of the unit pixel block, adding and outputting 1,3 row of pixel information of the fifth row. 以下、各単位画素ブロックにおいても同様の操作を繰り返して、間引き加算しながら任意の全画素を読み出す。 Hereinafter, repeating the same operation in each unit pixel block, read out any of all the pixels while skipping and adding.
上述した間引き加算処理により、横方向の画素面積を擬似的に増加させることができるため、横方向の空間周波数による折返しノイズを低減できる。 The decimation and addition process described above, since the pixel area in the lateral direction can be increased artificially, can reduce the return noise due to the lateral spatial frequency. もちろん、縦方向（行配垂直列方向）についても、同様の考え方で間引き処理をすることによって折返しノイズを低減することができる。 Of course, for the vertical direction (Gyohai vertical column direction), it is possible to reduce the aliasing noise by thinning processing the same concept.
ここまでは、２行２列を単位とし、その単位の繰返し（垂直２×水平２繰返し）のカラーコーディングを持つ色分離フィルタが配された画素配列についての間引き読出し処理について説明をしてきたが、これに限られるものではなく、ある単位画素ブロックを１つの画素として見立て、その単位画素ブロック中の同色の色分離フィルタの画素情報を加算して、画素面積（画素幅）を擬似的に増加させ、間引き処理時の折返しノイズを低減する手法は、あらゆるカラーカーディングを持つ色分離フィルタ配列においても有効である。 So far, two rows and two columns of a unit, has been explained thinning readout processing for the pixel array color separation filters are arranged with color coding of repetition of the unit (vertical 2 × horizontal 2 repeated), not limited to this, likened certain unit pixel block as one pixel, by adding the pixels of the same color information of the color separation filters in the unit pixel block, to increase the pixel area (pixel width) artificially a technique for reducing aliasing noise during the thinning process is also effective in the color separation filter array with any color carding.
他のカラーカーディングを持つ色分離フィルタの画素配列として、たとえば、Ｇストライプ方式のカラーコーディングで、４行４列を単位とし、その単位の繰返しのカラーコーディングを持つ色分離フィルタの画素配列が考えられる。 As the pixel array of the color separation filters having other color carding, for example, in color coding of G stripe, in units of four rows and four columns, the pixel array is considered a color separation filter having a color coding of repetition of the unit It is.
この画素配列の場合には、それぞれ３以上の奇数行×奇数列すなわち（２ｋ＋３）×（２ｋ＋３）（条件式Ａ）の画素ブロックを単位画素ブロックとする点で、また“単位画素ブロックが互いに重なり合うことなく敷き詰められた状態で”処理する点では基本形と同様であるが、ストライプ方式におけるフィルタ繰返しサイクルに合わせて加算対象の画素位置を調整することで、各単位画素ブロック内の同色の色分離フィルタの画素情報を擬似的に１画素分の画素情報として読み出すようにすればよい。 In the case of this pixel array overlaps the point to odd rows × odd columns i.e. three or more, respectively (2k + 3) × (2k + 3) pixel block (condition A) and the unit pixel block and "unit pixel blocks with each other Although it is in terms of "processes in the state were laid without the same as the basic form, by adjusting the pixel positions of addition target in accordance with the filter repeated cycles in stripe, the same color separation filter in the unit pixel block the pixel information may be to read the pixel information of pseudo one pixel.
具体的には、たとえばｋ＝０のとき、図５（ａ）に示すように、単位画素ブロックのａ行ａ列目の出力として画素配列の１，３行目の１列目および２行目の３列目の画素情報を加算して出力し、次いで単位画素ブロックのａ行ｂ列目の出力として画素配列の１，３行目の６列目および２行目の４列目の画素情報を加算して出力し、以下同様に最終列または最終列付近まで加算して出力する。 Specifically, when k = 0, as shown in FIG. 5 (a), 1 column of 1,3-row pixel array as an output of a row a th column of the unit pixel block and the second row third column and adding and outputting pixel information, then the unit pixel block a row b th column 1,3 row 6 column and the second row pixel information in the fourth column of the pixel array as an output of the the outputs are added, and outputs the sum to the vicinity below Similarly last column or last column. なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。 Incidentally, either skipping and adding process reads the pixel information of the extent is changed by setting.
しかる後、単位画素ブロックのｂ行ａ列目の出力として画素配列の４，６行目の１列目および５行目の３列目の画素情報を加算して出力し、次いで単位画素ブロックのｂ行ｂ列目の出力として画素配列の４，６行目の６列目および５行目の４列目の画素情報を加算して出力し、以下同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出すようにすればよい。 Thereafter, the unit pixel block b rows a-th column of the adding and outputting third column of pixel information of the first column and the fifth row of the 4,6-row pixel array as outputs, then the unit pixel block b row b-th column output by adding the 4,6 row 6 column and pixel information in the fourth column of the fifth row of the pixel array as output, while skipping and adding repeats the same operation below, it is sufficient to read any all pixels.
また、図５（ｂ）に示すように、単位画素ブロックのａ行ａ列目の出力として画素配列の１，３行目の１列目および２行目の３列目の画素情報を加算して出力し、次いで単位画素ブロックのａ行ｂ列目の出力として画素配列の１，３行目の４列目および２行目の６列目の画素情報を加算して出力し、以下同様に最終列または最終列付近まで加算して出力する。 Further, as shown in FIG. 5 (b), by adding the third column of the pixel information of the first column and the second row of the 1,3-row pixel array as an output of a row a th column of the unit pixel block outputs Te, then adding and outputting the fourth column and second row of the sixth column of pixel information of 1,3-row pixel array as an output of a row b-th column of the unit pixel block, as follows and outputs the addition to the vicinity of the last column or the last column. なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。 Incidentally, either skipping and adding process reads the pixel information of the extent is changed by setting.
しかる後、単位画素ブロックのｂ行ａ列目の出力として画素配列の４，６行目の１列目および５行目の３列目の画素情報を加算して出力し、次いで単位画素ブロックのｂ行ｂ列目の出力として画素配列の４，６行目の４列目および５行目の６列目の画素情報を加算して出力し、以下同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出すようにすればよい。 Thereafter, the unit pixel block b rows a-th column of the adding and outputting third column of pixel information of the first column and the fifth row of the 4,6-row pixel array as outputs, then the unit pixel block b row b-th column output by adding the 4,6 row 6 column of pixel information in the fourth column and fifth row of the pixel array as output, while skipping and adding repeats the same operation below, it is sufficient to read any all pixels.
つまり、４行４列を繰返し単位とするカラーコーディングの場合も、２行２列の場合と同様に、単位画素ブロック中の斜線部の画素情報を加算して、１つの画素情報として出力することにより、画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、折返しノイズを低減することができる。 That is, even when the color coding in units repeated four rows and four columns, as in the case of two rows and two columns, by adding the pixel information of the hatched portion in the unit pixel block, to output as one pixel information the order of pixel information, remains the same as the all-pixel reading in both spatial positional relationship, it is possible to reduce the aliasing noise.
なお、上記説明では、４行×４列を繰返し単位とするカラーコーディングにおける事例として、ｋ＝０の３×３の画素ブロックを単位画素ブロックとした場合を例に挙げて説明したが、これに限られるものではなく、図示を割愛するが、ｋが１以上、すなわちｋ＝１の５×５の画素ブロックを単位画素ブロックとする１／２５の割合での画素情報量の圧縮や、ｋ＝２の７×７の画素ブロックを単位画素ブロックとする１／４９の割合での画素情報量の圧縮などの場合にも、同様に適用でき、同様の効果を享受できる。 In the above description, as a case in color coding in units repeated 4 rows × 4 columns, a case where a 3 × 3 pixel block of k = 0 in units pixel block has been described as an example, to not limited, although illustration is omitted, k is 1 or more, i.e., pixel information of compression at a rate of 1/25 of a 5 × 5 pixel block of k = 1 the unit pixel block, k = in the case of such pixel information amount of the compression of the pixel block 2 of 7 × 7 at a rate of 1/49 of a unit pixel block is similarly applied can be the same effect.
また、上記説明では、４行×４列を繰返し単位とするカラーコーディングにおける事例として、第１実施形態の基本形と同様に、処理単位ブロックが互いに重なり合うことなく敷き詰められた状態での処理態様について説明したが、４行×４列を繰返し単位とするカラーコーディングの場合においても、詳細な説明を割愛するが、後述する第２実施形態と同様に、処理単位ブロックが交互に重なり合いながら敷き詰められた状態での間引読出加算処理にすることもできる。 In the above description, as a case in color coding in units repeated 4 rows × 4 columns, as with the basic form of the first embodiment, the processing mode in a state where the processing unit blocks are laid without mutually overlapping description state, but it was, in the case of color coding in units repeated 4 rows × 4 columns also will be omitted of the detailed description, which similarly to the second embodiment described later, the processing unit blocks are laid with overlapping alternately It can also be a thinning-out reading addition processing with.
以上説明したように、第１実施形態の間引き加算処理においては、ある単位画素ブロックを１つの画素として見立て、その単位画素ブロック内の同色の色分離フィルタの画素情報を加算して読み出すことにより、画素間の距離が増大し、ナイキスト周波数が減少することで相対的に折返しノイズが増加することが問題であった間引き読出し過程においても、擬似的に画素面積（画素幅）を増大させ、ナイキスト周波数以上の空間周波数領域においてＭＴＦ値を減少させることで、折返しノイズを低減することができる。 As described above, in the decimation and addition processing of the first embodiment, likened certain unit pixel block as one pixel, by adding and reading the pixels of the same color information of the color separation filter of the unit pixel block, increases the distance between pixels, even in the thinning read-out process has been a problem that the relatively aliasing noise by the Nyquist frequency decreases increases artificially increase the pixel area (pixel width), the Nyquist frequency by reducing the MTF values ​​at least of the spatial frequency domain, it is possible to reduce the aliasing noise.
また、サンプリング過程で間引き処理をしながら画素情報を読み出すことにより、固体撮像素子の駆動周波数を下げることができるため、その分だけ消費電力を低減することができ、しかも後段のＡ／Ｄ変換部１１０に掛る負荷を大幅に低減できるため、信号処理系に負荷を掛けることなく画素情報量を圧縮することができる。 Further, by reading the pixel information while thinning processing by the sampling process, it is possible to reduce the driving frequency of the solid-state imaging device, it is possible to reduce power consumption by that amount, moreover the rear stage of the A / D converter unit because it greatly reduces the load applied to the 110, it is possible to compress the amount of pixel information without imposing a load on the signal processing system.
＜間引き加算処理の動作；第２実施形態の基本＞ <Operation of the decimation and addition processing; Basic Second Embodiment>
図６〜図８は、間引き加算処理時の駆動方法の第２実施形態を説明する図である。 6 to 8 are diagrams for explaining a second embodiment of a driving method during thinning-out and addition processing. この第２実施形態は、間引き加算処理時に、１／偶数画素×１／偶数画素すなわち１／（２ｋ＋２）×（２ｋ＋２）（ｋは０以上の正の整数；条件式Ｂともいう）の割合で画素情報量を圧縮する過程において、間引き加算する擬似的な画素ブロック（単位画素ブロック；処理単位ブロック）が交互に重なり合いながら敷き詰められた状態で、偶数×偶数すなわち（２ｋ＋２）×（２ｋ＋２）（条件式Ｃともいう）画素を間引き加算することにより画素情報を、折返しノイズを低減した状態で間引く構成を採る点に特徴を有する。 In the second embodiment, when the thinning-out addition processing, 1 / even pixels × 1 / even pixel ie 1 / (2k + 2) × (2k + 2) (k is 0 or a positive integer; also referred to as Condition B) in a ratio of in the process of compressing the amount of pixel information, pseudo-pixel blocks skipped and added; in a state of (unit pixel block processing unit block) were laid with overlapping alternately, the even × even number i.e. (2k + 2) × (2k + 2) (conditions the pixel information by adding thinning also referred) pixels and wherein C, characterized in that a configuration of thinning at reduced aliasing noise.
ここで、第１実施形態との比較においては、“処理単位ブロックが交互に重なり合いながら敷き詰められた状態”の方が、折返しノイズは減少するが、出力するときのデータ量は増加する。 Here, in comparison with the first embodiment, the direction of "processing unit block overlap while spread was state alternately" aliasing noise is reduced, but the amount of data when outputting increases. このような基本原則を鑑みて、基本的には、間引きし出力する画素数とスピードおよび折返しノイズの効果を考え合わせて、交互に敷き詰めるか、それとも敷き詰めないかを選択するのがよい。 In view of such principles, basically, combined consider the effect of thinning outputs pixel number to the speed and aliasing noise, or laid alternately, or better to choose not spread.
たとえば図６〜図８は、条件式Ｂ，Ｃにおいてｋ＝０のとき、すなわち４（＝２×２）画素を間引き加算し、１／４の割合で画素情報量を圧縮する場合について示している。 For example 6-8, when conditional expression B, the C of k = 0, i.e. 4 (= 2 × 2) skipped and added pixel, shows the case of compressing the amount of pixel information at a ratio of 1/4 there. 図６（ａ）に示すように、１行目の１，３列目、３行目の１，３列目の同色の色分離フィルタの画素情報、本例ではＧの画素情報をすべて加算して１画素分の情報として出力する。 As shown in FIG. 6 (a), 1,3 column of the first row, 1,3 column pixels of the same color information of the color separation filter of the third row, in this example by adding all the pixel information of the G and outputs it as information for one pixel Te.
次に、図６（ｂ）に示すように、１行目の２，４列目、３行目の２，４列目の同色の色分離フィルタの画素情報、本例ではＢの画素情報をすべて加算して１画素分の情報として出力する。 Next, as shown in FIG. 6 (b), 2,4 column of the first row, the third row of the second and fourth rows same color separation pixel information filters, in this example the pixel information of the B all adds output as information for one pixel. 次いで、図６（ｃ）に示すように、１行目の５，７列目、３行目の５，７列目の画素情報、本例ではＧの画素情報をすべて加算して１画素分の情報として出力する。 Then, as shown in FIG. 6 (c), 5,7 column of the first row, 5,7 column of pixel information in the third row, one pixel by adding all the pixel information of G in this example the output of as information.
同様の操作を繰り返し、読み出す画素が、図７（ａ）に示すように、最終列または最終列付近に達する。 Repeating the same operation, pixels to be read out, as shown in FIG. 7 (a), reaches near the last column or last column. なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。 Incidentally, either skipping and adding process reads the pixel information of the extent is changed by setting. この後、図７（ｂ）に示すように、１段下がって、２行目の１，３列目、４行目の１，３列目の同色の色分離フィルタの画素情報、本例ではＲの画素情報をすべて加算して１画素分の情報として出力する。 Thereafter, as shown in FIG. 7 (b), down one step, 1,3 column of the second row, the fourth row of the 1,3 row same color separation pixel information filters, in this example by adding all the pixel information of the R output as information for one pixel.
この２行目、４行目において、読み込む画素が最終列または最終列付近に達すると、３段下がって、５行目の１，３列目、７行目の１，３列目の画素情報をすべて加算して１画素分の情報として出力するように同様の操作を繰り返す。 The second row, in the fourth row, the read pixel reaches near the last column or last column, down three stages, 1,3 column line 5, line 7 1,3 th pixel information adding all to repeat the similar operation to output as the information for one pixel. 最終列またはその付近まで読み出す画素が達し、下の段に移るときは、１段，３段，１段，３段，…と設定された最終行またはその付近の画素情報が読み出されるまで同様の操作を繰り返す。 Last column or pixel has reached to read up near, when moving to the lower stage, one stage, three stages, one stage, similar to the three-stage, ... last line or pixel information in the vicinity thereof is set as is read repeat the operation.
つまり、操作（１）｛操作Ａ <４ｍ＋１，４ｍ＋３行目の４ｎ＋１，４ｎ＋３列目（ｍ，ｎは０以上の正の整数）の画素情報を間引き加算して１画素分の情報として出力> し、次に操作Ｂ <４ｍ＋１，４ｍ＋３行目の４ｎ＋２，４ｎ＋４列目の画素情報を間引き加算して１画素分の情報として出力> する。 That is, the operation (1) {Operation A and <4m + 1,4m + 3 line of 4n + 1, 4n + 3 column (m, n is 0 or a positive integer) output as information of one pixel by adding thinned pixel information> , then the operation B <4m + 1,4m + 3 line of 4n + 2, 4n + outputs 4 th pixel information as skipped and added to the information for one pixel> to. ｍ＝０，ｎ＝０から開始し、まずｍを０で固定し、Ａ，Ｂ一連の操作が終了したら次のＡ，Ｂの操作に移行する前にｎを１つ増加させる。 Starting from m = 0, n = 0, first, the m fixed with 0, A, B series of operations is the following when finished A, 1 single increase n before moving to the operation of the B. 以降同様に、Ａ，Ｂ，Ａ，Ｂ，Ａ，Ｂ，…と順番にＡ，Ｂの操作を列の最後またはその付近まで繰り返す。 Since Likewise, A, B, A, B, A, B, repeated ... and order A, the operation of the B to the end or near the column. ｝ }
最終列またはその付近まで読み込むと、次は操作（２）｛操作Ａ <４ｍ＋２，４ｍ＋４行目の４ｎ＋１，４ｎ＋３列目の画素情報を間引き加算して１画素分の情報として出力> し、次に操作Ｂ <４ｍ＋２，４ｍ＋４行目の４ｎ＋２，４ｎ＋４列目の画素情報を間引き加算して１画素分の情報として出力> する。 Importing to the last column or near the next operation (2) {Operation A <4m + 2,4m + 4 line of 4n + 1, 4n + outputs third column of pixel information as skipped and added to the information for one pixel>, then operation B <4m + 2,4m + 4 line of 4n + 2, 4n + output fourth column skipped and added pixel information as information for one pixel> to. ｍ＝０，ｎ＝０から開始し、まずｍを０で固定し、Ａ，Ｂ一連の操作が終了したら次のＡ，Ｂの操作に移行する前にｎを１つ増加させる。 Starting from m = 0, n = 0, first, the m fixed with 0, A, B series of operations is the following when finished A, 1 single increase n before moving to the operation of the B. 以降同様に、Ａ，Ｂ，Ａ，Ｂ，Ａ，Ｂ，…と順番にＡ，Ｂの操作を列の最後またはその付近まで繰り返す。 Since Likewise, A, B, A, B, A, B, repeated ... and order A, the operation of the B to the end or near the column. ｝ }
この行でも最終列またはその付近まで画素情報を読み込むと、ｍの値を１つ増加させて操作（１），（２）を同様に行なう。 When reading the last column or pixel information to near its even in this line, the operation to increase one value of m (1), carried out in the same manner (2). そして、読み出すように設定された画素情報をすべて読み出すまで、操作（１），（２）のペアを基本動作とし、その基本動作が１サイクル行なわれるごとに、ｍの値を１ずつ増加させる。 Then, until the read of all the set pixel information to read, operations (1), a basic operation of the pair (2), each time the basic operation is performed one cycle, increases the value of m by one.
このように間引き加算を行った場合、擬似的な画素の重心は図８に示すようになり、２×２の単位画素ブロックごとに同色の色分離フィルタの画素情報を出力したことになるので、１／４の割合で画素情報量を圧縮したことになる。 If done in this way the decimation addition, the center of gravity of the pseudo-pixel is as shown in FIG. 8, since every two unit pixels × 2 blocks thus outputting the pixel information of the same color separation filter, so that the amount of pixel information is compressed at a ratio of 1/4.
＜間引き加算処理の動作；第２実施形態の変形例＞ <Operation of the decimation and addition processing; a modification of the second embodiment>
上述した第２実施形態の間引き加算処理においては、条件式Ｂにおいてｋ＝０の１／４割合で画素情報量を圧縮する過程において、条件式Ｃにおいてｋ＝０の２×２の画素ブロックを単位画素ブロックとし間引き加算する場合を例に挙げて説明したが、これに限られるものではなく、ｋが１以上、すなわちｋ＝１の４×４の画素ブロックを単位画素ブロックとする１／１６の割合での画素情報量の圧縮や、ｋ＝２の６×６の画素ブロックを単位画素ブロックとする１／３６の割合での画素情報量の圧縮などの場合にも、同様に適用でき、同様の効果を享受できる。 In the decimation and addition processing of the second embodiment described above, in the process of compressing the amount of pixel information in 1/4 ratio of k = 0 in the conditional expression B, and 2 × 2 pixel block of k = 0 in the conditional expression C has been described by taking a case of adding thinning the unit pixel block as an example, not limited thereto, k is 1 or more, that is, the pixel block of k = 1 of the 4 × 4 as a unit pixel block 1/16 compression and pixel information of a rate of, k = in the case of such pixel information amount of the compression of the pixel block 2 of 6 × 6 in a ratio of 1/36 in the unit pixel block is similarly applied can, You can enjoy the same effect.
図９〜図１１は、条件式Ｂ，Ｃにおいてｋ＝１のとき、すなわち１６（＝４×４）画素を間引き加算し、１／１６の割合で画素情報量を圧縮する場合について示している。 9 to 11, when conditional expression B, the C of k = 1, i.e. 16 (= 4 × 4) skipped and added pixel shows the case of compressing the amount of pixel information at a ratio of 1/16 . この場合、先ず、図９（ａ）に示すように、１，３，５，７行目の１，３，５，７列目の画素情報を加算して1画素分の情報として出力する。 In this case, first, as shown in FIG. 9 (a), and outputs it as information for one pixel by adding the 1,3,5,7 th pixel information of 1,3,5,7 line. 次に、図９（ｂ）に示すように、１，３，５，７行目の４，６，８，１０列目の画素情報を加算して１画素分の情報として出力する。 Next, as shown in FIG. 9 (b), and outputs it as information for one pixel by adding the 4, 6, 8, 10 th pixel information of 1,3,5,7 line. 同様に、１，３，５，７行目の９，１１，１３，１５列目の画素情報を加算して１画素分の情報として出力する。 Similarly, output as information of one pixel by adding the 9, 11, 13, 15 th pixel information of 1,3,5,7 line.
同様の操作を繰り返し、図１０（ａ）に示すように、読み出す画素が最終列または最終列付近に達する。 Repeating the same operation, as shown in FIG. 10 (a), reads pixel reaches near the last column or last column. どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。 Either skipping and adding process reads the pixel information of the extent is changed by setting. この後、図１０（ｂ）に示すように、３段下がって、４，６，８，１０行目の１，３，５，７列目の画素情報を加算して１画素分の情報として出力する。 Thereafter, as shown in FIG. 10 (b), down three stages, as information of one pixel by adding the 1,3,5,7 th pixel information of 4,6,8,10 line Output. この４，６，８，１０行において、読み込む画素が最終列または最終列付近に達すると、５段下がって以下同様の操作を繰り返す。 In this 4,6,8,10 line, read pixels reaches near the last column or last column, down five stages and the same operation is repeated hereinafter.
つまり、操作（１）｛操作Ａ <８ｍ＋１，８ｍ＋３，８ｍ＋５，８ｍ＋７行目の８ｎ＋１，８ｎ＋３，８ｎ＋５，８ｎ＋７列目を間引き加算して１画素分の情報として出力（ｍ，ｎは０以上の正の整数）> し、次いで操作Ｂ <８ｍ＋１，８ｍ＋３，８ｍ＋５，８ｍ＋７行目の８ｎ＋４，８ｎ＋６，８ｎ＋８，８ｎ＋１０列目の画素情報を間引き加算して１画素分の情報として出力> する。 That is, the operation (1) {Operation A <8m + 1,8m + 3,8m + 5,8m + 7 line 8n + 1,8n + 3,8n + 5,8n + 7 column output as skipped and added to the information of one pixel of the (m, n is 0 or a positive integer)>, and then outputs> as an operation B <8m + 1,8m + 3,8m + 5,8m + + 7 line 8n 4,8n + 6,8n + 8,8n + 10 th pixel information are skipped and added to the information for one pixel. ｍの値は固定で、Ａ，Ｂ一連の操作が終了したら、次のＡ，Ｂの操作に移行する前にｎを１つ増加させる。 The value of m fixed in, A, B When the series of operations is completed, the next A, 1 single increase n before moving to the operation of the B. 以降同様に、Ａ，Ｂ，Ａ，Ｂ，Ａ，Ｂ，…と順番にＡ，Ｂの操作を列の最後またはその付近まで繰り返す。 Since Likewise, A, B, A, B, A, B, repeated ... and order A, the operation of the B to the end or near the column. ｝ }
最終列またはその付近まで読み込むと、次は操作（２）｛操作Ａ <８ｍ＋４，８ｍ＋６，８ｍ＋８，８ｍ＋１０行目の８ｎ＋１，８ｎ＋３，８ｎ＋５，８ｎ＋７列目の画素情報を間引き加算して１画素分の情報として出力> し、次いで操作Ｂ <８ｍ＋４，８ｍ＋６，８ｍ＋８，８ｍ＋１０行目の８ｎ＋４，８ｎ＋６，８ｎ＋８，８ｎ＋１０列目の画素情報を間引き加算して１画素分の情報として出力> する。 Importing to the last column or near the next operation (2) {Operation A <8m + 4,8m + 6,8m + 8,8m + 10 line 8n + 1,8n + 3,8n + 5,8n + 7 th pixel information thinning addition to one pixel output> and as information, then outputs> as an operation B <8m + 4,8m + 6,8m + 8,8m + + 10 line 8n 4,8n + 6,8n + 8,8n + 10 th pixel information are skipped and added to the information for one pixel. ｍの値は固定で、Ａ，Ｂ一連の操作が終了したら、次のＡ，Ｂの操作に移行する前にｎを１つ増加させる。 The value of m fixed in, A, B When the series of operations is completed, the next A, 1 single increase n before moving to the operation of the B. 以降同様に、Ａ，Ｂ，Ａ，Ｂ，Ａ，Ｂ，…と順番にＡ，Ｂの操作を列の最後またはその付近まで繰り返す。 Since Likewise, A, B, A, B, A, B, repeated ... and order A, the operation of the B to the end or near the column. ｝ }
この行でも最終列またはその付近まで読み込むと、ｍの値を１つ増加させて操作（１），（２）を行なう。 Importing to the last column or near in this line, the value of m is incremented by 1 in operation (1), the (2). そして、読み出すように設定された画素情報をすべて読み出すまで、上述した一連の動作を繰り返す。 Then, until the read of all the set pixel information to read and repeats the series of operations described above. このように間引き加算を行った場合、擬似的な画素の重心は図１１に示すようになり、４×４の単位画素ブロックごとに同色の色分離フィルタの画素情報を出力したことになるので、１／１６の割合で画素情報量を圧縮したことになる。 If done in this way the decimation addition, the center of gravity of the pseudo-pixel is as shown in FIG. 11, it means that outputs the pixel information of the same color separation filter for each unit pixel block of 4 × 4, so that the amount of pixel information is compressed at a ratio of 1/16.
ただし、このようにして１／偶数画素×１／偶数画素の割合で画素情報量を圧縮する過程において、間引き加算する擬似的な画素ブロック（単位画素ブロック）が交互に重なり合いながら敷き詰められた状態で、偶数×偶数画素を間引き加算すると、たとえば図１１に示すように、加算結果の重心位置がずれる。 However, in the process of compressing the amount of pixel information at a ratio of the thus 1 / even pixels × 1 / even-numbered pixel, with the pseudo pixel blocks (unit pixel block) were laid with overlapping alternately to skipping and adding , adding thinning even × even pixels, for example, as shown in FIG. 11, shift the center of gravity of the addition result.
第２実施形態において、加算結果の重心位置がずれないように読み出すには、それぞれ３以上の１／奇数画素×１／奇数画素すなわち１／（２ｋ＋３）×（２ｋ＋３）（ｋは０以上の正の整数；条件式Ｄともいう）の割合で画素情報量を圧縮する過程において、間引き加算する擬似的な画素ブロック（単位画素ブロック）が交互に重なり合いながら敷き詰められた状態で、それぞれ３以上の奇数×奇数すなわち（２ｋ＋３）×（２ｋ＋３）（条件式Ｅともいう）画素を間引き加算するようにすればよく、この場合にも、画素情報を、折返しノイズを低減した状態で間引く構成を採ることができる。 In the second embodiment, the read so as not shift the center of gravity of the addition result are respectively 3 or more 1 / odd pixels × 1 / odd pixel ie 1 / (2k + 3) × (2k + 3) (k is 0 or a positive odd in the process of compressing the amount of pixel information at a ratio of also referred to as condition D), in a state in which pseudo pixel blocks (unit pixel block) were laid with overlapping alternately to skipping and adding, for each of the three or more; an integer × odd i.e. (2k + 3) × (2k + 3) (also referred to as condition E) may be to sum thinning pixels, even in this case, the pixel information, to adopt a structure in which thin out at reduced aliasing noise it can.
つまり、折返しノイズと加算結果の重心位置の双方を一番に考えるならば、奇数単位で間引きするのがベストではあるが、センサの仕様によっては、いつも奇数とすることはできない。 In other words, we consider the most of both the center of gravity of the aliasing noise and the addition result, but to the thinning odd units is a best, depending on the specification of the sensor, it can not always be an odd number. センサ仕様上奇数を選択不可能な場合において、ただ単に間引きをするよりも、たとえ偶数でも（重心がずれても）加算間引きする方がいいときがある場合には、前述のように１／偶数画素×１／偶数画素の割合で画素情報量を圧縮する過程において、間引き加算する単位画素ブロックが交互に重なり合いながら敷き詰められた状態で、偶数×偶数画素を間引き加算するとよく、センサ仕様上奇数を選択可能な場合には、１／奇数画素×１／奇数画素の割合で画素情報量を圧縮する過程において、間引き加算する単位画素ブロックが交互に重なり合いながら敷き詰められた状態で、奇数×奇数画素を間引き加算するとよい。 In case the sensor specifications on odd that the unselectable, simply than the thinning, if there is even when the better to skipping and adding even (even shift the center of gravity) in even number, 1 / even, as described above in the process of compressing the amount of pixel information at a ratio of pixels × 1 / even-numbered pixel, with the unit pixel block skipping and adding are paved while overlapping alternately, may when adding thinning even × even pixels, the sensor specifications on odd when possible selection is in the process of compressing the amount of pixel information at a ratio of 1 / odd pixels × 1 / odd-numbered pixel, with the unit pixel block skipping and adding are paved while overlapping alternately, the odd × odd pixels it may be thinning added.
たとえば、図１２〜図１４は、条件式Ｄ，Ｅにおいてｋ＝１のとき、すなわち９（＝３×３）画素を間引き加算し、１／９の割合で画素情報量を圧縮する場合について示している。 For example, FIGS. 12 to 14, when conditional expression D, the E of k = 1, i.e. 9 (= 3 × 3) skipped and added pixel, shows the case of compressing the amount of pixel information at a ratio of 1/9 ing. この場合、先ず、図１２（ａ）に示すように、１行目の１，３，５列目、３行目の１，３，５および５行目の１，３，５列目の画素情報を加算して１画素分の情報として出力する。 In this case, first, as shown in FIG. 12 (a), 1,3,5 column of the first row, 1,3,5 column of pixels 1, 3, 5 and fifth row in the third row by adding the information to output as information for one pixel.
次に、図１２（ｂ）に示すように、１行目の４，６，８列目、３行目の４，６，８列目および５行目の４，６，８列目の画素情報を加算して１画素分の情報として出力する。 Next, as shown in FIG. 12 (b), 4,6,8 column of the first row, 4,6,8 column of pixels of 4,6,8 column of the third row and the fifth row by adding the information to output as information for one pixel. 次いで、図１２（ｃ）に示すように、１行目の７，９，１１列目、３行目の７，９，１１列目および５行目の７，９，１１列目の画素情報を加算して１画素分の情報として出力する。 Then, as shown in FIG. 12 (c), 7, 9, 11 column of the first row, 7, 9, 11 th pixel information 9, 11 column and fifth row in the third row the adds output as information for one pixel.
同様の操作を繰り返して、読み出す画素が、図１３（ａ）に示すように、最終列または最終列付近に達する。 Repeat the same procedure, pixels to be read out, as shown in FIG. 13 (a), reaches near the last column or last column. なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。 Incidentally, either skipping and adding process reads the pixel information of the extent is changed by setting. この後、図１３（ｂ）に示すように、３段下がって、４行目の１，３，５列目、６行目の１，３，５列目および８行目の１，３，５列目の画素情報を加算して１画素分の情報として出力する。 Thereafter, as shown in FIG. 13 (b), down three stages, 1,3,5 column of the fourth row, the 1,3,5 column and 8 row line 6 1,3, adding 5 th pixel information outputted as information for one pixel.
つまり、操作（１）｛３ｍ＋１，３ｍ＋３，３ｍ＋５行目の６ｎ＋１，６ｎ＋３，６ｎ＋５列目（ｍ，ｎは０以上の正の整数）の画素情報を間引き加算して１画素分の情報として出力｝し、次いで操作（２）｛３ｍ＋１，３ｍ＋３，３ｍ＋５行目の６ｎ＋４，６ｎ＋６，６ｎ＋８を間引き加算して１画素分の情報として出力｝する。 That is, the operation (1) {3m + 1,3m + 3,3m + 5 line 6n + 1,6n + 3,6n + 5 column (m, n is 0 or a positive integer) output as information of one pixel by adding thinned pixel information} , and then manipulating (2) {3m + 1,3m + output as 3,3m + 5 line 6n + 4,6n + 6,6n + 8 skipped and added to the information of one pixel}. 操作（１），（２）をペアで行なうのが基本動作であり、ｍ＝０，ｎ＝０から開始し、まずｍを０で固定し、ｎを基本動作１回につき順次１ずつ増加させる。 Operation (1), a basic operation is carried out in pairs (2), starting from m = 0, n = 0, causes first the m fixed at 0, increasing the n one by one per basic operation once . 画素の最終列またはその付近に達したときに、ｍを１つ増加させ、ｎを０にする。 Upon reaching the last column or near the pixel, the m is increased by one to n to 0.
以下、同様にして設定された画素情報をすべて読み出すまで、その操作を繰り返して実行する。 Hereinafter, until reading all pixel information set in the same manner, repeatedly executes the operation. このようにして間引き加算を行った場合には、擬似的な画素の重心は図１４に示すようになり、３×３の単位画素ブロックごとに同色の色分離フィルタの画素情報を出力したことになるので、１／９の割合で画素情報量を圧縮したことになる。 When performing decimation addition in this way, the center of gravity of the pseudo-pixel is as shown in FIG. 14, that outputs the pixel information of the same color separation filter for each unit pixel block of 3 × 3 since, it means that amount of pixel information is compressed at a ratio of 1/9.
また、３以上の奇数×奇数とする場合においても、図示を割愛するが、ｋが１以上、すなわちｋ＝１の５×５の画素ブロックを単位画素ブロックとする１／２５の割合での画素情報量の圧縮や、ｋ＝２の７×７の画素ブロックを単位画素ブロックとする１／４９の割合での画素情報量の圧縮などの場合にも、同様に適用でき、同様の効果を享受できる。 Further, in the case of the three or more odd × odd also, although not shown in the drawing, k is 1 or more, i.e., the pixel of the 5 × 5 pixel block of k = 1 at a rate of 1/25 of a unit pixel block information volume compression or, k = in the case of such pixel information amount of the compression of the second 7 × 7 pixel blocks at a ratio of 1/49 to a unit pixel block, similarly applied can, the same effect it can.
なお、上述した第２実施形態の説明では、偶数×偶数と、３以上の奇数×奇数の場合に分けて条件式を示したが、両者を纏めて、１／（ｋ＋２）×（ｋ＋２）（ｋは０以上の正の整数；条件式Ｆともいう）の割合で画素情報量を圧縮する過程において、間引き加算する擬似的な画素ブロック（単位画素ブロック）が交互に重なり合いながら敷き詰められた状態で、それぞれ（ｋ＋２）×（ｋ＋２）（条件式Ｇともいう）画素を間引き加算する構成と考えることができる。 In the description of the second embodiment described above, and an even × even, although the condition is divided into the case of three or more odd number × odd, collectively both, 1 / (k + 2) × (k + 2) ( k is 0 or a positive integer; in the process of compressing the amount of pixel information at a ratio of also referred to as condition F), in a state in which pseudo pixel blocks (unit pixel block) were laid with overlapping alternately to skipping and adding can be considered respectively (k + 2) × (k + 2) (also referred to as condition G) and configured for adding thinned pixels.
また、３以上の奇数×奇数の場合に、仮想画素中の全ての画素の情報を読み出す例を示したが、必ずしも全ての画素の情報を読み出す必要はなく、たとえば、任意の行の画像情報だけ読み込んで間引き加算したり、縦の列を読み飛ばすことによって間引き加算するようにしてもよい。 In the case of an odd number of 3 or more × odd, an example of reading information of all pixels in the virtual pixel, it is not necessary to read out the necessarily information of all the pixels, for example, only the image information of the arbitrary row or skipping and adding loading may be skipped and added by skipping the vertical column.
図１５〜図１７は、縦の列を読み飛ばすことによって間引き加算する変形例を説明する図である。 15 to 17 are diagrams illustrating a modification of the decimation and addition by skipping the vertical column. この図１５および図１６に示す変形例は、１６画素を間引き加算し、１／２５の割合で画素情報量を圧縮する場合を示している。 The modification shown in FIGS. 15 and 16, the 16 pixel thinning added, it shows a case of compressing the amount of pixel information at a ratio of 1/25.
先ず、図１５（ａ）に示すように、１，３，５，７行目の１，３，５，７列目の画素情報を加算して１画素分の情報として出力する。 First, as shown in FIG. 15 (a), and outputs it as information for one pixel by adding the 1,3,5,7 th pixel information of 1,3,5,7 line. 次に、図１５（ｂ）に示すように、１，３，５，７行目の６，８，１０，１２列目の画素情報を加算して１画素分の情報として出力する。 Next, as shown in FIG. 15 (b), and outputs it as information for one pixel by adding the 6, 8, 10, 12 th pixel information of 1,3,5,7 line. 図から分かるように、読み出すごとに１画素列ずつ拾い漏れがある。 As can be seen, there is a pick up leaking one pixel column every read. 同様に、１，３，５，７行目の１１，１３，１５，１７列目の画素情報を加算して１画素分の情報として出力する。 Similarly, output as information of one pixel by adding 11, 13, 15, 17 th pixel information of 1,3,5,7 line.
同様の操作を繰り返し、図１６（ａ）に示すように、読み出す画素が最終列または最終列付近に達する。 Repeating the same operation, as shown in FIG. 16 (a), reads pixel reaches near the last column or last column. なお、どこまでの画素情報を読み出して間引き加算処理するかは、設定により変更される。 Incidentally, either skipping and adding process reads the pixel information of the extent is changed by setting. この後、図１６（ｂ）に示すように、５段下がって、６，８，１０，１２行目の１，３，５，７列目の画素情報を加算して１画素分の情報として出力する。 Thereafter, as shown in FIG. 16 (b), down five stages, as information of one pixel by adding the 1,3,5,7 th pixel information of 6, 8, 10, 12 line Output.
つまり、操作（１）｛５ｍ＋１，５ｍ＋３，５ｍ＋５，５ｍ＋７行目の１０ｎ＋１，１０ｎ＋３，１０ｎ＋５，１０ｎ＋７列目の画素情報を間引き加算して１画素分の情報として出力｝し、次いで操作（２）｛５ｍ＋１，５ｍ＋３，５ｍ＋５，５ｍ＋７行目の１０ｎ＋６，１０ｎ＋８，１０ｎ＋１０，１０ｎ＋１２を間引き加算して１画素分の情報として出力｝する。 That is, the operation (1) {output as 5m + 1,5m + 3,5m + 5,5m + 7 line 10n + 1,10n + 3,10n + 5,10n + 7 row thinned pixel information addition to the information of one pixel}, then the operation (2) { 5m + 1,5m + 3,5m + 5,5m + 7 line 10n + 6,10n + 8,10n + 10,10n + 12 skipped and added and outputs} as information for one pixel.
操作（１），（２）を繰り返すのが基本動作であり、ｍ，ｎは０以上の正の整数で、ｍ＝０，ｎ＝０から開始し、まずｍを０で固定し、ｎを基本動作１回につき順次１ずつ増加させる。 Operation (1), a basic operation to repeat the (2), m, n is 0 or a positive integer, starting from m = 0, n = 0, the first m were fixed with 0, the n per increase sequentially by 1 basic operation once. 画素の最終列または最終列付近に達したときに、ｍを１つ増加させ、ｎを０にする。 When reaching near the last column or last column of the pixel, the m is increased by one to n to 0. 以下、その操作の繰り返しを行なう。 Hereinafter, the repetition of the operation.
このように、縦の列を読み飛ばして間引き加算する場合、擬似的な画素の重心は図１７の斜線部分となり、５×５の単位画素ブロックごとに同色の色分離フィルタの画素情報を出力したことになるので、１／２５の割合で画素情報量を圧縮したことになる。 Thus, if the skipped vertical columns thinning addition, the center of gravity of the pseudo-pixel becomes a hatched portion in FIG. 17, and outputs the pixel information of the same color separation filter for each unit pixel block of 5 × 5 I mean, it means that the amount of pixel information is compressed at a ratio of 1/25.
このようにして、間引き加算処理を行なうことにより、擬似的に画素面積の増加および横方向への画素の拾い漏れがなくなることなどによってナイキスト周波数以上の空間周波数領域のＭＴＦ値を低減することができる。 In this way, by performing the decimation and addition processing, pseudo can be reduced MTF value of a spatial frequency range above the Nyquist frequency, such as by picking up leakage pixels to increase and lateral direction of the pixel area is eliminated . これにより、折返しノイズが減少するので、間引き過程において、従来問題であったノイズを低減しつつ画質を向上させることができる。 Thus, the aliasing noise is reduced, in the thinning process, it is possible to improve the image quality while reducing the conventional problem occurring noise.
また、サンプリング過程で間引きながら信号処理を行なうことにより、出力バッファ２９やＡ／Ｄ変換部１１０に掛る負荷を大幅に低減できるため、画素情報の順序、空間的な位置関係ともに全画素読出しと同じまま、高速読出し、低消費電力化、間引きすることができる。 Further, by performing signal processing while thinning by the sampling process, it is possible to greatly reduce the load exerted on the output buffer 29 and A / D conversion unit 110, the order of the pixel information, same as all-pixel read in both spatial position relationship while, high-speed reading, low power consumption, can be thinned.
＜間引き加算処理の動作の実現手法；第１実施形態＞ <Method of realizing the operation of the thinning-out and addition processing; First Embodiment>
図１８は、上述した間引き加算処理の動作を実現するための回路構成の第１実施形態を示す図である。 Figure 18 is a diagram showing a first embodiment of a circuit configuration for realizing the operations of the thinning-out and addition processing described above.
間引き加算処理の動作を実現する具体的な手法としては、特願２００３−０４３８９７号のある（第１および第２）実施形態において、固体撮像素子から読み出した画素情報を格納するメモリ回路部２７を設けて、このメモリ回路部２７に格納されている単位画素ブロック内の同色の色分離フィルタの画素情報を同時に水平信号線１８に出力する仕組みを例示した。 As a specific method for realizing the operation of the thinning-out and addition processing, in a Japanese Patent Application No. 2003-043897 (first and second) embodiment, the memory circuit 27 for storing the pixel information read from the solid-state imaging device provided to illustrate the mechanism for outputting the pixels of the same color information of the color separation filter in the unit pixel block stored in the memory circuit 27 at the same time to the horizontal signal line 18.
しかしながら、この場合、単位画素ブロック分の複数行の全画素情報を記憶する必要があるので、単純な構成では、少なくとも複数行分のラインメモリが必要になり、単位画素ブロックのサイズに応じて、メモリ回路部２７の構成が大規模になる。 However, in this case, it is necessary to store all pixel information of a plurality of rows of unit pixels block, in a simple construction, it requires at least a plurality rows of the line memory, depending on the size of the unit pixel block, the configuration of the memory circuit section 27 is made on a large scale.
一方、特願２００３−０４３８９７号においては、他の（第３および第４）実施形態として、固体撮像素子の画素配列に対してそれぞれ１行分の画素情報を格納可能な２つのメモリ回路（つまり２つのラインメモリ）を設け、各メモリ回路にそれぞれ格納されている単位画素ブロック内のうちの同色である２列分の色分離フィルタの画素情報を同時に水平信号線に出力する仕組みも提案している。 On the other hand, in Japanese Patent Application No. 2003-043897, as another (third and fourth) embodiment, two memory circuits capable of storing pixel information for each one row for the pixel array of the solid-state imaging device (i.e. two line memories) is provided, also proposes a mechanism for outputting the same time the horizontal signal line pixel information of a color separation filter of the two columns is the same color of the unit pixel block respectively stored in the memory circuit there.
この場合、単位画素ブロックのサイズに拘らず、２つのラインメモリで間引き加算処理を実現できるが、複数行分のラインメモリを必要とする点では、特願２００３−０４３８９７号の第１および第２実施形態と同様であり、依然として、メモリ回路の構成が煩雑になる問題がある。 In this case, regardless of the size of the unit pixel block, it can be realized thinning-out and addition processing in the two line memories, in terms that require line memories of the plurality rows, the first and second Japanese Patent Application No. 2003-043897 is similar to the embodiment, there is still a problem that the configuration of the memory circuit becomes complicated.
そこで、本実施形態では、メモリ回路の構成をより簡易にするべく、１つのメモリ回路を用いた構成と動作を具体的に示すこととする。 Therefore, in this embodiment, in order to more simplify the configuration of the memory circuit, and specifically indicate that the configuration and operation using a single memory circuit.
図１８に示すように、第１実施形態の間引き加算処理部２５は、ＣＤＳ処理部（カラム回路）２６と、メモリ回路部２７と、接続制御部２８とを有して構成されている。 As shown in FIG. 18, the decimation and addition processing unit 25 of the first embodiment, CDS processing section (column circuit) 26, a memory circuit section 27 is configured and a connection control unit 28. メモリ回路部２７のメモリ機能要素は、ＣＤＳ処理部２６が備える容量素子をアナログメモリ素子として兼用している。 Memory functional elements of the memory circuit 27, also serves as a capacitive element provided in the CDS processing section 26 as an analog memory device.
たとえば、ＣＤＳ処理部２６は、それぞれ撮像部１０の垂直列（図ではｍ列〜ｍ＋７列までを例示）ごとに設けられた結合キャパシタＣａおよびサンプルホールドキャパシタＣｂと、各キャパシタＣａ，キャパシタＣｂ間の接続を制御パルスＳに従って制御するスイッチＳａと、サンプルホールドキャパシタＣｂの電位を基準電位ＶｃにリセットするスイッチＳｂと、各サンプルホールドキャパシタＣｂに保持された信号電圧を制御パルスＵ２に従って所定の順に水平信号線１８に読み出す制御を行なうスイッチＳｃ（水平列選択スイッチあるいはカラムスイッチといわれるもの）とを備えている。 For example, CDS processing unit 26, a coupling capacitor Ca and a sample hold capacitor Cb is provided for each (illustrated up to m columns ~m + 7 rows in the drawing) vertical rows of the imaging unit 10, respectively, each capacitor Ca, between the capacitors Cb a switch Sa for controlling in accordance with the control pulses S the connection, the sample-hold and switch Sb which the potential of the capacitor Cb is reset to the reference potential Vc, the horizontal signal in a predetermined order the held signal voltage according to the control pulse U2 to each sample hold capacitor Cb and a switch Sc (what is referred to as a horizontal column select switches or column switch) for controlling to read out the line 18.
ここで、サンプルホールドキャパシタＣｂが、メモリ回路部２７のメモリ機能要素として機能し、一種のラインメモリとして動作するようになっている。 Here, the sample hold capacitor Cb is, functions as a memory functional elements of the memory circuit 27, which operates as a kind of a line memory.
また、本実施形態の間引き加算処理部２５は、複数列や複数行の画素情報を、メモリ回路部２７のアナログメモリ素子であるサンプルホールドキャパシタＣｂを利用して加算処理や平均化処理をするように制御する接続制御部２８として、先ず、結合キャパシタＣａとスイッチＳａとの接続ノードにおいて、隣接する奇数列間（たとえば１列目と３列目、３列目と５列目など）もしくは隣接する偶数列間（たとえば２列目と４列目、４列目と６列目など）の接続を制御パルスＲに従って制御するスイッチＳｄを有している。 Also, decimation and addition processing unit 25 of the present embodiment, to the pixel information of a plurality of columns and a plurality of rows, the addition processing and the averaging processing using the sample-and-hold capacitor Cb is an analog memory element of the memory circuit section 27 as the connection control unit 28 for controlling the, first, in the connection node between the coupling capacitor Ca and a switch Sa, between adjacent odd-numbered column (e.g. first and third columns, etc. third and fifth columns) or adjacent between the even-numbered columns (e.g. columns 2 and 4, the fourth column and the like 6 column) has a switch Sd for controlling according to the control pulse R connections.
スイッチＳｄは、単位画素ブロック内の同色画素の複数列を接続して画素情報を列加算するべく、それら複数列の画素情報を共通の（１つの）記憶素子（本例ではサンプルホールドキャパシタＣｂ）に導く機能を持つ。 Switch Sd, in order to train adding pixel information by connecting a plurality of columns of the same color pixels in the unit pixel block, those multiple row pixel information of the common (one) memory elements (sample hold capacitor Cb in this example) It has a function that leads to.
また、接続制御部２８は、スイッチＳａとサンプルホールドキャパシタＣｂの接続ノードにおいて、隣接する奇数列間（たとえば１列目と３列目、３列目と５列目など）もしくは隣接する偶数列間（たとえば２列目と４列目、４列目と６列目など）の接続を制御パルスＴに従って制御するスイッチＳｅを有している。 Further, the connection control unit 28, in the connecting node of the switches Sa and a sample hold capacitor Cb, between adjacent odd-numbered column (e.g. first and third columns, etc. third and fifth columns) or between adjacent even column (e.g. columns 2 and 4, the fourth column and the like 6 column) has a switch Se for controlling according to a control pulse T connections.
スイッチＳｅは、単位画素ブロック内の同色画素の複数列のメモリ素子（本例ではサンプルホールドキャパシタＣｂ）を接続することで、複数列のサンプルホールドキャパシタＣｂに保持されている各行の複数列分の画素情報を行加算し、加算した結果を平準化（平均化）する、つまりそれぞれの保持内容を共通にさせる機能を持つ。 Switch Se (in this example the sample-hold capacitor Cb) memory device a plurality of columns of the same color pixels in the unit pixel block by connecting in multiple rows worth of each row held by the sample hold capacitor Cb of the plurality of rows the pixel information row addition, the result of addition to leveling (averaging), i.e. with the function of the respective contents retained in common.
図１９〜図２３は、図１８に示した第１実施形態の間引き加算処理部２５において、上述した間引き加算処理の動作を実現する手法の具体例を説明する図である。 19 to 23, in the thinning-out addition processing unit 25 of the first embodiment shown in FIG. 18 is a diagram illustrating a specific example of a method for realizing the operation of the thinning-out and addition processing described above.
ここでは、図１２および図１３に示した、同色の９（＝３×３）画素を間引き加算し、１／９の割合で画素情報量を圧縮する場合を一例にして説明する。 Here, as shown in FIGS. 12 and 13, the same color of 9 (= 3 × 3) skipped and added pixel is described as an example the case of compressing the amount of pixel information at a ratio of 1/9. 色分離フィルタとしては、図１８に示すＧｒに着目して説明する。 The color separation filter is described by focusing on Gr shown in FIG. 18.
よって、図１８との対応では、画素Ｐ１１はｎ行ｍ列のＧｒ画素、画素Ｐ１２はｎ行ｍ＋２列のＧｒ画素、画素Ｐ１３は、ｎ行ｍ＋４列のＧｒ画素、画素Ｐ２１はｎ＋２行ｍ列のＧｒ画素、画素Ｐ２２はｎ＋２行ｍ＋２列のＧｒ画素、画素Ｐ２３は、ｎ＋２行ｍ＋４列のＧｒ画素、画素Ｐ３１はｎ＋４行ｍ列のＧｒ画素、画素Ｐ３２はｎ＋４行ｍ＋２列のＧｒ画素、画素Ｐ３３は、ｎ＋４行ｍ＋４列のＧｒ画素である。 Therefore, in correspondence with FIG. 18, the pixel P11 is n row m Gr pixel column, Gr pixel of the pixel P12 is n rows m + 2 columns, pixel P13 is, Gr pixel of n row m + 4 rows, the pixel P21 is n + 2 rows by m columns Gr pixel, Gr pixel of the pixel P22 is row n + 2 m + 2 columns, pixel P23 is, n + Gr pixel two rows m + 4 rows, Gr pixel of the pixel P31 is Gr pixels n + 4 rows and m columns, the pixel P32 is n + 4 row m + 2 columns, pixels P33 is the Gr pixels n + 4 row m + 4 rows.
また、垂直列ごとに設けられたキャパシタＣ１は結合キャパシタＣａｍ、キャパシタＣ２は結合キャパシタＣａｍ＋２、キャパシタＣ３は結合キャパシタＣａｍ＋４である。 Further, the capacitor C1 provided for each vertical column coupling capacitor Cam, capacitor C2 is coupled capacitor Cam + 2, the capacitor C3 is a coupling capacitor Cam + 4. また、垂直列ごとに設けられたキャパシタＣ４はサンプルホールドキャパシタＣｂｍ、キャパシタＣ５はサンプルホールドキャパシタＣｂｍ＋２、キャパシタＣ６はサンプルホールドキャパシタＣｂｍ＋４であり、ＣＤＳ処理部２６の機能要素として作用するだけでなく、本実施形態特有のメモリ回路部２７をも構成する。 The capacitor C4 sample and hold capacitor Cbm provided for each vertical column, the capacitor C5 is the sample hold capacitor Cbm + 2, the capacitor C6 is the sample hold capacitor Cbm + 4, not only acts as a functional element of the CDS processing section 26, the also constituting an embodiment specific memory circuit section 27.
また、結合キャパシタＣａとスイッチＳａとの接続ノードにおいて隣接する列間の接続を制御するスイッチＳ１はスイッチＳｄ02、スイッチＳ２はスイッチＳｄ24、さらにスイッチＳａとサンプルホールドキャパシタＣｂとの接続ノードにおいて隣接する列間の接続を制御するスイッチＳ３はスイッチＳｅ02、スイッチＳ４はスイッチＳｅ24である。 The switch S1 is a switch Sd02 to control connections between adjacent rows in the connection node between the coupling capacitor Ca and a switch Sa, the column switch S2 adjacent the connection node between the switch SD24, further switches Sa and a sample hold capacitor Cb switch S3 for controlling the connection between the switch SE02, switch S4 is a switch SE24.
また、サンプルホールドキャパシタＣｂとしてのキャパシタＣ４の電位を基準電位ＶｃにリセットするスイッチＳ８はスイッチＳｃｍ、キャパシタＣ５の電位を基準電位ＶｃにリセットするスイッチＳ９はスイッチＳｃｍ＋２、キャパシタＣ９の電位を基準電位ＶｃにリセットするスイッチＳ１０はスイッチＳｃｍ＋４である。 Further, the sample-hold switch S8 to reset the potential to the reference potential Vc of the capacitor C4 as a capacitor Cb switch Scm, the switch S9 is a switch Scm + 2 for resetting the potential of the capacitor C5 to the reference potential Vc, the reference potential Vc to the potential of the capacitor C9 switches S10 described reset to a switch Scm + 4.
さらに、各サンプルホールドキャパシタＣｂ（本例ではキャパシタＣ４〜Ｃ６）に保持された信号電圧を所定の順に水平信号線１８に読み出すスイッチＹ１はスイッチＳｃｍ、スイッチＹ２はスイッチＳｃｍ＋２、スイッチＹ３はスイッチＳｃｍ＋４である。 Further, each of the sample-and-hold capacitor Cb switches Y1 to read to the horizontal signal line 18 a signal voltage held in the predetermined order (capacitors C4~C6 in this example) switch Scm, the switch Y2 switch Scm + 2, switch Y3 is a switch Scm + 4 is there.
先ず、間引きを行なわない撮像時の画素情報を出力するときには、図１９において、撮像部１０から画素情報が読み出され、さらにＣＤＳ処理部２６にてＣＤＳ処理された画素情報は、メモリ回路部２７のラインメモリ（本例ではサンプルホールドキャパシタＣｂとしてのキャパシタＣ４〜Ｃ６）に格納され、スイッチＹ１〜Ｙ３の選択動作によって順次水平信号線１８に読み出される。 First, when outputting the pixel information at the time of imaging is not performed thinning, 19, pixel information from the imaging unit 10 is read out, the further pixel information CDS processing by the CDS processing section 26, a memory circuit (27) (in this example a capacitor C4~C6 as sample-and-hold capacitor Cb) of the line memory are stored in and read out sequentially the horizontal signal line 18 by the selection operation of the switch Y1 to Y3.
水平信号線１８に読み出された信号は図示しない出力バッファ２９を通して適当なゲインに増幅もしくは減幅された後、後段の図示しない外部回路１００におけるＡ／Ｄ変換部１１０によりデジタル変換され、さらにデジタル信号処理部１３０により適当なゲインに増幅もしくは減幅され、出力される。 After the signal read to the horizontal signal lines 18 are amplified or reduced width to the appropriate gain through the output buffer 29 (not shown), is digitally converted by the A / D converter 110 in the external circuit 100, not later stage illustrated further digital amplified or reduced width suitable gain by the signal processing unit 130, is output.
次に、間引き加算する状態で出力するときには、カラーフィルタ（色分離フィルタ）が存在するときは、たとえば図１２および図１３に示したように、飛び飛びに読み出され、加算される。 Then, when the output state of skipping and adding, when a color filter (color separation filter) is present, for example, as shown in FIGS. 12 and 13 are read at intervals, are added. この際、加算処理時には、メモリ回路部２７のラインメモリとしての機能要素であるサンプルホールドキャパシタＣｂを利用する。 At this time, when the addition process utilizes a sample and hold capacitor Cb is a functional element of a line memory of the memory circuit 27. 以下具体的に説明する。 It will be described in detail below.
先ず、１行目の３列分の画素情報を纏めて１つのサンプルホールドキャパシタＣｂとしてのキャパシタＣ４に取り込む準備をする。 First, to prepare to take collectively three columns of pixel information in the first row in the capacitor C4 as one sample and hold capacitor Cb. このため、先ず、キャパシタＣ１とスイッチＳ５との接続ノードとキャパシタＣ２とスイッチＳ６との接続ノード間をスイッチＳ１で、キャパシタＣ２とスイッチＳ６との接続ノードとキャパシタＣ３とスイッチＳ７との接続ノード間をスイッチＳ２で、それぞれ接続する。 Therefore, first, the inter-connection node between the connection node and the capacitor C2 and the switch S6 of the capacitor C1 and the switch S5 switches S1, between a connection node between the connection node and the capacitor C3 and the switch S7 in the capacitor C2 and the switch S6 in the switch S2, respectively connecting. その他のスイッチＳ３〜Ｓ１０、Ｙ１〜Ｙ３をそれぞれ開放（オープン）にする。 Other switch S3~S10, to each open Y1~Y3 (open).
そして、この状態で、図２０に示すように、スイッチＳ５，Ｓ８を閉じて、１行目の３列分の画素Ｐ１１，Ｐ１２，Ｐ１３（図中白抜きの画素）のリセットレベルをキャパシタＣ４に読み出す。 Then, in this state, as shown in FIG. 20, by closing the switch S5, S8, the reset level of the pixel of three columns of the first row P11, P12, P13 (figure white pixels) in the capacitor C4 read out.
この後、その後スイッチＳ８を切り、図２１の状態にした後、１行目の画素の信号レベルをキャパシタＣ４に読み出す。 Thereafter, subsequently switched off S8, after the state of FIG. 21 reads the signal levels of the pixels in the first row to the capacitor C4. この動作により、キャパシタＣ４には、１行目の３列分の画素Ｐ１１，Ｐ１２，Ｐ１３の情報が合成（加算に相当）されて格納される。 This behavior, the capacitor C4, the pixel P11, P12, P13 information of the three columns of the first row are stored are synthesized (corresponding to addition).
ここで、“合成（加算に相当）”といったのは、３列分の画素を加算する際には、結合キャパシタＣａ（本例ではＣ１〜Ｃ３）と、サンプルホールドキャパシタＣｂ（本例ではＣ４）との間での容量結合による加算処理を行なうので、３つのキャパシタＣ３と１つのキャパシタＣ４との間での容量分配による効果のため、単純な加算処理にはならないからである。 Here, "synthetic (corresponding to addition)" of such, at the time of adding pixel of three columns includes a coupling capacitor Ca (C1 to C3 in this example), the sample hold capacitor Cb (C4 in this example) since performing addition processing due to capacitive coupling between the, for the effect of volume distribution between the three capacitors C3 and a capacitor C4, since not a simple addition process. しかしながら、この過程での処理は、３列分の画素情報を纏めて１つのキャパシタＣ４に取り込むというものであるから、数学的な意義は、加算処理である。 However, processing in this process, since those that incorporate a single capacitor C4 are collectively pixel information of three columns, mathematical significance is the addition process.
次に、上記に準じて、２行目の３列分の画素Ｐ２１，Ｐ２２，Ｐ２３（図中斜線ハッチングの画素）の情報をキャパシタＣ４に取り込む。 Next, according to the above, it captures the second line of the 3 columns of pixels P21, P22, P23 information (hatched hatched pixels) in the capacitor C4. たとえば、先ず、２行目の３列分の画素情報を纏めて１つのサンプルホールドキャパシタＣｂとしてのキャパシタＣ５に取り込む準備をする。 For example, first, to prepare for taking the capacitor C5 as one sample and hold capacitor Cb are collectively three columns of pixel information in the second row. このため、図示を割愛するが、先ず、キャパシタＣ１とスイッチＳ５との接続ノードとキャパシタＣ２とスイッチＳ６との接続ノード間をスイッチＳ１で、キャパシタＣ２とスイッチＳ６との接続ノードとキャパシタＣ３とスイッチＳ７との接続ノード間をスイッチＳ２で、それぞれ接続する。 Therefore, although not illustrated, first, between the connection node between the connection node and the capacitor C2 and the switch S6 of the capacitor C1 and the switch S5 switches S1, a connection node and the capacitor C3 of the capacitor C2 and the switch S6 switches S7 and of the connection between the nodes in the switch S2, respectively connecting. その他のスイッチＳ３〜Ｓ１０、Ｙ１〜Ｙ３をそれぞれ開放（オープン）にする。 Other switch S3~S10, to each open Y1~Y3 (open).
そして、この状態で、スイッチＳ６，Ｓ９を閉じて、２行目の３列分の画素Ｐ２１，Ｐ２２，Ｐ２３のリセットレベルをキャパシタＣ５に読み出す。 In this state, by closing the switch S6, S9, read pixels in the second row of three columns P21, P22, P23 and the reset level of the capacitor C5.
その後、スイッチＳ９を切って図２２の状態にした後、２行目の画素の信号レベルをキャパシタＣ５に読み出す。 Then, after the state of FIG. 22 switched off S9, reading the signal level of the second row of pixels to the capacitor C5. この動作により、キャパシタＣ５には、２行目の３列分の画素Ｐ２１，Ｐ２２，Ｐ２３の情報が合成（加算に相当）されて格納される。 This behavior, the capacitor C5, the pixels P21, P22, P23 information of the second row of three columns are stored are synthesized (corresponding to addition).
また、３行目の３列分の画素Ｐ３１，Ｐ３２，Ｐ３３（図中ドットで示す画素）の情報をキャパシタＣ６に取り込む。 Also, capture information of the pixels of three columns in the third row P31, P32, P33 (the pixels shown in the drawing dots) to the capacitor C6. たとえば、先ず、３行目の３列分の画素情報を纏めて１つのサンプルホールドキャパシタＣｂとしてのキャパシタＣ６に取り込む準備をする。 For example, first, to prepare to take collectively pixel information of three columns in the third row in the capacitor C6 as one sample and hold capacitor Cb. このため、図示を割愛するが、先ず、キャパシタＣ１とスイッチＳ５との接続ノードとキャパシタＣ２とスイッチＳ６との接続ノード間をスイッチＳ１で、キャパシタＣ２とスイッチＳ６との接続ノードとキャパシタＣ３とスイッチＳ７との接続ノード間をスイッチＳ２で、それぞれ接続する。 Therefore, although not illustrated, first, between the connection node between the connection node and the capacitor C2 and the switch S6 of the capacitor C1 and the switch S5 switches S1, a connection node and the capacitor C3 of the capacitor C2 and the switch S6 switches S7 and of the connection between the nodes in the switch S2, respectively connecting. その他のスイッチＳ３〜Ｓ１０、Ｙ１〜Ｙ３をそれぞれ開放（オープン）にする。 Other switch S3~S10, to each open Y1~Y3 (open).
そして、この状態で、スイッチＳ７，Ｓ１０を閉じて、３行目の３列分の画素Ｐ３１，Ｐ３２，Ｐ３３のリセットレベルをキャパシタＣ６に読み出す。 In this state, by closing the switch S7, S10, reads the pixels of three columns in the third row P31, P32, P33 and the reset level of the capacitor C6.
図示を割愛するが、その後、スイッチＳ１０を切り、３行目の画素の信号レベルをキャパシタＣ６に読み出す。 Not shown in the drawing, but then, switch off S10, reads the signal level of the pixel in the third row to the capacitor C6. この動作により、キャパシタＣ６には、３行目の３列分の画素Ｐ３１，Ｐ３２，Ｐ３３の情報が合成（加算に相当）されて格納される。 This behavior, the capacitor C6, 3 columns of pixels P31, P32, P33 information of the third line are stored are synthesized (corresponding to addition).
このように、行ごとに処理対象画素（本例では３列分）の画素情報を読み出しては、その３列分の合成（実質的には加算）を取って、それぞれ１個のサンプルホールドキャパシタＣｂに読み出す動作を行なうことで、同一行の３列分の信号を、メモリ回路部２７におけるそれぞれ対応する１個のサンプルホールドキャパシタＣｂ（本例ではＣ４，Ｃ５，Ｃ６）に加算して格納することができる。 Thus, it reads the pixel information of the target pixel for each row (three columns in this example), taking the synthesis of the 3 columns (substantially adding to), each one sample and hold capacitor by performing the operation for reading the Cb, the three columns of the signal in the same row (in this example C4, C5, C6) 1 samples hold capacitor Cb corresponding, respectively, in the memory circuit section 27 and stores the sum in be able to.
この同一行の３列分の加算処理の後、図２３に示すように、結合キャパシタＣａ（本例ではＣ１〜Ｃ３）とサンプルホールドキャパシタＣｂ（本例ではＣ４〜Ｃ６）との間の接続を制御するスイッチＳａ（本例ではＳ５〜Ｓ７）を開放状態（オープン）にして、スイッチＳａとサンプルホールドキャパシタＣｂ（本例ではＣ４，Ｃ５，Ｃ６）との接続ノードにおいて隣接する列間の接続を制御するスイッチＳ３，Ｓ４を閉じる。 After three columns of addition processing of the same row, as shown in FIG. 23, the connection between the coupling capacitor Ca (present Examples C1 to C3) and a sample hold capacitor Cb (C4-C6 in the present example) and a control switch Sa (S5 to S7 in the present example) to open (open), the connection between adjacent rows in the connection node between the (C4, C5, C6 in this example) switches Sa and a sample hold capacitor Cb the switch S3, S4 which controls close.
この動作は、サンプルホールドキャパシタＣｂ（本例ではＣ４，Ｃ５，Ｃ６）に格納されていた各行の信号を容量分配することであり、数学的な意義は平均化処理である。 This behavior is (in this example C4, C5, C6) a sample hold capacitor Cb is to capacity distributing signals of each line that has been stored in the mathematical significance is the averaging process. また、サンプルホールドキャパシタＣｂ（本例ではＣ４，Ｃ５，Ｃ６）には、それぞれ各行の３列分の情報が加算されて格納されているので、結果的には、単位画素ブロック（本例では３行×３列分）の同一色の画素の情報を全て加算して平均化して出力することになる。 Moreover, the (at C4, C5, C6 in this example) sample and hold capacitor Cb, since three columns of information for each row are stored are added which will result in the unit pixel block (in this example 3 all the information of the same color pixels in a row × 3 columns) adding to will output by averaging.
この３行×３列分の画素の情報を平均化したサンプルホールドキャパシタＣｂ（本例ではＣ４，Ｃ５，Ｃ６）に保持されている情報を水平信号線１８に読み出す際には、スイッチＹ１〜３のうちの少なくとも１つをオンさせるとよい。 When reading the information held in the (C4, C5, C6 in this example) the information of the pixels in the three rows × 3 columns averaged sample and hold capacitor Cb to the horizontal signal line 18, switch Y1~3 it may be turned on at least one of the. 結果的には、３行×３列分の画素の情報を平均化して、擬似的に１画素分の画素情報として読み出すことを意味する。 In the end, it means to read the information of the pixels of 3 rows × 3 columns by averaging, as pixel information of pseudo one pixel.
以上説明したように、第１実施形態の間引き加算処理部２５によれば、間引き加算処理を行なうに際して、ＣＤＳ処理部２６の機能要素でもあるサンプルホールドキャパシタＣｂを１列分のラインメモリとして利用して、単位画素ブロックの画素情報を加算し、平均化するようにした。 As described above, according to the decimation and addition processing unit 25 of the first embodiment, when performing the thinning-out and addition processing, using the sample-and-hold capacitor Cb, which is also the functional elements of the CDS processing section 26 as a line memory for one column Te, and adding pixel information of the unit pixel block, and so averaging.
つまり、間引き加算処理部２５として、処理単位ブロック内の同一色の画素からの各画素信号を纏めて保持可能な複数の記憶素子として、ＣＤＳ処理部２６におけるサンプルホールドキャパシタを利用するメモリ回路部２７を用意する。 That is, the thinning-out addition processing section 25, a plurality of memory elements capable of holding together the respective pixel signals from same color pixels in the processing unit blocks, the memory circuit 27 utilizing a sample and hold capacitor in the CDS processing section 26 to prepare a. 接続制御部２８（本例ではスイッチＳ１，Ｓ２）を利用して、同一色の画素を持つ複数列を接続して、それら複数列の画素情報を共通のサンプルホールドキャパシタＣｂに導くことで加算処理を実現する。 By using the connection control unit 28 (switches S1, S2 in this example), by connecting a plurality of rows with pixels of the same color, addition processing by directing pixel information of the plurality rows to a common sample-hold capacitor Cb to achieve. さらに、加算処理された複数列のサンプルホールドキャパシタＣｂを接続制御部２８（本例ではスイッチＳ３，Ｓ４）を利用して接続することで、行ごとに加算した複数列の加算結果を平均化する。 Furthermore, (in this example the switch S3, S4) the sample hold capacitor Cb connection control unit 28 of the addition processed plural rows by connecting using the averages addition result of multiple rows and added to each row .
これにより、回路規模（特にメモリ回路の規模）を特願２００３−０４３８９７号の仕組みよりも低減しつつ、擬似的に画素面積（画素幅）を増大させ、ナイキスト周波数以上の空間周波数領域においてＭＴＦ値を減少させることで、折返しノイズを低減することができ、偽色の少ない間引き加算処理を実現できる。 Thus, while the circuit scale (especially scale of the memory circuit) and lower than a mechanism of Japanese Patent Application No. 2003-043897, artificially increasing the pixel area (pixel width), MTF value at a spatial frequency range above the Nyquist frequency by reducing, it is possible to reduce the aliasing noise can be realized with less thinning-out and addition processing of the false color. 間引き加算処理が可能な撮像装置を構成するに当たり、ナイキスト周波数の減少による折返しノイズの問題を簡易な構成で解決できるようになる。 In configuring the skipping and adding processing image pickup apparatus capable, it becomes possible to solve the problem of aliasing noise by reducing the Nyquist frequency with a simple configuration.
また、一度加算した結果を平均化して１画素分の画素情報として水平信号線１８に出力する構成を採っているので、後段へ送られる信号レベルを概ね単位画素３の飽和レベルに維持することができ、たとえばＡ／Ｄ変換部１１０以降の回路の入力ダイナミックレンジが狭い場合に有効となる。 Further, since adopts a configuration to output to the horizontal signal line 18 the result of adding a time as pixel information of one pixel by averaging, to maintain the signal level sent to the subsequent generally the saturation level of the unit pixel 3 It can, for example, becomes effective when the input dynamic range of the circuit after the a / D converter 110 is small.
また、ＣＤＳ処理部２６が備えるサンプルホールドキャパシタＣｂをメモリ回路部２７の１行分のラインメモリとして利用しているので、ＣＤＳ処理部２６と独立にメモリ回路部２７用のメモリ素子を設ける必要がなく、回路をよりコンパクトにできる。 Moreover, the use of the sample-and-hold capacitor Cb which CDS processing section 26 is provided as one line of the line memory of the memory circuit 27, is necessary to provide a memory device for memory circuits 27 independently of the CDS processing section 26 no, can the circuit more compact.
つまり、空間周波数をなるべく落とさない方法で間引き加算処理ができることに加えて、チップの多くの面積を占める、メモリ素子としてのキャパシタの数を減らすことで、チップ面積を小さくし、チップコストも下げることができ、一般消費者に、安くて、高品質な製品を供給できるようになる。 In other words, in addition to being able to thinning addition processing in a manner that does not possible to drop the spatial frequency, occupy a lot of chip area by reducing the number of capacitors as a memory device, to reduce the chip area, also reducing the chip cost It can be, in general consumer, cheap, will be able to supply high-quality products.
また、チップから出力される出力信号量も減るので、高フレームレートでの信号出力や、フレームレートを落とすことによって、全体のシステムの、低消費電力化が行なえる。 Further, since also decreases the output signal value output from the chip, and the signal output at a high frame rate, by dropping the frame rate, the entire system, power consumption can be performed.
＜間引き加算処理の動作の実現手法；第２実施形態＞ <Method of realizing the operation of the thinning-out and addition processing; Second Embodiment>
図２４は、上述した間引き加算処理の動作を実現するための回路構成の第２実施形態を示す図である。 Figure 24 is a diagram showing a second embodiment of a circuit configuration for realizing the operations of the thinning-out and addition processing described above.
この第２実施形態の構成は、図２４に示した第１実施形態の間引き加算処理部２５における、スイッチＳａとサンプルホールドキャパシタＣｂの接続ノードにおいて、隣接する奇数列間（たとえば１列目と３列目、３列目と５列目など）もしくは隣接する偶数列間（たとえば２列目と４列目、４列目と６列目など）の接続を制御パルスＴに従って制御するスイッチＳｅを割愛している点が、第１実施形態と異なる。 The configuration of the second embodiment, the decimation and addition processing unit 25 of the first embodiment shown in FIG. 24, at the connection node of the switch Sa and a sample hold capacitor Cb, and between adjacent odd-numbered column (e.g. column 1 3 th column, third column and including 5 column) or between adjacent even-numbered columns (e.g. columns 2 and 4, omitted switch Se for controlling according to a control pulse T connections in the fourth column and the like 6 column) point you are it is different from the first embodiment.
つまり、メモリ回路部２７の１列分ラインメモリとして機能するサンプルホールドキャパシタＣｂ間を繋ぐスイッチＳｅを無くしている。 In other words, eliminating the switch Se connecting between sample and hold capacitor Cb which functions as one column line memory of the memory circuit 27. この場合、スイッチＹ１〜Ｙ３が、単位画素ブロック内の同色の色分離フィルタが形成された画素を持つ複数列のサンプルホールドキャパシタＣｂに格納されている、処理単位ブロック内の同色の色分離フィルタの画素情報を同時に出力するように切替制御する機能を果たす。 In this case, switch Y1~Y3 is stored in the sample-and-hold capacitor Cb of the plurality of rows with pixels same color separation filter is formed in the unit pixel block, the same color separation filter in the processing unit block functions to switch control to output the pixel information at the same time.
図２５は、図２４に示した第２実施形態の間引き加算処理部２５において、上述した間引き加算処理の動作を実現する手法の具体例を説明する図である。 Figure 25, in the thinning-out addition processing unit 25 of the second embodiment shown in FIG. 24 is a diagram illustrating a specific example of a method for realizing the operation of the thinning-out and addition processing described above.
メモリ回路部２７の１列分ラインメモリとして機能するサンプルホールドキャパシタＣｂ間を繋ぐスイッチＳｅを無くしているので、第１実施形態の構成におけるスイッチＳｅに関わる動作が異なる。 Since eliminating the switch Se connecting between sample and hold capacitor Cb which functions as one column line memory of the memory circuit section 27, the operation is different according to the switch Se in the configuration of the first embodiment.
すなわち、行ごとに処理対象画素（本例では３列分）の画素情報を読み出しては、その３列分の合成（実質的には加算）を取って、それぞれ１個のサンプルホールドキャパシタＣｂに読み出す動作を行なうことで、３行分の信号を、メモリ回路部２７におけるそれぞれ対応する１個のサンプルホールドキャパシタＣｂ（本例ではＣ４，Ｃ５，Ｃ６）に格納する（同一行の３列分の加算処理）までは、第１実施形態と同様である（図１９〜図２２参照）。 That is, reads the pixel information of the target pixel for each row (three columns in this example), taking the synthesis of the 3 columns (substantially adding to), respectively to one of the sample-and-hold capacitor Cb by performing the operation of reading the signal of the three rows (in this example C4, C5, C6) 1 samples hold capacitor Cb corresponding, respectively, in the memory circuit 27 stores in the (three columns in the same row addition process) to is the same as in the first embodiment (see FIGS. 19 to 22).
この後には、図２５に示すように、スイッチＹ１〜Ｙ３の全てを同時にオンすることで、各サンプルホールドキャパシタＣｂ（本例ではＣ４，Ｃ５，Ｃ６）に保持された同一行の３列分の加算結果を、同時に水平信号線１８に読み出す。 After this, as shown in FIG. 25, by turning on at the same time all the switches Y1 to Y3, the sample hold capacitor Cb of three columns in the same row which is held (C4, C5, C6 in the example) the addition result is read out to the horizontal signal lines 18 at the same time.
サンプルホールドキャパシタＣｂ（本例ではＣ４，Ｃ５，Ｃ６）には、それぞれ各行の３列分の情報が加算されて格納されているので、結果的には、単位画素ブロック（本例では３行×３列分）の同一色の画素の情報を加算して、擬似的に１画素分の画素情報として読み出すことを意味する。 The (in C4, C5, C6 this example) sample and hold capacitor Cb, since three columns of information for each row are stored are added which will result in 3 rows × in the unit pixel block (this example by adding the information of the same color pixels of three columns), it means to read the pixel information of pseudo one pixel.
このように、第２実施形態の間引き加算処理部２５においても、間引き加算処理を行なうに際して、ＣＤＳ処理部２６の機能要素でもあるサンプルホールドキャパシタＣｂを１列分のラインメモリとして利用して、単位画素ブロックの画素情報を加算して出力するようにしたので、回路規模（特にメモリ回路の規模）を特願２００３−０４３８９７号の仕組みよりも低減しつつ、擬似的に画素面積（画素幅）を増大させ、ナイキスト周波数以上の空間周波数領域においてＭＴＦ値を減少させることで、折返しノイズを低減することができ、偽色の少ない間引き加算処理を実現できる。 Thus, also in the decimation and addition processing unit 25 of the second embodiment, when performing the thinning-out and addition processing, using the sample-and-hold capacitor Cb, which is also the functional elements of the CDS processing section 26 as a line memory for one column, the unit since such adding and outputting pixel information of the pixel block, while the circuit scale (especially scale of the memory circuit) and lower than a mechanism of Japanese Patent Application No. 2003-043897, pseudo pixel area (pixel width) increased, by decreasing the MTF value at a spatial frequency range above the Nyquist frequency, it is possible to reduce the aliasing noise can be realized with less thinning-out and addition processing of the false color.
なお、第１実施形態の間引き加算処理部２５とは異なり、平均化処理がなされずに、単位画素ブロック（本例では３行×３列分）の同一色の画素の情報を全て加算して出力するので、通常読み出し時と比べて信号量が３倍になる。 Unlike the decimation and addition processing unit 25 of the first embodiment, without made averaging process (in this example, three rows × 3 columns) unit pixel block by adding all the information of the same color pixels since output signal amount is tripled as compared with the normal reading. よって、後段の回路のダイナミックレンジに考慮する必要がある。 Therefore, it is necessary to consider the dynamic range of the subsequent circuit.
しかしながら、間引き加算処理という観点では、加算と平均化はゲイン１／３違うだけであり、この点を無視すれば、同じ意義を持つ。 However, in the viewpoint of thinning-out and addition processing, addition and averaging are only different gain 1/3, ignoring this point, with the same meaning.
なお、第１および第２実施形態の間引き加算処理部２５では、行ごとにスイッチＳａ（本例ではスイッチＳ５〜Ｓ７）を切り替えることで各行の加算結果を垂直列ごとに設けられた個別のサンプルホールドキャパシタＣｂ（本例ではキャパシタＣ４〜Ｃ６）に保持させたが、何れか１つのサンプルホールドキャパシタＣｂに同色の全ての画素情報を保持させて加算し、そのサンプルホールドキャパシタＣｂから加算結果を読み出すことで、単位画素ブロック（本例では３行×３列分）の同一色の画素の情報を全て加算して、擬似的に１画素分の画素情報として読み出すこともできる。 In decimation and addition processing unit 25 of the first and second embodiments, individual samples provided each row of the addition result for each column by switching the (switch S5~S7 in this example) switch Sa for each row Although (in this example a capacitor C4-C6) hold capacitor Cb was held on any one of the sample-and-hold capacitor Cb is held all the pixels of the same color information is added to, reading the addition result from the sample hold capacitor Cb it is, (in this example 3 rows × 3 columns) unit pixel block can also read information of the same color pixels of all by adding, as the pixel information of pseudo one pixel.
なお、特願２００３−０４３８９７号の仕組みにおいても、単位画素ブロック内の同色の画素情報を加算する処理の実現に当たって、同一色の画素情報をメモリ回路部から水平信号線上へ同時に読み出すことによって実現する仕組みが提案されているが、ＣＤＳ処理部とは独立にメモリ回路部を備えており、全体の回路規模が大きい。 Also in a mechanism of Japanese Patent Application No. 2003-043897, realized by reading to realize the processing of adding same color pixel information in the unit pixel block, at the same time pixel information of the same color from the memory circuit section to the horizontal signal line While the mechanism has been proposed, provided with a memory circuit section independent of the CDS processing section, a large overall circuit scale.
これに対して、この第２実施形態では、“同一色の画素情報をメモリ回路部から水平信号線上へ同時に読み出す”という点で似通っているが、ＣＤＳ処理部２６が備えるサンプルホールドキャパシタＣｂをメモリ回路部２７の１行分のラインメモリとして利用しているので、ＣＤＳ処理部２６と独立にメモリ回路部２７用のメモリ素子を設ける必要がなく、回路をよりコンパクトにできる利点がある。 Memory contrast, this in the second embodiment, "the same color pixel information from the memory circuit section simultaneously read to the horizontal signal lines" are similar in that the sample hold capacitor Cb which CDS processing section 26 is provided since utilized as one line of the line memory circuit 27, it is not necessary to provide a memory device for memory circuits 27 independently of the CDS processing section 26, an advantage of the circuit more compact.
なお、第１実施形態や第２実施形態の間引き加算処理部２５の具体的な説明においては、図１２および図１３に示した３×３の画素ブロックを単位画素ブロックとした場合を例に挙げて説明したが、これに限られるものではなく、図示を割愛するが、上記で説明したその他の間引き加算処理の動作の全てに、同様の仕組みを適用でき、同様の効果を享受することができる。 In the specific description of the decimation and addition processing unit 25 of the first embodiment and the second embodiment, an example in which the 3 × 3 pixel block shown in FIGS. 12 and 13 as a unit pixel block has been described Te, not limited to this, although not illustrated, all operations other decimation and addition processing described above, can get a similar mechanism, it is possible to receive the same effect .
たとえば、上記実施形態では、光や放射線などの外部から入力される電磁波に対して感応性をするＣＭＯＳ型の固体撮像装置について例示したが、物理量の変化を検知するあらゆるものに、上記実施形態で説明した仕組みを適用でき、光などに限らず、たとえば、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置など、その他の物理的な変化を検知する仕組みにも同様に適用できる。 For example, in the above exemplary embodiment has been described CMOS type solid-state imaging device that sensitive to electromagnetic waves input from the outside, such as light or radiation, in any one of detecting a change in physical quantity, in the above embodiment can apply the described mechanism is not limited like the light, such as a fingerprint authentication device for detecting an image of a fingerprint on the basis of information about the fingerprint to changes in change and optical properties of the electrical characteristics based on the pressure, and other physical equally applicable to a mechanism for detecting the Do changes.
本発明の一実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 It is a schematic configuration diagram of a CMOS solid-state imaging device according to an embodiment of the present invention. 間引き加算処理時の駆動方法の第１実施形態を説明する図である。 It is a diagram illustrating a first embodiment of a driving method during thinning-out and addition processing. 間引き加算処理時の駆動方法の第１実施形態の変形例を説明する図である。 It is a diagram illustrating a modification of the first embodiment of the driving method during thinning-out and addition processing. 間引き加算処理時の駆動方法の第１実施形態の変形例を説明する図である。 It is a diagram illustrating a modification of the first embodiment of the driving method during thinning-out and addition processing. 間引き加算処理時の駆動方法の第１実施形態の変形例を説明する図である。 It is a diagram illustrating a modification of the first embodiment of the driving method during thinning-out and addition processing. 間引き加算処理時の駆動方法の第２実施形態を説明する図である。 It is a diagram illustrating a second embodiment of a driving method during thinning-out and addition processing. 間引き加算処理時の駆動方法の第２実施形態を説明する図である。 It is a diagram illustrating a second embodiment of a driving method during thinning-out and addition processing. 間引き加算処理時の駆動方法の第２実施形態を説明する図である。 It is a diagram illustrating a second embodiment of a driving method during thinning-out and addition processing. 間引き加算処理時の駆動方法の第２実施形態の変形例（その１）を説明する図である（偶数時のｋ＝１）。 Modification of the second embodiment of a driving method during the decimation and addition processing is a diagram illustrating a (1) (even when k = 1). 間引き加算処理時の駆動方法の第２実施形態の変形例（その１）を説明する図である（偶数時のｋ＝１）。 Modification of the second embodiment of a driving method during the decimation and addition processing is a diagram illustrating a (1) (even when k = 1). 間引き加算処理時の駆動方法の第２実施形態の変形例（その１）を説明する図である（偶数時のｋ＝１）。 Modification of the second embodiment of a driving method during the decimation and addition processing is a diagram illustrating a (1) (even when k = 1). 間引き加算処理時の駆動方法の第２実施形態の変形例（その２）を説明する図である（奇数時のｋ＝１）。 Modification of the second embodiment of a driving method during the decimation and addition processing is a diagram illustrating a (2) (odd-time k = 1). 間引き加算処理時の駆動方法の第２実施形態の変形例（その２）を説明する図である（奇数時のｋ＝１）。 Modification of the second embodiment of a driving method during the decimation and addition processing is a diagram illustrating a (2) (odd-time k = 1). 間引き加算処理時の駆動方法の第２実施形態の変形例（その２）を説明する図である（奇数時のｋ＝１）。 Modification of the second embodiment of a driving method during the decimation and addition processing is a diagram illustrating a (2) (odd-time k = 1). 間引き加算処理時の駆動方法の第２実施形態の変形例（その３）を説明する図である。 Modification of the second embodiment of a driving method during the decimation and addition processing is a diagram illustrating a (Part 3). 間引き加算処理時の駆動方法の第２実施形態の変形例（その３）を説明する図である（奇数時のｋ＝１）。 Modification of the second embodiment of a driving method during the decimation and addition processing is a diagram illustrating a (3) (odd-time k = 1). 間引き加算処理時の駆動方法の第２実施形態の変形例（その３）を説明する図である（奇数時のｋ＝１ Modification of the second embodiment of a driving method during the decimation and addition processing is a diagram illustrating a (3) (during odd k = 1 間引き加算処理の動作を実現するための回路構成の第１実施形態を示す図である。 It is a diagram showing a first embodiment of a circuit configuration for realizing the operations of the thinning-out and addition processing. 図１８に示した第１実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 In decimation and addition processing of the first embodiment shown in FIG. 18 is a diagram illustrating a specific example of a method for realizing the operation of the thinning-out and addition processing. 図１８に示した第１実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 In decimation and addition processing of the first embodiment shown in FIG. 18 is a diagram illustrating a specific example of a method for realizing the operation of the thinning-out and addition processing. 図１８に示した第１実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 In decimation and addition processing of the first embodiment shown in FIG. 18 is a diagram illustrating a specific example of a method for realizing the operation of the thinning-out and addition processing. 図１８に示した第１実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 In decimation and addition processing of the first embodiment shown in FIG. 18 is a diagram illustrating a specific example of a method for realizing the operation of the thinning-out and addition processing. 図１８に示した第１実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 In decimation and addition processing of the first embodiment shown in FIG. 18 is a diagram illustrating a specific example of a method for realizing the operation of the thinning-out and addition processing. 間引き加算処理の動作を実現するための回路構成の第２実施形態を示す図である。 It is a diagram illustrating a second embodiment of a circuit configuration for realizing the operations of the thinning-out and addition processing. 図２４に示した第２実施形態の間引き加算処理部において、間引き加算処理の動作を実現する手法の具体例を説明する図である。 In decimation and addition processing section of the second embodiment shown in FIG. 24 is a diagram illustrating a specific example of a method for realizing the operation of the thinning-out and addition processing.
１…固体撮像装置、３…単位画素、７…駆動制御部、１０…撮像部、１００…外部回路、１２…水平走査回路、１４…垂直走査回路、２０…タイミングジェネレータ、２５…間引き加算処理部、２６…ＣＤＳ処理部、２７…メモリ回路部、２８…接続制御部、２９…出力バッファ 1 ... solid-state imaging device, 3 ... unit pixel, 7 ... drive control unit, 10 ... imaging unit, 100 ... external circuit, 12 ... horizontal scanning circuit, 14 ... vertical scanning circuit, 20 ... timing generator, 25 ... decimation and addition processing unit , 26 ... CDS processing unit, 27 ... memory circuit section, 28 ... connection control unit, 29 ... output buffer
物理量の変化を検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置を使用して、物理量についての所定の検知条件の元で取得された前記単位信号に基づいて、所定目的用の物理情報を取得する物理情報取得方法であって、 Wherein the unit signal generator for outputting a signal unit which detects a change in physical quantity in the unit elements, the unit component using a semiconductor device for a physical quantity distribution detection arranged in a predetermined order, the physical quantity based on the unit signals obtained in a predetermined detection condition of the original, a physical information acquisition method for acquiring physical information for a predetermined object,
前記単位構成要素から前記単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、 In the process of thinning out and reading out said unit signals from the unit elements, and the block consisting of a plurality of the unit elements as a processing unit block adjacent to each other at a predetermined condition at a predetermined direction,
当該処理単位ブロック内の一方の方向における前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を共通の処理回路に導くことで、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする物理情報取得方法。 By directing the unit signals from the plurality of unit elements that match the predetermined conditions in one direction of the processing unit block to a common processing circuit, matching the predetermined condition of the processing unit block physical information acquisition method characterized by reading out the unit signals from the plurality of the unit elements as information of pseudo-one processing unit blocks.
前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を加算して前記処理単位ブロックの情報として読み出す ことを特徴とする請求項１に記載の物理情報取得方法。 Physical information acquisition according to claim 1, characterized in that read as the information of the processing unit block by adding the unit signals from the plurality of unit elements that match the predetermined condition of the processing unit block Method.
前記加算した情報を平均化して前記処理単位ブロックの情報として読み出す ことを特徴とする請求項２に記載の物理情報取得方法。 Physical information acquisition method according to claim 2, wherein the read out as information of the processing unit blocks by averaging the summed information.
前記単位構成要素が行列状に配されている場合、 If the unit elements are arranged in a matrix,
行方向および列方向にて前記所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを前記処理単位ブロックとし、 The block consisting of a plurality of the unit elements adjacent to each other at the predetermined condition in the row and column directions and the processing unit blocks,
列ごと設けられた処理回路を行ごとに切り替えることで、前記処理単位ブロック内の前記行方向における同一行の前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を、列ごと設けられた前記処理回路の何れかに共通に導く ことを特徴とする請求項１に記載の物理情報取得方法。 By switching the processing circuit provided for each column for each row, each unit signals from a plurality of the unit elements that match the predetermined condition in the same row in the row direction of the processing unit block, each column physical information acquisition method according to claim 1, characterized in that guided in common to any one of the processing circuits provided.
前記単位構成要素のそれぞれには、所定のカラーコーディングを持つ色分離フィルタが形成されており、 Each of the unit elements is color separation filter is formed having a predetermined color coding,
同色の前記色分離フィルタを前記所定の条件として、当該同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項１に記載の物理情報取得方法。 The same color of the color separation filter as the predetermined condition, wherein, wherein the read out unit signal from the unit elements to which the same color separation filter is formed as the information of pseudo-one processing unit blocks physical information acquisition method according to claim 1.
ｋを０以上の正の整数とするとき、１／（ｋ＋２）×（ｋ＋２）の割合で画素情報量を圧縮する過程において、間引き加算する処理単位ブロックが交互に重なり合いながら敷き詰められた状態で、（ｋ＋２）×（ｋ＋２）の前記単位構成要素を間引き加算する ことを特徴とする請求項５に記載の物理情報取得方法。 When the k is 0 or a positive integer, in the process of compressing the 1 / (k + 2) pixel information amount at a ratio of × (k + 2), in a state where the processing unit blocks are laid with overlapping alternately to skipping and adding, (k + 2) × (k + 2) physical information acquisition method according to claim 5, wherein adding thinning the unit elements of the.
ｋを０以上の正の整数とするとき、１／（２ｋ＋３）×（２ｋ＋３）の割合で画素情報量を圧縮する過程において、（２ｋ＋３）×（２ｋ＋３）のブロックを処理単位ブロックとし、当該処理単位ブロックが互いに重なり合うことなく敷き詰められた状態で、各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項５に記載の物理情報取得方法。 When the k is 0 or a positive integer, the 1 / (2k + 3) the process of compressing the amount of pixel information at a ratio of × (2k + 3), and a processing unit block of the block of (2k + 3) × (2k + 3), the process in a state of being laid without unit blocks overlap each other, reading the unit signal from the unit components same color separation filter in each processing unit block is formed as the information of pseudo-one processing unit blocks physical information acquisition method according to claim 5, characterized in.
前記所定のカラーコーディングは２行２列を単位とし、その単位の繰り返しであり、 ｋを０以上の正の整数とするとき、（２ｋ＋３）×（２ｋ＋３）のブロックを処理単位ブロックとし、当該処理単位ブロックが交互に重なり合いながら敷き詰められた状態で各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項５に記載の物理情報取得方法。 Wherein the predetermined color coding in units of two rows and two columns, a repetition of the unit, when the k is 0 or a positive integer, and a processing unit block of the block of (2k + 3) × (2k + 3), the process the reading unit signal from the unit components same color separation filter is formed in each processing unit block in a state in which the unit blocks are laid with overlapping alternately as information of pseudo-one processing unit blocks physical information acquisition method according to claim 5, characterized.
前記所定のカラーコーディングは２行２列を単位とし、その単位の繰り返しであり、 ｋを０以上の正の整数とするとき、（２ｋ＋２）×（２ｋ＋２）のブロックを処理単位ブロックとし、当該処理単位ブロックが交互に重なり合いながら敷き詰められた状態で各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項５に記載の物理情報取得方法。 Wherein the predetermined color coding in units of two rows and two columns, a repetition of the unit, when the k is 0 or a positive integer, and a processing unit block of the block of (2k + 2) × (2k + 2), the process the reading unit signal from the unit components same color separation filter is formed in each processing unit block in a state in which the unit blocks are laid with overlapping alternately as information of pseudo-one processing unit blocks physical information acquisition method according to claim 5, characterized.
前記所定のカラーコーディングは４行４列を単位とし、その単位の繰り返しであり、 ｋを０以上の正の整数とするとき、（２ｋ＋３）×（２ｋ＋３）の画素ブロックを処理単位ブロックとし、当該処理単位ブロックが互いに重なり合うことなく敷き詰められた状態で、各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項５に記載の物理情報取得方法。 Wherein the predetermined color coding in units of four rows and four columns, a repetition of the unit, when the k is 0 or a positive integer, and a processing unit block of pixel blocks (2k + 3) × (2k + 3), the in a state where the processing unit blocks are laid without overlapping each other, reading the unit signal from the unit components same color separation filter in each processing unit block is formed as the information of pseudo-one processing unit blocks physical information acquisition method according to claim 5, characterized in that.
物理量の変化を検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置を使用して、物理量についての所定の検知条件の元で取得された前記単位信号に基づいて、所定目的用の物理情報を取得する物理情報取得装置であって、 Wherein the unit signal generator for outputting a signal unit which detects a change in physical quantity in the unit elements, the unit component using a semiconductor device for a physical quantity distribution detection arranged in a predetermined order, the physical quantity based on the unit signals obtained in a predetermined detection condition of the original, a physical information acquisition apparatus for acquiring physical information for a predetermined object,
前記単位構成要素から前記単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、当該処理単位ブロック内の一方の方向における前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を共通の処理回路に導くことで、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を擬似的に１つの処理単位ブロックの情報として読み出す駆動制御部を備えている ことを特徴とする物理情報取得装置。 In the process of thinning out and reading out said unit signals from the unit elements, and the block consisting of a plurality of the unit elements as a processing unit block adjacent to each other at a predetermined condition at a predetermined direction, one direction of the process unit block each unit signals from a plurality of the unit elements that match the predetermined condition that leads to a common processing circuit in, from a plurality of the unit elements that match the predetermined condition of the processing unit block physical information acquisition apparatus characterized by comprising a drive control unit for reading the unit signal as information of pseudo-one processing unit blocks.
前記駆動制御部は、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を加算して前記処理単位ブロックの情報として読み出す ことを特徴とする請求項１１に記載の物理情報取得装置。 Claim 11, wherein the drive control unit, characterized in that the read out as information of the processing unit block by adding the unit signals from the plurality of unit elements that match the predetermined condition of the processing unit block physical information acquisition apparatus according to.
前記駆動制御部は、前記加算した情報を平均化して前記処理単位ブロックの情報として読み出す ことを特徴とする請求項１２に記載の物理情報取得装置。 The drive control unit, the physical information acquiring apparatus according to claim 12, characterized in that reading out the added information as information of the processing unit blocks are averaged.
前記処理回路は、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を纏めて保持可能な複数の記憶素子と、 It said processing circuit includes a plurality of memory elements capable of holding together the respective unit signals from a plurality of the unit elements that match the predetermined condition of the processing unit block,
前記複数の記憶素子の何れに前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を纏めるかを制御する接続制御部と を備えている ことを特徴とする請求項１１に記載の物理情報取得装置。 According to claim 11, characterized in that it comprises a connection control unit that controls whether summarized respective unit signals from a plurality of the unit elements that match the predetermined condition in any of said plurality of storage elements of physical information acquisition device.
前記記憶素子は、前記単位構成要素からの単位信号に含まれるノイズ成分を抑制する処理にも使用されるものである ことを特徴とする請求項１４に記載の物理情報取得装置。 The storage device includes a physical information acquiring apparatus according to claim 14, characterized in that also used in processing of suppressing noise components contained in the unit signals from the unit elements.
前記半導体装置は、前記単位構成要素が行列状に配されており、 The semiconductor device, the unit elements are arranged in a matrix,
前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列を接続して、それら複数列の単位信号を共通の前記記憶素子に導くように切替制御するスイッチを有する ことを特徴とする請求項１４に記載の物理情報取得装置。 The connection control unit connects a plurality of rows with a plurality of the unit elements that match the predetermined condition of said unit pixel block, to guide the unit signal of the plurality rows in common of the memory element physical information acquiring apparatus according to claim 14, characterized in that it comprises a switch for switching control.
前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列の前記記憶素子を接続して、当該複数列の記憶素子に保持されている各行の複数列分の情報を加算し、この加算した結果を平均化するように切替制御するスイッチを有する ことを特徴とする請求項１６に記載の物理情報取得装置。 The connection control unit, each row connecting the memory element of a plurality of rows with a plurality of the unit elements that match the predetermined condition of said unit pixel block, stored in the storage element of the plurality of rows multiple columns worth of information is added, the physical information acquiring apparatus according to claim 16, characterized in that it comprises a switch for switching control so as to average the added result of.
前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列の前記記憶素子に格納されている前記処理単位ブロック内の同色の色分離フィルタの画素情報を同時に出力するように切替制御するスイッチを有する ことを特徴とする請求項１６に記載の物理情報取得装置。 The connection control unit of the same color separation filter of a plurality of rows the memory the processing unit block stored in the element having a plurality of the unit elements that match the predetermined condition of said unit pixel block physical information acquiring apparatus according to claim 16, characterized in that it comprises a switch for switching control so as to output the pixel information at the same time.
前記駆動制御部は、行方向および列方向にて前記所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを前記処理単位ブロックとし、列ごと設けられた処理回路を行ごとに切り替えることで、前記処理単位ブロック内の前記行方向における同一行の前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を、列ごと設けられた前記処理回路の何れかに共通に導く ことを特徴とする請求項１１に記載の物理情報取得装置。 The drive control unit includes a block composed of a plurality of the unit elements adjacent to each other at the predetermined condition in the row and column directions and the processing unit blocks, to switch the processing circuit provided for each column in each row in, leads to the unit signals from the plurality of unit elements that match the predetermined condition in the same row in the row direction of the processing unit block, in common to one of said processing circuit provided for each column physical information acquiring apparatus according to claim 11, characterized in that.
前記半導体装置は、前記単位構成要素のそれぞれには、所定のカラーコーディングを持つ色分離フィルタが形成されており、 The semiconductor device, each of the unit elements are the color separation filter having a predetermined color coding are formed,
前記駆動制御部は、同色の前記色分離フィルタを前記所定の条件として、当該同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項１１に記載の物理情報取得装置。 The drive control unit, the same color of the color separation filter as the predetermined condition, reading the unit signal from the unit elements to which the same color separation filter is formed as the information of pseudo-one processing unit blocks physical information acquiring apparatus according to claim 11, characterized in that.
前記半導体装置は、前記単位構成要素が行列状に配され、かつ、前記所定のカラーコーディングは２行２列を単位とし、その単位の繰り返しであり、 The semiconductor device, the unit elements are disposed in a matrix, and wherein the predetermined color coding in units of two rows and two columns, a repetition of the unit,
前記駆動制御部は、ｋを０以上の正の整数とするとき、１／（ｋ＋２）×（ｋ＋２）の割合で画素情報量を圧縮する過程において、間引き加算する処理単位ブロックが交互に重なり合いながら敷き詰められた状態で、（ｋ＋２）×（ｋ＋２）の前記単位構成要素を間引き加算する ことを特徴とする請求項２０に記載の物理情報取得装置。 The drive control unit, when the k is 0 or a positive integer, in the process of compressing the 1 / (k + 2) pixel information amount at a ratio of × (k + 2), while the processing unit blocks skipping and adding overlap alternately in spread was state, (k + 2) × (k + 2) physical information acquiring apparatus according to claim 20, wherein adding thinning the unit elements of the.
前記駆動制御部は、ｋを０以上の正の整数とするとき、１／（２ｋ＋３）×（２ｋ＋３）の割合で画素情報量を圧縮する過程において、（２ｋ＋３）×（２ｋ＋３）のブロックを処理単位ブロックとし、当該処理単位ブロックが互いに重なり合うことなく敷き詰められた状態で、各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項２０に記載の物理情報取得装置。 The drive control unit, when the k is 0 or a positive integer, the 1 / (2k + 3) the process of compressing the amount of pixel information at a ratio of × (2k + 3), the processing blocks of (2k + 3) × (2k + 3) a unit block, the state where the processing unit blocks are laid without overlapping each other, the unit signals a pseudo one processing unit from the unit components same color separation filter in each processing unit block is formed physical information acquiring apparatus according to claim 20, wherein the read out as information blocks.
前記駆動制御部は、ｋを０以上の正の整数とするとき、（２ｋ＋３）×（２ｋ＋３）のブロックを処理単位ブロックとし、当該処理単位ブロックが交互に重なり合いながら敷き詰められた状態で各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項２０に記載の物理情報取得装置。 The drive control unit is k a 0 or a positive integer, (2k + 3) × (2k + 3) blocks and the processing unit blocks, each processing unit in a state where the processing unit blocks are laid with overlapping alternately physical information acquiring apparatus according to claim 20, wherein reading the unit signal from the unit components same color separation filter is formed in the block as information pseudo one processing unit blocks.
前記駆動制御部は、ｋを０以上の正の整数とするとき、（２ｋ＋２）×（２ｋ＋２）のブロックを処理単位ブロックとし、当該処理単位ブロックが交互に重なり合いながら敷き詰められた状態で各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項２０に記載の物理情報取得装置。 The drive control unit is k a 0 or a positive integer, (2k + 2) × (2k + 2) blocks and the processing unit blocks, each processing unit in a state where the processing unit blocks are laid with overlapping alternately physical information acquiring apparatus according to claim 20, wherein reading the unit signal from the unit components same color separation filter is formed in the block as information pseudo one processing unit blocks.
前記半導体装置は、前記単位構成要素が行列状に配され、かつ、前記所定のカラーコーディングは４行４列を単位とし、その単位の繰り返しであり、 The semiconductor device, the unit elements are disposed in a matrix, and wherein the predetermined color coding in units of four rows and four columns, a repetition of the unit,
前記駆動制御部は、ｋを０以上の正の整数とするとき、（２ｋ＋３）×（２ｋ＋３）の画素ブロックを処理単位ブロックとし、当該処理単位ブロックが互いに重なり合うことなく敷き詰められた状態で、各処理単位ブロック内の同色の色分離フィルタが形成された前記単位構成要素からの単位信号を擬似的に１つの処理単位ブロックの情報として読み出す ことを特徴とする請求項２０に記載の物理情報取得装置。 The drive control unit, when the k is 0 or a positive integer, with (2k + 3) × a (2k + 3) of the pixel block processing unit blocks, the state in which the processing unit blocks are laid without overlapping each other, each physical information acquiring apparatus according to claim 20, wherein reading the unit signal from the unit components same color separation filter is formed in the processing unit block as information pseudo one processing unit blocks .
物理量の変化を検知した単位信号を出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置であって、 Wherein the unit signal generator for outputting a signal unit which detects a change in physical quantity in the unit elements, the unit component A semiconductor device for a physical quantity distribution detection arranged in a predetermined order,
前記単位構成要素から前記単位信号を間引いて読み出す過程において、所定方向にて所定の条件で互いに隣接する複数の前記単位構成要素からなるブロックを処理単位ブロックとし、当該処理単位ブロック内の一方の方向における前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を共通の処理回路に導くことで、前記処理単位ブロック内の前記所定の条件に合致する複数の前記単位構成要素からの前記単位信号を擬似的に１つの処理単位ブロックの情報として読み出す駆動制御部を備えている ことを特徴とする半導体装置。 In the process of thinning out and reading out said unit signals from the unit elements, and the block consisting of a plurality of the unit elements as a processing unit block adjacent to each other at a predetermined condition at a predetermined direction, one direction of the process unit block each unit signals from a plurality of the unit elements that match the predetermined condition that leads to a common processing circuit in, from a plurality of the unit elements that match the predetermined condition of the processing unit block a semiconductor device characterized by comprising a drive control unit for reading the unit signal as information of pseudo-one processing unit blocks.
前記複数の記憶素子の何れに前記所定の条件に合致する複数の前記単位構成要素からの各単位信号を纏めるかを制御する接続制御部と を備えている ことを特徴とする請求項２６に記載の半導体装置。 According to claim 26, characterized in that it comprises a connection control unit that controls whether summarized respective unit signals from a plurality of the unit elements that match the predetermined condition in any of said plurality of storage elements semiconductor device.
前記記憶素子は、前記単位構成要素からの単位信号に含まれるノイズ成分を抑制する処理にも使用されるものである ことを特徴とする請求項２６に記載の半導体装置。 The memory element, semiconductor device according to claim 26, characterized in that also used in processing of suppressing noise components contained in the unit signals from the unit elements.
前記単位構成要素が行列状に配されており、 The unit elements are arranged in a matrix,
前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列を接続して、それら複数列の単位信号を共通の前記記憶素子に導くように切替制御するスイッチを有する ことを特徴とする請求項２７に記載の半導体装置。 The connection control unit connects a plurality of rows with a plurality of the unit elements that match the predetermined condition of said unit pixel block, to guide the unit signal of the plurality rows in common of the memory element the semiconductor device according to claim 27, characterized in that it comprises a switch for switching control.
前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列の前記記憶素子を接続して、当該複数列の記憶素子に保持されている各行の複数列分の情報を加算し、この加算した結果を平均化するように切替制御するスイッチを有する ことを特徴とする請求項２９に記載の半導体装置。 The connection control unit, each row connecting the memory element of a plurality of rows with a plurality of the unit elements that match the predetermined condition of said unit pixel block, stored in the storage element of the plurality of rows of adding the information of the plurality of rows minute semiconductor device according to claim 29, characterized in that it comprises a switch for switching control so as to average the added result.
前記接続制御部は、前記単位画素ブロック内の前記所定の条件に合致する複数の前記単位構成要素を持つ複数列の前記記憶素子に格納されている前記処理単位ブロック内の同色の色分離フィルタの画素情報を同時に出力するように切替制御するスイッチを有する ことを特徴とする請求項２９に記載の半導体装置。 The connection control unit of the same color separation filter of a plurality of rows the memory the processing unit block stored in the element having a plurality of the unit elements that match the predetermined condition of said unit pixel block the semiconductor device according to claim 29, characterized in that it comprises a switch for switching control so as to output the pixel information at the same time.
JP2004195503A 2004-07-01 2004-07-01 Physical information acquisition method and physical information acquiring apparatus, and physical quantity distribution semiconductor device detection Expired - Fee Related JP4826071B2 (en)
JP2004195503A JP4826071B2 (en) 2004-07-01 2004-07-01 Physical information acquisition method and physical information acquiring apparatus, and physical quantity distribution semiconductor device detection
JP2006020037A true true JP2006020037A (en) 2006-01-19
JP2006020037A5 true JP2006020037A5 (en) 2007-08-09
JP4826071B2 JP4826071B2 (en) 2011-11-30
ID=35793856
JP2004195503A Expired - Fee Related JP4826071B2 (en) 2004-07-01 2004-07-01 Physical information acquisition method and physical information acquiring apparatus, and physical quantity distribution semiconductor device detection
JP (1) JP4826071B2 (en)
WO2010046982A1 (en) * 2008-10-23 2010-04-29 株式会社島津製作所 Optical or radiation imaging apparatus
JP2010118839A (en) * 2008-11-12 2010-05-27 Canon Inc Imaging apparatus
JP2010258828A (en) * 2009-04-24 2010-11-11 Sony Corp Solid-state image pickup element, method for driving the same, and camera system
JP2012019516A (en) * 2010-07-07 2012-01-26 Hynix Semiconductor Inc Column circuit and pixel binning circuit for image sensor
JP2012231524A (en) * 2012-07-11 2012-11-22 Canon Inc Imaging system
WO2013153991A1 (en) * 2012-04-09 2013-10-17 オリンパスメディカルシステムズ株式会社 Solid-state image pickup device
JP2015154089A (en) * 2014-02-10 2015-08-24 キヤノン株式会社 Photoelectric conversion device and imaging system using the same
JP5883992B2 (en) * 2013-05-23 2016-03-15 富士フイルム株式会社 Pixel mixing apparatus and operation control method thereof
JP5409976B1 (en) * 2012-04-09 2014-02-05 オリンパスメディカルシステムズ株式会社 The solid-state imaging device
JP4826071B2 (en) 2011-11-30 grant