(57)【要約】【課題】、所定目的用の情報を取得する特定の画像処理に関して高速な処理を実現する。【解決手段】複数の画素２１が所定順に配された撮像部２０と、この撮像部２０に隣接して配置され、撮像部２０の水平行方向の画素２１が出力する画素信号に対して所定の演算を行う演算処理部１７と、この演算処理部１７で演算された後の水平行方向の画素の画素信号を出力する出力部７５とを備える。  上記所定の演算は、例えば予め登録されたフィルタ係数に基づくフィルタ処理である。【選択図】図１
2015062264.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が所定順に配された撮像部と、
前記撮像部に隣接して配置され、前記撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、
前記演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部と、
を備える固体撮像素子。
【請求項２】
前記演算処理部は、
前記撮像部の水平行方向の画素が出力する画素信号を行単位で保持する水平メモリ部と、
フィルタの係数を格納するメモリ部と、
前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し前記メモリ部に格納された前記フィルタの係数を用いてフィルタ処理を行う演算部と、を備える
請求項１に記載の固体撮像素子。
【請求項３】
前記水平メモリ部は、前記フィルタの列方向の段数に対応した段数のラインメモリを有する
請求項２に記載の固体撮像素子。
【請求項４】
前記メモリ部は、前記水平行方向の画素が出力する画素信号から所定目的の情報を得るためのフィルタの係数を格納している
請求項３に記載の固体撮像素子。
【請求項５】
前記メモリ部は、前記水平行方向の一の画素が出力する画素信号と隣接する他の画素が出力する画素信号の混色を補正するためのフィルタの係数を格納している
請求項３に記載の固体撮像素子。
【請求項６】
前記メモリ部は、さらに前記水平行方向の一の画素が出力する画素信号と隣接する他の画素が出力する画素信号の混色を補正するためのフィルタの係数を格納している
請求項４に記載の固体撮像素子。
【請求項７】
前記演算処理部は、前記撮像部の垂直列ごとに配されて前記撮像部から出力される画素信号を処理するカラム信号処理部の後段に配置され、
前記演算処理部の水平メモリ部は、前記カラム信号処理部で処理された画素信号を行単位で保持する
請求項２に記載の固体撮像素子。
【請求項８】
前記撮像部は、第１の半導体基板上に形成され、
前記演算処理部は、前記第１の半導体基板の下面側に隣接して配置される第２の半導体基板上に形成され、
前記演算処理部の水平メモリ部が、前記撮像部における最後尾の水平行方向の画素と接続している
請求項２に記載の固体撮像素子。
【請求項９】
前記演算部は、
前記演算の実行を指示されたときは、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し前記メモリ部に格納された前記フィルタの係数を用いてフィルタ処理し、
前記演算の実行を指示されないときは、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し演算を行わずに出力する
請求項２に記載の固体撮像素子。
【請求項１０】
複数の画素が所定順に配された撮像部と、
前記撮像部に隣接して配置され、前記撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、
前記演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部と、
を含んで構成される固体撮像素子
を備える固体撮像装置。
【請求項１１】
複数の画素が所定順に配された撮像部の水平行方向の画素が出力する画素信号を、水平メモリ部により行単位で保持することと、
演算処理部により、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対しフィルタ処理すること、
出力部により、前記演算処理部でフィルタ処理された後の水平行方向の画素の画素信号を出力すること
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、例えばＣＭＯＳ（Complementary Metal-oxide Semiconductor； 相補金属酸化膜半導体）型のイメージセンサ等に適用して好適な固体撮像素子、固体撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、ＣＭＯＳイメージセンサに代表される固体撮像素子（半導体装置）は、半導体基板上に形成した撮像領域部を構成する画素から出力信号を得る。この出力信号に各種信号処理が行われて、画像データに変換される。その画像データを使って画像処理がなされ、目的の物体の検出や認識といった作業が行われる場合がある。以下に、一般的な固体撮像素子を使用した固体撮像装置の構成例を説明する。
【０００３】
図１２は、一般的なＣＭＯＳ型の固体撮像素子を使用した固体撮像装置の概略構成図である。
図中の固体撮像装置２００は、複数の単位画素２１が行及び列に配列された画素アレイ（Pixel Array ）構造の撮像部２０（撮像領域部）の周辺に、水平走査部４０や垂直走査部５０を有する駆動制御部１５を備えている。駆動制御部１５は、その他の構成要素として、固体撮像装置２００の各機能部に所定タイミングの制御パルスを供給する駆動信号操作部（読出アドレス制御装置の一例）６０が設けられている。また、撮像部２０から出力される画素信号を処理する信号処理部としてのカラム処理部３０と、水平信号線７１と、出力部７５とを備えている。
【０００４】
撮像部２０内には、一例として、水平方向（Ｈ）に１２８０個、垂直方向（Ｖ）に９６０個の単位画素２１が配されている。各単位画素２１は、垂直走査部５０で制御される垂直制御線２５や画素信号をカラム処理部３０に伝達する垂直信号線２８と接続されている。
【０００５】
カラム処理部３０は、垂直列ごとに配されたカラム信号処理部３１を有する。カラム信号処理部３１は、例えば図示しない蓄積容量を持ちＣＤＳ（Correlated Double Sampling；相関２重サンプリング）処理を利用したノイズ除去手段や、そのノイズ除去手段の後段においてアナログの画素信号をデジタルデータに変換するアナログ−デジタル変換装置（ＡＤＣ；Analog Digital Converter）などを備える。
【０００６】
駆動信号操作部６０は、図示を割愛するが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックを備える。また、端子１ａを介して入力クロックCLK0や動作モードなどを指令するデータを受け取り、端子１ｂを介して固体撮像装置２００の情報を含むデータDATAを出力する通信インタフェースの機能ブロックを備える。
【０００７】
出力部７５は、撮像部２０から水平信号線７１を通して出力される各単位画素２１の画素信号を適当なゲインで増幅した後、撮像信号（ＲＡＷ画像データ）として外部回路に端子１ｃを介して供給する。
【０００８】
出力部７５の後段に設けられる外部回路は、撮像部２０や駆動制御部１５などが同一の半導体領域に一体的に形成された固体撮像素子２１０とは別の基板（プリント基板もしくは半導体基板）上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。
【０００９】
図１２の例では、外部回路として、固体撮像素子２１０が形成された半導体基板（一点鎖線）とは別の半導体基板上（一点鎖線）にバッファメモリ部２２０と画像処理部２３０が形成されている。
バッファメモリ部２２０は、例えば半導体メモリが用いられ、固体撮像素子２１０から供給される、水平行方向の単位画素２１の画素信号で構成されるＲＡＷ画像データを保持し、保持したＲＡＷ画像データをフレーム単位で画像処理部２３０に出力する。
画像処理部２３０は、バッファメモリ部２２０から読み出したフレーム単位のＲＡＷ画像データに所定の画像処理を施し、画像処理後の画像データを出力する。
【００１０】
特許文献１には、固体撮像素子を備える撮像装置において、固体撮像素子（２）による画像データ（撮像データDO）生成後に外部回路（２００）によって画像処理を行うことが開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−１３５４８１号公報（図１参照）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、物体の形状検出などの作業で実施される画像処理は、通常は固体撮像素子による画像データ生成後に外部回路で行われる。そのため、画像データ生成後に画像処理プロセスが加わり、その分の処理時間が必要となるが、さらなる処理の高速化が求められている。
【００１３】
本開示は、上記の状況を考慮してなされたものであり、所定目的用の情報を取得する特定の画像処理に関して高速な処理を実現するものである。
【課題を解決するための手段】
【００１４】
本開示の一側面の固体撮像素子は、複数の画素が所定順に配された撮像部と、この撮像部に隣接して配置され、撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、この演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部とを備える。
上記所定の演算は、例えば予め登録されたフィルタ係数に基づくフィルタ処理である。
【００１５】
本開示の一側面によれば、撮像部の水平方向の画素が画素信号を出力した後すぐに所望の演算がなされ、演算処理された画素信号が出力される。
【発明の効果】
【００１６】
本開示によれば、画素信号の出力後にすぐに所望の処理がなされるため、高速な演算が可能となる。
また、画素信号の処理に必要なＡＳＩＣ等の集積回路を用意する必要がないため、コスト削減によるコストメリットが期待できる。
【図面の簡単な説明】
【００１７】
【図１】本開示の第１の実施形態に係るＣＭＯＳ型の固体撮像素子を使用した固体撮像装置の概略構成図である。
【図２】図１に示した第１の実施形態に係るＣＭＯＳ型の固体撮像素子に用いられるフィルタの第１例である、エッジ抽出用フィルタの一例である。
【図３】図３Ａはある対象物の通常画像例であり、図３Ｂはその対象物について図１に示した第１の実施形態に係るＣＭＯＳ型の固体撮像素子によりエッジ抽出を実行後の画像例である。
【図４】図１に示した第１の実施形態に係るＣＭＯＳ型の固体撮像素子と従来構造の固体撮像素子の画像処理の処理速度の差を示すグラフである。
【図５】図１に示した第１の実施形態に係るＣＭＯＳ型の固体撮像素子に用いられるフィルタの第２例である、混色補正用フィルタの一例である。
【図６】図１に示した第１の実施形態に係るＣＭＯＳ型の固体撮像素子と従来構造の固体撮像素子の補正後エッジコントラストの差を示すグラフである。
【図７】本開示の第２の実施形態に係るＣＭＯＳ型の固体撮像素子に用いられるフィルタの一例である、パターンマッチング用フィルタの一例である。
【図８】本開示の第２の実施形態に係るＣＭＯＳ型の固体撮像素子を使用した固体撮像装置の概略構成図である。
【図９】図８に示した第２の実施形態に係るＣＭＯＳ型の固体撮像素子を使用した固体撮像装置の概略外観図である。
【図１０】図９に示したＣＭＯＳ型の固体撮像素子を使用した固体撮像装置の分解斜視図である。
【図１１】図８に示した第２の実施形態に係るＣＭＯＳ型の固体撮像素子と従来構造の固体撮像素子の処理速度の差を示すグラフである。
【図１２】一般的なＣＭＯＳ型の固体撮像素子を使用した固体撮像装置の概略構成図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本開示を実施するための形態の例について説明する。
本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
【００１９】
なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ型の固体撮像素子を撮像デバイスとして使用した場合を例に説明する。
ただし、これは一例であって、対象となるデバイスはＭＯＳ型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する実施形態が同様に適用できる。
【００２０】
説明は以下の順序で行う。
１．第１の実施形態（演算機能：水平メモリ部、演算部、メモリ部を備える例）
１−１．第１例（エッジ抽出用フィルタを備える例）
１−２．第２例（混色補正用フィルタを備える例）
２．第２の実施形態（水平メモリ部：多段数の水平メモリを備える例）
３．その他
【００２１】
＜１．第１の実施形態＞
図１は、本開示の第１の実施形態に係るＣＭＯＳ型の固体撮像素子を使用した固体撮像装置の概略構成図である。
この固体撮像装置１は、例えばＦＡ（Factory Automation）カメラやカラー画像を撮像し得る電子スチルカメラ等のカメラシステムとして適用されるようになっている。
【００２２】
固体撮像装置１に使用される固体撮像素子１０は、入射光量に応じた信号を出力する図示を割愛する検知部としての受光素子を含む単位画素が行および列の正方格子状に配列された（すなわち２次元マトリクス状の）撮像部を有している。本例の固体撮像素子１０は、各単位画素からの信号出力が電圧信号であって、ＣＤＳ処理機能部やその他の機能部が垂直列ごとに設けられたカラム型のものである。
【００２３】
ここで、第１の実施形態の構成においては、“撮像部２０の水平行方向の単位画素が出力する画素信号に対して所定の演算を行う機能部”を、撮像部２０と隣接して設けている点に特徴を有する。以下具体的に説明する。
【００２４】
すなわち、図１に示すように、第１の実施形態に係る固体撮像素子１０は、撮像部（画素部）２０と、撮像部２０の外側に設けられた駆動制御部１５と、各垂直列に配されたカラム信号処理部（図ではＣＤＳ／ＡＤＣと記す）３１を有するカラム処理部３０と、演算処理部１７とを備えている。撮像部（画素部）２０は、複数の単位画素２１（単位構成要素の一例）が行および列に（２次元行列状に）多数配列された、いわゆる撮像領域部である。また、図示を割愛するが、撮像部２０が設けられている半導体領域とは別の回路基板上に外部回路が設けられる。
【００２５】
駆動制御部１５としては、例えば水平走査部４０と垂直走査部５０とを備える。また、駆動制御部１５の他の構成要素として、固体撮像素子１０の各機能部に所定タイミングの制御パルスを供給する駆動信号操作部６０が設けられている。駆動信号操作部６０は、読出アドレス制御装置の一例であり、水平走査部４０、垂直走査部５０、あるいはカラム処理部３０や演算部９０などに制御パルスを供給する。
【００２６】
演算処理部１７としては、水平メモリ部８０と、演算部９０と、メモリ部１００とを備える。
【００２７】
これらの駆動制御部１５及び演算処理部１７の各要素は、撮像部２０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。
【００２８】
図１では、簡単のため行および列の一部を省略して示しているが、現実には、撮像部２０の各行や各列には、数十から数千の単位画素２１が配置される。なお、図示を割愛するが、撮像部２０の各単位画素２１は、フォトダイオードやフォトゲートなどの光電変換素子およびトランジスタ回路によって構成されている。また図示を割愛するが、撮像部２０には、オンチップレンズが形成される。各画素に所定のカラーコーディングを持つ色分離フィルタが形成されていてもよい。また図示を割愛するが、撮像部２０の各単位画素２１は、フォトダイオードやフォトゲートなどの光電変換素子およびトランジスタ回路によって構成されている。
【００２９】
なお、例えば撮像部２０とカラム処理部３０との間の信号経路（垂直信号線２８）上には、各垂直信号線２８に対してドレイン端子が接続された図示を割愛する負荷ＭＯＳトランジスタを含む負荷トランジスタ部が配されている。また、各負荷ＭＯＳトランジスタを駆動制御する負荷制御部（負荷ＭＯＳコントローラ）が設けられている。
【００３０】
単位画素２１は、垂直列選択のための垂直制御線２５を介して垂直走査部５０と、当該単位画素２１から出力される画素信号Ｓ０_１〜Ｓ０_ｈ（１〜ｈ；１行中の画素番号）をそれぞれ伝送する伝送線としての垂直信号線２８を介してカラム処理部３０と、それぞれ接続されている。画素信号Ｓ０_１〜Ｓ０_ｈは、複数の検知部で検知され増幅素子を有する単位信号生成部で増幅された後に単位画素２１から出力される。以降において、単位画素２１から出力される画素信号を説明する場合、単に画素信号Ｓ０と称することもある。
【００３１】
水平走査部４０や垂直走査部５０は、駆動信号操作部６０から与えられる駆動パルスに応答してシフト動作（走査）を開始するようになっている。垂直制御線２５には、単位画素２１を駆動するための種々のパルス信号が含まれる。
【００３２】
水平走査部４０は、水平方向の読出列（水平方向のアドレス）を規定する（カラム処理部３０内の個々のカラム信号処理部３１を選択する）水平アドレス設定部（図示略）を有する。また、その水平アドレス設定部にて規定された読出アドレスに従ってカラム処理部３０の各信号を水平信号線７１に導く水平駆動部（図示略）を有する。
【００３３】
水平アドレス設定部は、図示を割愛するが、シフトレジスタあるいはデコーダを有して構成されており、カラム信号処理部３１からの画素情報を所定の順に選択し、その選択した画素情報を水平信号線７１に出力する選択手段としての機能を持つ。
【００３４】
垂直走査部５０は、垂直方向の読出行（垂直方向のアドレス）や水平方向の読出列（水平方向のアドレス）を規定する（撮像部２０の行を選択する）垂直アドレス設定部（図示略）を有する。また、その垂直アドレス設定部にて規定された水平行方向における読出アドレス上の単位画素２１に対する垂直制御線２５にパルスを供給して単位画素２１を駆動する垂直駆動部（図示略）を有する。
【００３５】
垂直アドレス設定部は、図示を割愛するが、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタあるいはデコーダの他に、電子シャッタ用の行の制御を行なうシャッタシフトレジスタを有していてもよい。
【００３６】
垂直シフトレジスタは、撮像部２０から画素情報を読み出すに当たって各単位画素２１を行単位で選択するためのものであり、各行の垂直駆動部とともに信号出力行選択手段を構成する。シャッタシフトレジスタは、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部とともに電子シャッタ行選択手段を構成する。これらの水平走査部４０及び垂直走査部５０の構成例及び動作例については、特許文献１（特開２００６−１３５４８１号公報（図１参照））等にも記載されている。
【００３７】
駆動信号操作部６０は、図示を割愛するが、タイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックと、通信インタフェースの機能ブロックとを備える。タイミングジェネレータＴＧは、各部の動作に必要なクロックや所定タイミングのパルス信号を供給する。また通信インタフェースは、端子１ａを介して入力クロックCLK0や動作モードなどを指令するデータを受け取り、また端子１ｂを介して固体撮像素子１０の情報を含むデータDATAを出力する。駆動信号操作部６０は、水平アドレス信号を水平アドレス設定部（水平走査部４０）へ、また垂直アドレス信号を垂直アドレス設定部（垂直走査部５０）へ出力し、各アドレス設定部は、それを受けて対応する行もしくは列を選択する。
【００３８】
なお、駆動信号操作部６０は、撮像部２０や水平走査部４０など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部２０や水平走査部４０などから成る撮像デバイスと駆動信号操作部６０とにより、半導体システムの一例である撮像装置が構築される。この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。
【００３９】
カラム処理部３０は、垂直列（カラム）ごとにカラム信号処理部３１を有して構成されている。カラム処理部３０では、１行分の画素の信号を受けて、各カラム信号処理部３１が対応列の画素信号Ｓ０_１〜Ｓ０_ｈを処理して、処理済みの画素信号Ｓ１_１〜Ｓ１_ｈ（１〜ｈ；１行中の画素番号）を出力する。以降において、カラム処理済みの画素信号を説明する場合、単に画素信号Ｓ１と称することもある。
【００４０】
例えば、カラム信号処理部３１は、図示を割愛するが、蓄積容量を具備した記憶部を有し、単位画素２１から垂直信号線２８を介して読み出された画素信号（単位信号）Ｓ０に基づく所定目的用の物理情報を表わす電位信号Ｖｍを記憶するラインメモリ構造の信号保持機能を備えるようにすることができる。また同様に蓄積容量を持ち、ＣＤＳ処理を利用したノイズ除去手段の機能を備えるようにしてもよい。
【００４１】
ＣＤＳ処理を行なう場合、駆動信号操作部６０から与えられるサンプルパルスＳＨＰとサンプルパルスＳＨＤといった２つのサンプルパルスに基づいて、垂直信号線２８を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル（ノイズレベル；０レベル）と真の信号レベルとの差分をとる処理を行なう。このような処理を行うことで、画素ごとの固定ばらつきによる固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除く。
【００４２】
なお、カラム信号処理部３１には、ＣＤＳ処理機能部などの後段に、必要に応じて信号増幅機能を持つＡＧＣ(Auto Gain Control) 回路やその他の処理機能回路などを設けることも可能である。
【００４３】
カラム処理部３０の後段には、演算処理部１７の水平メモリ部８０が設けられている。各垂直列のカラム信号処理部３１の出力端は、該カラム信号処理部３１から画素信号Ｓ１を順次読み出すための各垂直列に対応する水平メモリ部８０の入力端にそれぞれ接続されている。
【００４４】
水平メモリ部８０は、図示を割愛する一以上のラインメモリを備え、入力端側に配置されたラインメモリと入力端が接続されている。水平メモリ部８０には例えば半導体メモリが用いられる。ラインメモリは、メモリ部１００に格納されたフィルタすなわちルックアップテーブル（ＬＵＴ）の列方向の段数に対応して設けられる。水平メモリ部８０の各ラインメモリは、撮像部２０の対応する水平行方向の単位画素２１が出力する画素信号Ｓ０（詳しくはそれに基づく画素信号Ｓ１）を行単位で保持する。
そして水平メモリ部８０の後段には、演算部９０が設けられている。水平メモリ部８０の出力端側に配置されたラインメモリは、演算部９０の各垂直列の入力端が接続されている。
【００４５】
演算部９０は、乗算器、加算器、減算器を備えて構成され、駆動信号操作部６０の制御の下、メモリ部１００と共に演算機能部として動作する。この演算部９０は、水平メモリ部８０から読み出した水平行方向の単位画素２１の画素信号に対し、メモリ部１００に格納されたフィルタを適用して演算を実行し、処理済みの画素信号Ｓ２_１〜Ｓ２_ｈ（１〜ｈ；１行中の画素番号）を出力する。フィルタを利用して輪郭抽出のような比較的簡単な処理を行う。以降において、フィルタ処理済みの画素信号を説明する場合、単に画素信号Ｓ２と称することもある。
【００４６】
メモリ部１００は、例えば半導体メモリが用いられ、水平メモリ部８０から読み出した水平行方向の単位画素２１の画素信号を処理するためのフィルタの係数を格納している。格納されるフィルタとしては、水平行方向の単位画素２１が出力する画素信号から所定目的の情報を得るため、例えば輪郭を抽出するためのフィルタが挙げられる。また、水平行方向の一の単位画素２１が出力する画素信号と隣接する他の単位画素２１が出力する画素信号の混色を補正するためのフィルタなどがある。
【００４７】
演算部９０の各垂直列の第１の出力端は、水平方向の読出アドレスを制御・駆動する水平走査部４０の水平駆動部に接続される。一方、演算部９０の第２の出力端は、行方向に画素信号を順次転送出力する水平信号線７１が共通接続されている。水平信号線７１の後端には出力部７５が設けられている。
【００４８】
水平信号線７１は、単位画素２１のそれぞれから垂直信号線２８を介して伝送される個々の画素信号Ｓ０（詳しくはそれに基づく画素信号Ｓ２）を、垂直信号線２８の配列方向である水平方向に所定順に出力するための読出線として機能するものである。演算部９０から、垂直列ごとに順次信号を取り出して出力部７５に渡す。
【００４９】
すなわち、演算部９０により処理された画素情報を表わす信号電荷に応じた各垂直列の電圧信号は、水平走査部４０からの垂直列ごとの水平選択信号（水平読出パルス）により所定のタイミングで選択され水平信号線７１に読み出される。そして、水平信号線７１の後端に設けられた出力部７５に入力される。
【００５０】
出力部７５は、撮像部２０から水平信号線７１を通して出力される各単位画素２１の画素信号Ｓ２_１〜ｈ（ｈ＝ｎ）を適当なゲインで増幅した後、撮像信号（演算処理後画像データ）Ｓ３として外部回路に端子１ｃを介して供給する。この出力部７５は、例えば、バッファリングだけする場合もあるし、その前に黒レベル調整、列ばらつき補正、色関係処理などを行なうこともある。
【００５１】
つまり、本実施形態のカラム型の固体撮像素子１０においては、単位画素２１からの出力信号（電圧信号）が、垂直信号線２８→カラム処理部３０（カラム信号処理部３１）→水平メモリ部８０→演算部９０→水平信号線７１→出力部７５の順で伝送される。その駆動は、１行分の画素出力信号は垂直信号線２８を介してパラレルにカラム処理部３０に送り、カラム処理後に演算部９０で所定の処理を施した信号は水平信号線７１を介してシリアルに出力するようにする。少なくともこの画素信号の演算部９０までの転送動作は１行分の単位画素２１に対して同時に行なわれる。
【００５２】
なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素２１に対して水平行方向および垂直列方向の何れから供給するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。
【００５３】
このような構成の固体撮像素子１０において、水平走査部４０や垂直走査部５０及びそれらを制御する駆動信号操作部６０により、撮像部２０の各画素を水平行単位で順に選択する。そして、その選択した１つの水平行分の画素の情報を同時に読み出して水平メモリ部８０に保持し、メモリ部１００に格納されているフィルタの係数に基づく所定の処理を実施するＣＭＯＳイメージセンサが構成される。
【００５４】
出力部７５の後段に設けられる図示しない外部回路は、撮像部２０や駆動制御部１５などが同一の半導体領域に一体的に形成された固体撮像素子とは別の基板（プリント基板もしくは半導体基板）上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。
【００５５】
撮像部２０や駆動制御部１５、演算処理部１７などからなる固体撮像素子（本開示に係る半導体装置の一例）を少なくとも備えることによって、固体撮像装置１が構成されている。駆動制御部１５及び演算処理部１７を撮像部２０やカラム処理部３０と別体にして、撮像部２０やカラム処理部３０で固体撮像素子（半導体装置の一例）を構成し、この固体撮像素子と別体の駆動制御部１５及び演算処理部１７とで、撮像装置として構成してもよい。
【００５６】
図示を割愛するが、外部回路は例えば、出力部７５から出力されたアナログの撮像信号Ｓ３をデジタルの撮像データに変換するＡ／Ｄ（Analog to Digital）変換部と、Ａ／Ｄ変換部によりデジタル化された撮像データに基づいてデジタル信号処理を施すデジタル信号処理部（ＤＳＰ；Digital Signal Processor）とを備える。カラム信号処理部３１がＡＤ変換機能を備える場合、外部回路は、Ａ／Ｄ変換部を備える必要はない。
【００５７】
デジタル信号処理部は、たとえば、Ａ／Ｄ変換部から出力されるデジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。また、たとえば色分離処理を施してＲ（赤），Ｇ（緑），Ｂ（青）の各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニタ出力用の画像データを生成する。また、デジタル信号処理部には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。
【００５８】
また外部回路は、デジタル信号処理部にてデジタル処理された画像データをアナログの画像信号に変換するＤ／Ａ（Digital to Analog）変換部を備える。Ｄ／Ａ変換部から出力された画像信号は、図示を割愛する液晶モニタなどの表示デバイスに送られる。操作者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の操作を行なうことが可能になっている。
【００５９】
また図では、カラム処理部３０や駆動制御部１５、演算処理部１７を撮像部２０とともに備えて固体撮像装置１を構成しているが、必ずしもこのような構成に限定されない。カラム処理部３０や駆動制御部１５、演算処理部１７を、撮像部２０とは異なる回路基板（別の半導体基板に限らず一般的な回路基板をも意味する）、例えば外部回路が設けられる回路基板に形成してもよい。
【００６０】
［１−１．第１例（エッジ抽出用フィルタを備える例）］
図２は、図１に示した第１の実施形態に係るＣＭＯＳ型の固体撮像素子１０に用いられるフィルタの第１例を示している。本例は、被写体の画像のエッジ（輪郭）を抽出する処理を行うエッジ抽出用フィルタに適用した例である。
エッジ抽出用フィルタ１１０は、Sobelフィルタ（３×３）と呼ばれる一般的なフィルタであり、隣接する画素の画素信号の値の傾きを検知することができる。このエッジ抽出用フィルタ１１０の係数（ＬＵＴ）を、図１に示したメモリ部１００に保存しておく。この場合、水平メモリ部８０のラインメモリの段数は、エッジ抽出用フィルタ１１０のｙ方向の数（行数）と同じ３つである。演算部９０において、各垂直列のカラム信号処理部３１から出力される画素信号に、エッジ抽出用フィルタ１１０の各係数を適用してエッジ検出した結果を、図３に示す。
【００６１】
図３Ａは、ある対象物１１１の通常画像例であり、図３Ｂは、その対象物１１１について図１に示した第１の実施形態に係るＣＭＯＳ型の固体撮像素子１０によりエッジ抽出を実行後の画像例である。
図３Ｂに示す画像を見ると、対象物１１１のエッジ１１２ａ，１１２ｂ等が検出されており、物体の有無や横方向の長さがはっきり確認できる。なお、メモリ部１００に保持されるフィルタの係数は、処理に応じて変更される。
【００６２】
図４は、第１の実施形態に係るＣＭＯＳ型の固体撮像素子１０と従来構造の固体撮像素子の画像処理の処理速度の差を示すグラフである。処理速度は、従来の固体撮像素子の処理速度を１００として表している。
図４に示す画像処理の処理速度の測定結果から、第１の実施形態に係るＣＭＯＳ型の固体撮像素子１０は、従来構造の固体撮像素子と比較して５倍以上の高速化が達成されていることが分かる。
【００６３】
この第１の実施形態の第１例によれば、固体撮像素子１０から出力された水平行方向のＲＡＷ画像データは、この時点で既に輪郭抽出された画像データとなっている。つまり、水平行方向の単位画素が出力する画素信号に対する演算が極めて高速である。
【００６４】
一般に、物体の形状検出や生産現場での品質エラー検出などの作業においては、画像データ生成時間だけでなく、物体の検出や認識のための処理時間が増える。その上、専用のＡＳＩＣ（Application Specific Integrated Circuit）が別チップ、もしくはインチップ（大きなシステムチップ）で必要となる。
本実施形態において示されるような本開示の技術を適用することにより、物体の形状検出や生産現場での品質エラー検出などの作業において高速な判断が可能となる上、追加するＡＳＩＣが要らない。それゆえ、安価でフットプリントの小さい固体撮像装置（カメラシステム）が実現可能となる。
また、このような作業においては、画像処理により得られた検出値としきい値を比較して良否を判定するような２値的判断を伴うアプリケーションが用いられることが多い。その場合、判断の精度とともに処理の高速性が要求され、従来の処理方法では高速化が難しかったが、本開示により、このようなアプリケーションの要求に応えることができる。
【００６５】
なお、固体撮像素子１０は、演算機能のオン／オフを切り替えることにより、演算処理後画像データ、又は従来と同じＲＡＷ画像データのいずれを出力するか選択できる。
演算部９０は、演算実行を指示されたときは、水平メモリ部８０から読み出した水平行方向の単位画素２１の画素信号に対し、メモリ部１００に格納されたフィルタの係数を適用して演算（画像処理）を行う。一方、演算実行を指示されないときは、水平メモリ部８０から読み出した水平行方向の単位画素２１の画素信号に対し演算を行わずに出力する。
【００６６】
［１−２．第２例（混色補正用フィルタを備える例）］
第２の実施の形態では、第１の実施形態と同じ輪郭抽出処理を、さらに単位画素の信号漏れを補正しながら実行した場合を説明する。
【００６７】
図５は、図１に示した第１の実施形態に係るＣＭＯＳ型の固体撮像素子１０に用いられるフィルタの第２例である、混色補正用フィルタの一例を示している。
一般に固体撮像素子は、隣接画素に混色（又はクロストーク）と呼ばれる信号漏れが発生する。混色は画像境界部のコントラストを落としてしまい、画像処理の効果を下げてしまう。本実施形態では、図５の混色補正用フィルタ１２０を用いて画素間の混色を演算で割り戻し、画像処理を行っている。
本例の混色補正用フィルタ１２０は、中央画素の係数が１．２２と高い値に設定され、中央画素からの信号漏れの影響を排除するため、その周囲の画素の係数がマイナス値に設定されている。この混色補正用フィルタ１２０の係数を、図１に示したメモリ部１００に保存しておく。この場合、水平メモリ部８０のラインメモリの段数は、混色補正用フィルタ１２０のｙ方向の数（行数）と同じ３つである。演算部９０において、各垂直列のカラム信号処理部３１から出力される画素信号に、混色補正用フィルタ１２０の各係数を適用する。
【００６８】
図６は、第１の実施形態に係るＣＭＯＳ型の固体撮像素子１０と従来構造の固体撮像素子の補正後エッジコントラストの差を示すグラフである。すなわち、第１の実施形態に係るエッジ抽出処理を実施した上で、第２の実施形態に係る混色補正の有無による効果を示している。図６に示すグラフより、混色補正のありなしでの、エッジ検出精度がわかる。混色補正前のエッジコントラストを１００として表している。
図６よりエッジ抽出後に混色補正を施すことで、エッジ部のコントラストが約３５％も高くなり、画像処理効果が向上していることが確認できる。水平方向の単位画素の画素信号を処理する本開示のように、隣接する単位画素について画素信号を演算する場合には、この混色補正は非常に重要な処理となる。
例えば、微細画素（サブピクセル）を持つ撮像素子などの場合、本実施形態を利用して画像処理と同時に混色を補正することも可能であり、物体を検出する能力を高めることができる。
【００６９】
＜２．第２の実施形態＞
第２の実施形態では、多数のラインメモリを必要とする大規模な画像処理を実施する場合を説明する。本実施形態は、第１の実施形態に係る固体撮像素子の水平メモリ部に多段のラインメモリを設けるに際し、固体撮像素子を２つの半導体基板（チップ）から構成する。
【００７０】
図７は、本開示の第２の実施形態に係るＣＭＯＳ型の固体撮像素子に用いられるフィルタの一例である、パターンマッチング用フィルタの一例である。
パターンマッチングのような認識処理の場合、大きなフィルタが必要になる。図７に示したパターンマッチング用フィルタ１３０は、ある大きな弧パターンを検出する３８×３８のフィルタである。この場合、撮像部２０（画素アレイ）下に演算処理部１７を配置すると、チップのフットプリントが大きくなる。そこで、固体撮像素子の各部を２つのチップに分けて構成する。
【００７１】
図８は、本開示の第２の実施形態に係るＣＭＯＳ型の固体撮像素子１０Ａを使用した固体撮像装置１Ａの概略構成図である。
図８に示すように、本実施形態では第１チップ１１上に撮像部２０と垂直走査部５０を形成する。また、第２チップ１２上にカラム処理部３０と演算処理部１７、水平走査部４０、駆動信号操作部６０を形成する。
メモリ部１００にはパターンマッチング用フィルタ１３０が格納されているので、演算処理部１７の水平メモリ部８０Ａは、３８段のラインメモリを備えている。
【００７２】
図９は、図８に示した第２の実施形態に係るＣＭＯＳ型の固体撮像素子１０Ａを使用した固体撮像装置１Ａの概略外観図である。図１０は、図９に示したＣＭＯＳ型の固体撮像素子１０Ａを使用した固体撮像装置１Ａの分解斜視図である。
単位画素（もしくはサブピクセル）ごとに撮像レンズ２（マイクロレンズ）が配置された第１チップ１１の当該撮像レンズ２が配置された面の裏面と、第２チップの表面が対向するように、第１チップ１１の下部に第２チップ１２を重ね合わせて（隣接して）配置する。そして、第１チップ１１と第２チップ１２の２つのチップを貫通する配線を用いて、第１チップ１１の撮像部２０と第２チップ１２の垂直列ごとのカラム信号処理部３１を接続する。演算処理部１７の水平メモリ部８０は、撮像部２０における最後尾の水平行方向の各垂直列の単位画素２１と接続している。
【００７３】
図１１は、第２の実施形態に係るＣＭＯＳ型の固体撮像素子１０Ａと従来構造の固体撮像素子のパターンマッチングの処理速度の差を示すグラフである。
第２の実施形態に係る固体撮像素子１０Ａは、パターン認識を従来構造の固体撮像素子より処理速度が約６倍も高速化されていることが確認できる。このように、大規模なラインメモリが必要になった場合にでも、本実施形態の積層チップ技術を用いれば、専用ＡＳＩＣの設計・付与無しで画像処理をすることが可能である。
このように、本実施形態によれば、第１の実施形態の作用効果に加え、フットプリントを拡大することなく多数のラインメモリを必要とする複雑な処理を高速に実現できるという効果がある。
【００７４】
＜３．その他＞
上述した各実施形態は、図１に記載したように、全てのカラム信号処理部３１にＡＤＣが挿入されていることを前提としたが、アナログデータを使って処理を行うことも可能である。例えば、カラム信号処理部３１においてアナログ／デジタル変換を行わず、カラム信号処理部３１の後段に配置した演算処理部１７により、アナログデータで演算することもできる。
【００７５】
なお、本開示は以下のような構成も取ることができる。
（１）
複数の画素が所定順に配された撮像部と、
前記撮像部に隣接して配置され、前記撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、
前記演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部と、
を備える固体撮像素子。
（２）
前記演算処理部は、
前記撮像部の水平行方向の画素が出力する画素信号を行単位で保持する水平メモリ部と、
フィルタの係数を格納するメモリ部と、
前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し前記メモリ部に格納された前記フィルタの係数を用いてフィルタ処理を行う演算部と、を備える
前記（１）に記載の固体撮像素子。
（３）
前記水平メモリ部は、前記フィルタの列方向の段数に対応した段数のラインメモリを有する
前記（２）に記載の固体撮像素子。
（４）
前記メモリ部は、前記水平行方向の画素が出力する画素信号から所定目的の情報を得るためのフィルタの係数を格納している
前記（２）又は（３）に記載の固体撮像素子。
（５）
前記メモリ部は、前記水平行方向の一の画素が出力する画素信号と隣接する他の画素が出力する画素信号の混色を補正するためのフィルタの係数を格納している
前記（２）又は（３）に記載の固体撮像素子。
（６）
前記メモリ部は、さらに前記水平行方向の一の画素が出力する画素信号と隣接する他の画素が出力する画素信号の混色を補正するためのフィルタの係数を格納している
前記（４）に記載の固体撮像素子。
（７）
前記演算処理部は、前記撮像部の垂直列ごとに配されて前記撮像部から出力される画素信号を処理するカラム信号処理部の後段に配置され、
前記演算処理部の水平メモリ部は、前記カラム信号処理部で処理された画素信号を行単位で保持する
前記（２）乃至（６）のいずれかに記載の固体撮像素子。
（８）
前記撮像部は、第１の半導体基板上に形成され、
前記演算処理部は、前記第１の半導体基板の下面側に隣接して配置される第２の半導体基板上に形成され、
前記演算処理部の水平メモリ部が、前記撮像部における最後尾の水平行方向の画素と接続している
前記（２）乃至（７）のいずれかに記載の固体撮像素子。
（９）
前記演算部は、
前記演算の実行を指示されたときは、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し前記メモリ部に格納された前記フィルタの係数を用いてフィルタ処理し、
前記演算の実行を指示されないときは、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し演算を行わずに出力する
前記（２）乃至（８）のいずれかに記載の固体撮像素子。
（１０）
複数の画素が所定順に配された撮像部と、
前記撮像部に隣接して配置され、前記撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、
前記演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部と、
を含んで構成される固体撮像素子
を備える固体撮像装置。
（１１）
複数の画素が所定順に配された撮像部の水平行方向の画素が出力する画素信号を、水平メモリ部により行単位で保持することと、
演算処理部により、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対しフィルタ処理すること、
出力部により、前記演算処理部でフィルタ処理された後の水平行方向の画素の画素信号を出力すること
を含む画像処理方法。
【００７６】
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【００７７】
以上、本開示は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
すなわち、上述した各実施形態の例は、本開示の好適な具体例であるため、技術的に好ましい種々の限定が付されている。しかしながら、本開示の技術範囲は、各説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、また説明に用いた各図における寸法、形状および配置関係も概略的なものである。
【符号の説明】
【００７８】
１，１Ａ…固体撮像装置、１ａ，１ｂ，１ｃ…端子、１０，１０Ａ…固体撮像素子、１１…第１チップ、１２…第２チップ、１５…駆動制御部、１７…演算処理部、２０…撮像部、２１…単位画素、２５…垂直制御線、２８…垂直信号線、３０…カラム処理部、３１…カラム信号処理部、４０…水平走査部、５０…垂直走査部、６０…駆動信号操作部、７１…水平信号線、７５…出力部、８０，８０Ａ…水平メモリ部、９０…演算部、１００…メモリ部、１１０…エッジ抽出用フィルタ、１２０…混色補正用フィルタ、１３０…パターンマッチング用フィルタ
【図１】
2015062264.tif 000003
【図２】
2015062264.tif 000004
【図４】
2015062264.tif 000005
【図５】
2015062264.tif 000006
【図６】
2015062264.tif 000007
【図８】
2015062264.tif 000008
【図９】
2015062264.tif 000009
【図１０】
2015062264.tif 000010
【図１１】
2015062264.tif 000011
【図１２】
2015062264.tif 000012
【図３】
2015062264.tif 000013
【図７】
2015062264.tif 000014