(57)【特許請求の範囲】
【請求項１】
複数の半導体チップを積層して形成された集積回路による撮像装置であって、
前記集積回路は、
最も上層の半導体チップが、マトリックス状に配置した画素による撮像結果をＸＹアドレス制御により下層の半導体チップに出力する撮像素子の半導体チップであり、
前記下層の半導体チップが、前記撮像素子の半導体チップから出力される撮像結果を処理して、画素単位の動き情報を検出する動き検出回路と、前記画素単位の動き情報を処理して処理結果を出力する動き処理回路とによる半導体チップであり、
前記動き検出回路は、
減算処理による隣接画素との間の画素値の差分値を演算処理して前記画素単位の動き情報を検出し、
前記差分値の計算に供する減算回路を前記隣接画素との間で共用する
撮像装置。
【請求項２】
前記動き処理回路による前記画素単位の動き情報の処理が、
前記画素単位の動き情報を平均値化する処理である
請求項１に記載の撮像装置。
【請求項３】
前記動き処理回路による前記画素単位の動き情報の処理が、
前記画素単位の動き情報のフレーム間差分値の総和を計算する処理である
請求項１に記載の撮像装置。
【請求項４】
前記動き処理回路による前記画素単位の動き情報の処理が、
前記画素単位の動き情報を順次段階的に処理して動きが同一の領域を検出する処理である
請求項１に記載の撮像装置。
【請求項５】
複数の半導体チップを積層して形成された集積回路を用いた撮像装置における撮像結果の処理方法であって、
前記集積回路における最も上層の半導体チップにより、マトリックス状に配置した画素による撮像結果をＸＹアドレス制御により下層の半導体チップに出力し、
前記下層の半導体チップにより、前記最も上層の半導体チップから出力される撮像結果を処理して、画素単位の動き情報を検出し、前記画素単位の動き情報を処理して処理結果を出力し、
前記画素単位の動き情報の検出では、
減算処理による隣接画素との間の画素値の差分値を演算処理して前記画素単位の動き情報を検出し、
前記差分値の計算に供する減算回路を前記隣接画素との間で共用する
撮像結果の処理方法。
【請求項６】
複数の半導体チップを積層して形成された集積回路であって、
最も上層の半導体チップが、マトリックス状に配置した画素による撮像結果をＸＹアドレス制御により下層の半導体チップに出力する撮像素子の半導体チップであり、
前記下層の半導体チップが、前記撮像素子の半導体チップから出力される撮像結果を処理して、画素単位の動き情報を検出する動き検出回路と、前記画素単位の動き情報を処理して処理結果を出力する動き処理回路とによる半導体チップであり、
前記動き検出回路は、
減算処理による隣接画素との間の画素値の差分値を演算処理して前記画素単位の動き情報を検出し、
前記差分値の計算に供する減算回路を前記隣接画素との間で共用する
集積回路。
【請求項７】
複数の半導体チップを積層して形成された集積回路における撮像結果の処理方法であって、
前記集積回路における最も上層の半導体チップにより、マトリックス状に配置した画素による撮像結果をＸＹアドレス制御により下層の半導体チップに出力し、
前記下層の半導体チップにより、前記最も上層の半導体チップから出力される撮像結果を処理して、画素単位の動き情報を検出し、前記画素単位の動き情報を処理して処理結果を出力し、
前記画素単位の動き情報の検出では、
減算処理による隣接画素との間の画素値の差分値を演算処理して前記画素単位の動き情報を検出し、
前記差分値の計算に供する減算回路を前記隣接画素との間で共用する
撮像結果の処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像結果の処理方法及び集積回路に関し、特に画素単位の動き情報の検出に適用することができる。本発明は、ＸＹアドレス制御による撮像素子の半導体チップと、画素単位の動き情報を検出する動き検出回路の半導体チップとを積層することにより、高レートによる撮像結果であっても、確実に動き検出処理することができるようにする。
【背景技術】
【０００２】
従来、撮像装置は、ＣＣＤ（Charge Coupled Device ）固体撮像素子からラスタ走査の順序による撮像結果を入力して、例えば動き検出等の処理を実行するように構成されている。
【０００３】
すなわち第１図は、ＣＣＤ固体撮像素子による撮像装置を示すブロック図である。この撮像装置１において、ＣＣＤ固体撮像素子２は、光電変換素子による画素３がマトリックス状に配置され、読み出しゲート４の制御により、各画素３の蓄積電荷をフレーム単位で垂直転送レジスタ５に転送する。ＣＣＤ固体撮像素子２は、この蓄積電荷を垂直転送レジスタ５により順次水平転送レジスタ６に転送しながら、水平転送レジスタ６により順次転送して出力する。
【０００４】
この撮像装置１は、このＣＣＤ固体撮像素子２から出力される撮像結果を論理演算部７に入力し、この論理演算部７による論理演算処理により、例えば画素単位で動き情報を検出する。またこの動き情報をプロセッサ部８により処理し、これにより例えば特定領域の動き等を計算して撮像結果の処理に使用する。
【０００５】
これに対して近年、ＣＭＯＳ固体撮像素子が実用に供され、このＣＭＯＳ固体撮像素子に関して、例えば日本特開２００４−３１７８５号公報等には、周辺回路と一体化する工夫が提案されている。
【０００６】
ところで撮像結果より画素単位で動き情報を検出する場合、結局、１フレーム分の撮像結果を論理演算部７に入力して処理を開始することになり、またこのような処理による１フレーム分の動き情報をプロセッサ部８にまとめて出力することになる。
【０００７】
これにより従来のラスタ走査による撮像結果の処理においては、例えばＣＭＯＳ固体撮像素子を適用して高速度に撮像結果を出力する場合には、動き検出の処理が間に合わなくなり、これにより高レートによる撮像結果の処理が困難な問題があった。
【特許文献１】特開２００４−３１７８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の点を考慮してなされたもので、高レートによる撮像結果であっても、確実に動き検出処理することができる撮像装置、撮像結果の処理方法及び集積回路を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため本発明は、複数の半導体チップを積層して形成された集積回路による撮像装置であって、集積回路は、最も上層の半導体チップが、マトリックス状に配置した画素による撮像結果をＸＹアドレス制御により下層の半導体チップに出力する撮像素子の半導体チップであり、下層の半導体チップが、撮像素子の半導体チップから出力される撮像結果を処理して、画素単位の動き情報を検出する動き検出回路と、画素単位の動き情報を処理して処理結果を出力する動き処理回路とによる半導体チップであるようにする。
【００１０】
本発明の構成により、最も上層の半導体チップが、マトリックス状に配置した画素による撮像結果をＸＹアドレス制御により下層の半導体チップに出力する撮像素子の半導体チップであり、下層の半導体チップが、撮像素子の半導体チップから出力される撮像結果を処理して、画素単位の動き情報を検出する動き検出回路と、画素単位の動き情報を処理して処理結果を出力する動き処理回路との集積回路による半導体チップであるようにすれば、これら２つの半導体チップの接続により、例えば撮像素子による各画素の撮像結果を同時並列的に動き検出回路により処理することができ、これにより高レートによる撮像結果であっても、確実に動き検出処理することができる。
【００１１】
また本発明は、複数の半導体チップを積層して形成された集積回路を用いた撮像装置における撮像結果の処理方法であって、集積回路における最も上層の半導体チップにより、マトリックス状に配置した画素による撮像結果をＸＹアドレス制御により下層の半導体チップに出力し、下層の半導体チップにより、最も上層の半導体チップから出力される撮像結果を処理して、画素単位の動き情報を検出し、画素単位の動き情報を処理して処理結果を出力する。
【００１２】
これにより本発明の構成によれば、高レートによる撮像結果であっても、確実に動き検出処理することができる撮像結果の処理方法を提供することができる。
【００１３】
また本発明は、複数の半導体チップを積層して形成された集積回路であって、最も上層の半導体チップが、マトリックス状に配置した画素による撮像結果をＸＹアドレス制御により下層の半導体チップに出力する撮像素子の半導体チップであり、下層の半導体チップが、撮像素子の半導体チップから出力される撮像結果を処理して、画素単位の動き情報を検出する動き検出回路と、画素単位の動き情報を処理して処理結果を出力する動き処理回路とによる半導体チップであるようにする。
【００１４】
これにより本発明の構成によれば、高レートによる撮像結果であっても、確実に動き検出処理することができる集積回路を提供することができる。
【００１５】
また本発明は、複数の半導体チップを積層して形成された集積回路における撮像結果の処理方法であって、集積回路における最も上層の半導体チップにより、マトリックス状に配置した画素による撮像結果をＸＹアドレス制御により下層の半導体チップに出力し、下層の半導体チップにより、最も上層の半導体チップから出力される撮像結果を処理して、画素単位の動き情報を検出し、画素単位の動き情報を処理して処理結果を出力する。
【００１６】
これにより本発明の構成によれば、高レートによる撮像結果であっても、確実に動き検出処理することができる撮像結果の処理方法を提供することができる。
【発明の効果】
【００１７】
本発明によれば、高レートによる撮像結果であっても、確実に動き検出処理することができる。
【図面の簡単な説明】
【００１８】
第１図は、従来の撮像装置を示すブロック図である。
第２図は、本発明の実施例１に係る撮像装置を示すブロック図である。
第３図は、第２図の撮像装置に適用される集積回路を示す分解斜視図である。
第４図は、第３図の集積回路の動き処理層を示す分解斜視図である。
第５図は、動き情報の処理結果を示す図表である。
第６図は、動き情報の出力を示す図表である。
第７図は、実施例３に係る集積回路の説明に供する略線図である。
第８図は、第７図に係る集積回路の動き検出回路の説明に供する略線図である。
【符号の説明】
【００１９】
１、３１……撮像装置、２、３３……撮像素子、３、１４……画素、４……読み出しゲート、５……垂直転送レジスタ、６……水平転送レジスタ、７……論理演算部、８……プロセッサ部、１１……集積回路、１３……撮像素子層、１５、１９、２４、２５……層間配線層、１６……動き検出層、１７……動き検出回路、１７Ａ……動き検出部、１８……動き処理層、２０……動き処理回路、２１、２２……動き均一性判断処理層、２３……動き領域判定層、２７、２８……動き均一性判断回路、２９……動き領域判定回路、３２……レンズ、３４……光学ローパスフィルタ、３５……色補正フィルタ、３６……駆動部、３７……アナログディジタル変換回路、３８……画像処理部、３９……制御部、Ａ００、Ａ０１、Ａ１０、Ａ１１……減算回路
【発明を実施するための最良の形態】
【００２０】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００２１】
（１）実施例１の構成
【００２２】
第２図は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置３１は、所望の被写体の撮像結果をデータ圧縮して記録媒体に記録し、また所望の伝送対象に送出する。
【００２３】
ここでこの撮像装置３１において、レンズ３２は、ユーザーによる操作に応動してズーム倍率、絞りを可変して撮像素子３３の撮像面に入射光を集光する。光学ローパスフィルタ３４は、このレンズ３２の出射光より空間周波数の高い成分を抑圧し、続く色補正フィルタ３５は、光学ローパスフィルタ３４から出射される出射光の色温度を補正して出射する。
【００２４】
撮像素子３３は、例えばＣＭＯＳ固体撮像素子により形成され、駆動部３６から出力される各種タイミング信号により動作して、撮像面に形成された光学像を各画素により光電変換して撮像信号Ｓ１を出力する。
【００２５】
駆動部３６は、制御部３９の制御により、この撮像素子３３の各種タイミング信号を生成して撮像素子３３に出力し、これにより制御部９の制御により撮像素子３３の動作を制御する。
【００２６】
アナログディジタル変換回路（ＡＤ）３７は、この撮像信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。
【００２７】
画像処理部３８は、この画像データＤ１をデータ圧縮し、その処理結果による符号化データＤ２を記録系、伝送系に出力し、これによりこの撮像装置３１では、この記録系により所定の記録媒体に符号化データＤ２を記録し、またこの伝送系により符号化データＤ２を外部機器に伝送する。
【００２８】
制御部３９は、マイコンによる演算処理手段により構成され、所定の制御プログラムの実行により、ユーザーにより操作子の操作に応動してこの撮像装置３１全体の動作を制御する。なおこの実施例において、この制御プログラムは、この撮像装置３１に事前にインストールされて提供されるものの、この制御プログラムにあっては、インターネット等のネットワークを介したダウンロードにより、さらには記録媒体からのダウンロードにより提供するようにしてもよく、このような記録媒体にあっては、光ディスク、メモリカード等、種々の記録媒体を広く適用することができる。
【００２９】
しかして制御部３９は、ユーザーにより電源が立ち上げられると動作を開始し、ユーザーによる操作子の操作に応動して撮像素子３３により撮像結果の取得を開始するように、またこの撮像結果の記録、伝送を開始するように、全体の動作を制御する。
【００３０】
第３図は、撮像装置３１に適用される撮像素子３３の集積回路を示す分解斜視図である。この集積回路１１は、撮像結果を順次段階的に処理して処理結果をプロセッサ部に出力する。この集積回路１１は、この段階的な処理に係る各段階の処理を実行する回路ブロックがそれぞれ集積回路化されて厚みの薄い半導体チップが形成され、この厚みの薄い半導体チップを処理の順序に従って順次積層して形成される。これにより集積回路１１は、各処理を実行する処理層と、各処理層を接続する層間配線層との積層構造により形成される。集積回路１１は、これらの処理層のうちの最も上層の処理層が、撮像結果を取得して出力する撮像素子層１３に割り当てられる。
【００３１】
ここで撮像素子層１３は、ＸＹアドレス制御により撮像結果を出力する固体撮像素子と、この固体撮像素子の周辺回路とによる集積回路の半導体チップにより形成される。またこの撮像素子層１３は、上面側に、画素１４がマトリックス状に配置されて固体撮像素子の撮像面が形成され、これにより第２図について上述した撮像素子３３が形成される。またこの固体撮像素子の周辺回路に、第２図について上述した各画素１４を駆動する駆動回路３６、各画素１４の撮像結果を画像データに変換するアナログディジタル変換回路３７、各画素１４の撮像結果を読み出す読み出し回路等が適用される。撮像素子層１３は、この読み出し回路の駆動によるＸＹアドレス制御により、各画素１４の撮像結果による画像データを、同時並列的に、短い時間間隔により読み出し、下層の層間配線層１５を介して、この読み出した画像データを続く処理層に同時並列的に出力する。
【００３２】
ここでこの下層の処理層は、撮像素子層１３の各画素毎に動き情報を検出する動き検出層１６であり、撮像素子層１３による撮像結果から画素単位の動き情報を検出する動き検出回路１７が設けられる。ここでこの実施例において、動き検出回路１７は、撮像素子層１３の各画素に対応する複数の動き検出部１７Ａにより形成される。
【００３３】
これにより層間配線層１５は、動き検出回路１７で画素単位の動き情報を検出可能に、撮像素子層１３の１つの画素から出力される画像データを、動き検出層１６の対応する動き検出部１７Ａと、この対応する動き検出部１７Ａに対してＸ方向負側及びＹ方向負側に隣接する動き検出部１７Ａとに出力する。
【００３４】
これにより動き検出部１７Ａは、この動き検出部１７ＡのＸ方向及びＹ方向の座標値を（ｘ，ｙ）としたとき、対応する画素１４による撮像結果ｆ（ｘ，ｙ）と、この対応する画素１４に対してＸ方向負側及びＹ方向負側に隣接する画素１４による撮像結果ｆ（ｘ−１，ｙ）、ｆ（ｘ，ｙ−１）とが同時並列的に入力される。動き検出部１７Ａは、１サンプリング前の対応する画素１４による撮像結果ｆ（ｘ，ｙ，ｔ−１）を保持するレジスタと、減算回路とを有し、レジスタに保持した撮像結果ｆ（ｘ，ｙ，ｔ−１）、この対応する画素１４、隣接画素１４から入力される撮像結果ｆ（ｘ，ｙ，ｔ）、ｆ（ｘ−１，ｙ，ｔ）、ｆ（ｘ，ｙ−１，ｔ）を用いて、減算回路により次式の演算処理を実行することにより、それぞれ対応する画素１４の撮像結果ｆ（ｘ，ｙ）について、Ｘ方向、Ｙ方向に係る隣接画素との間の差分値ｆｘ（ｘ，ｙ）、ｆｙ（ｘ，ｙ）、時間軸方向の差分値ｆｔ（ｘ，ｙ）を計算する。
【００３５】
【数１】
0004640338.tif 000002
【００３６】
【数２】
0004640338.tif 000003
【００３７】
【数３】
0004640338.tif 000004
【００３８】
さらに動き検出部１７Ａは、このようにして計算した差分値ｆｘ（ｘ，ｙ）、ｆｙ（ｘ，ｙ）、ｆｔ（ｘ，ｙ）を用いて、演算回路により次式の演算処理を解くことにより、対応する画素１４の動き情報（ｕ，ｖ）を計算する。なおここでｆｘ（ｘ−１，ｙ）、ｆｙ（ｘ−１，ｙ）は、ｘ方向負側に隣接する動き検出回路１７によるＸ方向、Ｙ方向の差分値計算結果であり、ｆｔ（ｘ−１，ｙ）は、時間軸方向の差分値計算結果である。
【００３９】
【数４】
0004640338.tif 000005
【００４０】
【数５】
0004640338.tif 000006
【００４１】
なおこの（４）式及び（５）式を解いて得られる動き情報（ｕ，ｖ）の値ｕ及びｖは、次式により表されることにより、動き検出部１７Ａは、具体的には、演算回路により、この（６）式及び（７）式の演算処理を実行して対応する画素１４の動き情報（ｕ，ｖ）を計算する。
【００４２】
【数６】
0004640338.tif 000007
【００４３】
【数７】
0004640338.tif 000008
【００４４】
但し、Ｋは、次式により表され、分母が値０の場合、動き（ｕ，ｖ）は（０，０）に設定される。
【００４５】
【数８】
0004640338.tif 000009
【００４６】
動き検出部１７Ａは、このようにして検出される動き情報（ｕ，ｖ）と対応する画素１４の画像データとを、層間配線層１９を介して続く処理層である動き処理層１８に出力する。これによりこの動き検出層１６の下層の層間配線層１９は、動き検出層１６に設けられた動き検出部１７Ａによる動き検出結果と、各画素１４の画像データとを動き処理層１８に出力する。
【００４７】
動き処理層１８は、動き検出層１６で計算された画素単位の動き情報（ｕ，ｖ）を処理して動きが同一の領域を検出する動き処理回路２０が設けられる。ここで動き処理回路２０は、この動き情報（ｕ，ｖ）の処理を順次段階的に実行し、第４図に示すように、各段階の処理に対応する集積回路の半導体チップが積層されて、３つの処理層２１〜２３と、これら処理層２１〜２３間を接続する２つの層間配線層２４、２５とにより形成される。
【００４８】
動き処理回路２０は、これらの処理層２１〜２３のうち、最も上層の処理層２１が、第１の動き均一性判断層２１に割り当てられ、この第１の動き均一性判断層２１に第１の動き均一性判断回路２７が設けられる。
【００４９】
ここで第１の動き均一性判断回路２７は、Ｘ方向及びＹ方向の所定画素数によるブロック毎に設けられ、それぞれ対応するブロックに係る各画素の動き情報（ｕ，ｖ）、画像データが動き検出層１６から入力される。第１の動き均一性判断回路２７は、この入力された各画素の動き情報（ｕ，ｖ）の平均値を計算する。またこの平均値を基準にして動き情報（ｕ，ｖ）の分散値を各画素１４毎に計算し、この分散値を所定のしきい値により判定する。これにより第１の動き均一性判断回路２７は、対応するブロックに含まれる画素の動き（ｕ，ｖ）が同一の領域に属するものか否か判断し、分散がしきい値以下であって、同一の領域に属するものと判断される場合、このしきい値による判定結果、各画素の動き情報（ｕ，ｖ）の平均値を各画素１４の画像データと共に出力する。これに対して分散がしきい値より大きく、同一の領域に属するものではないと判断される場合、このしきい値による判定結果、対応する画素の動き情報（ｕ，ｖ）を画像データと共に出力する。
【００５０】
層間配線層２４は、この第１の動き均一性判断層２１からの出力データを続く第２の動き均一性判断層２２に出力する。ここでこの第２の動き均一性判断層２２には、第１の動き均一性判断層２１に設けられた第１の動き均一性判断回路２７の所定個数毎に、第２の動き均一性判断回路２８が設けられる。
【００５１】
ここで第２の動き均一性判断回路２８は、第１の動き均一性判断回路２７から出力される判定結果に基づいて、同一の領域に属するものと判断された第１の動き均一性判断回路２７による平均値をさらに平均値化する。またこの平均値を基準にして第１の動き均一性判断回路２７による各平均値の分散値を計算し、この分散値を所定のしきい値により判定する。これにより第２の動き均一性判断回路２８は、第１の動き均一性判断回路２７で小領域について同一の領域に属するものと判断された画素が、この小領域より大きな大領域について同一の領域に属するものか否か判断する。
【００５２】
第２の動き均一性判断回路２８は、この判定結果により、分散がしきい値以下であって、大領域について同一の領域に属するものと判断される場合、このしきい値による判定結果、各画素の動き情報（ｕ，ｖ）の平均値を各画素の画像データと共に出力する。これに対して分散がしきい値より大きく、大領域について同一の領域に属するものではないと判断される場合、しきい値による判定結果、第１の動き均一性判断回路２７による平均値を各画素の画像データと共に出力する。また既に、第１の動き均一性判断回路２７により、小領域について同一の領域に属するものではないと判断されている画素については、第１の動き均一性判断層２１から出力される各画素の動き情報（ｕ，ｖ）、画像データをそのまま出力する。
【００５３】
層間配線層２５は、この第２の動き均一性判断層２２からの出力データを続く動き領域判定層２３に出力する。
【００５４】
ここでこの動き領域判定層２３には、１つの動き領域判定回路２９が設けられる。ここでこの動き領域判定回路２９は、第２の動き均一性判断回路２８から出力される判定結果に基づいて、同一の領域に属するものと判断された第２の動き均一性判断回路２８による平均値を画面全体でさらに平均値化する。またこの平均値を基準にして第２の動き均一性判断回路２８による各平均値の分散値を計算し、この分散値を所定のしきい値により判定する。これにより動き領域判定層２３は、第２の動き均一性判断回路２８で同一の領域に属するものと判断された画素が、さらに画面全体で同一の領域に属するものか否か判断する。
【００５５】
動き領域判定回路２９は、この判定結果により、分散値がしきい値以下であって、同一の領域に属するものと判断される場合、第５図に示すように、この同一の領域に属すると判断される各画素の画像データに、領域を示す識別コードを設定する。なおこの場合、第５図において、値０の識別コードが設定された画素が相当する。またこの分散値がしきい値以下であって、画面全体では同一の領域に属するものと判断することが困難な画素については、第２の動き均一性判断層２２、第１の動き均一性判断層２１による判定結果、平均値に基づいて、他の同一の領域に属するか否か判定し、同様に、各画素の画像データに、属する領域を示す識別コードを設定する。なおこれらの画素は、第５図において、値１、値２の識別コードが設定された画素が相当する。
【００５６】
動き領域判定回路２９は、このようにして識別コードを設定した画像データを所定の順序により続くプロセッサ部に出力する。また第６図に示すように、各領域に属する画素の動き情報（ｕ，ｖ）の平均値を、各領域の動き情報として、対応する識別コードと共に続くプロセッサ部に出力する。これらにより動き処理回路２０は、画素単位の動き情報（ｕ，ｖ）を小領域、大領域、画面全体で平均値化して平均値を出力し、さらには動きが同一の領域を検出する。
【００５７】
この実施例の撮像装置３１は、このプロセッサ部により動き領域判定回路２９による処理結果を利用して画像データを処理する。ここでこの画像データの処理は、この実施例では画像データの符号化処理であるが、物体追跡処理等を適用することもできる。これにより集積回路１１では、層間配線層１６〜プロセッサ部の構成により第２図について上述した画像処理部３８が形成される。
【００５８】
（２）実施例１の動作
【００５９】
以上の構成において、この撮像装置では（第２図及び第３図）、レンズ３２により集積回路１１の撮像面に被写体の像が形成され、この撮像面を構成する各画素１４によりこの光学像の撮像結果が得られる。この撮像装置では、この各画素１４の撮像結果が、動き検出回路１７により処理されて各画素の動き情報（ｕ，ｖ）が検出され、また動き処理回路２０により各画素の動き情報（ｕ，ｖ）が処理されて、小領域、大領域、画面全体における動き情報（ｕ，ｖ）の平均値が得られ、動きが同一の領域が検出される。
【００６０】
これらの処理において、この集積回路１１は、これら撮像結果を出力する撮像素子、動き検出回路１７、動き処理回路２０がそれぞれ集積回路化されて、厚みの薄い半導体チップにより形成され、これら厚みの薄い半導体チップの積層により形成される。またこれにより撮像素子の各画素による撮像結果が、下層の動き検出回路１７による半導体チップに同時並列的に出力されて、この撮像結果が動き検出回路１７により同時並列的に処理されて各画素の動き情報（ｕ，ｖ）が検出され、またこの各画素の動き情報（ｕ，ｖ）が下層の動き処理回路２０による半導体チップに同時並列的に出力されて同時並列的に処理される。
【００６１】
これによりこの実施例においては、ＸＹアドレス制御による撮像素子の半導体チップと、画素単位の動き情報を検出する動き検出回路の半導体チップとの積層により、各画素の撮像結果を同時並列的に出力、処理して動き情報を検出することができ、その分、撮像素子から高レートの撮像結果を出力して動き検出する場合であっても、十分な処理時間を確保して確実に動き検出処理することができる。
【００６２】
具体的にこの実施例においては、このようにして検出される画素単位の動き情報（ｕ，ｖ）を動き処理回路により処理して、画素単位の動き情報（ｕ，ｖ）による小領域、大領域、画面全体の平均値を検出し、さらには動きが同一の領域を検出することにより、このようにして検出される画素単位の動き情報（ｕ，ｖ）を有効に利用して動き補償等の処理を実行することができる。
【００６３】
またこの集積回路１１では、動き情報（ｕ，ｖ）を処理する動き処理回路２０で、小領域、大領域、画面全体の順序により、順次段階的に動き情報（ｕ，ｖ）を平均値化して動きが同一の領域を検出するようにして、これら小領域、大領域、画面全体の各処理に供する集積回路の半導体チップの積層により動き処理回路２０が形成され（第４図）、これにより動き処理に関してもこれら各半導体チップの処理結果を下層の半導体チップに同時並列的に転送することにより、高速度で動き情報を処理することができ、これにより高レートの撮像結果を出力して動き検出するようにして、検出した動き情報を確実に処理することができる。
【００６４】
（３）実施例１の効果
【００６５】
以上の構成によれば、ＸＹアドレス制御による撮像素子の半導体チップと、画素単位の動き情報を検出する動き検出回路の半導体チップとを積層することにより、高レートによる撮像結果であっても、確実に動き検出処理することができる。
【００６６】
また動き情報を処理する動き処理回路により、画素単位の動き情報を平均値化することにより、さらには動きが同一の領域を検出することにより、このようにして検出した動き情報を有効に利用することができる。
【実施例２】
【００６７】
（４）実施例２
【００６８】
この実施例においては、第３図について上述した動き処理回路２０において、画素単位の動き情報（ｕ，ｖ）のフレーム間差分値の総和を計算し、この総和をプロセッサ部に出力する。プロセッサ部は、この総和により被写体の急激な変化を検出する。この実施例においては、この動き処理回路２０の構成が異なる点を除いて、実施例１について上述した集積回路１１と同一に構成される。なおこのフレーム間差分値の総和にあっては、差分値の２乗和、又は差分値の絶対値和により計算される。
【００６９】
この実施例においては、ＸＹアドレス制御による撮像素子の半導体チップと、画素単位の動き情報を検出する動き検出回路の半導体チップとを積層することにより、高レートによる撮像結果であっても、確実に動き検出処理するようにして、この画素単位の動き情報のフレーム間差分値の総和を計算することにより、検出した動き情報を有効に利用することができる。
【実施例３】
【００７０】
（５）実施例３
【００７１】
ところで実施例１に係る集積回路１１では、各画素１４に対してＸ方向負側及びＹ方向負側に隣接する画素１４の撮像結果を入力することにより、層間配線層１５は、１つの画素１４に対して３系統の配線が必要となる。これにより層間配線層１５の配線が煩雑になり、製造プロセスを複雑化させ、歩留まりの低下を招くことになる。
【００７２】
このためこの実施例においては、隣接する画素間で、動き検出部１７Ａの構成が共用化される。すなわち第７図に示すように、Ｘ方向及びＹ方向に隣接する４つの画素１４を符号ａ００〜ａ１１により表し、これらの各画素ａ００〜ａ１１に係る動き検出部１７Ａを画素１４の符号に対応してそれぞれ符号ｂ００〜ｂ１１により表す。しかしてこれら４つの画素ａ００〜ａ１１のうち、最もＸ方向及びＹ方向の原点側の画素ａ００についての（１）式により表されるＸ方向に隣接する画素ａ１０との間の差分値ｆｘにあっては、符号を反転させることにより、このＸ方向に隣接する画素ａ１０についての（１）式により表されるＸ方向負側に隣接する画素ａ００との間の差分値ｆｘとなる。また最もＸ方向及びＹ方向の原点側の画素ａ００についての（２）式により表されるＹ方向に隣接する画素ａ０１との間の差分値ｆｙにあっては、符号を反転させることにより、このＹ方向に隣接する画素ａ０１についての（２）式により表されるＹ方向負側に隣接する画素ａ００との間の差分値ｆｙとなる。
【００７３】
この関係を利用して、動き検出部１７Ａ（ｂ００〜ｂ１１）は、第８図に示すように、それぞれ１つの減算回路Ａ００〜Ａ１１により一方の隣接画素との間でのみ画素値の差分値ｆｘ又はｆｙを計算し、この計算した差分値ｆｘ又はｆｙをこの一方の隣接画素に係る動き検出部１７Ａ（ｂ００〜ｂ１１）に出力し、これにより各動き検出部１７Ａ（ｂ００〜ｂ１１）でＸ方向及びＹ方向の差分値ｆｘ及びｆｙを求める。またこのようにして求めたＸ方向及びＹ方向の差分値ｆｘ及びｆｙをそれぞれ処理して動き情報（ｕ，ｖ）を計算する。
【００７４】
これにより動き検出回路１７は、隣接画素との間の画素値の差分値を演算処理して画素単位の動き情報（ｕ，ｖ）を検出するようにして、この差分値の計算に供する減算回路を隣接画素との間で共用し、その分、動き検出回路１７の構成を簡略化し、さらには層間配線層１５の構成を簡略化する。実際上、この実施例のように減算回路を共用化すると、１つの動き検出部１７Ａへの配線を２本にすることができ、その分、層間配線層１５の構成を簡略化して歩留りを向上することができる。
【００７５】
この実施例によれば、ＸＹアドレス制御による撮像素子の半導体チップと、画素単位の動き情報を検出する動き検出回路の半導体チップとを積層するようにして、差分値の計算に供する減算回路を隣接画素との間で共用することにより、高レートによる撮像結果であっても、確実に動き検出処理することができるようにして、全体構成を簡略化することができる。
【実施例４】
【００７６】
（６）他の実施例
【００７７】
なお上述の実施例３においては、各動き検出部にそれぞれ減算回路を設ける場合について述べたが、本発明はこれに限らず、隣接画素に係る動き検出部の一方に、減算回路をまとめて設けるようにしてもよい。このようにすればさらに一段と層間配線層を簡略化することができる。
【００７８】
また上述の実施例においては、動き処理回路とは別チップにより動き検出回路を形成し、さらには複数の半導体チップの積層により動き処理回路を作成する場合について述べたが、本発明はこれに限らず、これらを１つの半導体チップによりまとめて作成する場合等、要は、撮像素子の半導体チップと動き検出回路、動き処理回路の半導体チップとの積層構造により、高レートによる撮像結果であっても、確実に動き検出処理することができる。
【００７９】
また上述の実施例においては、集積回路から画像データを併せて出力する場合について述べたが、本発明はこれに限らず、必要に応じて動き処理結果だけ出力する場合等にも広く適用することができる。
【００８０】
また上述の実施例においては、符号化処理、物体追跡等に適用する場合について述べたが、本発明はこれに限らず、動き情報を利用する種々の撮像装置に広く適用することができる。
【産業上の利用可能性】
【００８１】
本発明は、画素単位の動き情報の検出に適用することができる。
【図１】
0004640338.tif 000010
【図２】
0004640338.tif 000011
【図３】
0004640338.tif 000012
【図４】
0004640338.tif 000013
【図５】
0004640338.tif 000014
【図６】
0004640338.tif 000015
【図７】
0004640338.tif 000016
【図８】
0004640338.tif 000017