(57)【要約】【課題】  本発明は、撮像装置及び撮像結果の処理方法に関し、例えばＣＭＯＳ固体撮像素子による撮像装置に適用して、電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上することができるようにする。【解決手段】  本発明は、１つの画面を複数のブロックに分割し、各ブロック毎に動き検出してそれぞれ露光時間を制御する。【選択図】        図１
2006197192.tif 000002
【特許請求の範囲】
【請求項１】
画素をマトリックス状に配置して撮像面が形成され、前記撮像面に形成された光学像の撮像結果を出力する撮像手段と、
前記撮像面を水平方向及び又は垂直方向に分割した各ブロック毎に、前記撮像結果における動き量を検出する動き検出手段と、
前記動き検出手段による検出結果に基づいて、前記ブロック毎に前記撮像手段の露光時間を制御する制御手段と、
前記各ブロック毎に、前記露光時間の制御により変化する前記撮像結果の信号レベルを補正して出力する信号レベル補正手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、
前記動き検出手段による検出結果に基づいて、動きが大きいブロック程、露光時間が短くなるように、前記ブロック毎に前記撮像手段の露光時間を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段は、
前記各ブロックの撮像結果を同時並列的に出力して、前記光学像の撮像結果を出力し、
前記動き検出手段は、
前記撮像手段から出力される各ブロックの撮像結果をそれぞれ処理して、前記各ブロック毎に動き量を検出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記動き検出手段は、
フレーム単位で、前記各ブロック毎に、前記撮像結果をそれぞれ累積加算して平均値を計算する平均値計算回路と、
前記各ブロック毎に、前記平均値計算回路で計算される平均値のフレーム間差分値を計算し、前記フレーム間差分値により前記動き量を検出するフレーム差分計算回路とを有する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
少なくとも前記撮像手段及び前記動き検出手段が、異なる半導体チップに形成されてマイクロバンプにより接続された
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記動き検出手段による検出結果に基づいて、マクロブロックにより前記撮像結果を符号化処理する符号化手段を有し、
前記動き検出手段に係る前記ブロックが、前記符号化手段の前記マクロブロックに対応する大きさに設定された
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮像手段の撮像面を水平方向及び又は垂直方向に分割した各ブロック毎に、前記撮像手段の撮像結果における動き量を検出する動き検出のステップと、
前記動き検出のステップによる検出結果に基づいて、前記ブロック毎に前記撮像手段の露光時間を制御する制御のステップと、
前記各ブロック毎に、前記露光時間の制御により変化する前記撮像結果の信号レベルを補正して出力する信号レベル補正のステップとを有する
ことを特徴とする撮像結果の処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像結果の処理方法に関し、例えばＣＭＯＳ固体撮像素子による撮像装置に適用することができる。本発明は、１つの画面を複数のブロックに分割し、各ブロック毎に動き検出してそれぞれ露光時間を制御することにより、電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上することができるようにする。
【背景技術】
【０００２】
従来、撮像装置は、いわゆる電子シャッターにより撮像素子の電荷蓄積時間を制御することにより露光時間を制御し、これにより動きの速い被写体を撮影する場合でも、ぶれの無い撮像結果を取得できるように構成されている。このような電子シャッターによる制御に関して、例えば特開平６−１６５０４７号公報、特開平６−２６１２５６号公報には、システムコントローラにより被写体の動きを検出し、この動き検出結果により露光時間を制御し、併せてＡＧＣ（Auto Gain Control ）の利得制御、ＡＬＣ（Auto Light Control）による制御を実行する方法が提案されている。
【０００３】
しかしながら従来の電子シャッターによる露光時間の制御は、１つの画面を構成する全画素で同一に露光時間を可変することにより、画面の一部の動きにより露光時間を可変する場合に、背景等の静止している部分についても、露光時間が短くなるように制御される。これによりこのような場合には、このような静止した部分についてＳ／Ｎ比が劣化し、その分画質が劣化する問題があった。
【０００４】
またこれとは逆に、小さな物体については動きを検出できない場合があり、この場合には、適切に露光時間を制御することが困難なことにより、この小さな物体がぶれて撮像され、これによりこの場合も、画質が劣化する問題がある。
【特許文献１】特開平６−１６５０４７号公報
【特許文献２】特開平６−２６１２５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は以上の点を考慮してなされたもので、電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上することができる撮像装置及び撮像結果の処理方法を提案しようとするものである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するため請求項１の発明においては、撮像装置に適用して、画素をマトリックス状に配置して撮像面が形成され、前記撮像面に形成された光学像の撮像結果を出力する撮像手段と、前記撮像面を水平方向及び又は垂直方向に分割した各ブロック毎に、前記撮像結果における動き量を検出する動き検出手段と、前記動き検出手段による検出結果に基づいて、動きが大きいブロック程、露光時間が短くなるように、前記ブロック毎に前記撮像手段の露光時間を制御する制御手段と、前記各ブロック毎に、前記露光時間の制御により変化する前記撮像結果の信号レベルを補正して出力する信号レベル補正手段とを備えるようにする。
【０００７】
また請求項７の発明においては、撮像結果の処理方法に適用して、撮像手段の撮像面を水平方向及び又は垂直方向に分割した各ブロック毎に、前記撮像手段の撮像結果における動き量を検出する動き検出のステップと、前記動き検出のステップによる検出結果に基づいて、前記ブロック毎に前記撮像手段の露光時間を制御する制御のステップと、前記各ブロック毎に、前記露光時間の制御により変化する前記撮像結果の信号レベルを補正して出力する信号レベル補正のステップとを有するようにする。
【０００８】
請求項１の構成により、撮像装置に適用して、画素をマトリックス状に配置して撮像面が形成され、前記撮像面に形成された光学像の撮像結果を出力する撮像手段と、前記撮像面を水平方向及び又は垂直方向に分割した各ブロック毎に、前記撮像結果における動き量を検出する動き検出手段と、前記動き検出手段による検出結果に基づいて、動きが大きいブロック程、露光時間が短くなるように、前記ブロック毎に前記撮像手段の露光時間を制御する制御手段を備えるようにすれば、各ブロック毎に、動きに応じて露光時間を制御することができ、これにより静止した背景については、露光時間を長くしてＳ／Ｎ比の劣化を防止しつつ、動きのある部分については、露光時間を短くしてボケを防止することができる。またブロック毎に動きを検出することにより、小さな物体についても動きを検出することができ、このような小さな物体のついてもボケを防止することができ、これらにより電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上することができる。またさらに前記各ブロック毎に、前記露光時間の制御により変化する前記撮像結果の信号レベルを補正して出力する信号レベル補正手段とを備えることにより、このようにブロック毎に露光時間を制御して変化するブロック間の信号レベルの変化を防止することができる。
【０００９】
これにより請求項７の構成によれば、電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上することができる撮像結果の処理方法を提供することができる。
【発明の効果】
【００１０】
本発明によれば、電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上することができる。
【発明を実施するための最良の形態】
【００１１】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１２】
（１）実施例の構成
図２は、本発明の実施例１に係る撮像装置に適用される集積回路を示すブロック図である。この実施例に係る撮像装置は、図示しないレンズを用いたコントローラによる自動絞り制御、自動フォーカス制御によりこの集積回路１の撮像面に所望の光学像を形成し、この光学像の撮像結果を出力する。
【００１３】
ここでこの集積回路１は、撮像素子による集積回路であり、センサチップ２とロジックチップ３との積層体をパッケージングして形成される。
【００１４】
ここでセンサチップ２は、ＸＹアドレス方式により撮像結果を出力する撮像素子の半導体チップであり、この実施例ではこの撮像素子にＣＭＯＳ固体撮像素子が適用される。センサチップ２は、撮像部４、この撮像部４の動作を制御する制御部５により形成される。
【００１５】
ここで撮像部４は、マトリックス状に画素を配置して撮像面が形成され、この撮像面に形成された光学像の撮像結果を出力する。撮像部４は、このマトリックス状に配置された画素が水平方向及び垂直方向に等分割され、これにより撮像面が複数の画素ブロック６に分割されて形成される。各画素ブロック６は、各画素ブロック６に属する画素に係る周辺回路がそれぞれ設けられ、それぞれ撮像結果を出力するように形成され、これによりこのセンサチップ２は、これら複数の画素ブロック６による撮像結果を同時並列的に出力する。
【００１６】
センサチップ２は、図３に一部断面を示すように、１０〜２０〔μｍ〕程度の厚さのシリコン（Ｓｉ）層により素子層１２が形成され、この素子層１２に受光素子１３が形成される。またこの受光素子１３に係る部位の上層に、順次、シリコン酸化（ＳｉＯ2）膜１４、遮光膜１５、シリコン窒化膜（ＳｉＮ）１６、色フィルタ１７、マイクロレンズ１８が積層され、これにより画素１９が形成される。またこの素子層１２の下層に、各画素ブロック６の周辺回路、制御部５、これらを配線する配線層２０が形成され、この配線層２０の下層側に、全体を保持する基板支持材２１が設けられる。これによりセンサチップ２は、撮像面とは逆側に配線層２０が配置されて、周辺回路、制御部５等が設けられ、これらにより各画素ブロック６にそれぞれ周辺回路等を設ける場合であっても開口率の低下を有効に回避することができるように構成される。また配線層２０を撮像面側に設ける場合の種々の制約を解消して配線の自由度を格段に向上することができるように形成される。
【００１７】
なおセンサチップ２は、このように撮像面とは逆側に配線層２０が形成されることにより、厚さの薄い半導体基板を配線層２０側より処理して受光素子１３、周辺回路の回路素子を形成した後、この半導体基板に配線層２０、基板支持材２１を順次形成し、その後、この半導体基板を裏返してＣＭＰにより研磨して素子層１２が完成し、遮光膜１５、シリコン窒化膜（ＳｉＮ）１６、色フィルタ１７、マイクロレンズ１８を順次形成して作成される。
【００１８】
センサチップ２は、図４に示すように、この基板支持材２１にロジックチップ３が割り当てられ、配線層２０側に形成されたマイクロバンプ３１と、ロジックチップ３に形成されたマイクロバンプ３２とによりロジックチップ３に電気的に接続されて保持される。
【００１９】
ここでロジックチップ３は、センサチップ２による撮像結果を処理する信号処理回路による集積回路であり、この実施例では、この信号処理回路がセンサチップ２に設けられた撮像部４の露光時間を制御するパルス生成部４１と、このパルス生成部４１に各種のタイミング信号を出力する制御部４２とにより構成される。
【００２０】
ここでパルス生成部４１は、センサチップ２の各画素ブロック６に対応してパルス生成ブロック４３がそれぞれ設けられ、各パルス生成ブロック４３がそれぞれマイクロバンプ３１、３２により対応する画素ブロック６に接続されて、対応する画素ブロック６の露光時間をそれぞれ制御する。これによりこの集積回路１は、複数の画素ブロック６による撮像結果を同時並列的に出力するように形成されて、各画素ブロック６の露光時間を各パルス生成ブロック４３によりそれぞれ個別に制御できるように形成される。
【００２１】
図１は、この画素ブロック６とパルス生成ブロック４３とを示すブロック図である。ここで画素ブロック６は、水平方向に連続する画素１９Ａ、１９Ｂがそれぞれ共通のゲート線によりリセット制御回路５２に接続され、また垂直方向に連続する画素１９Ａ、１９Ｂがそれぞれ共通の信号線により接続されて水平駆動制御回路５３に接続される。各画素１９Ａ、１９Ｂは、入射光を光電変換処理して蓄積電荷を蓄積し、リセット制御回路５２から出力されるリセットパルスＲＳＴ１、ＲＳＴ２により蓄積電荷を放電させ、リセット制御回路５２から出力される読み出しパルスＲＯＵＴ１、ＲＯＵＴ２により蓄積電荷を電圧に変換して信号線に出力する。これらにより画素ブロック６は、リセット制御回路５２の制御により、電荷蓄積時間を可変して露光時間が変化し、ライン単位で撮像結果を水平駆動制御回路５３に出力する。
【００２２】
リセット制御回路５２は、図５（Ａ）及び図６（Ａ）に示すように、制御部５から出力される垂直同期信号ＶＤにより動作をリセットした後、パルス生成ブロック４３から出力されるシャッタパルスＳＨＴ（図５（Ｂ）及び図６（Ｂ））の立ち上がりのタイミングによりリセットパルスＲＳＴ１を立ち上げ（図５（Ｃ１）及び図６（Ｃ１））、シャッタパルスＳＨＴの立ち下がりのタイミングにより読み出しパルスＲＯＵＴ１を立ち上げる（図５（Ｄ１）及び図６（Ｄ１））。
【００２３】
リセット制御回路５２は、このシャッタパルスＳＨＴを基準にしたリセットパルスＲＳＴ１及び読み出しパルスＲＯＵＴ１を、先頭ラインの画素１９Ａに出力する。また画素ブロック６を形成するライン数に応じた遅延時間Δｔだけ、このリセットパルスＲＳＴ１及び読み出しパルスＲＯＵＴ１を順次遅延させて残りの各ラインの画素１９Ｂ、……に係るリセットパルスＲＳＴ２、……、ＲＳＴｎ及び読み出しパルスＲＯＵＴ２、……、ＲＯＵＴｎを順次生成し（図５（Ｃ２）、（Ｄ２）及び図６（Ｃ２）、（Ｄ２）、（Ｃｎ）、（Ｄｎ）、）、これらリセットパルスＲＳＴ２及び読み出しパルスＲＯＵＴ２、……を各ラインの画素１９Ｂ、……に出力する。
【００２４】
これによりリセット制御回路５２は、シャッタパルスＳＨＴが立ち上がった後、立ち下がるまでの期間Ｔ１、Ｔ２が画素１９Ａ、１９Ｂの露光時間となるように設定して、各画素１９Ａ、１９Ｂに蓄積された蓄積電荷（図５（Ｅ１）及び（Ｅ２））を露光時間の終了のタイミングで撮像結果としてライン単位で信号線に出力するように画素１９Ａ、１９Ｂの動作を制御する（図５（Ｆ１）及び（Ｆ２））。
【００２５】
またリセット制御回路５２は、シャッタパルスＳＨＴによる露光時間に応じて、増幅回路５４の利得制御信号Ｇを出力し、これによりシャッタパルスＳＨＴによる露光時間の制御により変化する撮像結果の信号レベルを補正する。
【００２６】
これにより各信号線には、垂直方向に連続する各画素１９Ａ、１９Ｂ、……の撮像結果が時分割により順次出力されることになる（図６（Ｅ））。水平駆動制御回路５３は、このようにしてライン単位により各画素１９Ａ、１９Ｂから信号線に出力される撮像結果を時分割多重化して出力する（図６（Ｆ））。
【００２７】
増幅回路５４は、リセット制御回路５２から出力される利得制御信号Ｇにより利得を可変し、水平駆動制御回路５３から出力される撮像結果を増幅して出力する。これによりこの集積回路１は、露光時間の制御により変化する撮像結果の信号レベルを補正して出力する。
【００２８】
アナログディジタル変換回路（ＡＤＣ）５５は、この増幅回路５４の出力信号をアナログディジタル変換処理し、その処理結果による画像データＯＵＴをロジックチップ３の対応するパルス生成ブロック４３に出力する。これらによりこの実施例では、リセット制御回路５２、水平駆動制御回路５３、増幅回路５４、アナログディジタル変換回路５５により、各画素ブロック６に属する画素１９Ａ及び１９Ｂの周辺回路が形成される。
【００２９】
これらによりこの集積回路１は、ラスタ走査の順序により各画素１９Ａ、１９Ｂによる撮像結果ＯＵＴを各画素ブロック６から出力するようにして、各画素ブロック６より同時並列的に撮像結果ＯＵＴを出力し、対応するパルス生成ブロック４３の制御により各画素ブロック６でそれぞれ電子シャッターによる露光時間を個別に可変すると共に、この露光時間の速度の可変による撮像結果ＯＵＴにおける信号レベルの変化を各画素ブロック６でそれぞれ個別に補正するように構成される。
【００３０】
パルス生成ブロック４３は、動き量検出回路６１により、対応する画素ブロック６から出力される撮像結果の動き量を検出し、この動き量検出結果に応じてシャッタパルスＳＨＴを可変して出力する。
【００３１】
すなわちこの動き検出回路６１において、平均値化回路６２は、対応する画素ブロック６から出力される撮像結果をフレーム単位で平均値化する。すなわち平均値化回路６２は、加算回路６３と遅延回路６４とにより対応する画素ブロック６から出力される撮像結果を累積加算し、加算回路６３の出力段に設けられたスイッチ回路６５の制御により、フレーム毎にフレーム差分計算回路６６にこの加算結果を出力して加算値を初期化する。これにより動き検出回路６１は、撮像結果をフレーム単位で累積加算して各画素ブロック６による撮像結果の平均値を計算する。
【００３２】
フレーム差分計算回路６６は、この平均値化回路６２の出力値を遅延回路（１Ｖ遅延）６７により１フレームの期間だけ遅延させる。またフレーム差分計算回路６６は、減算回路６８により、平均値化回路６２の出力値から遅延回路６７の出力値を減算し、これによりフレーム間差分値ΔＳを計算する。これらにより動き量検出回路６１は、フレーム間差分値ΔＳにより近似的に動き量を計算する。
【００３３】
シャッタパルス生成回路６９は、このようにして得られる動き量検出回路６１による動き量検出結果に応じてシャッタパルスＳＨＴを生成する。すなわちシャッタパルス生成回路６９は、動き量検出回路６１から出力されるフレーム間差分値ΔＳが増大すると、その分、シャッタパルスＳＨＴが立ち上がっている期間が短くなるように、シャッタパルスＳＨＴを生成する。これにより動きが大きくなると、その分、露光時間が短くなるようにシャッタパルスＳＨＴを生成する。
【００３４】
この処理においてシャッタパルス生成回路６９は、動き量検出回路６１から出力されるフレーム間差分値ΔＳが増大すると、その分、シャッタパルスＳＨＴの立ち上がりのタイミングを遅延させ、またこの立ち上がりのタイミングを遅延させた分、シャッタパルスＳＨＴの立ち下がりのタイミングを早くする。これによりシャッタパルス生成回路６９は、シャッター速度を可変した場合でも、各画素ブロック６における露光時間の中央のタイミングにあっては、変化しないように設定し、これにより画素ブロック６間でシャッタパルスＳＨＴの位相が大きく変化しないようにする。なおこれによりシャッタパルスＳＨＴの立ち上がりから次の立ち上がりまでの時間は、最短で、垂直同期期間の半分になる。従ってリセット制御回路５２は、このシャッタパルスＳＨＴによりリセットパルスＲＳＴ１及び読み出しパルスＲＯＵＴ１を生成し、このリセットパルスＲＳＴ１及び読み出しパルスＲＯＵＴ１を順次遅延させて各ラインのリセットパルスＲＳＴ２、……及び読み出しパルスＲＯＵＴ２、……を生成するようにして、この垂直同期期間の前半及び後半の期間により、これらリセットパルスＲＳＴ１、ＲＳＴ２、……及び読み出しパルスＲＯＵＴ１、ＲＯＵＴ２、……をそれぞれ出力するように構成される。
【００３５】
これらによりこの集積回路１では、図７に示すように、センサチップ２により得られる連続する撮像結果ＯＵＴ（Ｆ１）、ＯＵＴ（Ｆ２）、ＯＵＴ（Ｆ３）について、この撮像結果ＯＵＴ（Ｆ１）、ＯＵＴ（Ｆ２）、ＯＵＴ（Ｆ３）のフレーム間差分値ΔＳにより、動きが検出された箇所についてのみ、シャッター速度を短くし、これにより静止した部分におけるＳ／Ｎ比の劣化を有効に回避して、動きのある被写体のボケを防止する。また動きのある被写体が小さな物体である場合でも、確実に、この物体に係る部位について、シャッター速度を短くしてボケを防止する。なおこの図７においては、何ら露光時間を短くしない場合を基準にした各画素ブロックの露光時間を、分数により表す。
【００３６】
しかしてこの集積回路１は、このようにして各画素ブロック６より同時並列的に出力される撮像結果ＯＵＴを、センサチップ２に設けられた画像メモリに蓄積し、ラスタ走査の順序により多重化して１系統により出力する。
【００３７】
これらによりこの実施例において、各画素１９Ａ、１９Ｂ、リセット制御回路５２、水平駆動制御回路５３は、撮像面に形成された光学像の撮像結果を出力する撮像手段を構成し、動き量検出回路６１は、この撮像面を水平方向及び又は垂直方向に分割した各ブロック毎に、撮像結果における動き量を検出する動き検出手段を構成する。またシャッタパルス生成回路６９は、動き検出手段による検出結果に基づいて、動きが大きいブロック程、露光時間が短くなるように、ブロック毎に撮像手段の露光時間を制御する制御手段を構成し、リセット制御回路５２、増幅回路５４は、各ブロック毎に、露光時間の制御により変化する撮像結果の信号レベルを補正して出力する信号レベル補正手段を構成する。
【００３８】
（２）実施例の動作
以上の構成において、この撮像装置では（図２）、レンズを介して集積回路１の撮像面に光学像が形成され、この光学像の撮像結果が集積回路１により取得されて出力される。この集積回路１における処理において、この集積回路１では（図１及び図３）、受光素子１３による画素１９Ａ、１９Ｂがマトリックス状に配置されて撮像面が形成され、この撮像面を水平方向及び垂直方向に等分割した画素ブロック６によりそれぞれ撮像結果ＯＵＴが得られる。
【００３９】
すなわち各画素ブロック６では、リセット制御回路５２から各ラインで順次タイミングがシフトした読み出しパルスＲＯＵＴ１、ＲＯＵＴ２、……が出力され、この読み出しパルスＲＯＵＴ１、ＲＯＵＴ２、……により各画素１９Ａ、１９Ｂによる撮像結果ｏｕｔ１、ｏｕｔ２、……が、ライン単位で水平駆動制御回路５３に入力され、ここで時分割多重化処理される。また続く増幅回路５４により撮像結果の信号レベルが補正された後、アナログディジタル変換回路５５によりディジタル信号に変換されて出力される。これにより撮像面を分割した各画素ブロック６毎に撮像結果ＯＵＴが取得され、この撮像結果ＯＵＴが同時並列的に出力される。
【００４０】
またこれら各画素ブロック６の撮像結果ＯＵＴがそれぞれ対応するパルス生成ブロック４３に入力され、ここで各画素ブロック６の動き量ΔＳが検出され、この動き量ΔＳにより、動きが大きい画素ブロック程、露光時間が短くなるように対応する画素ブロック６の電荷蓄積時間が制御される。
【００４１】
これによりこの撮像装置では、１つの画面を分割するブロック毎に、動きに応じて露光時間を制御することができ、静止した背景については、露光時間を長くしてＳ／Ｎ比の劣化を防止しつつ、動きのある部分については、露光時間を短くしてボケを防止することができる。またブロック毎に動きを検出することにより、小さな物体についても動きを検出することができ、これによりこのような小さな物体のついてもボケを防止することができ、これらにより電子シャッターによる露光時間の制御に関して、従来に比して一段と画質が向上される。
【００４２】
またこの撮像装置では、このようにして露光時間を制御するようにして、露光時間が短くなった分、増幅回路５４の利得を増大して撮像結果ＯＵＴの信号レベルを補正し、これによりこのようにブロック毎に露光時間を制御して、各ブロック間における信号レベルの変化を防止することができ、これにより画質劣化が防止される。
【００４３】
このようにして各画素ブロック毎に露光時間を制御するようにして、この撮像装置では、画素ブロック６毎に撮像結果ＯＵＴを取得して同時並列的に出力し、また各画素ブロック６にそれぞれ対応するパルス生成ブロック４３により、それぞれ各画素ブロック６の動き量ΔＳを検出して露光時間を制御する。これにより撮像装置では、各ブロック毎に独立して、複数ブロックにおける同時並列的な処理によりブロック毎に露光時間を制御することができ、これにより簡易な処理により従来に比して画質が向上される。
【００４４】
特に、この撮像装置では、このセンサチップ２とロジックチップ３とをマイクロバンプ３１、３２により接続して積層し、このセンサチップ２により撮像結果ＯＵＴを取得すると共に、ロジックチップ３により露光時間を制御することにより、このように各ブロック毎に独立して、複数ブロックにおける同時並列的な処理によりブロック毎に露光時間を制御する構成にあっては、このようなセンサチップ２とロジックチップ３との積層構造に適用して、全体構成を簡略化することができる。
【００４５】
またセンサチップ２にあっては、撮像面とは逆側にリセット制御回路５２、水平駆動制御回路５３等の周辺回路を配置し、この逆側の面でロジックチップ３と積層されることにより、各画素１９Ａ、１９Ｂの開口率の低下を有効に回避することができ、またさらには隣接画素１９Ａ、１９Ｂ間のクロストーク等を低減することができる。また撮像面における画素１９Ａ、１９Ｂの占有面積を十分に確保することができ、これにより画素の微細化を容易としてこの撮像装置の製造を容易なものとすることができる。また続くロジックチップ３への接続の自由度を格段的に向上することができ、その分、設計の自由度を向上することができる。
【００４６】
このようにして動き検出して露光時間を制御するようにして、パルス生成ブロック４３では、平均値化回路６２において、撮像結果ＯＵＴをフレーム単位で累積加算して各フレームにおける撮像結果ＯＵＴの平均値が求められ、続くフレーム差分計算回路６６によりこの平均値のフレーム間差分が求められて動き量ΔＳが求められる。またこの動き量ΔＳによりシャッタパルス生成回路６９によりシャッタパルスＳＨＴが生成され、このシャッタパルスＳＨＴによりリセット制御回路５２でリセットパルスＲＳＴ１、ＲＳＴ２、……が生成されると共に、読み出しパルスＲＯＵＴ１、ＲＯＵＴ２、……のタイミングが変更されて露光時間が可変される。これによりこの撮像装置では、フレーム差分を求める簡易な処理により動き量ΔＳが計算されて露光制御の処理が実行され、その分、簡易な構成によりブロック毎に露光制御の処理を実行することが可能となる。
【００４７】
（３）実施例の効果
以上の構成によれば、１つの画面を複数のブロックに分割し、各ブロック毎に動き検出してそれぞれ露光時間を制御することにより、電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上することができる。
【００４８】
またこのとき、各ブロックの撮像結果を同時並列的に出力し、さらに各ブロックの撮像結果をそれぞれ処理して、各ブロック毎に動き量を検出することにより、各ブロック毎の独立した同時並列的な処理により露光時間を制御することができ、その分、簡易な処理により電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上することができる。
【００４９】
またフレーム単位で、各ブロック毎に、撮像結果をそれぞれ累積加算して平均値を計算し、各ブロック毎に、この平均値のフレーム間差分値を計算して動き量を検出することにより、簡易な構成により動き量を検出することができ、その分、全体構成を簡略化することができる。
【００５０】
また少なくとも撮像手段である画素、画素の周辺回路と、動き検出手段の構成とを、異なる半導体チップに形成してマイクロバンプにより接続することにより、全体を集積回路化して構成を簡略化するようにして、画素における開口率の低下を防止し、さらには設計の自由度を十分に確保することができる。
【実施例２】
【００５１】
図８に示すように、この実施例に係る撮像装置７１は、実施例１について上述した撮像装置１の構成に加えて、符号化手段７２、記録手段７３が設けられ、これら符号化手段７２、記録手段７３により撮像結果      ＯＵＴを符号化処理して記録媒体に記録する。このためこの実施例に係る撮像装置７１は、実施例１について上述した撮像装置１により撮像系７４が形成され、この撮像系７４から出力される撮像結果ＯＵＴを多重化した後、輝度信号及び色差信号に変換して符号化手段７２に入力し、この符号化手段７２により符号化処理されたデータを記録手段７３により記録媒体に記録する。
【００５２】
ここでこの符号化手段７２は、動きベクトルを用いたデータ圧縮に係る符号化手段であり、例えばＨ.２６４の手法により撮像結果ＯＵＴを符号化処理する。
【００５３】
これに対して撮像系７４は、この符号化手段７２で動きベクトルの検出に供するマクロブロックに対応するように、画素ブロック６を構成する画素数が設定される。なおこの場合、輝度信号、色差信号の何れのマクロブロックに対応するように、画素ブロックを設定してもよく、またＨ.２６４では大きさの異なる複数種類のマクロブロックにより動き検出することにより、この複数種類のマクロブロックの何れのマクロブロックに対応するように、画素ブロックを設定してもよい。
【００５４】
また撮像系７４は、このようにして画素ブロック６を設定して、各画素ブロック６で検出される動き量ΔＳを符号化手段７２に出力する。
【００５５】
符号化手段７２は、この動き量ΔＳを所定のしきい値により判定することにより、動きの有無を判定する。またこの判定結果により動きがあると判定された場合には、通常の処理により動きベクトルを検出して撮像結果ＯＵＴを符号化処理する。これに対してこの判定結果により動きが無いと判定した場合には、動きベクトルの検出を中止すると共に、動きベクトルを値０に設定して撮像結果ＯＵＴを符号化処理する。
【００５６】
これによりこの実施例では、ブロック毎に動き検出して露光時間を制御するようにして、この露光時間の制御に使用した動き検出結果を符号化処理に利用し、その分、符号化処理における負担を軽減する。
【００５７】
この実施例によれば、符号化処理における動きベクトルの検出単位に対応する大きさにより撮像結果をブロック化して、各ブロック毎に動き検出してそれぞれ露光時間を制御すると共に、この動き検出結果を符号化処理に利用することにより、電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上するようにして、符号化処理に供する負担を軽減することができる。
【実施例３】
【００５８】
図８との対比により図９に示すように、この実施例に係る撮像装置８１は、実施例２について上述した撮像系７４の動き検出回路６１（図１参照）におけるフレーム間差分による動き量の検出に代えて、動きベクトルの検出により動き量を検出する。すなわち動きベクトルＶを検出し、またこの動きベクトルを絶対値化して動きベクトルＶの長さを検出し、さらにこの動きベクトルＶの長さにより動きの大きさを検出する。なおこの動きベクトルＶの検出においては、ブロックマッチング法、勾配法等、種々の検出手法を適用することができる。
【００５９】
また符号化手段８２は、画素ブロック６に対応する大きさのブロックについての動きベクトルＶの検出にあっては、動きベクトルの検出処理を中止し、この動き検出回路６１で検出した動きベクトルＶを用いて符号化処理を実行する。なおこの実施例に係る撮像装置８１は、これら動きベクトルＶに係る構成を除いて、実施例２について上述した撮像装置７１と同一に構成される。
【００６０】
この実施例によれば、動きベクトルにより動き検出してブロック毎に露光時間を制御するようにしても、実施例２と同様の効果を得ることができる。
【実施例４】
【００６１】
なお上述の実施例においては、リセットパルス及び読み出しパルスの双方のタイミングを可変して露光時間を制御する場合について述べたが、本発明はこれに限らず、リセットパルスだけのタイミングの可変により露光時間を制御するようにしてもよい。
【００６２】
また上述の実施例においては、各画素ブロック毎に、それぞれ撮像結果を出力して処理する場合について述べたが、本発明はこれに限らず、１画面分の撮像結果をまとめて出力するようにして、この撮像結果を画素ブロック毎に分類、処理してそれぞれ各画素ブロック毎に露光時間を制御するようにしてもよい。このようにすれば、撮像結果の出力に関して、ラスタ走査の順序により撮像結果を出力する従来構成の撮像素子を使用する場合にあっても、上述の実施例と同様に、電子シャッターによる露光時間の制御に関して、従来に比して一段と画質を向上することができる。
【００６３】
また上述の実施例においては、ＣＭＯＳ固体撮像素子によりセンサチップを構成する場合について述べたが、本発明はこれに限らず、ＸＹアドレス方式による各種固体撮像素子によりセンサチップを構成する場合、さらにはＣＣＤ固体撮像素子によりセンサチップを構成する場合等に広く適用することができる。
【００６４】
また上述の実施例においては、撮像面を水平方向及び垂直方向に分割して画素ブロックを形成する場合について述べたが、本発明はこれに限らず、水平方向及び垂直方向の一方についてのみ撮像面を分割して画素ブロックとしてもよい。
【００６５】
また上述の実施例においては、センサチップ２の裏面側に各画素の周辺回路を設け、さらにはロジックチップと積層する場合について述べたが、本発明はこれに限らず、センサチップ２の表面側に各画素の周辺回路を設ける場合、さらにはロジックチップを別体に構成する場合等にも広く適用することができる。
【産業上の利用可能性】
【００６６】
本発明は、例えばＣＭＯＳ固体撮像素子による撮像装置に適用することができる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施例に係る集積回路の詳細構成を示すブロック図である。
【図２】本発明の実施例に係る集積回路の全体構成を示すブロック図である。
【図３】図２の集積回路のセンサチップの断面図である。
【図４】センサチップとロジックチップの積層構造の説明に供する側面図である。
【図５】図１の画素ブロックの動作の説明に供するタイミングチャートである。
【図６】各画素の露光時間の制御の説明に供するタイミングチャートである。
【図７】各ブロックの露光時間の制御の説明に供する概念図である。
【図８】本発明の実施例２に係る撮像装置を示すブロック図である。
【図９】本発明の実施例３に係る撮像装置を示すブロック図である。
【符号の説明】
【００６８】
１……集積回路、２……センサチップ２……ロジックチップ、４……撮像部、５、４２……制御部、６……画素ブロック、１９、１９Ａ、１９Ｂ……画素、３１、３２……マイクロパンブ、４３……パルス生成ブロック、５２……リセット制御回路、５３……水平駆動制御回路、５４……増幅回路、５５……アナログディジタル変換回路、６１……動き量検出回路、６２……平均値化回路、６３……加算回路、６４、６７……遅延回路、６５……スイッチ回路、６６……フレーム差分計算回路、６８……減算回路、６９……シャッタパルス生成回路
【図１】
2006197192.tif 000003
【図２】
2006197192.tif 000004
【図３】
2006197192.tif 000005
【図４】
2006197192.tif 000006
【図５】
2006197192.tif 000007
【図６】
2006197192.tif 000008
【図７】
2006197192.tif 000009
【図８】
2006197192.tif 000010
【図９】
2006197192.tif 000011
【手続補正書】
【提出日】平成18年2月10日(2006.2.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
センサチップ２は、図４に示すように、この基板支持材２１にロジックチップ３が割り当てられ、配線層２０側に形成された微細突起状電極３１と、ロジックチップ３に形成された微細突起状電極３２とによりロジックチップ３に電気的に接続されて保持される。上記微細突起状電極は以下マイクロバンプと称する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
リセット制御回路５２は、このシャッタパルスＳＨＴを基準にしたリセットパルスＲＳＴ１及び読み出しパルスＲＯＵＴ１を、先頭ラインの画素１９Ａに出力する。また画素ブロック６を形成するライン数に応じた遅延時間Δｔだけ、このリセットパルスＲＳＴ１及び読み出しパルスＲＯＵＴ１を順次遅延させて残りの各ラインの画素１９Ｂ、……に係るリセットパルスＲＳＴ２、……、ＲＳＴｎ及び読み出しパルスＲＯＵＴ２、……、ＲＯＵＴｎを順次生成し（図５（Ｃ２）、（Ｄ２）及び図６（Ｃ２）、（Ｄ２）、（Ｃｎ）、（Ｄｎ））、これらリセットパルスＲＳＴ２及び読み出しパルスＲＯＵＴ２、……を各ラインの画素１９Ｂ、……に出力する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
図８に示すように、この実施例に係る撮像装置７１は、実施例１について上述した集積回路１の構成に加えて、符号化手段７２、記録手段７３が設けられ、これら符号化手段７２、記録手段７３により撮像結果ＯＵＴを符号化処理して記録媒体に記録する。このためこの実施例に係る撮像装置７１は、実施例１について上述した集積回路１により撮像系７４が形成され、この撮像系７４から出力される撮像結果ＯＵＴを多重化した後、輝度信号及び色差信号に変換して符号化手段７２に入力し、この符号化手段７２により符号化処理されたデータを記録手段７３により記録媒体に記録する。