(57)【要約】【課題】  第１チップに複数の画素が配され、第２チップにＡＤ変換部が配される構成であって、複数の第１画素に第１色のカラーフィルタが配され、複数の第２画素に第２色のカラーフィルタが配される場合における、画素とＡＤ変換部との好適な接続関係を備える撮像装置を提供する。【解決手段】  複数の第１画素は第１ＡＤ変換部に接続され、複数の第２画素は第２ＡＤ変換部に接続されることを特徴とする撮像装置である。【選択図】  図３
2019068271.tif 000002
【特許請求の範囲】
【請求項１】
第１色のカラーフィルタを備える複数の第１画素と、
前記第１色とは別の色である第２色のカラーフィルタを備える複数の第２画素とを有する第１チップと、
第１ＡＤ変換部と第２ＡＤ変換部とを有する第２チップと、
前記複数の第１画素が接続された第１信号線と、
前記複数の第２画素が接続された第２信号線と、
前記第１信号線と第１ＡＤ変換部とが接続された接続部と、
前記第２信号線と第２ＡＤ変換部とが接続された、前記接続部とは別の接続部とを有することを特徴とする撮像装置。
【請求項２】
第１色のカラーフィルタを備える複数の第１画素と、
前記第１色とは別の色である第２色のカラーフィルタを備える複数の第２画素と、
前記複数の第１画素が接続される第１信号線と、
前記複数の第２画素が接続される第２信号線と、
前記第１信号線が接続される第１接続部と、
前記第２信号線が接続される第２接続部とを有する第１チップと、
第１ＡＤ変換部と、
第２ＡＤ変換部と、
前記第１ＡＤ変換部が接続される第３接続部と、
前記第２ＡＤ変換部が接続される第４接続部とを有する第２チップとを有し、
前記第１接続部と前記第３接続部とが接続され、
前記第２接続部と前記第４接続部とが接続される撮像装置。
【請求項３】
平面視において、前記第１接続部、前記第３接続部は前記第１ＡＤ変換部と重なっており、
平面視において、前記第２接続部、前記第４接続部は前記第２ＡＤ変換部と重なっていることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数の第１画素と、前記第１信号線と、前記第１接続部とを各々が備える複数の第１組と、
前記複数の第２画素と、前記第２信号線と、前記第２接続部とを各々が備える複数の第２組とを前記第１チップが有し、
複数の前記第３接続部と、複数の前記第４接続部と、前記複数の第３接続部が接続される入力部および前記第１ＡＤ変換部に接続される出力部を有する第１選択部と、前記複数の第４接続部が接続される入力部および前記第２ＡＤ変換部に接続される出力部を有する第２選択部とを前記第２チップが有することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
平面視において、前記複数の第１画素と前記複数の第２画素とが前記第１ＡＤ変換部と重なることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１ＡＤ変換部と、前記第２ＡＤ変換部のそれぞれが、逐次比較型のＡＤ変換器であることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１色のカラーフィルタと、前記第２色のカラーフィルタとの透過率のピーク波長が異なることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記複数の第１画素と前記複数の第２画素のそれぞれは、光電変換部と、前記光電変換部の電荷に基づく信号を出力する増幅トランジスタとを有し、
第１チップは、前記複数の第１画素と前記複数の第２画素のそれぞれが接続される第１配線を有し、
第２チップは、電流源と前記電流源に接続される第２配線を有し、
前記電流源は、前記第２配線、前記第１配線を介して前記増幅トランジスタに電流を供給することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
請求項１〜８のいずれか１項に記載の撮像装置と、
前記撮像装置が出力する信号を処理することによって画像を生成する信号処理部とを有することを特徴とする撮像システム。
【請求項１０】
請求項１〜８のいずれか１項に記載の撮像装置と、
前記撮像装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、を有する移動体であって、
前記距離情報に基づいて前記移動体を制御する制御手段をさらに有することを特徴とする移動体。
【請求項１１】
画素チップと回路チップとを積層した撮像装置のための回路チップであって、
前記画素チップは、
第１色のカラーフィルタを備える複数の第１画素と、
前記第１色とは別の色である第２色のカラーフィルタを備える複数の第２画素と、
前記複数の第１画素が接続された第１信号線と、
前記複数の第２画素が接続された第２信号線とを有し、
前記回路チップは、第１ＡＤ変換部と第２ＡＤ変換部とを有し、
さらに前記回路チップは、
前記第１信号線と前記第１ＡＤ変換部とを接続するための第１接続部と、
前記第２信号線と前記第２ＡＤ変換部とを接続するための第２接続部とを有することを特徴とする回路チップ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム、移動体に関する。
【背景技術】
【０００２】
複数の画素が複数行、複数列に渡って配された撮像装置が知られている。この撮像装置の一例として、特許文献１にあるように、複数の画素が配された第１チップと、画素が出力する信号をＡＤ変換するＡＤ変換部が配された第２チップとが積層された撮像装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１２６０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の撮像装置は、画素とＡＤ変換部との好適な接続関係について、検討が為されていない。複数の第１画素に第１色のカラーフィルタが配され、複数の第２画素に第２色のカラーフィルタが配される場合における、画素とＡＤ変換部との好適な接続関係について検討されていない。例えば、１つのＡＤ変換部が第１色のカラーフィルタが配された第１画素と、第２色のカラーフィルタが配された第２画素のそれぞれが出力する信号をＡＤ変換する場合、第１色、第２色のそれぞれに応じた処理を要することがある。このような場合には、ＡＤ変換、あるいはＡＤ変換後の信号処理が複雑になるという課題が有る。
【０００５】
本発明は、複数の第１画素に第１色のカラーフィルタが配され、複数の第２画素に第２色のカラーフィルタが配される場合における、画素とＡＤ変換部との好適な接続関係を備える撮像装置を提供する。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を鑑みて為されたものであり、一の態様は、第１色のカラーフィルタを備える複数の第１画素と、前記第１色とは別の色である第２色のカラーフィルタを備える複数の第２画素とを有する第１チップと、第１ＡＤ変換部と第２ＡＤ変換部とを有する第２チップと、前記複数の第１画素が接続された第１信号線と、前記複数の第２画素が接続された第２信号線と、前記第１信号線と第１ＡＤ変換部とが接続された接続部と、前記第２信号線と第２ＡＤ変換部とが接続された、前記接続部とは別の接続部とを有することを特徴とする撮像装置である。
【発明の効果】
【０００７】
本発明により、複数の第１画素に第１色のカラーフィルタが配され、複数の第２画素に第２色のカラーフィルタが配される場合における、画素とＡＤ変換部との好適な接続関係を備える撮像装置が提供される。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成を示す図
【図２】平面視における撮像装置の画素と信号処理回路の配置を示す図
【図３】画素と信号処理回路を示す図
【図４】画素と信号処理回路の接続を示す図
【図５】画素と信号処理回路の接続を示す図
【図６】画素の等価回路を示す図
【図７】撮像装置の動作を示す図
【図８】画素と信号処理回路の接続を示す図
【図９】ＡＤ変換回路の等価回路を示す図
【図１０】ＡＤ変換回路の動作を示す図
【図１１】撮像システムの構成を示す図
【図１２】移動体の構成を示す図
【図１３】撮像システムの動作を示す図
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら各実施例を説明する。なお、以下の説明では、特に断りの無い限り、トランジスタはＮ型トランジスタであるものとする。しかし、以下に述べる実施例はＮ型トランジスタに限定されるものでは無く、Ｐ型トランジスタを適宜用いてもよい。その場合には、トランジスタのゲート、ソース、ドレインの電位を、実施例中の説明に対し適宜変更することができる。例えば、スイッチとして動作させるトランジスタであれば、ゲートに供給する電位のローレベルとハイレベルとを、実施例中の説明に対し逆転させるようにすればよい。
【００１０】
（実施例１）
（撮像装置の全体構成）
図１は、本実施例の撮像装置が備える、第１チップ１、第２チップ５を示した図である。第１チップ１は、複数行および複数列に渡って画素１１が配された画素チップである。また、第２チップ５は、複数行および複数列に渡って、信号処理回路２１が配された回路チップである。なお、ここでは画素１１と信号処理回路２１のみを図示しているが、他に画素１１を制御する制御線、画素１１が出力する信号を伝送する信号線が適宜、第１チップ１に配される。また、垂直走査回路、タイミングジェネレータ等の駆動回路が適宜、第１チップ１あるいは第２チップ５に配される。
【００１１】
（平面視における、画素と信号処理回路の配置関係）
図２は、平面視における、第１チップ１が備える画素１１と、第２チップ５が備える信号処理回路２１のレイアウトを示した図である。図２では、画素１１が備えるカラーフィルタの色も合わせて示している。図２に示したＲは、画素１１が赤（Ｒ）のカラーフィルタを備えることを示している。以下、同じくＧ、Ｂはそれぞれ、画素１１が緑（Ｇ）、青（Ｂ）のカラーフィルタを備えることを示している。
【００１２】
別の言い方をすれば、第１色に対応する波長の光が入射する画素と、第２色に対応する波長の光が入射する画素とを備えるとも言える。
【００１３】
典型的には、赤色に対応する波長は６００〜８３０ｎｍである。また、緑色に対応する波長は、５００〜６００ｎｍである。また、青色に対応する波長は３６０〜５００ｎｍである。
【００１４】
また、カラーフィルタの色は、カラーフィルタの透過率がピークとなるピーク波長で区別してもよい。典型的には、青色のカラーフィルタの透過率のピーク波長は約４５０ｎｍである。また、緑色のカラーフィルタの透過率のピーク波長は約５４０ｎｍである。また、赤色のカラーフィルタの透過率のピーク波長は約６３０ｎｍである。
【００１５】
１つの画素１１のカラーフィルタは、単一のカラーフィルタ部材によって構成されていてもよい。また、１つの画素１１のカラーフィルタは、カラーフィルタが設けられる領域の一部と他の一部とで、実質的に同一色とみなせる範囲で、互いに組成が異なるカラーフィルタ部材が設けられた例であってもよい。
【００１６】
１つの信号処理回路２１は、複数行および複数列に渡って配された画素１１と重なるように配置されている。ここでは、１つの信号処理回路２１は、４行１２列の画素１１に重なるように配置されている。後述するが、信号処理回路２１は、マルチプレックス回路、ＡＤ変換回路を有する。したがって、１つの信号処理回路２１のマルチプレックス回路とＡＤ変換回路の一方、あるいは両方が、画素１１に重なるように配置されていると言える。
【００１７】
また、後述するが、１つの信号処理回路２１のＡＤ変換回路は、第１色のカラーフィルタを備える画素１１が出力する信号をＡＤ変換し、第２色のカラーフィルタを備える画素１１が出力する信号のＡＤ変換を行わない。したがって、１つの信号処理回路２１のＡＤ変換回路とマルチプレックス回路の一方あるいは両方は、ＡＤ変換を行う対象の画素１１と、ＡＤ変換を行わない対象の画素１１との双方に対し、平面視において重なる関係となっている。
【００１８】
なお、この配置は一例であって、本実施例では、１つの信号処理回路２１に対し、複数行、複数列の画素１１が配されている形態を採用することができる。
【００１９】
（撮像装置の等価回路）
図３は、図１、図２に示した撮像装置のブロック図を示している。図３では、図２に示した画素１１のうち、奇数列の画素１１のみを示している。第１チップ１の画素１１は、１列の画素１１に対し、４本の信号線２０１（Ａ）〜（Ｄ）を有する。なお、以下では信号線２０１（Ａ）〜（Ｄ）を区別なく表記する場合には、単に信号線２０１と表記する。１行目の画素１１は信号線２０１（Ａ）に接続されている。以下、同様に２〜４行目の画素１１は、順に信号線２０１（Ｂ）〜（Ｄ）に接続されている。信号線２０１（Ａ）〜（Ｄ）は、他の列においても、１列目の画素１１と同じように配されている。
【００２０】
信号線２０１（Ａ）、２０１（Ｃ）のそれぞれは、接続部３０３を介して、信号処理回路２１が備えるマルチプレックス回路（以下、ＭＰＸ回路と表記する）３５０（Ａ）に接続されている。また、信号処理回路２１は、ＡＤ変換回路（以下、明細書および図面にてＡＤＣと表記する）３６０（Ａ）、３６０（Ｂ）を有する。ＭＰＸ回路３５０（Ａ）は、信号線２０１（Ａ）、２０１（Ｃ）に接続される入力部と、ＡＤＣ３６０（Ａ）に接続される出力部とを備える第１選択部である。
【００２１】
信号線２０１（Ｂ）、２０１（Ｄ）のそれぞれは、接続部３０３を介して、信号処理回路２１が備えるＭＰＸ回路３５０（Ｂ）に接続されている。ＭＰＸ回路３５０（Ｂ）は、信号線２０１（Ｂ）、２０１（Ｄ）に接続される入力部と、ＡＤＣ３６０（Ｂ）に接続される出力部とを備える第２選択部である。
【００２２】
図３に示しているように、ＡＤＣ３６０（Ａ）に接続される画素１１は全て、Ｒのカラーフィルタを備える画素１１である。一方、ＡＤＣ３６０（Ｂ）に接続される画素１１は全て、Ｇのカラーフィルタを備える画素１１である。このように、各々が第１色（Ｒ）のカラーフィルタを備える複数の第１画素１１は、第２ＡＤ変換部であるＡＤＣ３６０（Ｂ）に接続されずに第１ＡＤ変換部であるＡＤＣ３６０（Ａ）に接続される。また、各々が第２色（Ｇ）のカラーフィルタを備える複数の第１画素１１は、第１ＡＤ変換部であるＡＤＣ３６０（Ａ）に接続されずに第２ＡＤ変換部であるＡＤＣ３６０（Ｂ）に接続される。
【００２３】
また、図３に示したように、第２チップ５は電流源３１０を有する。電流源３１０は、接続部３０３を介して、各列の信号線２０１に電流を供給する。
【００２４】
（撮像装置の接続部周りの断面構造）
図４は、図３に示した撮像装置の斜視図である。図４では、４行１列に配された画素１１と、１行目１１列目の画素１１とを中心に記載している。図１に示した第１チップ１と第２チップ５は、接合面３００で接合されている。
【００２５】
本実施例の撮像装置は、裏面照射型の撮像装置である。画素１１は、不図示の光電変換部を備える。この光電変換部と、接合面３００との間に信号線２０１が設けられている。信号線２０１は、画素１１の所定の方向（図では列に沿った方向）に延在している。信号線２０１は、接続配線４０１を介して接続部３０３に接続される。また、ＭＰＸ回路３５０（Ａ）は、接続配線４０５を介して接続部３０３に接続される。接続配線４０１、接続配線４０５、接続部３０３は、平面視において重なるように配置されている。信号処理回路２１と信号線２０１との接続は、接続配線４０５に対して、平面視において重なる位置に接続配線４０１を形成することによって行うことができるとも言える。そして、所定の方向に沿って延在する信号線２０１と接続配線４０１とを接続することによって、信号線２０１と、ＭＰＸ回路３５０とを接続することができる。信号線２０１が所定の方向に延在していることにより、接続配線４０１と信号線２０１との接続を容易にすることができる。他の例として、図５に示すように、第１チップ１ではなく第２チップ５に、所定の方向に延在する信号線５０１を設けることが考えられる。この場合においても、画素１１とＭＰＸ回路３５０（Ａ）を接続することができる。しかしながら、図５に比べて、図４に示した、第１チップ１に、所定の方向に延在する信号線を設けることが好ましい。これは、画素１１が備わる第１チップ１よりも、信号処理回路２１が備わる第２チップ５の方が、配線層が多くなることに由来する。配線層の多い第２チップ５に、図５のように信号線５０１を設けるよりも、配線層の少ない第１チップ１に、図４のように信号線２０１を設ける方が、設計の自由度が高いためである。接続配線４０１、接続配線４０５は典型的にはビアとして形成される。
【００２６】
（画素の等価回路）
図６は、本実施例の画素１１の等価回路図である。画素１１は、光電変換部であるフォトダイオード６０１ａ、６０１ｂを有する。フォトダイオード６０１ａ、６０１ｂには、不図示の１つのマイクロレンズと、図２に示した配列に従って設けられたカラーフィルタを透過した光が入射する。つまり、フォトダイオード６０１ａに入射する光と、フォトダイオード６０１ｂに入射する光の波長は実質的に同じである。
【００２７】
フォトダイオード６０１ａは、転送トランジスタ６０３ａを介して、フローティングディフージョン部（以下、ＦＤ部）６０５に接続されている。また、転送トランジスタ６０３ａのゲートは、制御線６５０を介して、不図示の垂直走査回路に接続されている。
【００２８】
フォトダイオード６０１ｂは、転送トランジスタ６０３ｂを介して、フローティングディフージョン部（以下、ＦＤ部）６０５に接続されている。また、転送トランジスタ６０３ｂのゲートは、制御線６５５を介して、不図示の垂直走査回路に接続されている。
【００２９】
ＦＤ部６０５は、増幅トランジスタ６０７のゲートと、リセットトランジスタ６０６に接続されている。
【００３０】
リセットトランジスタ６０６および増幅トランジスタ６０７は、電源電圧Ｖｄｄが供給される。リセットトランジスタ６０６のゲートは、制御線６６０を介して、不図示の垂直走査回路に接続されている。
【００３１】
増幅トランジスタ６０７は、選択トランジスタ６０８に接続されている。選択トランジスタ６０８のゲートは、制御線６６５を介して、不図示の垂直走査回路に接続されている。
【００３２】
選択トランジスタ６０８は、信号線２０１に接続されている。
【００３３】
（撮像装置の動作）
図７は、図６に示した画素１１を備える撮像装置の動作を示した図である。
【００３４】
図７の信号ＰＲＥＳは、図６の制御線６６０を介して垂直走査回路からリセットトランジスタ６０６のゲートに供給される信号を示している。同じく、信号ＰＳＥＬは、制御線６６５を介して垂直走査回路からＮ行目の画素１１の選択トランジスタ６０８のゲートに供給される信号を示している。なお、信号ＰＳＥＬについては、出力される画素１１の行位置を末尾に合わせて示している。つまり、信号ＰＳＥＬ（１）は、１行目の画素１１に出力される信号ＰＳＥＬであることを示している。信号ＰＴＸＡは、制御線６５０を介して垂直走査回路から転送トランジスタ６０３ａのゲートに供給される信号を示している。信号ＰＴＸＢは、制御線６５５を介して垂直走査回路から転送トランジスタ６０３ｂのゲートに供給される信号を示している。
【００３５】
図７では、ＭＰＸ回路３５０（Ａ）、ＡＤＣ３６０（Ａ）に関わる動作を示している。このＭＰＸ回路３５０（Ａ）、ＡＤＣ３６０（Ａ）には、図３で示したように、Ｒのカラーフィルタを備える、１行目および３行目であって、１〜１２列のうちの奇数列に位置する画素１１の信号が入力される。したがって、図７では、１行目、３行目であって、１〜１２列のうちの奇数列に位置する画素１１の動作に関わる動作を示している。
【００３６】
また、図７に示した信号ＭＰＸは、不図示のタイミングジェネレータが、ＭＰＸ回路３５０（Ａ）に出力する信号を示している。信号ＭＰＸの信号値の変化によって、ＭＰＸ回路３５０（Ａ）は、ＡＤＣ３６０（Ａ）に出力する信号を、１〜１２列のうち、奇数列の画素１１に対応する信号線２０１の中から順次変更する。
【００３７】
図７では、ＭＰＸ回路３５０（Ａ）が、ＡＤＣ３６０（Ａ）に信号を出力する列としてどの列を選択しているかを、Ｃｏｌ＿ｎｍとして示している。このｎｍの表記を説明する。ｎは画素１１の列番号を示している。また、ｍは、１列の画素１１に対応して配される信号線２０１（Ａ）〜（Ｄ）のアルファベットを示している。つまり、Ｃｏｌ＿１Ａであれば、１列目の画素１１に対応された信号線２０１（Ａ）を示している。
【００３８】
時刻ｔ１において、垂直走査回路は、１行目および３行目の画素１１に出力する信号ＰＲＥＳをＨｉｇｈレベルとしている。これにより、１行目の画素１１のリセットトランジスタ６０６がオンしている。よって、ＦＤ部６０５は、電源電圧Ｖｄｄに対応する電位にリセットされている。また、時刻ｔ１において垂直走査回路は、信号ＰＳＥＬ（１）をＨｉｇｈレベルとしている。これにより、１行目の画素１１の選択トランジスタ６０８がオンする。よって、図３に示した電流源３１０が供給する電流が、１行目の画素１１の選択トランジスタ６０８を介して増幅トランジスタ６０７に供給される。これにより、電源電圧Ｖｄｄ、増幅トランジスタ６０７、電流源３１０によるソースフォロワ回路が形成される。つまり、増幅トランジスタ６０７は、ＦＤ部６０５の電位に対応する信号を、選択トランジスタ６０８を介して信号線２０１に出力するソースフォロワ動作を行う。
【００３９】
（動作：１行目の画素１１に対応するＮ信号の読み出し）
時刻ｔ２に、垂直走査回路は、１行目の画素１１に出力する信号ＰＲＥＳをＬｏｗレベルとする。これにより、１行目の画素１１のリセットトランジスタ６０６がオフする。よって、ＦＤ部６０５のリセットが解除される。増幅トランジスタ６０７は、リセットが解除されたＦＤ部６０５の電位に基づく信号を、図３に示した信号線２０１（Ａ）に出力する。この信号を、Ｎ信号（ノイズ信号）と表記する。これにより、各列の信号線２０１（Ａ）には、画素１１からＮ信号が出力されている。
【００４０】
（動作：１行目の画素１１に対応するＮ信号のＡＤ変換）
時刻ｔ２以降、ＭＰＸ回路３５０（Ａ）は、タイミングジェネレータから供給される信号ＭＰＸによって、１〜１２列のうち奇数列の画素１１に対応する信号線２０１（Ａ）を、順次ＡＤＣ３６０（Ａ）に接続する。
【００４１】
ＡＤＣ３６０（Ａ）は、ＭＰＸ回路３５０（Ａ）から出力される、１列目の信号線２０１（Ａ）のノイズ信号をデジタル信号にＡＤ変換する。その後、順次、１〜１２列のうちの奇数列の画素１１に対応する信号線２０１（Ａ）に出力されているノイズ信号をデジタル信号にＡＤ変換する。
【００４２】
（動作：３行目の画素１１に対応するＮ信号の読み出し）
時刻ｔ１６に、垂直走査回路は、３行目の画素１１に出力する信号をＬｏｗレベルとする。これにより、３行目の画素１１のリセットトランジスタ６０６がオフする。よって、ＦＤ部６０５のリセットが解除される。増幅トランジスタ６０７は、リセットが解除されたＦＤ部６０５の電位に基づく信号であるＮ信号を、図３に示した信号線２０１（Ｃ）に出力する。これにより、各列の信号線２０１（Ｃ）には、画素１１からノイズ信号が出力されている。
【００４３】
（動作：３行目の画素１１に対応するＮ信号のＡＤ変換）
時刻ｔ１６以降、ＭＰＸ回路３５０（Ａ）は、タイミングジェネレータから供給される信号ＭＰＸによって、１〜１２列のうち奇数列の画素１１に対応する信号線２０１（Ｃ）を、順次ＡＤＣ３６０（Ａ）に接続する。
【００４４】
ＡＤＣ３６０（Ａ）は、ＭＰＸ回路３５０（Ａ）から出力される、１列目の信号線２０１（Ｃ）のＮ信号をデジタル信号にＡＤ変換する。その後、順次、１〜１２列のうちの奇数列の画素１１に対応する信号線２０１（Ｃ）に出力されているＮ信号をデジタル信号にＡＤ変換する。
【００４５】
（動作：１行目の画素１１に対応するＡ＋Ｂ信号の読み出し）
時刻ｔ１６に、垂直走査回路は、１行目の画素１１に出力する信号ＰＴＸＡ、ＰＴＸＢをＨｉｇｈレベルとする。これにより、フォトダイオード６０１ａ、６０１ｂが蓄積した電荷（本実施例では電子である）が、転送トランジスタ６０３ａ、６０３ｂを介してＦＤ部６０５に転送される。ＦＤ部６０５では、フォトダイオード６０１ａ、６０１ｂのそれぞれの電荷が加算される。これにより、ＦＤ部６０５は、フォトダイオード６０１ａ、６０１ｂのそれぞれの電荷を加算した電荷に対応する電位となる。仮に、フォトダイオード６０１ａのみの電荷によるＦＤ部６０５の電位に基づいて増幅トランジスタ６０７が出力する信号をＡ信号とする。また、仮に、フォトダイオード６０１ｂのみの電荷によるＦＤ部６０５の電位に基づいて増幅トランジスタ６０７が出力する信号をＢ信号とする。この表記に従うと、フォトダイオード６０１ａ、６０１ｂのそれぞれの電荷を加算した電荷に対応するＦＤ部６０５の電位に基づいて増幅トランジスタ６０７が出力する信号はＡ信号とＢ信号を加算したＡ＋Ｂ信号とみなすことができる。各列の信号線２０１（Ａ）には、１行目の画素１１のＡ＋Ｂ信号が出力されている。
【００４６】
（１行目の画素１１に対応するＡ＋Ｂ信号のＡＤ変換）
時刻ｔ３０以降、ＭＰＸ回路３５０（Ａ）は、タイミングジェネレータから供給される信号ＭＰＸによって、１〜１２列のうち奇数列の画素１１に対応する信号線２０１（Ａ）を、順次ＡＤＣ３６０（Ａ）に接続する。
【００４７】
ＡＤＣ３６０（Ａ）は、ＭＰＸ回路３５０（Ａ）から出力される、１列目の信号線２０１（Ａ）のＡ＋Ｂ信号をデジタル信号にＡＤ変換する。その後、順次、１〜１２列のうちの奇数列の画素１１に対応する信号線２０１（Ａ）に出力されているＡ＋Ｂ信号をデジタル信号にＡＤ変換する。
【００４８】
（動作：３行目の画素１１に対応するＡ＋Ｂ信号の読み出し）
時刻ｔ３０に、垂直走査回路は、３行目の画素１１に出力する信号ＰＴＸＡ、ＰＴＸＢをＨｉｇｈレベルとする。これにより、各列の信号線２０１（Ｃ）には、３行目の画素１１のＡ＋Ｂ信号が出力されている。
【００４９】
（動作：３行目の画素１１に対応するＡ＋Ｂ信号のＡＤ変換）
時刻ｔ４４以降、ＭＰＸ回路３５０（Ａ）は、タイミングジェネレータから供給される信号ＭＰＸによって、１〜１２列のうち奇数列の画素１１に対応する信号線２０１（Ｃ）を、順次ＡＤＣ３６０（Ａ）に接続する。
【００５０】
ＡＤＣ３６０（Ａ）は、ＭＰＸ回路３５０（Ａ）から出力される、１列目の信号線２０１（Ｃ）のＡ＋Ｂ信号をデジタル信号にＡＤ変換する。その後、順次、１〜１２列のうちの奇数列の画素１１に対応する信号線２０１（Ｃ）に出力されているＡ＋Ｂ信号をデジタル信号にＡＤ変換する。
【００５１】
（撮像装置が行う並行動作）
図７に示した動作では、以下のように、複数の動作を並行して行っている。
（１）１行目の画素１１に対応するＮ信号のＡＤ変換と、３行目の画素１１に対応するＮ信号の読み出しとの並行動作
（２）３行目の画素１１に対応するＮ信号のＡＤ変換と、１行目の画素１１に対応するＡ＋Ｂ信号の読み出しとの並行動作
（３）１行目の画素１１に対応するＡ＋Ｂ信号のＡＤ変換と、３行目の画素１１に対応するＡ＋Ｂ信号の読み出しとの並行動作
この並行動作により、ＡＤＣ３６０（Ａ）が１度のＡＤ変換を終えてから、次のＡＤ変換を行うまでの待機期間を短縮することができる。これにより、全ての画素１１が出力する信号のＡＤ変換に要する期間を短縮することができる。よって、撮像装置の高フレームレート化を進展させることができる。
【００５２】
（本実施例の効果）
本実施例の撮像装置では、前述したように、１つのＡＤＣ３６０（Ａ）に接続される画素１１は全て、Ｒのカラーフィルタを備える画素１１である。一方、ＡＤＣ３６０（Ｂ）に接続される画素１１は全て、Ｇのカラーフィルタを備える画素１１である。このように、各々が第１色（Ｒ）のカラーフィルタを備える複数の第１画素１１は、第２ＡＤ変換部であるＡＤＣ３６０（Ｂ）に接続されずに第１ＡＤ変換部であるＡＤＣ３６０（Ａ）に接続される。また、各々が第２色（Ｇ）のカラーフィルタを備える複数の第１画素１１は、第１ＡＤ変換部であるＡＤＣ３６０（Ａ）に接続されずに第２ＡＤ変換部であるＡＤＣ３６０（Ｂ）に接続される。
【００５３】
この構成を備えることにより、１つのＡＤＣがＡＤ変換する信号に対応する光の色を１色のみとすることができる。複数のＡＤＣを備える撮像装置においては、ＡＤＣごとのＡＤ変換特性のばらつきに対応するため、ＡＤ変換の補正処理、あるいはＡＤ変換後の補正処理が必要になることがある。ＡＤ変換の補正処理は、例えばＡＤＣが使用する基準信号の補正がある。また、ＡＤ変換後の補正処理は、例えばデジタル信号の補正がある。１つのＡＤＣがＡＤ変換する信号に対応する光の色を複数とすると、複数の色のそれぞれに応じた補正パラメータを用意する必要が生じうる。このため、ＡＤ変換の補正、ＡＤ変換後の補正が煩雑になるという課題が有る。
【００５４】
一方、本実施例の撮像装置は、１つのＡＤＣがＡＤ変換する信号に対応する光の色を１色のみとしている。これにより、本実施例の撮像装置はＡＤ変換の補正、ＡＤ変換後の補正を簡略にすることができるという効果を有する。
【００５５】
このように、本実施例の撮像装置は、複数の第１画素に第１色のカラーフィルタが配され、複数の第２画素に第２色のカラーフィルタが配される場合における、画素とＡＤ変換部との好適な接続関係を備える撮像装置を提供することができる。
【００５６】
（他の形態）
本実施例では、第１色のカラーフィルタが配された画素１１が接続され、第２色のカラーフィルタが配された画素１１が接続されていない信号線２０１が、ＡＤＣ３６０に接続される例を説明した。この例では、当該ＡＤＣ３６０と第２色のカラーフィルタが配された画素１１とが接続される接続部が設けられない形態となる。
【００５７】
本実施例は、この例に限定されるものでは無い。例えば、図８に示したように、１列の画素１１に対し、複数の信号線が配され、この複数の信号線がＭＰＸ回路３５０によって、選択的にＡＤＣ３６０に接続される例にも適用することが可能である。この例の場合には、１フレーム期間において、第１色のカラーフィルタが配された画素１１と接続され、第２色のカラーフィルタが配された画素１１とは接続されないようにすればよい。１列目の画素１１に注目して説明すると、ＭＰＸ回路３５０（Ａ）は、第１色であるＲのカラーフィルタを有する画素１１が接続された信号線２０１（Ａ）、２０１（Ｃ）をＡＤＣ３６０（Ａ）に接続する。一方、当該１フレーム期間において、ＭＰＸ回路３５０（Ａ）は、第２色であるＧのカラーフィルタを有する画素１１が接続された信号線２０１（Ｂ）、２０１（Ｄ）をＡＤＣ３６０（Ａ）に接続しない。この構成においても、上記したＡＤ変換の補正、ＡＤ変換後の補正を簡略にすることができるという効果を得ることができる。
【００５８】
（実施例２）
本実施例について、実施例１と異なる点を中心に説明する。本実施例の撮像装置は、実施例１のＡＤＣ３６０（Ａ）、ＡＤＣ３６０（Ｂ）として、逐次比較型のＡＤ変換器を用いた例である。その他の構成は、実施例１の撮像装置の構成と同じとすることができる。
【００５９】
（逐次比較型ＡＤＣの等価回路）
図９は、本実施例のＡＤＣ３６０の等価回路図である。
【００６０】
ＡＤＣ３６０は入力端子ＩＮ及び出力端子ＯＵＴを有し、入力端子ＩＮから入力されたアナログ信号Ｓｉｎ（ＭＰＸ回路３５０の出力）をデジタル信号Ｓｏｕｔに変換して出力端子ＯＵＴから出力する。このアナログ信号Ｓｉｎは、実施例１で説明した、Ｎ信号とＳ信号の一方あるいは両方とすることができる。ＡＤＣ３６０はＭＰＸ回路出力を５ビットの分解能でデジタル信号Ｓｏｕｔに変換する。
【００６１】
ＡＤＣ３６０はアナログ信号Ｓｉｎとの比較に用いられる比較信号を生成する生成回路８１０を更に有する。生成回路８１０はバイナリウェイトの容量値を有する複数の容量素子ｃｐ０〜ｃｐ４と、容量素子ｃｐ０〜ｃｐ４に接続された複数のスイッチｓｗ０〜ｓｗ４とを有する。複数のスイッチｓｗ０〜ｓｗ４によって、容量素子ｃｐ０〜ｃｐ４のうちの１つ以上を選択するスイッチ回路が構成される。バイナリウェイトとは、公比２の等比数列をなす重み（容量値）の集合のことである。図９の例では、容量素子ｃｐ０〜ｃｐ４は順に、１Ｃ、２Ｃ、４Ｃ、８Ｃ、１６Ｃの容量値を有する。容量素子ｃｐ０〜ｃｐ４の一方の電極は生成回路８１０の供給端子ＳＰＬに接続され、他方の電極はそれぞれスイッチｓｗ０〜ｓｗ４に接続される。スイッチｓｗ０〜ｓｗ４はそれぞれ、一端が容量素子ｃｐ０〜ｃｐ４に接続され、他端が端子Ａと端子Ｂとの間をトグルする。端子Ａには接地電位ＧＮＤが供給され、端子Ｂには基準電圧ＶＲＦが供給される。基準電圧ＶＲＦはＡＤＣ３６０の外部から供給される定電圧であり、接地電位ＧＮＤよりも大きな値である。スイッチｓｗ０が端子Ａにトグルすると、容量素子ｃｐ０に接地電位ＧＮＤが供給され、スイッチｓｗ０が端子Ｂにトグルすると、容量素子ｃｐ０に基準電圧ＶＲＦが供給される。他のスイッチｓｗ１〜ｓｗ４についても同様である。スイッチｓｗ０〜ｓｗ４が切り替わることによって、供給端子ＳＰＬと基準電圧ＶＲＦとの間に接続される容量素子の合成容量値が変化し、その結果として供給端子ＳＰＬから出力される比較信号Ｖｃｍｐの値が変化する。
【００６２】
ＡＤＣ３６０は比較器８１５を更に有する。比較器８１５はアナログ信号Ｓｉｎの値と比較信号Ｖｃｍｐの値とを比較して、比較結果に応じた信号を出力する。比較器８１５の非反転端子には容量素子ｃｐ６を介してアナログ信号Ｓｉｎが供給され、比較器８１５の反転端子には生成回路８１０の供給端子ＳＰＬから比較信号Ｖｃｍｐが供給される。それにより、アナログ信号Ｓｉｎの値が比較信号Ｖｃｍｐの値以上の場合にＨｉｇｈが出力され、アナログ信号Ｓｉｎの値が比較信号Ｖｃｍｐの値未満の場合にＬｏｗが出力される。この例ではアナログ信号Ｓｉｎの値と比較信号Ｖｃｍｐの値が等しい場合にＨｉｇｈを出力しているが、Ｌｏｗを出力してもよい。容量素子ｃｐ６はアナログ信号Ｓｉｎの値を比較信号Ｖｃｍｐとの比較が可能な範囲に調整する。本実施形態では、説明を簡単にするために、アナログ信号Ｓｉｎの値は接地電位ＧＮＤ以上、基準電圧ＶＲＦ以下であり、アナログ信号Ｓｉｎと同じ大きさの信号が比較器８１５の非反転端子に供給される場合を扱う。
【００６３】
図９の例ではアナログ信号Ｓｉｎを比較器８１５の非反転端子に供給し、比較信号Ｖｃｍｐを比較器８１５の反転端子に供給するが、アナログ信号Ｓｉｎの値と比較信号Ｖｃｍｐの値との大小関係を判定できれば他の構成も取りうる。例えば、アナログ信号Ｓｉｎと比較信号Ｖｃｍｐとの差分を比較器８１５の非反転端子に供給し、接地電位ＧＮＤを比較器８１５の反転端子に供給してもよい。
【００６４】
ＡＤＣ３６０はスイッチｓｗ５、ｓｗ６を更に有する。これらのスイッチｓｗ５、ｓｗ６が導通状態になると、比較器８１５の非反転端子、反転端子に接地電位ＧＮＤが供給され、比較器８１５がリセットされる。
【００６５】
ＡＤＣ３６０は、制御回路８２０を更に備える。制御回路８２０には比較器８１５から比較結果が供給され、制御回路８２０はこの比較結果に基づいてデジタル信号Ｓｏｕｔを生成し、出力端子ＯＵＴから出力する。制御回路８２０はまた、各スイッチｓｗ０〜ｓｗ６に制御信号を送信してその状態を切り替える。ＡＤＣ３６０（Ａ）は、ＡＤＣ３６０（Ｂ）が備える比較器８１５、生成回路８１０とは別の比較器８１５、生成回路８１０を備える。第１ＡＤ変換部と第２ＡＤ変換部は、別々の比較器と、別々の生成回路とを備えると言える。
【００６６】
（逐次比較型ＡＤＣの動作）
図１０において、ｓｗ０〜ｓｗ６は制御回路８２０からスイッチｓｗ０〜ｓｗ６に供給される制御信号の値を示す。スイッチｓｗ０〜ｓｗ４は、供給される制御信号がＨｉｇｈである場合に端子Ｂへトグルし、制御信号がＬｏｗである場合に端子Ａへトグルする。スイッチｓｗ５、ｓｗ６は、供給される制御信号がＨｉｇｈである場合に導通状態となり、制御信号がＬｏｗである場合に非導通状態となる。図１０の下側にはアナログ信号Ｓｉｎ及び比較信号Ｖｃｍｐが示される。図１０では、アナログ信号Ｓｉｎの値が２進数で００１１０に相当する場合を例として扱う。
【００６７】
続いて、ＡＤ変換器１００のＡＤ変換動作を時系列に沿って説明する。制御回路８２０は準備期間において、スイッチｓｗ０〜ｓｗ４に供給される制御信号をＬｏｗにし、スイッチｓｗ５、ｓｗ６に供給される制御信号をＨｉｇｈにする。これにより、比較器８１５の非反転端子及び反転端子が接地電位ＧＮＤにリセットされるとともに、比較信号Ｖｃｍｐの値が接地電位ＧＮＤに等しくなる。その後、制御回路８２０はスイッチｓｗ５、ｓｗ６に供給される制御信号をＬｏｗにする。以降の動作において、比較器８１５の非反転端子にはアナログ信号Ｓｉｎが供給され続ける。
【００６８】
次に、逐次比較期間が始まると、制御回路８２０はスイッチｓｗ４に供給される制御信号をＨｉｇｈに変更する。これにより、スイッチｓｗ４は端子Ｂにトグルし、バイナリウェイトの中で１番目に大きな容量値を有するキャパシタｃｐ４を介して生成回路８１０の供給端子ＳＰＬに基準電圧ＶＲＦが印加される。その結果、比較信号ＶｃｍｐがＶＲＦ／２だけ増加し、比較信号Ｖｃｍｐの値はＶＲＦ／２に等しくなる。制御回路８２０は、比較器８１５からの比較結果に基づいて、アナログ信号Ｓｉｎの値が比較信号Ｖｃｍｐの値（ＶＲＦ／２）よりも小さいと判定し、スイッチｓｗ４に供給される制御信号をＬｏｗに戻す。それにより、比較信号Ｖｃｍｐの値は接地電位ＧＮＤに戻る。この比較結果は、デジタル信号Ｓｏｕｔの値のＭＳＢ（ＬＳＢを１ビット目とした場合に５ビット目）が０であることを意味する。
【００６９】
次に、制御回路８２０はスイッチｓｗ３に供給される制御信号をＨｉｇｈに変更する。これにより、バイナリウェイトの中で２番目に大きな容量値を有するキャパシタｃｐ３を介して生成回路８１０の供給端子ＳＰＬに基準電圧ＶＲＦが印加される。その結果、比較信号ＶｃｍｐがＶＲＦ／４だけ増加し、比較信号Ｖｃｍｐの値はＶＲＦ／４に等しくなる。制御回路８２０は、比較器８１５からの比較結果に基づいて、アナログ信号Ｓｉｎの値が比較信号Ｖｃｍｐの値（ＶＲＦ／４）よりも小さいと判定し、スイッチｓｗ３に供給される制御信号をＬｏｗに戻す。それにより、比較信号Ｖｃｍｐの値は接地電位ＧＮＤに戻る。この比較結果は、デジタル信号Ｓｏｕｔの値の４ビット目が０であることを意味する。
【００７０】
次に、制御回路８２０はスイッチｓｗ２に供給される制御信号をＨｉｇｈに変更する。これにより、バイナリウェイトの中で３番目に大きな容量値を有するキャパシタｃｐ２を介して生成回路８１０の供給端子ＳＰＬに基準電圧ＶＲＦが印加される。その結果、比較信号ＶｃｍｐがＶＲＦ／８だけ増加し、比較信号Ｖｃｍｐの値はＶＲＦ／８に等しくなる。制御回路８２０は、比較器８１５からの比較結果に基づいて、アナログ信号Ｓｉｎの値が比較信号Ｖｃｍｐの値（ＶＲＦ／８）よりも大きいと判定し、スイッチｓｗ２に供給される制御信号をＨｉｇｈのままにする。それにより、比較信号Ｖｃｍｐの値はＶＲＦ／８に維持される。この比較結果は、デジタル信号Ｓｏｕｔの値の３ビット目が１であることを意味する。
【００７１】
次に、制御回路８２０はスイッチｓｗ１に供給される制御信号をＨｉｇｈに変更する。これにより、バイナリウェイトの中で４番目に大きな容量値を有するキャパシタｃｐ１と、キャパシタｃｐ２とを介して生成回路８１０の供給端子ＳＰＬに基準電圧ＶＲＦが印加される。その結果、比較信号ＶｃｍｐがＶＲＦ／１６だけ増加し、比較信号Ｖｃｍｐの値はＶＲＦ＊３／１６に等しくなる。なお、本明細書で用いる「＊」は乗算を意味している。制御回路８２０は、比較器８１５からの比較結果に基づいて、アナログ信号Ｓｉｎの値が比較信号Ｖｃｍｐの値（ＶＲＦ＊３／１６）よりも大きいと判定し、スイッチｓｗ１に供給される制御信号をＨｉｇｈのままにする。それにより、比較信号Ｖｃｍｐの値はＶＲＦ＊３／１６に維持される。この比較結果は、デジタル信号Ｓｏｕｔの値の２ビット目が１であることを意味する。
【００７２】
最後に、制御回路８２０はスイッチｓｗ０に供給される制御信号をＨｉｇｈに変更する。これにより、バイナリウェイトの中で５番目に大きな容量値を有するキャパシタｃｐ０と、ｃｐ１、ｃｐ２とを介して生成回路８１０の供給端子ＳＰＬに基準電圧ＶＲＦが印加される。その結果、比較信号ＶｃｍｐがＶＲＦ／３２だけ増加し、比較信号Ｖｃｍｐの値はＶＲＦ＊７／３２に等しくなる。制御回路８２０は、比較器８１５からの比較結果に基づいて、アナログ信号Ｓｉｎの値が比較信号Ｖｃｍｐの値（ＶＲＦ＊７／３２）よりも小さいと判定し、スイッチｓｗ０に供給される制御信号をＬｏｗに戻す。それにより、比較信号Ｖｃｍｐの値はＶＲＦ＊３／１６に戻る。この比較結果は、デジタル信号Ｓｏｕｔの値の１ビット目が０であることを意味する。
【００７３】
以上の逐次比較により、制御回路８２０はアナログ信号に対応するデジタル信号Ｓｏｕｔが００１１０であると決定する。
【００７４】
このようにして、ＡＤＣ３６０は、入力されるアナログ信号に対応するデジタル信号を生成するＡＤ変換を行うことができる。
【００７５】
（他のＡＤ変換形式）
実施例２では、ＡＤＣ３６０として、逐次比較型のＡＤ変換器を用いた例を説明した。ＡＤＣ３６０は、この逐次比較型のＡＤ変換器に限定されるものでは無い。例えば、他のＡＤ変換器として、ランプ信号比較型、デルタシグマ型、パイプライン型、フラッシュ型等の種々のＡＤ変換器を用いることができる。
【００７６】
（実施例３）
図１１は、本実施例による撮像システム５００の構成を示すブロック図である。本実施例の撮像システム５００は、上述の各実施例で述べた撮像装置のいずれかの構成を適用した撮像装置２００を含む。撮像システム５００の具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図１１に、上述の各実施例のいずれかの撮像装置を撮像装置２００として適用したデジタルスチルカメラの構成例を示す。
【００７７】
図１１に例示した撮像システム５００は、撮像装置２００、被写体の光学像を撮像装置２００に結像させるレンズ５０２０、レンズ５０２０を通過する光量を可変にするための絞り５０４、レンズ５０２０の保護のためのバリア５０６を有する。レンズ５０２０及び絞り５０４は、撮像装置２００に光を集光する光学系である。
【００７８】
撮像システム５００は、また、撮像装置２００から出力される出力信号の処理を行う信号処理部５０８０を有する。信号処理部５０８０は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。信号処理部５０８０は、撮像装置２００より出力される出力信号に対してＡＤ変換処理を実施する機能を備えていてもよい。この場合、撮像装置２００の内部には、必ずしもＡＤ変換回路を有する必要はない。
【００７９】
撮像システム５００は、更に、画像データを一時的に記憶するためのバッファメモリ部５１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）５１２を有する。更に撮像システム５００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体５１４、記録媒体５１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）５１６を有する。なお、記録媒体５１４は、撮像システム５００に内蔵されていてもよく、着脱可能であってもよい。
【００８０】
更に撮像システム５００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部５１８、撮像装置２００と信号処理部５０８０に各種タイミング信号を出力するタイミング発生部５２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム５００は、少なくとも撮像装置２００と、撮像装置２００から出力された出力信号を処理する信号処理部５０８０とを有すればよい。全体制御・演算部５１８及びタイミング発生部５２０は、撮像装置２００の制御機能の一部又は全部を実施するように構成してもよい。
【００８１】
撮像装置２００は、画像用信号を信号処理部５０８０に出力する。信号処理部５０８０は、撮像装置２００から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部５０８０は、画像用信号を用いて、画像を生成する。
【００８２】
上述した各実施例の撮像装置による撮像装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。
【００８３】
（実施例４）
本実施例の撮像システム及び移動体について、図１２及び図１３を用いて説明する。
【００８４】
図１２は、本実施例による撮像システム及び移動体の構成例を示す概略図である。図１３は、本実施例による撮像システムの動作を示すフロー図である。
【００８５】
本実施例では、車載カメラに関する撮像システムの一例を示す。図１２は、車両システムとこれに搭載される撮像システムの一例を示したものである。撮像システム７０１は、撮像装置７０２、画像前処理部７１５、集積回路７０３、光学系７１４を含む。光学系７１４は、撮像装置７０２に被写体の光学像を結像する。撮像装置７０２は、光学系７１４により結像された被写体の光学像を電気信号に変換する。撮像装置７０２は、上述の各実施例のいずれかの撮像装置である。画像前処理部７１５は、撮像装置７０２から出力された信号に対して所定の信号処理を行う。画像前処理部７１５の機能は、撮像装置７０２内に組み込まれていてもよい。撮像システム７０１には、光学系７１４、撮像装置７０２及び画像前処理部７１５が、少なくとも２組設けられており、各組の画像前処理部７１５からの出力が集積回路７０３に入力されるようになっている。
【００８６】
集積回路７０３は、撮像システム用途向けの集積回路であり、メモリ７０５を含む画像処理部７０４、光学測距部７０６、視差演算部７０７、物体認知部７０８、異常検出部７０９を含む。画像処理部７０４は、画像前処理部７１５の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。メモリ７０５は、撮像画像の一次記憶、撮像画素の欠陥位置を格納する。光学測距部７０６は、被写体の合焦や、測距を行う。視差演算部７０７は、複数の撮像装置７０２により取得された複数の画像データから視差（視差画像の位相差）の算出を行う。物体認知部７０８は、車、道、標識、人等の被写体の認知を行う。異常検出部７０９は、撮像装置７０２の異常を検出すると、主制御部７１３に異常を発報する。
【００８７】
集積回路７０３は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。
【００８８】
主制御部７１３は、撮像システム７０１、車両センサ７１０、制御ユニット７２０等の動作を統括・制御する。なお、主制御部７１３を持たず、撮像システム７０１、車両センサ７１０、制御ユニット７２０が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う（例えばＣＡＮ規格）方法も取りうる。
【００８９】
集積回路７０３は、主制御部７１３からの制御信号を受け或いは自身の制御部によって、撮像装置７０２へ制御信号や設定値を送信する機能を有する。例えば、集積回路７０３は、撮像装置７０２内の電圧スイッチ１３をパルス駆動させるための設定や、フレーム毎に電圧スイッチ１３を切り替える設定等を送信する。
【００９０】
撮像システム７０１は、車両センサ７１０に接続されており、車速、ヨーレート、舵角などの自車両走行状態及び自車外環境や他車・障害物の状態を検出することができる。車両センサ７１０は、視差画像から対象物までの距離情報を取得する距離情報取得手段でもある。また、撮像システム７０１は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部７１１に接続されている。特に、衝突判定機能に関しては、撮像システム７０１や車両センサ７１０の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。
【００９１】
また、撮像システム７０１は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置７１２にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部７１３は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置７１２は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
【００９２】
本実施例では、車両の周囲、例えば前方又は後方を撮像システム７０１で撮影する。図１２（ｂ）に、車両前方を撮像システム７０１で撮像する場合の撮像システム７０１の配置例を示す。
【００９３】
２つの撮像装置７０２は、車両７００の前方に配置される。具体的には、車両７００の進退方位又は外形（例えば車幅）に対する中心線を対称軸に見立て、その対称軸に対して２つの撮像装置７０２が線対称に配置されると、車両７００と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、撮像装置７０２は、運転者が運転席から車両７００の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置７１２は、運転者の視野に入りやすい配置が好ましい。
【００９４】
次に、撮像システム７０１における撮像装置７０２の故障検出動作について、図１３を用いて説明する。撮像装置７０２の故障検出動作は、図１３に示すステップＳ８１０〜Ｓ８８０に従って実施される。
【００９５】
ステップＳ８１０は、撮像装置７０２のスタートアップ時の設定を行うステップである。すなわち、撮像システム７０１の外部（例えば主制御部７１３）又は撮像システム７０１の内部から、撮像装置７０２の動作のための設定を送信し、撮像装置７０２の撮像動作及び故障検出動作を開始する。
【００９６】
次いで、ステップＳ８２０において、有効画素から画素信号を取得する。また、ステップＳ８３０において、故障検出用に設けた故障検出画素からの出力値を取得する。この故障検出画素は、有効画素と同じく光電変換部を備える。この光電変換部には、所定の電圧が書き込まれる。故障検出用画素は、この光電変換部に書き込まれた電圧に対応する信号を出力する。なお、ステップＳ８２０とステップＳ８３０とは逆でもよい。
【００９７】
次いで、ステップＳ８４０において、故障検出画素の出力期待値と、実際の故障検出画素からの出力値との該非判定を行う。
【００９８】
ステップＳ８４０における該非判定の結果、出力期待値と実際の出力値とが一致している場合は、ステップＳ８５０に移行し、撮像動作が正常に行われていると判定し、処理ステップがステップＳ８６０へと移行する。ステップＳ８６０では、走査行の画素信号をメモリ７０５に送信して一次保存する。そののち、ステップＳ８２０に戻り、故障検出動作を継続する。
【００９９】
一方、ステップＳ８４０における該非判定の結果、出力期待値と実際の出力値とが一致していない場合は、処理ステップはステップＳ８７０に移行する。ステップＳ８７０において、撮像動作に異常があると判定し、主制御部７１３、又は警報装置７１２に警報を発報する。警報装置７１２は、表示部に異常が検出されたことを表示させる。その後、ステップＳ８８０において撮像装置７０２を停止し、撮像システム７０１の動作を終了する。
【０１００】
なお、本実施例では、１行毎にフローチャートをループさせる例を例示したが、複数行毎にフローチャートをループさせてもよいし、１フレーム毎に故障検出動作を行ってもよい。
【０１０１】
なお、ステップＳ８７０の警報の発報は、無線ネットワークを介して、車両の外部に通知するようにしてもよい。
【０１０２】
また、本実施例では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、撮像システム７０１は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
【０１０３】
［変形実施例］
本発明は、上記実施例に限らず種々の変形が可能である。
【０１０４】
例えば、いずれかの実施例の一部の構成を他の実施例に追加した例や、他の実施例の一部の構成と置換した例も、本発明の実施例である。
【０１０５】
また、上述の実施例は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらの例示によって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な態様で実施することができる。
【符号の説明】
【０１０６】
１  第１チップ
５  第２チップ
１１  画素
２１  信号処理回路
３０３  接続部
３１０  電流源
３５０  マルチプレックス回路（ＭＰＸ回路）
３６０  ＡＤ変換回路（ＡＤＣ）
【図１】
2019068271.tif 000003
【図２】
2019068271.tif 000004
【図３】
2019068271.tif 000005
【図４】
2019068271.tif 000006
【図５】
2019068271.tif 000007
【図６】
2019068271.tif 000008
【図７】
2019068271.tif 000009
【図８】
2019068271.tif 000010
【図９】
2019068271.tif 000011
【図１０】
2019068271.tif 000012
【図１１】
2019068271.tif 000013
【図１２】
2019068271.tif 000014
【図１３】
2019068271.tif 000015