(57)【要約】【課題】ＣＤＳ処理を行う固体撮像素子において、ＣＤＳ処理を行う回路内の配線数を削減する。【解決手段】データ出力部は、所定のリセットデータと露光量に応じた信号データとを交互に繰り返し出力する。一対のリセットデータ保持部は、繰り返し出力されたリセットデータを交互に保持する。画素データ生成部は、一対のリセットデータ保持部の一方に保持されたリセットデータと当該リセットデータの後に出力された信号データとの差分を画素データとして生成する処理を繰り返す。一対の画素データ保持部は、繰り返し生成された前記画素データを交互に保持する。出力側選択部は、一対の画素データ保持部を交互に選択して当該選択した画素データ保持部に保持された画素データを出力する。【選択図】図８
2020043504.tif 000002
【特許請求の範囲】
【請求項１】
所定のリセットデータと露光量に応じた信号データとを交互に繰り返し出力するデータ出力部と、
繰り返し出力された前記リセットデータを交互に保持する一対のリセットデータ保持部と、
前記一対のリセットデータ保持部の一方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を画素データとして生成する処理を繰り返す画素データ生成部と、
繰り返し生成された前記画素データを交互に保持する一対の画素データ保持部と、
前記一対の画素データ保持部を交互に選択して当該選択した画素データ保持部に保持された前記画素データを出力する出力側選択部と
を具備する固体撮像素子。
【請求項２】
前記データ出力部は、前記信号データを出力している間に前記リセットデータの出力を開始する
請求項１記載の固体撮像素子。
【請求項３】
前記一対のリセットデータ保持部を交互に選択して当該選択したリセットデータ保持部に保持された前記リセットデータを前記画素データ生成部に供給する入力側選択部をさらに具備する
請求項１記載の固体撮像素子。
【請求項４】
前記画素データ生成部は、一対の画素データ生成回路を備え、
前記一対の画素データ生成回路の一方は、前記一対のリセットデータ保持部の一方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を前記画素データとして前記一対の画素データ保持部の一方へ出力し、
前記一対の画素データ生成回路の他方は、前記一対のリセットデータ保持部の他方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を前記画素データとして前記一対の画素データ保持部の他方へ出力する
請求項１記載の固体撮像素子。
【請求項５】
所定のリセットレベルと前記露光量に応じた信号レベルとを生成する画素と、
前記リセットレベルをデジタル信号に変換して前記リセットデータとして保持する処理と前記信号レベルをデジタル信号に変換して前記信号データとして保持する処理とを行うアナログデジタル変換部と
をさらに具備する請求項１記載の固体撮像素子。
【請求項６】
前記画素は、所定の受光基板に配置され、
前記アナログデジタル変換部と前記データ出力部と前記一対のリセットデータ保持部と、前記画素データ生成部と前記一対の画素データ保持部と前記出力側選択部とは所定の回路基板に配置される
請求項５記載の固体撮像素子。
【請求項７】
前記画素は、所定の受光基板に配置され、
前記アナログデジタル変換部は、第１の回路基板に配置され、
前記データ出力部と前記一対のリセットデータ保持部と前記画素データ生成部と前記一対の画素データ保持部と前記出力側選択部との一部は、前記第１の回路基板に配置され、残りは第２の回路基板に配置される
請求項５記載の固体撮像素子。
【請求項８】
所定のリセットデータと露光量に応じた信号データとを交互に繰り返し出力するデータ出力部と、
繰り返し出力された前記リセットデータを交互に保持する一対のリセットデータ保持部と、
前記一対のリセットデータ保持部の一方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を画素データとして生成する処理を繰り返す画素データ生成部と、
繰り返し生成された前記画素データを交互に保持する一対の画素データ保持部と、
前記一対の画素データ保持部を交互に選択して当該選択した画素データ保持部に保持された前記画素データを出力する出力側選択部と、
前記画素データを処理する信号処理部と
を具備する撮像装置。
【請求項９】
前記データ出力部と前記一対のリセットデータ保持部と前記画素データ生成部と前記一対の画素データ保持部と前記出力側選択部とは、固体撮像素子に配置される
請求項８記載の撮像装置。
【請求項１０】
前記データ出力部と前記一対のリセットデータ保持部と前記画素データ生成部とは、固体撮像素子に配置され、
前記一対の画素データ保持部と前記出力側選択部とは、前記固体撮像素子の外部に配置される
請求項８記載の撮像装置。
【請求項１１】
所定のリセットデータと露光量に応じた信号データとを交互に繰り返し出力するデータ出力手順と、
繰り返し出力された前記リセットデータを交互に保持する一対のリセットデータ保持部の一方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を画素データとして生成する処理を繰り返す画素データ生成手順と、
繰り返し生成された前記画素データを交互に保持する一対の画素データ保持部を交互に選択して当該選択した画素データ保持部に保持された前記画素データを出力する出力側選択手順と
を具備する固体撮像素子の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、リセットレベルと信号レベルとの差分の画素信号を生成する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
【背景技術】
【０００２】
従来より、固定パターンノイズなどを低減する目的で、固体撮像素子において相関二重サンプリング（ＣＤＳ:Correlated Double Sampling）処理が行われている。このＣＤＳ処理を行うデータ処理部は、画素の初期化時のリセットレベルと、その画素の露光終了時の信号レベルとの差分を演算し、その差分を、固定パターンノイズを低減した画素信号として出力する。例えば、画素毎にＡＤＣ（Analog to Digital Converter）を配置し、それらのＡＤＣからのリセットレベルおよび信号レベルをデータ処理部に転送してＣＤＳ処理を行う固体撮像素子が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／１３６４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の固体撮像素子では、画素毎にＡＤＣを配置したため、全画素で同時にＡＤ（Analog to Digital）変換を行うことができる。このため、上述の固体撮像素子では、カラムごとにＡＤＣを配置してカラム単位でＡＤ変換を行う場合と比較して、高速に画像信号を読み出すことができる。しかしながら、ＣＤＳ処理を行うデータ処理部内において、画素数の増大に伴って、画素信号を伝送する信号線の配線数が増大するおそれがある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、ＣＤＳ処理を行う固体撮像素子において、ＣＤＳ処理を行う回路内の配線数を削減することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定のリセットデータと露光量に応じた信号データとを交互に繰り返し出力するデータ出力部と、繰り返し出力された上記リセットデータを交互に保持する一対のリセットデータ保持部と、上記一対のリセットデータ保持部の一方に保持された上記リセットデータと当該リセットデータの後に出力された上記信号データとの差分を画素データとして生成する処理を繰り返す画素データ生成部と、繰り返し生成された上記画素データを交互に保持する一対の画素データ保持部と、上記一対の画素データ保持部を交互に選択して当該選択した画素データ保持部に保持された上記画素データを出力する出力側選択部とを具備する固体撮像素子、および、その制御方法である。これにより、一対のリセットデータ保持部に交互に保持されたリセットデータと信号データとから、画素データが繰り返し生成されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記データ出力部は、上記信号データを出力している間に上記リセットデータの出力を開始してもよい。これにより、画像データの読出し速度が速くなるという作用をもたらす。
【０００８】
また、この第１の側面において、上記一対のリセットデータ保持部を交互に選択して当該選択したリセットデータ保持部に保持された上記リセットデータを上記画素データ生成部に供給する入力側選択部をさらに具備してもよい。これにより、一対のリセットデータ保持部のうち選択された方から読み出されたリセットデータと信号データとから画素データが生成されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記画素データ生成部は、一対の画素データ生成回路を備え、上記一対の画素データ生成回路の一方は、上記一対のリセットデータ保持部の一方に保持された上記リセットデータと当該リセットデータの後に出力された上記信号データとの差分を上記画素データとして上記一対の画素データ保持部の一方へ出力し、上記一対の画素データ生成回路の他方は、上記一対のリセットデータ保持部の他方に保持された上記リセットデータと当該リセットデータの後に出力された上記信号データとの差分を上記画素データとして上記一対の画素データ保持部の他方へ出力してもよい。これにより、リセットデータ保持部と画素データ生成回路との間の配線距離が短くなるという作用をもたらす。
【００１０】
また、この第１の側面において、所定のリセットレベルと上記露光量に応じた信号レベルとを生成する画素と、上記リセットレベルをデジタル信号に変換して上記リセットデータとして保持する処理と上記信号レベルをデジタル信号に変換して上記信号データとして保持する処理とを行うアナログデジタル変換部とをさらに具備してもよい。これにより、画素毎にＡＤ変換されたデータに対してＣＤＳ処理が行われるという作用をもたらす。
【００１１】
また、この第１の側面において、上記画素は、所定の受光基板に配置され、上記アナログデジタル変換部と上記データ出力部と上記一対のリセットデータ保持部と、上記画素データ生成部と上記一対の画素データ保持部と上記出力側選択部とは所定の回路基板に配置されてもよい。これにより、単一基板に設ける場合と比較して基板当たりの回路規模が削減されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記画素は、所定の受光基板に配置され、上記アナログデジタル変換部は、第１の回路基板に配置され、上記データ出力部と上記一対のリセットデータ保持部と上記画素データ生成部と上記一対の画素データ保持部と上記出力側選択部との一部は、上記第１の回路基板に配置され、残りは第２の回路基板に配置されてもよい。これにより、２枚の基板に設ける場合と比較して基板当たりの回路規模が削減されるという作用をもたらす。
【００１３】
また、本技術の第２の側面は、所定のリセットデータと露光量に応じた信号データとを交互に繰り返し出力するデータ出力部と、繰り返し出力された上記リセットデータを交互に保持する一対のリセットデータ保持部と、上記一対のリセットデータ保持部の一方に保持された上記リセットデータと当該リセットデータの後に出力された上記信号データとの差分を画素データとして生成する処理を繰り返す画素データ生成部と、繰り返し生成された上記画素データを交互に保持する一対の画素データ保持部と、上記一対の画素データ保持部を交互に選択して当該選択した画素データ保持部に保持された上記画素データを出力する出力側選択部と、上記画素データを処理する信号処理部とを具備する撮像装置である。これにより、一対のリセットデータ保持部に交互に保持されたリセットデータと信号データとから、画素データが繰り返し生成されて処理されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記データ出力部と上記一対のリセットデータ保持部と上記画素データ生成部と上記一対の画素データ保持部と上記出力側選択部とは、固体撮像素子に配置されてもよい。これにより、固体撮像素子内でＣＤＳ処理が行われるという作用をもたらす。
【００１５】
また、この第１の側面において、上記データ出力部と上記一対のリセットデータ保持部と上記画素データ生成部とは、固体撮像素子に配置され、上記一対の画素データ保持部と上記出力側選択部とは、上記固体撮像素子の外部に配置されてもよい。これにより、固体撮像素子内の回路規模が削減されるという作用をもたらす。
【図面の簡単な説明】
【００１６】
【図１】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。
【図３】本技術の第１の実施の形態における受光基板の一構成例を示す平面図である。
【図４】本技術の第１の実施の形態における回路基板の一構成例を示すブロック図である。
【図５】本技術の第１の実施の形態におけるクラスタの一構成例を示すブロック図である。
【図６】本技術の第１の実施の形態における画素とクラスタ内の回路との接続関係の一例を示す斜視図である。
【図７】本技術の第１の実施の形態におけるＰ相転送部の一構成例を示す回路図である。
【図８】本技術の第１の実施の形態におけるデータ処理部の一構成例を示すブロック図である。
【図９】本技術の第１の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。
【図１０】本技術の第１の実施の形態における１回目のＣＤＳ処理を行うまでの回路の制御方法を説明するための図である。
【図１１】本技術の第１の実施の形態における２回目および３回目のＣＤＳ処理を行う際の回路の制御方法を説明するための図である。
【図１２】本技術のフレームメモリが２枚の比較例における制御方法を説明するための図である。
【図１３】本技術のフレームメモリが３枚の比較例における制御方法を説明するための図である。
【図１４】本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。
【図１５】本技術の第２の実施の形態におけるデータ処理部の一構成例を示すブロック図である。
【図１６】本技術の第３の実施の形態における固体撮像素子の積層構造の一例を示す図である。
【図１７】本技術の第３の実施の形態におけるデータ処理部の一構成例を示すブロック図である。
【図１８】本技術の第４の実施の形態におけるデータ処理部の一構成例を示すブロック図である。
【図１９】本技術の第４の実施の形態におけるＤＳＰ（Digital Signal Processing）回路の一構成例を示すブロック図である。
【図２０】車両制御システムの概略的な構成例を示すブロック図である。
【図２１】撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（一対のフレームメモリに交互にデータを保持する例）
２．第２の実施の形態（一対のフレームメモリに交互にデータを保持し、一対のＣＤＳ処理部を配置する例）
３．第３の実施の形態（一対のフレームメモリに交互にデータを保持し、ＣＤＳ処理を行う回路を２枚の基板に分散して配置する例）
４．第４の実施の形態（一対のフレームメモリに交互にデータを保持し、回路の一部を固体撮像素子の外部に配置する例）
５．移動体への応用例
【００１８】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、光学部１１０、固体撮像素子２００およびＤＳＰ回路１２０を備える。さらに撮像装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
【００１９】
光学部１１０は、被写体からの光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期して、光電変換により画像データを生成するものである。ここで、垂直同期信号ＶＳＹＮＣは、撮像のタイミングを示す所定周波数の周期信号である。固体撮像素子２００は、生成した画像データをＤＳＰ回路１２０に信号線２０９を介して供給する。
【００２０】
ＤＳＰ回路１２０は、固体撮像素子２００からの画像データに対して所定の信号処理を実行するものである。このＤＳＰ回路１２０は、処理後の画像データをバス１５０を介してフレームメモリ１６０などに出力する。なお、ＤＳＰ回路１２０は、特許請求の範囲に記載の信号処理部の一例である。
【００２１】
表示部１３０は、画像データを表示するものである。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが想定される。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。
【００２２】
バス１５０は、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０および電源部１８０が互いにデータをやりとりするための共通の経路である。
【００２３】
フレームメモリ１６０は、画像データを保持するものである。記憶部１７０は、画像データなどの様々なデータを記憶するものである。電源部１８０は、固体撮像素子２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給するものである。
【００２４】
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、回路基板２０２と、その回路基板２０２に積層された受光基板２０１とを備える。これらの基板は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ−Ｃｕ接合やバンプ、ＴＣＩ（ThruChip Inteface）などの誘導結合通信技術により接続することもできる。
【００２５】
図３は、本技術の第１の実施の形態における受光基板２０１の一構成例を示す平面図である。受光基板２０１には、画素アレイ部２１０が設けられる。この画素アレイ部２１０には、二次元格子状に複数の画素ブロック２１１が配列される。画素ブロック２１１のそれぞれには、複数の画素２１２が配列される。例えば、２行×４列の８個の画素２１２が、画素ブロック２１１ごとに配列される。なお、画素ブロック２１１内の画素数は、８個に限定されない。
【００２６】
画素２１２は、光電変換により、アナログ信号を生成するものである。ここで、画素２１２を初期化した際に生成されるアナログ信号のレベルを以下、「リセットレベル」と称し、画素２１２の露光終了時に生成される露光量に応じたアナログ信号のレベルを以下、「信号レベル」と称する。
【００２７】
図４は、本技術の第１の実施の形態における回路基板２０２の一構成例を示すブロック図である。この回路基板２０２には、ＤＡＣ（Digital to Analog Converter）２２０、垂直駆動回路２３０、タイミング制御回路２４０、時刻コード生成部２５０、ＡＤ変換部２６０およびデータ処理部２７０が設けられる。
【００２８】
ＤＡＣ２２０は、ＤＡ（Digital to Analog）変換により、スロープ状に変化するアナログのランプ信号ＲＭＰを生成するものである。このＤＡＣ２２０は、生成したランプ信号ＲＭＰをＡＤ変換部２６０に供給する。
【００２９】
ＡＤ変換部２６０は、画素ごとに、その画素からのアナログ信号をデジタル信号に変換するものである。このＡＤ変換部２６０には、二次元格子状にクラスタ３００が配列される。クラスタ３００は、画素ブロック２１１ごとに設けられ、画素ブロック２１１の個数をＮ（Ｎは、整数）個とすると、クラスタ３００もＮ個設けられる。画素ブロック２１１とクラスタ３００とは、１対１で接続される。
【００３０】
クラスタ３００のそれぞれは、対応する画素ブロック２１１からのアナログ信号を画素毎にデジタル信号に変換してデータ処理部２７０に供給する。アナログ信号のリセットレベルに対応するデジタル信号を以下、「Ｐ相データ」と称し、信号レベルに対応するデジタル信号を以下、「Ｄ相データ」と称する。なお、Ｐ相データは、特許請求の範囲に記載のリセットデータの一例であり、Ｄ相データは、特許請求の範囲に記載の信号データの一例である。
【００３１】
垂直駆動回路２３０は、タイミング制御回路２４０の制御に従って、クラスタ３００のそれぞれを駆動するものである。
【００３２】
タイミング制御回路２４０は、垂直同期信号ＶＳＹＮＣに同期して、ＤＡＣ２２０、垂直駆動回路２３０およびデータ処理部２７０を制御するものである。
【００３３】
時刻コード生成部２５０は、時刻コードを発生するものである。この時刻コードは、ランプ信号がスロープ状に変化する期間内の時刻を示す。時刻コード生成部２５０は、例えば、一定周波数のクロック信号に同期して計数値を計数し、その計数値を示すデータを時刻コードとして生成する。時刻コード生成部２５０は、生成した時刻コードをＡＤ変換部２６０に供給する。
【００３４】
データ処理部２７０は、ＡＤ変換部２６０からのＰ相データおよびＤ相データに対して、ＣＤＳ処理を含む所定の処理を実行するものである。このデータ処理部２７０は、処理後のデータからなる画像データをＤＳＰ回路１２０に供給する。
【００３５】
［クラスタの構成例］
図５は、本技術の第１の実施の形態におけるクラスタ３００の一構成例を示すブロック図である。このクラスタ３００は、比較回路３１１乃至３１８と、データ記憶部３２１乃至３２８と、データ記憶部３３１乃至３３８とを備える。また、ＡＤ変換部２６０において、クラスタ３００の列ごとに、データ転送部２６１が配置される。クラスタ３００の列数がＭ（Ｍは、整数）である場合、データ転送部２６１もＭ個配置される。ある列のクラスタ３００の個数をＬ（Ｌは、整数）個とすると、それらのＬ個のクラスタ３００は、その列に対応する１つのデータ転送部２６１を共有する。
【００３６】
データ転送部２６１は、時刻コード生成部２５０からクラスタ３００へデータを転送し、クラスタ３００からデータ処理部２７０にデータを転送するものである。このデータ転送部２６１は、Ｐ相転送部２６２、書込みデータ転送部２６４およびＤ相転送部２６５を備える。
【００３７】
Ｐ相転送部２６２は、クラスタ３００からデータ処理部２７０にＰ相データを転送するものである。書込みデータ転送部２６４は、時刻コード生成部２５０からクラスタ３００へ時刻コードを転送するものである。Ｄ相転送部２６５は、クラスタ３００からデータ処理部２７０にＤ相データを転送するものである。
【００３８】
比較回路３１１乃至３１８は、クラスタ３００に対応する画素ブロック２１１内の８個の画素２１２と１対１に接続される。例えば、画素２１２がベイヤー配列で配列される場合、画素ブロック２１１内の２行×４列のうち、左側の２行×２列にＲ（Red）、Ｇｂ（Green）、Ｂ（Blue）およびＧｒ（Green）の画素が配列される。また、右側の２行×２列にも同様に
Ｒ、Ｇｂ、ＢおよびＧｒ画素が配列される。この配列において、左側のＧｂ画素は、比較回路３１１に接続され、左側のＢ画素は、比較回路３１２に接続される。また、左側のＲ画素は、比較回路３１３に接続され、左側のＧｒ画素は、比較回路３１４に接続される。一方、右側のＧｂ画素は、比較回路３１５に接続され、右側のＢ画素は、比較回路３１６に接続される。また、右側のＲ画素は、比較回路３１７に接続され、右側のＧｒ画素は、比較回路３１８に接続される。
【００３９】
また、比較回路３１１乃至３１８には、ＤＡＣ２２０からのランプ信号が入力される。そして、比較回路３１１乃至３１８は、接続された画素２１２からのアナログ信号とランプ信号とを比較する。比較回路３１１は、比較結果をデータ記憶部３２１および３２２に出力し、比較回路３１２は、データ記憶部３２３および３２４に出力する。比較回路３１３は、比較結果をデータ記憶部３２５および３２６に出力し、比較回路３１４は、データ記憶部３２７および３２８に出力する。一方、比較回路３１５は、比較結果をデータ記憶部３３１および３３２に出力し、比較回路３１６は、データ記憶部３３３および３３４に出力する。比較回路３１７は、比較結果をデータ記憶部３３５および３３６に出力し、比較回路３１８は、データ記憶部３３７および３３８に出力する。
【００４０】
データ記憶部３２１は、Ｐ相データを保持するものである。このデータ記憶部３２１は、リセットレベルの出力後に比較結果が反転したタイミングにおいて、書込みデータ転送部２６４からの時刻コードをＰ相データとして保持する。そして、データ記憶部３２１は、保持したＰ相データをＰ相転送部２６２を介してデータ処理部２７０に出力する。データ記憶部３２３、３２５、３２７、３３１、３３３、３３５および３３７の構成は、データ記憶部３２１と同様である。
【００４１】
データ記憶部３２２は、Ｄ相データを保持するものである。このデータ記憶部３２２は、信号レベルの出力後に比較結果が反転したタイミングにおいて、書込みデータ転送部２６４からの時刻コードをＤ相データとして保持する。そして、データ記憶部３２２は、保持したＤ相データをＤ相転送部２６５を介してデータ処理部２７０に出力する。データ記憶部３２４、３２６、３２８、３３２、３３４、３３６および３３８の構成は、データ記憶部３２２と同様である。
【００４２】
上述の構成により、クラスタ３００は、画素ブロック２１１からの画素毎のリセットレベルおよび信号レベルを交互にデジタル信号に変換する。このＡＤ変換は、全画素において垂直同期信号ＶＳＹＮＣに同期して繰り返し実行される。そして、データ転送部２６１は、垂直同期信号ＶＳＹＮＣに同期して、Ｐ相データおよびＤ相データを交互に繰り返しデータ処理部２７０へ出力する。なお、データ転送部２６１は、特許請求の範囲に記載のデータ出力部の一例である。
【００４３】
なお、クラスタ３００内の比較回路およびデータ記憶部のそれぞれの個数は、８個および１６個に限定されない。例えば、画素ブロック２１１内の画素数がＫ（Ｋは、整数）個である場合、クラスタ３００内に比較回路の個数は、Ｋ個であり、データ記憶部の個数はＫ×２個となる。
【００４４】
図６は、本技術の第１の実施の形態における画素２１２とクラスタ３００内の回路との接続関係の一例を示す斜視図である。
【００４５】
画素ブロック２１１内のｉ行、ｊ列の画素２１２の座標を（ｉ、ｊ）とする。左側の座標（０、０）、（０、１）、（１、０）および（１、１）にＧｂ画素、Ｂ画素、Ｒ画素およびＧｒ画素が配置される。また、右側の座標（０、２）、（０、３）、（１、２）および（１、３）にもＧｂ画素、Ｂ画素、Ｒ画素およびＧｒ画素が配置される。このような配列は、ベイヤー配列と呼ばれる。なお、ベイヤー配列以外の配列により画素を配列することもできる。例えば、Ｒ、Ｇ、ＢおよびＷ（White）画素を配列することもできる。
【００４６】
左側のＧｂ画素は比較回路３１１に接続され、左側のＢ画素は比較回路３１２に接続される。また、左側のＲ画素は比較回路３１３に接続され、左側のＧｒ画素は比較回路３１４に接続される。一方、右側のＧｂ画素は比較回路３１５に接続され、右側のＢ画素は比較回路３１６に接続される。また、右側のＲ画素は比較回路３１７に接続され、右側のＧｒ画素は比較回路３１８に接続される。
【００４７】
また、同図における左側メモリ３２０には、データ記憶部３２１乃至３２８が配置される。右側メモリ３３０には、データ記憶部３３１乃至３３８が配置される。
【００４８】
［Ｐ相転送部の構成例］
図７は、本技術の第１の実施の形態におけるＰ相転送部２６２の一構成例を示す回路図である。Ｐ相転送部２６２には、所定数のフリップフロップ２６３からなるシフトレジスタが設けられる。これらのフリップフロップ２６３は、直列に接続される。左側のデータ記憶部３２１、３２３、３２５および３２７などの、Ｐ相データを保持するデータ記憶部のそれぞれは、互いに異なるフリップフロップ２６３の入力端子にワイヤードオア接続により結線される。シフトレジスタは、クロック信号ＣＬＫに同期して、Ｐ相データを１ビットずつ保持し、データ処理部２７０に出力する。
【００４９】
なお、書込みデータ転送部２６４およびＤ相転送部２６５の構成は、Ｐ相転送部２６２と同様である。
【００５０】
［データ処理部の構成例］
図８は、本技術の第１の実施の形態におけるデータ処理部２７０の一構成例を示すブロック図である。このデータ処理部２７０は、フレームメモリ２７１、２７２、２７５および２７６と、セレクタ２７３および２７７と、ＣＤＳ処理部２７４とを備える。また、ＡＤ変換部２６０には、クラスタ３００、Ｐ相転送部２６２、書込みデータ転送部２６４およびＤ相転送部２６５に加えて、クロック供給部２６６が設けられる。なお、同図において、クラスタ３００は、省略されている。
【００５１】
クロック供給部２６６は、クロック信号ＣＬＫをＰ相転送部２６２、書込みデータ転送部２６４およびＤ相転送部２６５のそれぞれに供給するものである。
【００５２】
フレームメモリ２７１および２７２は、Ｐ相転送部２６２から繰り返し出力されたＰ相データを交互に保持するものである。フレームメモリ２７１には、信号線２９１を介してＭ個のＰ相転送部２６２のそれぞれからのＰ相データが入力される。フレームメモリ２７２には、信号線２９２を介してＭ個のＰ相転送部２６２のそれぞれからのＰ相データが入力される。
【００５３】
また、フレームメモリ２７１および２７２には、タイミング制御回路２４０からの制御信号が入力される。この制御信号は、データの書込み、または、読出しを指示する信号である。書込みが指示されるとフレームメモリ２７１および２７２は、全画素のＰ相データを取り込んで保持する。これらのフレームメモリのそれぞれの容量は、少なくとも１フレーム分のＰ相データを保持することができる程度のものである。
【００５４】
一方、読出しが指示されるとフレームメモリ２７１および２７２は、保持したＰ相データを信号線２９３および２９４を介してセレクタ２７３に出力する。なお、フレームメモリ２７１および２７２は、特許請求の範囲に記載の一対のリセットデータ保持部の一例である。
【００５５】
セレクタ２７３は、タイミング制御回路２４０選択信号に従って、フレームメモリ２７１および２７２を交互に選択し、選択したメモリからのＰ相データをＣＤＳ処理部２７４に信号線２９６を介して出力するものである。なお、セレクタ２７３は、特許請求の範囲に記載の入力側選択部の一例である。
【００５６】
ＣＤＳ処理部２７４は、セレクタ２７３からのＰ相データと、Ｍ個のＤ相転送部２６５からのＤ相データとの差分を画素データとして生成するＣＤＳ処理を、垂直同期信号ＶＳＹＮＣに同期して繰り返し行うものである。このＣＤＳ処理部２７４は、生成した画素データを信号線２９７および２９８を介してフレームメモリ２７５および２７６に供給する。なお、ＣＤＳ処理部２７４は、特許請求の範囲に記載の画素データ生成部の一例である。
【００５７】
フレームメモリ２７５および２７６は、ＣＤＳ処理部２７４により繰り返し生成された画素データを、交互に保持するものである。これらのフレームメモリのそれぞれの容量は、少なくとも１フレーム分の画素データを保持することができる程度のものである。フレームメモリ２７５および２７６にも、タイミング制御回路２４０からの制御信号が入力される。制御信号により書込みが指示されるとフレームメモリ２７５および２７６は、全画素の画素データを取り込んで保持する。
【００５８】
一方、読出しが指示されるとフレームメモリ２７５および２７６は、保持した画素データを信号線２９９および２９９−１を介してセレクタ２７７に出力する。なお、フレームメモリ２７５および２７６は、特許請求の範囲に記載の一対の画素データ保持部の一例である。
【００５９】
ここで、Ｐ相転送部２６２およびＤ相転送部２６５からは、クラスタ３００の単位でデータが出力される。このため、フレームメモリ２７５および２７６には、クラスタ３００の単位で、その出力順に画素データが保持される。しかし、一般的な画像データにおいて、画素データは、ラスタ（行）順に配列される。そこで、タイミング制御回路２４０は、画素の読出しの順序がラスタ順となるようにフレームメモリ２７５および２７６に制御信号を送信する。これにより、データ処理部２７０は、画素データをラスタ順に並べ替えて出力することができる。
【００６０】
セレクタ２７７は、タイミング制御回路２４０からの選択信号に従って、フレームメモリ２７５および２７５を交互に選択し、選択したメモリからの画素データをＤＳＰ回路１２０に出力するものである。なお、セレクタ２７７は、特許請求の範囲に記載の出力側選択部の一例である。
【００６１】
なお、同図において信号線２９１乃至２９９−１のそれぞれは、記載の便宜上、１本の線で表記されているが、物理的には１本でなく、複数本が配線される。例えば、Ｍ個のＰ相転送部２６２のそれぞれから１本ずつ、合計でＭ本の信号線が信号線２９１として配線される。
【００６２】
図９は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すタイミングチャートである。タイミングＴ０において垂直同期信号ＶＳＹＮＣが立下り、タイミングＴ０以降においてＤＡＣ２２０は、ランプ信号ＲＭＰをスロープ状に低下させる。一方、左側メモリ３２０は、ランプ信号ＲＭＰとリセットレベルとの比較結果に基づいてＰ相データを保持する。
【００６３】
タイミングＴ１以降の一定の期間に亘ってＰ相転送部２６２は、Ｐ相データをフレームメモリ２７１に転送し、フレームメモリ２７１は、そのＰ相データを保持する。一方、タイミングＴ１の直後からＤＡＣ２２０は、スロープ状のランプ信号ＲＭＰの供給を開始し、そのランプ信号ＲＭＰと信号レベルとの比較結果に基づいて左側メモリ３２０は、Ｄ相データを保持する。
【００６４】
そして、タイミングＴ２において垂直同期信号ＶＳＹＮＣが立下り、タイミングＴ２以降においてＤＡＣ２２０は、ランプ信号ＲＭＰをスロープ状に低下させる。左側メモリ３２０は、２回目のＰ相データを保持する。一方、タイミングＴ２の直後において、Ｄ相転送部２６５は、１回目のＤ相データの転送を開始する。また、ＣＤＳ処理部２７４は、フレームメモリ２７１から１回目のＰ相データを読み出し、１回目のＤ相データとの差分のＣＤＳ結果（すなわち、画素データ）を求める。フレームメモリ２７５は、そのＣＤＳ結果を保持する。
【００６５】
Ｄ相データの転送中のタイミングＴ３において、Ｐ相転送部２６２は、２回目のＰ相データの転送を開始し、フレームメモリ２７２は、そのＰ相データを保持する。一方、タイミングＴ３の直後からＤＡＣ２２０は、スロープ状のランプ信号ＲＭＰの供給を開始し、左側メモリ３２０は、２回目のＤ相データを保持する。
【００６６】
続いてタイミングＴ４において垂直同期信号ＶＳＹＮＣが立下り、タイミングＴ４以降においてＤＡＣ２２０は、ランプ信号ＲＭＰをスロープ状に低下させる。左側メモリ３２０は、３回目のＰ相データを保持する。一方、タイミングＴ４の直後において、Ｄ相転送部２６５は、２回目のＤ相データの転送を開始する。また、ＣＤＳ処理部２７４は、フレームメモリ２７５から２回目のＰ相データを読み出し、２回目のＤ相データとの差分のＣＤＳ結果（すなわち、画素データ）を求める。フレームメモリ２７６は、そのＣＤＳ結果を保持する。また、１回目のＣＤＳ結果は、フレームメモリ２７５からラスタ順で読み出され、セレクタ２７７から出力される。
【００６７】
２回目のＤ相データの転送中のタイミングＴ５において、Ｐ相転送部２６２は、３回目のＰ相データの転送を開始し、フレームメモリ２７１は、そのＰ相データを保持する。一方、タイミングＴ５の直後からＤＡＣ２２０は、スロープ状のランプ信号ＲＭＰの供給を開始し、左側メモリ３２０は、３回目のＤ相データを保持する。以下、同様の読出し制御が繰り返し実行される。
【００６８】
上述したように、左側メモリ３２０を含むクラスタ３００は、垂直同期信号ＶＳＹＮＣに同期して時刻コードをＰ相データおよびＤ相データとして交互に繰り返し保持する。また、Ｐ相転送部２６２は垂直同期信号ＶＳＹＮＣに同期してＰ相データを繰り返し転送する一方で、Ｄ相転送部２６５は、Ｄ相データを垂直同期信号ＶＳＹＮＣに同期してＤ相データを繰り返し転送する。
【００６９】
ここで、全画素分のＤ相データを転送するには、一定の時間を要する。これに対し、リセットレベルとの比較結果が反転するまでの時間が比較的短いため、垂直同期信号ＶＳＹＮＣの立下りからＰ相データが保持されるまでの時間は、一般にＤ相データの転送期間よりも短くなる。したがって、Ｄ相データの転送中に、Ｐ相データが保持される。このため、Ｐ相データが保持された直後に、そのデータの転送を開始するものとすると、Ｐ相データおよびＤ相データが同時に転送される期間が生じることとなる。
【００７０】
また、フレームメモリ２７１および２７２は、繰り返し出力されたＰ相データを交互に保持する。２回目以降のＰ相データをフレームメモリ２７１および２７２の一方が保持する際に、他方からはＰ相データが読み出される。ＣＤＳ処理部２７４は、読み出したＰ相データと、その後に転送されたＤ相データとの差分を画素データとして生成する。
【００７１】
そして、フレームメモリ２７５および２７６は、繰り返し生成された画素データを交互に保持する。２回目以降の画素データをフレームメモリ２７５および２７６の一方が保持する際に、セレクタ２７７は、他方から画素データをラスタ順に読み出して出力する。
【００７２】
図１０は、本技術の第１の実施の形態における１回目のＣＤＳ処理を行うまでの回路の制御方法を説明するための図である。同図におけるａは、１回目のＰ相データを保持する際のデータ処理部２７０の状態を示し、同図におけるｂは、１回目のＣＤＳ処理を行う際のデータ処理部２７０の状態を示す。
【００７３】
１回目のＰ相データが転送されると、同図におけるａに例示するようにタイミング制御回路２４０は、制御信号によりフレームメモリ２７１に、そのデータを書き込む。次に同図におけるｂに例示するように、１回目のＤ相データが転送される。ここで、１回目のＤ相データの転送中に、２回目のＰ相データの転送が開始されるものとする。
【００７４】
この際にタイミング制御回路２４０は、制御信号によりフレームメモリ２７２に２回目のＰ相データを書き込む。また、セレクタ２７３は、フレームメモリ２７１を選択して、そのメモリから１回目のＰ相データを読み出してＣＤＳ処理部２７４に供給する。ＣＤＳ処理部２７４は、１回目のＰ相データおよびＤ相データの差分を正味の画素データとして生成する。タイミング制御回路２４０は、制御信号によりフレームメモリ２７５に１回目の画素データを書き込む。
【００７５】
図１１は、本技術の第１の実施の形態における２回目および３回目のＣＤＳ処理を行う際の回路の制御方法を説明するための図である。同図におけるａは、２回目のＣＤＳ処理を行う際のデータ処理部２７０の状態を示し、同図におけるｂは、３回目のＣＤＳ処理を行う際のデータ処理部２７０の状態を示す。
【００７６】
同図におけるａに例示するように、２回目のＤ相データが転送される。この２回目のＤ相データの転送中に、３回目のＰ相データの転送が開始されるものとする。タイミング制御回路２４０は、制御信号によりフレームメモリ２７１に３回目のＰ相データを書き込む。また、セレクタ２７３は、フレームメモリ２７２を選択して、そのメモリから２回目のＰ相データを読み出してＣＤＳ処理部２７４に供給する。ＣＤＳ処理部２７４は、２回目のＰ相データおよびＤ相データの差分を画素データとして生成する。
【００７７】
タイミング制御回路２４０は、制御信号によりフレームメモリ２７６に２回目の画素データを書き込む。一方、セレクタ２７７は、フレームメモリ２７５を選択して、そのメモリから１回目の画素データをラスタ順に読み出してＤＳＰ回路１２０に出力する。
【００７８】
次に同図におけるｂに例示するように、３回目のＤ相データが転送される。この３回目のＤ相データの転送中に、４回目のＰ相データの転送が開始されるものとする。タイミング制御回路２４０は、制御信号によりフレームメモリ２７２に４回目のＰ相データを書き込む。また、セレクタ２７３は、フレームメモリ２７１を選択して、そのメモリから３回目のＰ相データを読み出してＣＤＳ処理部２７４に供給する。ＣＤＳ処理部２７４は、３回目のＰ相データおよびＤ相データの差分を画素データとして生成する。
【００７９】
タイミング制御回路２４０は、制御信号によりフレームメモリ２７５に３回目の画素データを書き込む。一方、セレクタ２７７は、フレームメモリ２７６を選択して、そのメモリから２回目の画素データをラスタ順に読み出してＤＳＰ回路１２０に出力する。
【００８０】
図１０および図１１に例示したように、フレームメモリ２７１および２７２の一方からＰ相データを読み出してＣＤＳ処理を実行している間に、タイミング制御回路２４０は、それらのフレームメモリの他方に、次のＰ相データを書き込むことができる。したがって、Ｄ相データの転送中に、次のＰ相データの転送が開始された場合であっても、データ処理部２７０は、ＣＤＳ処理により画素データを生成することができる。この構成では、Ｄ相データの転送中に、次のＰ相データの転送を開始することができるため、画像データ（フレーム）の読出し速度（フレームレート）を高速にすることができる。
【００８１】
また、フレームメモリ２７１および２７２は、Ｐ相データの書込みにのみ用いられ、フレームメモリ２７５および２７６の書込みにのみ用いられる。この構成により、データ処理部２７０内の配線数の増大を抑制することができる。
【００８２】
これらの読出し速度の高速化と、配線数の抑制との効果を検証するために、フレームメモリが２枚の比較例と、３枚の比較例とを想定する。
【００８３】
図１２は、本技術のフレームメモリが２枚の比較例における制御方法を説明するための図である。同図におけるａは、１回目のＰ相データを保持する際の比較例の状態を示し、同図におけるｂは、１回目のＣＤＳ処理を実行する際の比較例の状態を示す。
【００８４】
この比較例のデータ処理部には、セレクタＡ、Ｂ、ＣおよびＤと、フレームメモリＡおよびＢと、ＣＤＳ処理部とが配置される。セレクタＡは、Ｐ相データと画素データとのいずれかを選択してフレームメモリＡに出力し、セレクタＢは、Ｐ相データと画素データとのいずれかを選択してフレームメモリＢに出力する。また、セレクタＣは、フレームメモリＡおよびＢのいずれかを選択し、そのメモリから画素データを読み出して後段の回路に出力する。セレクタＤは、フレームメモリＡおよびＢのいずれかを選択し、そのメモリから画素データを読み出してＣＤＳ処理部に出力する。
【００８５】
この比較例において１回目のＰ相データが転送されると、同図におけるａに例示するように、セレクタＡは、そのＰ相データを選択してフレームメモリＡに供給する。フレームメモリＡには、Ｐ相データが書き込まれる。
【００８６】
次に、１回目のＤ相データが転送されると、同図におけるｂに例示するように、セレクタＤは、フレームメモリＡから１回目のＰ相データを読み出し、ＣＤＳ処理部は、１回目のＰ相データおよびＤ相データの差分を画素データとして出力する。セレクタＢは、その画素データを選択してフレームメモリＢに出力する。フレームメモリＢには、画素データが書き込まれる。
【００８７】
この比較例では、同図におけるｂに例示するように、１回目のＤ相データの転送中において、フレームメモリＡおよびＢの両方が使用されている。このため、仮に１回目のＤ相データの転送中に、２回目のＰ相データが転送されても書き込むメモリが存在せず、２回目以降のＣＤＳ処理を実行することができない。このため、この比較例では、垂直同期信号ＶＳＹＮＣの周期を十分に長くする必要がある。したがって、画像データの読出し速度（フレームレート）は、図１１の構成と比較して低下してしまう。
【００８８】
図１３は、本技術のフレームメモリが３枚の比較例における制御方法を説明するための図である。同図におけるａは、１回目のＰ相データを保持する際の比較例の状態を示し、同図におけるｂは、１回目のＣＤＳ処理を実行する際の比較例の状態を示す。
【００８９】
この比較例のデータ処理部には、セレクタＡ、Ｂ、Ｃ、ＤおよびＥと、フレームメモリＡ、ＢおよびＣと、ＣＤＳ処理部とが配置される。セレクタＡは、Ｐ相データと画素データとのいずれかを選択してフレームメモリＡに出力し、セレクタＢは、Ｐ相データと画素データとのいずれかを選択してフレームメモリＢに出力する。セレクタＣは、Ｐ相データと画素データとのいずれかを選択してフレームメモリＣに出力する。また、セレクタＤは、フレームメモリＡ、ＢおよびＣのいずれかを選択し、そのメモリから画素データを読み出して後段の回路に出力する。セレクタＥは、フレームメモリＡ、ＢおよびＣのいずれかを選択し、そのメモリから画素データを読み出してＣＤＳ処理部に出力する。
【００９０】
この比較例において１回目のＰ相データが転送されると、同図におけるａに例示するように、セレクタＡは、そのＰ相データを選択してフレームメモリＡに供給する。フレームメモリＡには、Ｐ相データが書き込まれる。
【００９１】
次に、１回目のＤ相データが転送されると、同図におけるｂに例示するように、セレクタＥは、フレームメモリＡから１回目のＰ相データを読み出し、ＣＤＳ処理部は、１回目のＰ相データおよびＤ相データの差分を画素データとして出力する。セレクタＣは、その画素データを選択してフレームメモリＣに出力する。フレームメモリＣには、画素データが書き込まれる。ここで、１回目のＤ相データの転送中に、２回目のＰ相データの転送が開始されると、セレクタＢは、Ｐ相データを選択してフレームメモリＢに出力する。フレームメモリＢには、そのＰ相データが書き込まれる。
【００９２】
この比較例では、同図におけるｂに例示するように、１回目のＤ相データの転送中に２回目のＰ相データの転送が開始されても、フレームメモリＢが空いているため、そのメモリにＰ相データを書き込むことができる。したがって、画像データの読出し速度は、図１１の構成と同等である。
【００９３】
しかしながら、この比較例では、図１１の構成と比較してデータ処理部内の配線数が増大してしまう。配線数は、データの出力先を示す矢印の個数に比例するため、矢印の個数を比較すると、図１１では矢印が１１個であるのに対し、図１３の比較例では、１８個に増大している。
【００９４】
上述したように図１２および図１３の比較例では、Ｐ相データのみを書き込むためのメモリと、画素データのみを書き込むためのメモリとにフレームメモリを分けていない。この構成では、フレームメモリが２枚だと、画像データの読出し速度を向上させることが困難になる。また、フレームメモリが３枚では、配線数が増大してしまう。
【００９５】
これに対して、図１１に例示するようにデータ処理部２７０では、Ｐ相データのみを書き込むためのフレームメモリ２７１および２７２と、画素データのみを書き込むためのフレームメモリ２７５および２７６を設けている。この構成によれば、１回目のＤ相データの転送中に２回目のＰ相データの転送が開始されても、フレームメモリ２７１および２７２のうち空いている方に書き込むことができる。このため、フレームメモリが２枚の比較例と比較して画像データの読出し速度を向上させることができる。また、フレームメモリごとに、その前段にセレクタを配置しなくてよいため、フレームメモリが３枚の比較例と比較して配線数を削減することができる。さらにセレクタの個数を比較例と比較して削減することができる。配線等の削減により、製造コストの増大を抑制することができる。
【００９６】
［固体撮像素子の動作例］
図１４は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この動作は、例えば、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。
【００９７】
固体撮像素子２００内のクラスタ３００がＰ相データを生成するとともにデータ転送部２６１が、そのデータを転送する（ステップＳ９０１）。タイミング制御回路２４０は、フレームメモリ２７１および２７２の一方に、Ｐ相データを書き込む（ステップＳ９０２）。次に、クラスタ３００がＤ相データを生成するとともにデータ転送部２６１が、そのデータを転送する（ステップＳ９０３）。ＣＤＳ処理部２７４は、ＣＤＳ演算により、画素データを生成する（ステップＳ９０４）。タイミング制御回路２４０は、画素データをフレームメモリ２７５および２７６の一方に書き込み（ステップＳ９０５）、セレクタ２７７は、他方から画素データをラスタ順に読み出して出力する（ステップＳ９０６）。ステップＳ９０６の後に、固体撮像素子２００は、ステップＳ９０１以降を垂直同期信号ＶＳＹＮＣに同期して繰り返し実行する。
【００９８】
このように、本技術の第１の実施の形態では、フレームメモリ２７１および２７２がＰ相データを交互に保持し、フレームメモリ２７５および２７６がＣＤＳ処理後の画素データを交互に保持する。これにより、Ｐ相データおよび画素データのいずれかを選択するセレクタをフレームメモリごとに配置する必要が無くなり、そのセレクタをフレームメモリ毎に配置する比較例と比較して、配線数を削減することができる。
【００９９】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、フレームメモリ２７１および２７２とＣＤＳ処理部２７４との間にセレクタ２７３を配置していた。しかし、この構成では、セレクタ２７３の分、フレームメモリ２７１および２７２とＣＤＳ処理部２７４との間の配線距離が長くなり、伝搬遅延が大きくなるおそれがある。この第２の実施の形態のデータ処理部２７０は、セレクタ２７３を削減した点において第１の実施の形態と異なる。
【０１００】
図１５は、本技術の第２の実施の形態におけるデータ処理部２７０の一構成例を示すブロック図である。この第２の実施の形態のデータ処理部２７０は、セレクタ２７３およびＣＤＳ処理部２７４の代わりに、ＣＤＳ処理部２７８および２７９を備える点において第１の実施の形態と異なる。
【０１０１】
ＣＤＳ処理部２７８および２７９の両方には、Ｄ相転送部２６５からのＤ相データが入力される。ＣＤＳ処理部２７８は、フレームメモリ２７１に保持されたＰ相データを読み出し、その後に転送されたＤ相データとの差分を画素データとして生成するものである。一方、ＣＤＳ処理部２７９は、フレームメモリ２７２に保持されたＰ相データを読み出し、その後に転送されたＤ相データとの差分を画素データとして生成するものである。そして、ＣＤＳ処理部２７８は、画素データをフレームメモリ２７５に出力し、ＣＤＳ処理部２７９は、画素データをフレームメモリ２７６に出力する。
【０１０２】
なお、ＣＤＳ処理部２７８および２７９は、特許請求の範囲に記載の一対の画素データ生成回路の一例である。
【０１０３】
このように、本技術の第２の実施の形態では、ＣＤＳ処理部２７８がフレームメモリ２７１からＰ相データを読み出し、ＣＤＳ処理部２７９がフレームメモリ２７２から画素データを読み出すため、フレームメモリとＣＤＳ処理部との間のセレクタが不要となる。これにより、フレームメモリとＣＤＳ処理部との間の配線の配線距離を短くし、伝搬遅延を小さくすることができる。
【０１０４】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、受光基板２０１および回路基板２０２の２枚に、固体撮像素子２００内の回路を分散して配置していた。しかし、この構成では、画素数の増大に伴って、基板のそれぞれに配置する回路の規模が増大するおそれがある。この第３の実施の形態の固体撮像素子２００は、固体撮像素子２００内の回路を３枚の基板に分散して配置する点において第１の実施の形態と異なる。
【０１０５】
図１６は、本技術の第３の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この第３の実施の形態の固体撮像素子２００は、回路基板２０２の代わりに上側回路基板２０３および下側回路基板２０４を備える。上側回路基板２０３は、受光基板２０１と下側回路基板２０４との間に配置される。なお、上側回路基板２０３は、特許請求の範囲に記載の第１の回路基板の一例であり、下側回路基板２０４は、特許請求の範囲に記載の第２の回路基板の一例である。
【０１０６】
図１７は、本技術の第３の実施の形態におけるデータ処理部２７０の一構成例を示すブロック図である。この第３の実施の形態の固体撮像素子２００には、データ処理部２７０内の回路の一部は上側データ処理部２８１として上側回路基板２０３に配置され、残りは下側データ処理部２８２として下側回路基板２０４に配置される。
【０１０７】
例えば、フレームメモリ２７１および２７２と、セレクタ２７３と、ＣＤＳ処理部２７４とからなる回路が上側データ処理部２８１として上側回路基板２０３に設けられる。一方、フレームメモリ２７５および２７６とセレクタ２７７とからなる回路が下側データ処理部２８２として下側回路基板２０４に設けられる。
【０１０８】
また、第２の実施の形態においてＤＡＣ２２０、垂直駆動回路２３０、ＡＤ変換部２６０および時刻コード生成部２５０は、第１の実施の形態と同様に上側回路基板２０３に配置される。
【０１０９】
なお、データ処理部２７０内のフレームメモリ２７１および２７２と、セレクタ２７３と、ＣＤＳ処理部２７４とを上側回路基板２０３に、残りを下側回路基板２０４に配置しているが、それぞれの基板に配置する回路は、この構成に限定されない。
【０１１０】
このように、本技術の第３の実施の形態の固体撮像素子２００では、固体撮像素子２００内の回路を３枚の基板に分散して配置したため、２枚の基板に配置する場合と比較して、基板ごとの回路規模を削減することができる。
【０１１１】
＜４．第４の実施の形態＞
上述の第１の実施の形態では、ＣＤＳ処理のための回路と、画素の読出しの順序をラスタ順に変換するための回路とを固体撮像素子２００内に配置していたが、この構成では、画素数が多くなるほど固体撮像素子２００の回路規模が増大するおそれがある。この第４の実施の形態の撮像装置１００は、画素の読出しの順序をラスタ順に変換するための回路を固体撮像素子２００の外部に配置した点において第１の実施の形態と異なる。
【０１１２】
図１８は、本技術の第４の実施の形態におけるデータ処理部２７０の一構成例を示すブロック図である。この第４の実施の形態のデータ処理部２７０は、フレームメモリ２７５および２５６とセレクタ２７７とが設けられていない点において第１の実施の形態と異なる。第４の実施の形態のＣＤＳ処理部２７４は、画素データをＤＳＰ回路１２０に出力する。
【０１１３】
図１９は、本技術の第４の実施の形態におけるＤＳＰ回路１２０の一構成例を示すブロック図である。このＤＳＰ回路１２０は、タイミング制御回路１２１と、フレームメモリ１２２および１２３と、セレクタ１２４と、後段処理部１２５とを備える。
【０１１４】
タイミング制御回路１２１と、フレームメモリ１２２および１２３と、セレクタ１２４とのそれぞれの構成は、第１の実施の形態のタイミング制御回路２４０と、フレームメモリ２７５および２７６と、セレクタ２７７と同様である。
【０１１５】
セレクタ１２４は、選択した画素データを後段処理部１２５に供給する。後段処理部１２５は、デモザイク処理やホワイトバランス補正処理などの様々な画像処理を実行するものである。なお、後段処理部１２５は、特許請求の範囲に記載の信号処理部の一例である。
【０１１６】
このように、本技術の第４の実施の形態によれば、画素の読出しの順序をラスタ順に変換するための回路を固体撮像素子２００の外部のＤＳＰ回路１２０に配置したため、その回路を固体撮像素子２００内に配置する場合と比較して固体撮像素子２００の回路規模を削減することができる。
【０１１７】
＜５．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１１８】
図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１１９】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
【０１２０】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１２１】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１２２】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１２３】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１２４】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１２５】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【０１２６】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１２７】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１２８】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１２９】
図２１は、撮像部１２０３１の設置位置の例を示す図である。
【０１３０】
図２１では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１３１】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１３２】
なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１３３】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１３４】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１３５】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１３６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１３７】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、配線数を削減して製造コストの増大を抑制することができる。
【０１３８】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１３９】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１４０】
なお、本技術は以下のような構成もとることができる。
（１）所定のリセットデータと露光量に応じた信号データとを交互に繰り返し出力するデータ出力部と、
繰り返し出力された前記リセットデータを交互に保持する一対のリセットデータ保持部と、
前記一対のリセットデータ保持部の一方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を画素データとして生成する処理を繰り返す画素データ生成部と、
繰り返し生成された前記画素データを交互に保持する一対の画素データ保持部と、
前記一対の画素データ保持部を交互に選択して当該選択した画素データ保持部に保持された前記画素データを出力する出力側選択部と
を具備する固体撮像素子。
（２）前記データ出力部は、前記信号データを出力している間に前記リセットデータの出力を開始する
前記（１）記載の固体撮像素子。
（３）前記一対のリセットデータ保持部を交互に選択して当該選択したリセットデータ保持部に保持された前記リセットデータを前記画素データ生成部に供給する入力側選択部をさらに具備する
前記（１）または（２）に記載の固体撮像素子。
（４）前記画素データ生成部は、一対の画素データ生成回路を備え、
前記一対の画素データ生成回路の一方は、前記一対のリセットデータ保持部の一方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を前記画素データとして前記一対の画素データ保持部の一方へ出力し、
前記一対の画素データ生成回路の他方は、前記一対のリセットデータ保持部の他方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を前記画素データとして前記一対の画素データ保持部の他方へ出力する
前記（１）または（２）に記載の固体撮像素子。
（５）所定のリセットレベルと前記露光量に応じた信号レベルとを生成する画素と、
前記リセットレベルをデジタル信号に変換して前記リセットデータとして保持する処理と前記信号レベルをデジタル信号に変換して前記信号データとして保持する処理とを行うアナログデジタル変換部と
をさらに具備する前記（１）から（４）のいずれかに記載の固体撮像素子。
（６）前記画素は、所定の受光基板に配置され、
前記アナログデジタル変換部と前記データ出力部と前記一対のリセットデータ保持部と、前記画素データ生成部と前記一対の画素データ保持部と前記出力側選択部とは所定の回路基板に配置される
前記（５）記載の固体撮像素子。
（７）前記画素は、所定の受光基板に配置され、
前記アナログデジタル変換部は、第１の回路基板に配置され、
前記データ出力部と前記一対のリセットデータ保持部と前記画素データ生成部と前記一対の画素データ保持部と前記出力側選択部との一部は、前記第１の回路基板に配置され、残りは第２の回路基板に配置される
前記（５）記載の固体撮像素子。
（８）所定のリセットデータと露光量に応じた信号データとを交互に繰り返し出力するデータ出力部と、
繰り返し出力された前記リセットデータを交互に保持する一対のリセットデータ保持部と、
前記一対のリセットデータ保持部の一方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を画素データとして生成する処理を繰り返す画素データ生成部と、
繰り返し生成された前記画素データを交互に保持する一対の画素データ保持部と、
前記一対の画素データ保持部を交互に選択して当該選択した画素データ保持部に保持された前記画素データを出力する出力側選択部と、
前記画素データを処理する信号処理部と
を具備する撮像装置。
（９）前記データ出力部と前記一対のリセットデータ保持部と前記画素データ生成部と前記一対の画素データ保持部と前記出力側選択部とは、固体撮像素子に配置される
前記（８）記載の撮像装置。
（１０）前記データ出力部と前記一対のリセットデータ保持部と前記画素データ生成部とは、固体撮像素子に配置され、
前記一対の画素データ保持部と前記出力側選択部とは、前記固体撮像素子の外部に配置される
前記（８）記載の撮像装置。
（１１）所定のリセットデータと露光量に応じた信号データとを交互に繰り返し出力するデータ出力手順と、
繰り返し出力された前記リセットデータを交互に保持する一対のリセットデータ保持部の一方に保持された前記リセットデータと当該リセットデータの後に出力された前記信号データとの差分を画素データとして生成する処理を繰り返す画素データ生成手順と、
繰り返し生成された前記画素データを交互に保持する一対の画素データ保持部を交互に選択して当該選択した画素データ保持部に保持された前記画素データを出力する出力側選択手順と
を具備する固体撮像素子の制御方法。
【符号の説明】
【０１４１】
１００  撮像装置
１１０  光学部
１２０  ＤＳＰ回路
１２１  タイミング制御回路
１２２、１２３、１６０、２７１、２７２、２７５、２７６  フレームメモリ
１２４、２７３、２７７  セレクタ
１２５  後段処理部
１３０  表示部
１４０  操作部
１５０  バス
１７０  記憶部
１８０  電源部
２００  固体撮像素子
２０１  受光基板
２０２  回路基板
２０３  上側回路基板
２０４  下側回路基板
２１０  画素アレイ部
２１１  画素ブロック
２１２  画素
２２０  ＤＡＣ
２３０  垂直駆動回路
２４０  タイミング制御回路
２５０  時刻コード生成部
２６０  ＡＤ変換部
２６１  データ転送部
２６２  Ｐ相転送部
２６３  フリップフロップ
２６４  書込みデータ転送部
２６５  Ｄ相転送部
２６６  クロック供給部
２７０  データ処理部
２７４、２７８、２７９  ＣＤＳ（Correlated Double Sampling）処理部
２８１  上側データ処理部
２８２  下側データ処理部
３００  クラスタ
３１１〜３１８  比較回路
３２０  左側メモリ
３２１〜３２８、３３１〜３３８  データ記憶部
３３０  右側メモリ
１２０３１  撮像部
【図１】
2020043504.tif 000003
【図２】
2020043504.tif 000004
【図３】
2020043504.tif 000005
【図４】
2020043504.tif 000006
【図５】
2020043504.tif 000007
【図６】
2020043504.tif 000008
【図７】
2020043504.tif 000009
【図８】
2020043504.tif 000010
【図９】
2020043504.tif 000011
【図１０】
2020043504.tif 000012
【図１１】
2020043504.tif 000013
【図１２】
2020043504.tif 000014
【図１３】
2020043504.tif 000015
【図１４】
2020043504.tif 000016
【図１５】
2020043504.tif 000017
【図１６】
2020043504.tif 000018
【図１７】
2020043504.tif 000019
【図１８】
2020043504.tif 000020
【図１９】
2020043504.tif 000021
【図２０】
2020043504.tif 000022
【図２１】
2020043504.tif 000023