(57)【要約】【課題】画素信号に対して適用される信号処理に異常が発生した場合に、より好適な態様で当該異常の発生を検出可能とする。【解決手段】画素信号に信号処理を施す信号処理部と、第１の処理に基づく第１のテストデータと、第２の処理に基づく第２のテストデータと、第１のフレームよりも後の第２のフレームに対応する画素信号に対して第２の処理が施された有効データと、を関連付けて、第２のフレームに対応するフレームデータを生成するデータ生成部と、を備え、第１の処理は、第１のフレームにおいて有効データを生成するための信号処理であり、第２の処理は、第２のフレームにおいて有効データを生成するための信号処理であり、第１のフレームに対応するフレームデータに関連付けられた第１のテストデータと、第２のフレームに対応するフレームデータに関連付けられた第１のテストデータと、に基づき、信号処理の異常の有無の診断が行われる、信号処理装置。【選択図】図１
2019161441.tif 000002
【特許請求の範囲】
【請求項１】
画素信号に対して信号処理を施す信号処理部と、
入力データに対して第１の処理が施された第１のテストデータと、前記入力データに対して第２の処理が施された第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された前記画素信号に対して前記第２の処理が施された有効データと、を関連付けて、前記第２のフレームに対応するフレームデータを生成するデータ生成部と、
を備え、
前記第１の処理は、前記第１のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第２の処理は、前記第２のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断が行われる、
信号処理装置。
【請求項２】
前記フレームデータは、時系列に沿って順次読み出される第１の領域、第２の領域、及び第３の領域を含み、
前記第２のフレームに対応する前記フレームデータは、前記第１の領域、前記第２の領域、及び前記第３の領域に対して、当該第２のフレームにおいて生成された、前記第２のテストデータ、前記第１のテストデータ、及び当該第２のフレームに対応する前記有効データがこの順序で関連付けられる、
請求項１に記載の信号処理装置。
【請求項３】
前記第２のフレームでは、前記第２のテストデータ、前記第１のテストデータ、及び前記有効データが、時系列に沿ってこの順序で生成される、請求項２に記載の信号処理装置。
【請求項４】
前記第２のフレームにおいて、前記第１のフレームに対応する前記フレームデータの前記第１の領域に格納された前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータの前記第２の領域に格納された前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断が行われる、請求項２に記載の信号処理装置。
【請求項５】
前記第２のフレームにおいて、前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータが生成されたタイミングから、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータが生成されたタイミングまでの期間における、前記信号処理の異常の有無の診断が行われる、請求項４に記載の信号処理装置。
【請求項６】
前記第１のフレーム及び前記第２のフレームそれぞれに対応する前記フレームデータが時系列に沿ってこの順序で読み出され、前記第２のフレームにおける前記診断が行われる、請求項４に記載の信号処理装置。
【請求項７】
前記第１の処理は、前記第１のフレームに対応する第１の設定に基づき、当該第１のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第２の処理は、前記第２のフレームに対応する第２の設定に基づき、当該第２のフレームにおいて前記有効データを生成するための前記信号処理である、
請求項１に記載の信号処理装置。
【請求項８】
前記第２のフレームにおける前記診断は、前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、の比較により行われる、請求項１に記載の信号処理装置。
【請求項９】
前記第２のフレームにおける前記診断は、前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータに基づく符号と、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータに基づく符号と、の比較により行われる、請求項１に記載の信号処理装置。
【請求項１０】
前記比較の対象となる符号は、誤り訂正符号である、請求項９に記載の信号処理装置。
【請求項１１】
前記入力データは、乱数に基づき生成される、請求項１に記載の信号処理装置。
【請求項１２】
前記入力データは、アナログ値をデジタルデータに変換することで生成される、請求項１に記載の信号処理装置。
【請求項１３】
前記アナログ値は、前記画素信号をアナログ信号として出力する画素と、当該アナログ信号をデジタル信号に変換するＡＤ変換部と、の間から出力される、請求項１２に記載の信号処理装置。
【請求項１４】
前記データ生成部は、現フレームの従前に他のフレームが存在しない場合に、前記入力データに対して所定の設定に基づく前記信号処理が施されたテストデータに基づき、当該現フレームに対応する前記フレームデータを生成し、
前記現フレームにおける前記診断は、当該現フレームで生成された前記テストデータと、あらかじめ生成された他のテストデータと、に基づき行われる、
請求項１に記載の信号処理装置。
【請求項１５】
前記他のテストデータは、前記入力データに対して前記所定の設定に基づく前記信号処理が施されることで生成される、請求項１４に記載の信号処理装置。
【請求項１６】
前記所定の設定は、生成される前記テストデータに基づく前記診断の対象となる範囲が最大化されるように設定される、請求項１４に記載の信号処理装置。
【請求項１７】
前記診断を行う診断部を備える、請求項１に記載の信号処理装置。
【請求項１８】
前記診断が、他の装置により実行される、請求項１に記載の信号処理装置。
【請求項１９】
前記画素信号を出力する画素が配設された第１の半導体基板と、前記第１の半導体基板とは異なる第２の半導体基板と、が積層された積層構造を有する撮像装置のうち、
前記第２の半導体基板に配設される、
請求項１に記載の信号処理装置。
【請求項２０】
前記第２の半導体基板は、前記画素が配設された前記第１の半導体基板の光入射面の反対側に位置する、請求項１９に記載の信号処理装置。
【請求項２１】
コンピュータが、
画素信号に対して信号処理を施すことと、
入力データに対して第１の処理が施された第１のテストデータと、前記入力データに対して第２の処理が施された第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された前記画素信号に対して前記第２の処理が施された有効データと、を関連付けて、前記第２のフレームに対応するフレームデータを生成することと、
を含み、
前記第１の処理は、前記第１のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第２の処理は、前記第２のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断が行われる、
信号処理方法。
【請求項２２】
画素信号に対して信号処理を施す信号処理部と、
入力データに対して第１の処理が施された第１のテストデータと、前記入力データに対して第２の処理が施された第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された前記画素信号に対して前記第２の処理が施された有効データと、を関連付けて、前記第２のフレームに対応するフレームデータを生成するデータ生成部と、
前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断を行う診断部と、
を備え、
前記第１の処理は、前記第１のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第２の処理は、前記第２のフレームにおいて前記有効データを生成するための前記信号処理である、
信号処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置、信号処理方法、及び信号処理システムに関する。
【背景技術】
【０００２】
固体撮像装置として、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等のＭＯＳ型イメージセンサに代表される増幅型固体撮像装置が知られている。また、ＣＣＤ（Charge  Coupled  Device）イメージセンサに代表される電荷転送型固体撮像装置が知られている。これら固体撮像装置は、デジタルスチルカメラ、デジタルビデオカメラなどに広く用いられている。近年、カメラ付き携帯電話やＰＤＡ（Personal  Digital  Assistant）などのモバイル機器に搭載される固体撮像装置としては、電源電圧が低く、消費電力の観点などからＭＯＳ型イメージセンサが多く用いられている。
【０００３】
また、撮像画像を利用した各種認識技術の発展に伴い、上記固体撮像装置の適用先も多様化している。特に近年では、車両等の移動体においても、例えば、移動体が歩行者や他の移動体等を認識するための機能の実現に上記固体撮像装置が適用される場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−００８９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、車両等のような動作に対してより高い信頼性を求められる装置においては、フェールセーフ等の機能安全（Functional  Safety）を実現するために、一部のユニットに対して何らかの障害が発生した場合に、当該障害の発生を検出するための仕組みが求められる場合がある。例えば、特許文献１には、車両等に適用され得る故障検出に係る技術の一例として、センサシステムの故障の検出に係る技術の一例が開示されている。
【０００６】
このような背景から、固体撮像装置においても、一部に障害が発生した場合に、当該障害の発生を検出するための技術の導入が求められている。特に、固体撮像装置においては、各画素の受光結果に応じた画素信号に対して各種信号処理を施すために信号処理部が設けられている場合がある。このような固体撮像装置においては、当該信号処理の内容に応じて得られる画像も変化し得る。そのため、固体撮像措置における異常検出のための仕組みの一例として、画素信号に対して適用される信号処理に異常が発生した場合に、当該異常の発生を検出可能とするための仕組みが求められている。
【０００７】
そこで、本開示では、画素信号に対して適用される信号処理に異常が発生した場合に、より好適な態様で当該異常の発生を検出可能とする技術の一例について提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、画素信号に対して信号処理を施す信号処理部と、入力データに対して第１の処理が施された第１のテストデータと、前記入力データに対して第２の処理が施された第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された前記画素信号に対して前記第２の処理が施された有効データと、を関連付けて、前記第２のフレームに対応するフレームデータを生成するデータ生成部と、を備え、前記第１の処理は、前記第１のフレームにおいて前記有効データを生成するための前記信号処理であり、前記第２の処理は、前記第２のフレームにおいて前記有効データを生成するための前記信号処理であり、前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断が行われる、信号処理装置が提供される。
【０００９】
また、本開示によれば、コンピュータが、画素信号に対して信号処理を施すことと、入力データに対して第１の処理が施された第１のテストデータと、前記入力データに対して第２の処理が施された第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された前記画素信号に対して前記第２の処理が施された有効データと、を関連付けて、前記第２のフレームに対応するフレームデータを生成することと、を含み、前記第１の処理は、前記第１のフレームにおいて前記有効データを生成するための前記信号処理であり、前記第２の処理は、前記第２のフレームにおいて前記有効データを生成するための前記信号処理であり、前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断が行われる、信号処理方法が提供される。
【００１０】
また、本開示によれば、画素信号に対して信号処理を施す信号処理部と、入力データに対して第１の処理が施された第１のテストデータと、前記入力データに対して第２の処理が施された第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された前記画素信号に対して前記第２の処理が施された有効データと、を関連付けて、前記第２のフレームに対応するフレームデータを生成するデータ生成部と、前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断を行う診断部と、を備え、前記第１の処理は、前記第１のフレームにおいて前記有効データを生成するための前記信号処理であり、前記第２の処理は、前記第２のフレームにおいて前記有効データを生成するための前記信号処理である、信号処理システムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、画素信号に対して適用される信号処理に異常が発生した場合に、より好適な態様で当該異常の発生を検出可能とする技術が提供される。
【００１２】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態に係る固体撮像装置の構成の一例を示す概略構成図である。
【図２】本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
【図３】積層型の固体撮像装置23020の第１の構成例を示す断面図である。
【図４】積層型の固体撮像装置23020の第２の構成例を示す断面図である。
【図５】積層型の固体撮像装置23020の第３の構成例を示す断面図である。
【図６】本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す図である。
【図７】本開示の一実施形態に係る固体撮像装置の一部の機能構成の一例を示すブロック図である。
【図８】本開示の一実施形態に係る単位画素の回路構成の一例を示した図である。
【図９】比較例１に係る固体撮像装置における信号処理回路の故障検出のための技術の一例について概要を説明するための説明図である。
【図１０】比較例１に係る固体撮像装置における信号処理回路の故障検出のための技術の一例について概要を説明するための説明図である。
【図１１】比較例１に係る固体撮像装置における信号処理回路の故障検出のための技術の一例について概要を説明するための説明図である。
【図１２】単相構成の信号処理回路による信号処理の一例について説明するための説明図である。
【図１３】多層化された信号処理回路による信号処理の一例について説明するための説明図である。
【図１４】多層化された信号処理回路による信号処理の一例について説明するための説明図である。
【図１５】本開示の一実施形態に係る固体撮像装置の機能構成の一例を示したブロック図である。
【図１６】同実施形態に係る固体撮像装置においてフレームごとに生成されるフレームデータのデータ構造の一例について示した図である。
【図１７】同実施形態に係る故障診断の概要について説明するためのタイムチャートである。
【図１８】同実施形態に係る故障診断の概要について説明するためのタイムチャートである。
【図１９】本開示の一実施形態に係る情報処理装置のハードウェア構成の一例を示す機能ブロック図である。
【図２０】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２１】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．固体撮像装置の構成例
１．１．概略構成
１．２．機能構成
１．３．単位画素の回路構成
２．故障検出に関する検討
３．技術的特長
３．１．機能構成
３．２．故障診断の詳細
３．３．変形例
４．ハードウェア構成
５．応用例
６．むすび
【００１６】
＜＜１．固体撮像装置の構成例＞＞
本実施形態に係る固体撮像装置の一構成例について以下に説明する。
【００１７】
＜１．１．概略構成＞
図１に、本開示の一実施形態に係る固体撮像装置の構成の一例として、ＣＭＯＳ固体撮像装置の概略構成を示す。このＣＭＯＳ固体撮像装置は、各実施の形態の固体撮像装置に適用される。本例の固体撮像装置１は、図１に示すように、半導体基板１１、例えばシリコン基板に複数の光電変換部を含む画素２が規則的に２次元アレイ状に配列された画素アレイ（いわゆる画素領域）３と、周辺回路部とを有して構成される。画素２は、光電変換部となる例えばフォトダイオードと、複数の画素トランジスタ（いわゆるＭＯＳトランジスタ）を有して成る。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの３つのトランジスタで構成することができる。その他、選択トランジスタ追加して４つのトランジスタで構成することもできる。なお、単位画素の等価回路の一例については別途後述する。画素２は、１つの単位画素として構成することができる。また、画素２は、共有画素構造とすることもできる。この共有画素構造は、複数のフォトダイオードと、複数の転送トランジスタと、共有する１つのフローティングディフージョンと、共有する１つずつの他の画素トランジスタとから構成される。すなわち、共有画素では、複数の単位画素を構成するフォトダイオード及び転送トランジスタが、他の１つずつの画素トランジスタを共有して構成される。
【００１８】
周辺回路部は、垂直駆動回路４と、カラム信号処理回路５と、水平駆動回路６と、出力回路７と、制御回路８などを有して構成される。
【００１９】
制御回路８は、入力クロックと、動作モードなどを指令するデータを受け取り、また固体撮像装置の内部情報などのデータを出力する。すなわち、制御回路８では、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６などの動作の基準となるクロック信号や制御信号を生成する。そして、これらの信号を垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６等に入力する。
【００２０】
垂直駆動回路４は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素を駆動するためのパルスを供給し、行単位で画素を駆動する。すなわち、垂直駆動回路４は、画素アレイ３の各画素２を行単位で順次垂直方向に選択走査し、垂直信号線９を通して各画素２の光電変換部となる例えばフォトダイオードにおいて受光量に応じて生成した信号電荷に基づく画素信号をカラム信号処理回路５に供給する。
【００２１】
カラム信号処理回路５は、画素２の例えば列ごとに配置されており、１行分の画素２から出力される信号を画素列ごとにノイズ除去などの信号処理を行う。すなわちカラム信号処理回路５は、画素２固有の固定パターンノイズを除去するためのＣＤＳや、信号増幅、ＡＤ変換等の信号処理を行う。カラム信号処理回路５の出力段には水平選択スイッチ（図示せず）が水平信号線１０との間に接続されて設けられる。
【００２２】
水平駆動回路６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路５の各々を順番に選択し、カラム信号処理回路５の各々から画素信号を水平信号線１０に出力させる。
【００２３】
出力回路７は、カラム信号処理回路５の各々から水平信号線１０を通して順次に供給される信号に対し、信号処理を行って出力する。例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理などが行われる場合もある。入出力端子１２は、外部と信号のやりとりをする。
【００２４】
また、図２は、本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
【００２５】
図２のＡは、非積層型の固体撮像装置の概略構成例を示している。固体撮像装置23010は、図２のＡに示すように、１枚のダイ（半導体基板）23011を有する。このダイ23011には、画素がアレイ状に配置された画素領域23012と、画素の駆動その他の各種の制御を行う制御回路23013と、信号処理するためのロジック回路23014とが搭載されている。
【００２６】
図２のＢ及びＣは、積層型の固体撮像装置の概略構成例を示している。固体撮像装置23020は、図２のＢ及びＣに示すように、センサダイ23021とロジックダイ23024との2枚のダイが積層され、電気的に接続されて、１つの半導体チップとして構成されている。
【００２７】
図２のＢでは、センサダイ23021には、画素領域23012と制御回路23013が搭載され、ロジックダイ23024には、信号処理を行う信号処理回路を含むロジック回路23014が搭載されている。
【００２８】
図２のＣでは、センサダイ23021には、画素領域23012が搭載され、ロジックダイ23024には、制御回路23013及びロジック回路23014が搭載されている。
【００２９】
図３は、積層型の固体撮像装置23020の第１の構成例を示す断面図である。
【００３０】
センサダイ23021には、画素領域23012となる画素を構成するPD（フォトダイオード）や、FD（フローティングディフュージョン）、Tr（MOS FET）、及び、制御回路23013となるTr等が形成される。さらに、センサダイ23021には、複数層、本例では３層の配線23110を有する配線層23101が形成される。なお、制御回路23013（となるTr）は、センサダイ23021ではなく、ロジックダイ23024に構成することができる。
【００３１】
ロジックダイ23024には、ロジック回路23014を構成するTrが形成される。さらに、ロジックダイ23024には、複数層、本例では３層の配線23170を有する配線層23161が形成される。また、ロジックダイ23024には、内壁面に絶縁膜23172が形成された接続孔23171が形成され、接続孔23171内には、配線23170等と接続される接続導体23173が埋め込まれる。
【００３２】
センサダイ23021とロジックダイ23024とは、互いの配線層23101及び23161が向き合うように貼り合わされ、これにより、センサダイ23021とロジックダイ23024とが積層された積層型の固体撮像装置23020が構成されている。センサダイ23021とロジックダイ23024とが貼り合わされる面には、保護膜等の膜23191が形成されている。
【００３３】
センサダイ23021には、センサダイ23021の裏面側（PDに光が入射する側）（上側）からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達する接続孔23111が形成される。さらに、センサダイ23021には、接続孔23111に近接して、センサダイ23021の裏面側から１層目の配線23110に達する接続孔23121が形成される。接続孔23111の内壁面には、絶縁膜23112が形成され、接続孔23121の内壁面には、絶縁膜23122が形成される。そして、接続孔23111及び23121内には、接続導体23113及び23123がそれぞれ埋め込まれる。接続導体23113と接続導体23123とは、センサダイ23021の裏面側で電気的に接続され、これにより、センサダイ23021とロジックダイ23024とが、配線層23101、接続孔23121、接続孔23111、及び、配線層23161を介して、電気的に接続される。
【００３４】
図４は、積層型の固体撮像装置23020の第２の構成例を示す断面図である。
【００３５】
固体撮像装置23020の第２の構成例では、センサダイ23021に形成する１つの接続孔23211によって、センサダイ23021（の配線層23101（の配線23110））と、ロジックダイ23024（の配線層23161（の配線23170））とが電気的に接続される。
【００３６】
すなわち、図４では、接続孔23211が、センサダイ23021の裏面側からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達し、且つ、センサダイ23021の最上層の配線23110に達するように形成される。接続孔23211の内壁面には、絶縁膜23212が形成され、接続孔23211内には、接続導体23213が埋め込まれる。上述の図３では、２つの接続孔23111及び23121によって、センサダイ23021とロジックダイ23024とが電気的に接続されるが、図４では、１つの接続孔23211によって、センサダイ23021とロジックダイ23024とが電気的に接続される。
【００３７】
図５は、積層型の固体撮像装置23020の第３の構成例を示す断面図である。
【００３８】
図５の固体撮像装置23020は、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されていない点で、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されている図３の場合と異なる。
【００３９】
図５の固体撮像装置23020は、配線23110及び23170が直接接触するように、センサダイ23021とロジックダイ23024とを重ね合わせ、所要の加重をかけながら加熱し、配線23110及び23170を直接接合することで構成される。
【００４０】
図６は、本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す断面図である。
【００４１】
図６では、固体撮像装置23401は、センサダイ23411と、ロジックダイ23412と、メモリダイ23413との3枚のダイが積層された３層の積層構造になっている。
【００４２】
メモリダイ23413は、例えば、ロジックダイ23412で行われる信号処理において一時的に必要となるデータの記憶を行うメモリ回路を有する。
【００４３】
図６では、センサダイ23411の下に、ロジックダイ23412及びメモリダイ23413が、その順番で積層されているが、ロジックダイ23412及びメモリダイ23413は、逆順、すなわち、メモリダイ23413及びロジックダイ23412の順番で、センサダイ23411の下に積層することができる。
【００４４】
なお、図６では、センサダイ23411には、画素の光電変換部となるPDや、画素Trのソース／ドレイン領域が形成されている。
【００４５】
PDの周囲にはゲート絶縁膜を介してゲート電極が形成され、ゲート電極と対のソース／ドレイン領域により画素Tr23421、画素Tr23422が形成されている。
【００４６】
PDに隣接する画素Tr23421が転送Trであり、その画素Tr23421を構成する対のソース／ドレイン領域の一方がFDになっている。
【００４７】
また、センサダイ23411には、層間絶縁膜が形成され、層間絶縁膜には、接続孔が形成される。接続孔には、画素Tr23421、及び、画素Tr23422に接続する接続導体23431が形成されている。
【００４８】
さらに、センサダイ23411には、各接続導体23431に接続する複数層の配線23432を有する配線層23433が形成されている。
【００４９】
また、センサダイ23411の配線層23433の最下層には、外部接続用の電極となるアルミパッド23434が形成されている。すなわち、センサダイ23411では、配線23432よりもロジックダイ23412との接着面23440に近い位置にアルミパッド23434が形成されている。アルミパッド23434は、外部との信号の入出力に係る配線の一端として用いられる。
【００５０】
さらに、センサダイ23411には、ロジックダイ23412との電気的接続に用いられるコンタクト23441が形成されている。コンタクト23441は、ロジックダイ23412のコンタクト23451に接続されるとともに、センサダイ23411のアルミパッド23442にも接続されている。
【００５１】
そして、センサダイ23411には、センサダイ23411の裏面側（上側）からアルミパッド23442に達するようにパッド孔23443が形成されている。
【００５２】
本開示に係る技術は、以上のような固体撮像装置に適用することができる。
【００５３】
なお、図３〜図６を参照して説明した例において、各種配線には、例えば、銅（Ｃｕ）配線が用いられる。また、以降では、図５に示すように、互いに積層されるセンサダイ間において配線間（例えば、図５に示す配線23110及び23170間）を直接接合する構成を「Ｃｕ−Ｃｕ接合」とも称する。
【００５４】
＜１．２．機能構成＞
続いて、図７を参照して、本開示の一実施形態に係る固体撮像装置の機能構成の一例について説明する。図７は、本開示の一実施形態に係る固体撮像装置の一部の機能構成の一例を示すブロック図である。図７に示される固体撮像装置１は、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサやＣＣＤ（Charge  Coupled  Device）イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。
【００５５】
図７に示されるように、固体撮像装置１は、制御部１０１、画素アレイ部１１１、選択部１１２、Ａ／Ｄ変換部（ＡＤＣ（Analog  Digital  Converter））１１３、及び定電流回路部１１４を有する。
【００５６】
制御部１０１は、固体撮像装置１の各部を制御し、画像データ（画素信号）の読み出し等に関する処理を実行させる。
【００５７】
画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成が行列（アレイ）状に配置される画素領域である。画素アレイ部１１１は、制御部１０１に制御されて、各画素で被写体の光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、各画素に蓄積された電荷を画素信号として出力する。
【００５８】
画素１２１および画素１２２は、その画素アレイ部１１１に配置される画素群の中の、上下に隣接する２画素を示している。画素１２１および画素１２２は、互いに同じカラム（列）の連続する行の画素である。図７の例の場合、画素１２１および画素１２２に示されるように、各画素の回路には、光電変換素子並びに４つのトランジスタが用いられている。なお、各画素の回路の構成は、任意であり、図７に示される例以外であってもよい。
【００５９】
一般的な画素アレイには、カラム（列）毎に、画素信号の出力線が設けられる。画素アレイ部１１１の場合、１カラム（列）毎に、２本（２系統）の出力線が設けられる。１カラムの画素の回路は、１行おきに、この２本の出力線に交互に接続される。例えば、上から奇数番目の行の画素の回路が一方の出力線に接続され、偶数番目の行の画素の回路が他方の出力線に接続される。図７の例の場合、画素１２１の回路は、第１の出力線（ＶＳＬ１）に接続され、画素１２２の回路は、第２の出力線（ＶＳＬ２）に接続される。
【００６０】
なお、図７においては、説明の便宜上、１カラム分の出力線のみ示されているが、実際には、各カラムに対して、同様に２本ずつ出力線が設けられる。各出力線には、そのカラムの画素の回路が１行おきに接続される。
【００６１】
選択部１１２は、画素アレイ部１１１の各出力線をＡＤＣ１１３の入力に接続するスイッチを有し、制御部１０１に制御されて、画素アレイ部１１１とＡＤＣ１１３との接続を制御する。つまり、画素アレイ部１１１から読み出された画素信号は、この選択部１１２を介してＡＤＣ１１３に供給される。
【００６２】
選択部１１２は、スイッチ１３１、スイッチ１３２、およびスイッチ１３３を有する。スイッチ１３１（選択SW）は、互いに同じカラムに対応する２本の出力線の接続を制御する。例えば、スイッチ１３１がオン（ＯＮ）状態になると、第１の出力線（ＶＳＬ１）と第２の出力線（ＶＳＬ２）が接続され、オフ（ＯＦＦ）状態になると切断される。
【００６３】
詳細については後述するが、固体撮像装置１においては、各出力線に対してＡＤＣが１つずつ設けられている（カラムＡＤＣ）。したがって、スイッチ１３２およびスイッチ１３３がともにオン状態であるとすると、スイッチ１３１がオン状態になれば、同カラムの２本の出力線が接続されるので、１画素の回路が２つのＡＤＣに接続されることになる。逆に、スイッチ１３１がオフ状態になると、同カラムの２本の出力線が切断されて、１画素の回路が１つのＡＤＣに接続されることになる。つまり、スイッチ１３１は、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を選択する。
【００６４】
詳細については後述するが、このようにスイッチ１３１が画素信号の出力先とするＡＤＣの数を制御することにより、固体撮像装置１は、そのＡＤＣの数に応じてより多様な画素信号を出力することができる。つまり、固体撮像装置１は、より多様なデータ出力を実現することができる。
【００６５】
スイッチ１３２は、画素１２１に対応する第１の出力線（ＶＳＬ１）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３２がオン（ＯＮ）状態になると、第１の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。
【００６６】
スイッチ１３３は、画素１２２に対応する第２の出力線（ＶＳＬ２）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３３がオン（ＯＮ）状態になると、第２の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。
【００６７】
選択部１１２は、制御部１０１の制御に従って、このようなスイッチ１３１〜スイッチ１３３の状態を切り替えることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を制御することができる。
【００６８】
なお、スイッチ１３２やスイッチ１３３（いずれか一方もしくは両方）を省略し、各出力線と、その出力線に対応するＡＤＣとを常時接続するようにしてもよい。ただし、これらのスイッチによって、これらの接続・切断を制御することができるようにすることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数の選択の幅が拡がる。つまり、これらのスイッチを設けることにより、固体撮像装置１は、より多様な画素信号を出力することができる。
【００６９】
なお、図７においては、１カラム分の出力線に対する構成のみ示されているが、実際には、選択部１１２は、カラム毎に、図７に示されるのと同様の構成（スイッチ１３１〜スイッチ１３３）を有している。つまり、選択部１１２は、各カラムについて、制御部１０１の制御に従って、上述したのと同様の接続制御を行う。
【００７０】
ＡＤＣ１１３は、画素アレイ部１１１から各出力線を介して供給される画素信号を、それぞれＡ／Ｄ変換し、デジタルデータとして出力する。ＡＤＣ１１３は、画素アレイ部１１１からの出力線毎のＡＤＣ（カラムＡＤＣ）を有する。つまり、ＡＤＣ１１３は、複数のカラムＡＤＣを有する。１出力線に対応するカラムＡＤＣは、比較器、Ｄ／Ａ変換器（ＤＡＣ）、およびカウンタを有するシングルスロープ型のＡＤＣである。
【００７１】
比較器は、そのDAC出力と画素信号の信号値とを比較する。カウンタは、画素信号とＤＡＣ出力が等しくなるまで、カウント値（デジタル値）をインクリメントする。比較器は、ＤＡＣ出力が信号値に達すると、カウンタを停止する。その後カウンタ１，２によってデジタル化された信号をＤＡＴＡ１およびＤＡＴＡ２より固体撮像装置１の外部に出力する。
【００７２】
カウンタは、次のＡ／Ｄ変換のためデータ出力後、カウント値を初期値（例えば０）に戻す。
【００７３】
ＡＤＣ１１３は、各カラムに対して２系統のカラムＡＤＣを有する。例えば、第１の出力線（ＶＳＬ１）に対して、比較器１４１（ＣＯＭＰ１）、ＤＡＣ１４２（ＤＡＣ1）、およびカウンタ１４３（カウンタ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、比較器１５１（ＣＯＭＰ２）、ＤＡＣ１５２（ＤＡＣ2）、およびカウンタ１５３（カウンタ２）が設けられている。図示は省略しているが、ＡＤＣ１１３は、他のカラムの出力線に対しても同様の構成を有する。
【００７４】
ただし、これらの構成の内、ＤＡＣは、共通化することができる。ＤＡＣの共通化は、系統毎に行われる。つまり、各カラムの互いに同じ系統のＤＡＣが共通化される。図７の例の場合、各カラムの第１の出力線（ＶＳＬ１）に対応するＤＡＣがＤＡＣ１４２として共通化され、各カラムの第２の出力線（ＶＳＬ２）に対応するＤＡＣがＤＡＣ１５２として共通化されている。なお、比較器とカウンタは、各出力線の系統毎に設けられる。
【００７５】
定電流回路部１１４は、各出力線に接続される定電流回路であり、制御部１０１により制御されて駆動する。定電流回路部１１４の回路は、例えば、ＭＯＳ（Metal  Oxide  Semiconductor）トランジスタ等により構成される。この回路構成は任意であるが、図７においては、説明の便宜上、第１の出力線（ＶＳＬ１）に対して、ＭＯＳトランジスタ１６１（ＬＯＡＤ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、ＭＯＳトランジスタ１６２（ＬＯＡＤ２）が設けられている。
【００７６】
制御部１０１は、例えばユーザ等の外部から要求を受け付けて読み出しモードを選択し、選択部１１２を制御して、出力線に対する接続を制御する。また、制御部１０１は、選択した読み出しモードに応じて、カラムＡＤＣの駆動を制御したりする。さらに、制御部１０１は、カラムＡＤＣ以外にも、必要に応じて、定電流回路部１１４の駆動を制御したり、例えば、読み出しのレートやタイミング等、画素アレイ部１１１の駆動を制御したりする。
【００７７】
つまり、制御部１０１は、選択部１１２の制御だけでなく、選択部１１２以外の各部も、より多様なモードで動作させることができる。したがって、固体撮像装置１は、より多様な画素信号を出力することができる。
【００７８】
なお、図７に示す各部の数は、不足しない限り任意である。例えば、各カラムに対して、出力線が３系統以上設けられるようにしてもよい。また、図７に示した、ＡＤＣ１３２から出力される画素信号の並列数や、ＡＤＣ１３２自体の数を増やすことで、外部に並列して出力される画素信号の数を増やしてもよい。
【００７９】
以上、図７を参照して、本開示の一実施形態に係る固体撮像装置の機能構成の一例について説明した。
【００８０】
＜１．３．単位画素の回路構成＞
続いて、図８を参照して、単位画素の回路構成の一例について説明する。図８は、本開示の一実施形態に係る単位画素の回路構成の一例を示した図である。図８に示すように、本開示の一実施形態に係る単位画素１２１は、光電変換部、例えばフォトダイオードＰＤと、４つの画素トランジスタとを含む。４つの画素トランジスタは、例えば、転送トランジスタＴｒ１１、リセットトランジスタＴｒ１２、増幅トランジスタＴｒ１３、及び選択トランジスタＴｒ１４である。これらの画素トランジスタは、例えば、ｎチャネルのＭＯＳトランジスタにより構成され得る。
【００８１】
転送トランジスタＴｒ１１は、フォトダイオードＰＤのカソードとフローティングディフュージョン部ＦＤとの間に接続される。フォトダイオードＰＤで光電変換され、ここに蓄積された信号電荷（ここでは、電子）を、ゲートに転送パルスφＴＲＧが与えられることによってフローティングディフュージョン部ＦＤに転送する。なお、参照符号Ｃｆｄは、フローティングディフュージョン部ＦＤの寄生容量を模式的に示している。
【００８２】
リセットトランジスタＴｒ１２は、電源ＶＤＤにドレインが、フローティングディフュージョン部ＦＤにソースがそれぞれ接続される。そして、フォトダイオードＰＤからフローティングディフュージョン部ＦＤへの信号電荷の転送に先立って、ゲートにリセットパルスφＲＳＴが与えられることによってフローティングディフュージョン部ＦＤの電位をリセットする。
【００８３】
増幅トランジスタＴｒ１３は、フローティングディフュージョン部ＦＤにゲートが、電源ＶＤＤにドレインが、選択トランジスタＴｒ１４のドレインにソースがそれぞれ接続される。増幅トランジスタＴｒ１３は、リセットトランジスタＴｒ１２によってリセットした後のフローティングディフュージョン部ＦＤの電位をリセットレベルとして選択トランジスタＴｒ１４に出力する。さらに増幅トランジスタＴｒ１３は、転送トランジスタＴｒ１１によって信号電荷を転送した後のフローティングディフュージョン部ＦＤの電位を信号レベルとして選択トランジスタＴｒ１４に出力する。
【００８４】
選択トランジスタＴｒ１４は、例えば、増幅トランジスタＴｒ１３のソースにドレインが、垂直信号線９にソースがそれぞれ接続される。そして選択トランジスタＴｒ１４のゲートに選択パルスφＳＥＬが与えられることによってオン状態となり、増幅トランジスタＴｒ１３から出力される信号を垂直信号線９に出力する。なお、この選択トランジスタＴｒ１４については、電源ＶＤＤと増幅トランジスタＴｒ１３のドレインとの間に接続した構成を採ることも可能である。
【００８５】
なお、本実施形態に係る固体撮像装置１を、積層型の固体撮像装置として構成する場合には、例えば、フォトダイオード及び複数のＭＯＳトランジスタ等の素子が、図２のＢまたはＣにおけるセンサダイ23021に形成される。また、転送パルス、リセットパルス、選択パルス、電源電圧は、図２のＢまたはＣにおけるロジックダイ23024から供給される。また、選択トランジスタのドレインに接続される垂直信号線９から後段の素子は、選択トランジスタのドレインに接続される垂直信号線９から後段の素子は、ロジック回路23014に構成されており、ロジックダイ23024に形成される。
【００８６】
以上、図８を参照して、単位画素の回路構成の一例について説明した。
【００８７】
＜＜２．故障検出に関する検討＞＞
次いで、固体撮像装置における故障検出について概要を説明したうえで、本開示の一実施形態に係る固体撮像装置の技術的課題について整理する。
【００８８】
車両等のような動作に対してより高い信頼性を求められる装置においては、フェールセーフ等の機能安全（Functional  Safety）を実現するために、一部のユニットに対して何らかの障害が発生した場合に、当該障害の発生を検出するための仕組みが求められる場合がある。例えば、車載電子システム向けの機能安全規格として、ＩＳＯ２６２６２が挙げられる。ＩＳＯ２６２６２では、車載電子システム、即ち、車両に搭載される電気／電子機器や、コンピュータ（ソフトウェアを含む）が対象となる。即ち、固体撮像装置が車両に搭載される場合には、当該固体撮像装置についてもＩＳＯ２６２６２の規格への準拠が求められる場合がある。
【００８９】
上記機能安全を実現するための機構（以下、「安全機構」とも称する）は、機能に応じて設ける必要があり、画素信号に対する信号処理を実現するための信号処理回路（信号処理部）については、例えば、ランタイムでの故障検出の実現が望まれている。一方で、画素信号に対して適用される信号処理については、例えば、被写体の明るさや色温度に応じて、ホワイトバランス調整ゲインやデジタルゲインの設定値が変化する等のように、当該信号処理のために設定値が任意に設定されることがある。そのため、このような状況下においても、信号処理に異常（例えば、障害）が生じた場合に、当該異常を検出可能とする仕組みが求められている。
【００９０】
ここで、比較例１として、固体撮像装置における信号処理回路の故障を検出するための技術の一例について説明する。例えば、図９〜図１１は、比較例１に係る固体撮像装置における信号処理回路の故障検出のための技術の一例について概要を説明するための説明図である。
【００９１】
具体的には、図９は、比較例１に係る固体撮像装置においてフレームごとに生成されるフレームデータのデータ構造の一例を示している。図９に示すように、比較例１に係るフレームデータＤ９００は、有効データ領域Ｄ９１０と、テストデータ領域Ｄ９２０とを含む。有効データ領域Ｄ９１０は、有効データが関連付けられる（例えば、格納される）領域である。有効データとは、各画素（有効画素）の受光結果に応じた画素信号に対して所望の信号処理が施されたデータに相当する。図９に示すように、比較例１に係るフレームデータＤ９００は、当該フレームデータＤ９００が時系列に沿って順次読み出される際に、有効データ領域Ｄ９１０及びテストデータ領域Ｄ９２０それぞれに関連付けられたデータが、この順序で読み出されるように生成される。即ち、フレームデータＤ９００では、有効データ領域Ｄ９１０の後段にテストデータ領域Ｄ９２０が設けられる。
【００９２】
次いで、テストデータ領域Ｄ９２０に関連付けられるデータ（以下、「テストデータ」とも称する）の一例と、当該テストデータを用いた信号処理回路の故障検出の方法の一例とについてそれぞれ説明する。
【００９３】
例えば、図１０は、比較例１に係る固体撮像装置における、信号処理回路の故障検出のためのテストデータの一例について説明するための説明図であり、テストデータ領域Ｄ９２０に関連付けられるテストデータの一例を示している。図１０に記載のテストデータでは、互いに同じ値を有する２つのデータを１つの組として関連付け、当該組を１以上有するように設定される。例えば、図１０に示す例では、行列状に複数のデータが配設されており、互いに隣り合う２列のデータ（即ち、１行２列のデータ）を１つの組として関連付けられている。また、図１０に示す例では、複数の組それぞれについてデータの値がランダムに設定されるように、一連のテストデータが生成されている。なお、テストデータの生成方法については特に限定されない。例えば、図１０に示すようなテストデータ（テストパターン）を生成するための生成回路が別途設けられていてもよい。このようなデータ構成を基に、組ごとに各データが読み出され、当該データを利用して信号処理回路の故障検出が行われる。
【００９４】
例えば、図１１は、比較例１に係る固体撮像装置における、信号処理回路の故障検出の仕組みについて概要を説明するための説明図である。比較例１に係る固体撮像装置では、信号処理回路が多相化されていることを前提としている。例えば、図１１に示す例では、信号処理のための処理ブロックとしてＣｈ０及びＣｈ１が設けられている。処理ブロックＣｈ０及びＣｈ１のそれぞれは、入力されるデータに対して同じ信号処理を互いに独立して適用する。例えば、図１１に示す例では、処理ブロックＣｈ０及びＣｈ１のそれぞれは、入力されるデータ（換言すると、信号）に対して、「処理１」及び「処理２」として示される信号処理をこの順序で、互いに独立して適用している。そのため、処理ブロックＣｈ０及びＣｈ１のそれぞれに対して同じデータが入力された場合には、処理ブロックＣｈ０及びＣｈ１のうち少なくともいずれかに異常が生じていなければ、当該処理ブロックＣｈ０及びＣｈ１それぞれの出力は一致することとなる。
【００９５】
上述のような特性を利用し、図１１に示す例では、図１０に示したテストデータから組ごとに各データが読み出され、当該組として関連付けられた２つのデータがそれぞれ処理ブロックＣｈ０及びＣｈ１に入力される。そして、処理ブロックＣｈ０及びＣｈ１それぞれから出力されるデータ（即ち、信号処理後のデータ）の比較が行われ、比較結果が一致しない場合に、処理ブロックＣｈ０及びＣｈ１のうち少なくともいずれかが故障しているものと判定される。以上のような構成とすることで、例えば、処理ブロックＣｈ０及びＣｈ１それぞれが入力されるデータに対して施す信号処理の設定値を任意に変更した場合においても、当該処理ブロックＣｈ０及びＣｈ１のうち少なくともいずれかが故障しているか否かを判定することが可能となる。
【００９６】
一方で、図９〜図１１を参照して上述した故障検出の手法は、多相化された信号処理回路に対して適用可能な手法である。そのため、単相構成の信号処理回路においては、当該信号処理回路に故障が生じたとしても、当該故障の有無を判定することが困難である。
【００９７】
例えば、図１２は、単相構成の信号処理回路による信号処理の一例について説明するための説明図である。図１２に示す例では、信号処理のための処理ブロックが１つのみである。このような構成のため、図１２に示す例では、信号処理後のデータが正しい結果か否か（即ち、処理ブロックが故障しているか否か）を判定するための対象が存在しない。そのため、入力されるデータに対して施す信号処理の設定値が任意に変更可能であることを前提とした場合には、信号処理の結果が、設定値の変更に起因するものか、処理ブロックの故障に起因するものかを判断することが困難である。このような背景から、例えば、動作周波数が低く単相で動作可能な信号処理回路に、図９〜図１１を参照して上述した故障検出の手法を適用する場合には、故障検出のために多相化を行う必要が生じ、回路規模の増大や消費電力の増大の一因となり得る。
【００９８】
また、多層化された信号処理回路においても、各処理ブロックの動作が独立していない場合も想定され得る。例えば、図１３及び図１４は、多層化された信号処理回路による信号処理の一例について説明するための説明図であり、各処理ブロックの動作が独立していない場合の一例について示している。具体的には、図１３及び図１４は、隣接画素を参照してフィルタ処理が行われる場合の一例を示している。
【００９９】
より具体的には、図１３及び図１４に示す例では、多相化された信号処理回路の各信号処理ブロックにおいて、互いに隣接する２つのデータ（換言すると、隣接する２画素に対応するデータ）を加算する処理が施される。この場合には、例えば、図１３に示すように、互いに隣接する１列目及び２列目のデータと２列目及び３列目のデータとが故障検出のために読み出され、図１４に示すように、読み出された各データが、処理ブロックＣｈ０及びＣｈ１にそれぞれ入力される。このとき、図１３に示すように、１列目及び２列目のデータそれぞれと３列目のデータとが異なる場合には、処理ブロックＣｈ０及びＣｈ１それぞれへの入力データが異なることとなり、信号処理回路の故障の有無に関わらず、処理ブロックＣｈ０及びＣｈ１それぞれの結果が異なることとなる。即ち、図１３及び図１４に示すように、多層化された信号処理回路においても、各処理ブロックの動作が独立していない場合には、比較例１として上述した故障検出の手法では、信号処理回路の故障の有無を判定することが困難となる場合がある。
【０１００】
以上のような状況を鑑み、本開示の一実施形態では、画素信号に対して適用される信号処理に異常が発生した場合（即ち、固体撮像装置の信号処理回路に故障が生じた場合）に、当該異常の発生を検出可能とする技術の一例について提案する。特に、本開示においては、図１２に示すように単相の信号処理回路が適用される場合や、図１３及び図１４に示すように多相化された信号処理回路において各信号処理ブロックの動作が独立していない場合においても、当該信号処理回路の故障の有無を判定可能とする技術について提案する。
【０１０１】
＜＜３．技術的特長＞＞
続いて、本開示の一実施形態に係る固体撮像装置の技術的特徴について以下に説明する。
【０１０２】
＜３．１．機能構成＞
まず、本開示の一実施形態に係る固体撮像装置の機能構成の一例について、特に、各画素から出力される画素信号に対して信号処理を施す部分と、当該信号処理の異常の検出に係る部分とに着目して説明する。例えば、図１５は、本開示の一実施形態に係る固体撮像装置の機能構成の一例を示したブロック図であり、画素信号に対して信号処理が施される部分に着目して構成の一例を示している。図１５に示す固体撮像装置２００は、例えば、図１や図７を参照して説明した固体撮像装置１に相当する。
【０１０３】
図１５に示すように、固体撮像装置２００は、画素２０１と、ＡＤ変換部２０３と、テストデータ生成部２０５と、信号処理部２０７と、フレームデータ生成部２０９と、出力処理部２１１とを含む。また、固体撮像装置２００は、診断部２１３を含んでもよい。
【０１０４】
画素２０１は、図７に示す例における画素１２１や画素１２２に相当する。また、ＡＤ変換部２０３は、図７に示す例におえるＡＤＣ１１３に相当する。なお、図１５に示す固体撮像装置２００においても、図１及び図７に示す例と同様に、複数の画素２０１が２次元アレイ状に配設されることで画素アレイを形成し得る。しかしながら、図１５では、画素信号に対する信号処理の異常の検出に係る技術の特徴がよりわかりやすくなるように、複数の画素を１つの機能ブロックとして示すように、固体撮像装置２００の機能構成を模式化（単純化）して示している。
【０１０５】
テストデータ生成部２０５は、後述する信号処理部２０７の故障の有無（即ち、信号処理部２０７により実行される信号処理に異常が生じているか否か）を判定するためのテスト用の入力データを生成する。なお、詳細は後述するが、本実施形態に係る固体撮像装置２００において、信号処理部２０７の故障の有無の判定は、上記テスト用の入力データに対して信号処理部２０７により信号処理が施されることで生成されるテスト用の出力データに基づき行われる。そこで、以降の説明では、便宜上、テストデータ生成部２０５により生成されるテスト用の入力データを、単に「入力データ」とも称し、当該入力データに対して信号処理部２０７による信号処理が施されたテスト用の出力データを、「テストデータ」とも称する。そのため、以降の説明においては、単に「入力データ」と記載した場合には、特に説明が無い限りは上記したテスト用の入力データを示すものとする。また、単に「テストデータ」と記載した場合には、特に説明が無い限りは上記したテスト用の出力データ（即ち、信号処理後の上記入力データ）を示すものとする。
【０１０６】
信号処理部２０７は、入力されるデジタル信号（デジタルデータ）に対してフィルタ処理等の各種信号処理を施し、信号処理後の当該デジタル信号を後段に位置する出力処理部２１１に出力する。具体的には、信号処理部２０７には、フレームごとに、テストデータ生成部２０５により生成されたテスト用の入力データと、画素２０１ごとに出力されたアナログの画素信号がＡＤ変換部２０３によりＡＤ変換されたデジタルの画素信号とがこの順序で入力される。信号処理部２０７は、以降に画素信号に対して適用する各種信号処理を、入力データに対して同様に施す。また、信号処理部２０７は、画素２０１ごとの画素信号（デジタル信号）に対して上記各種信号処理を施す。なお、以降の説明では、便宜上、画素信号（即ち、画素ごとのデータ）に対して信号処理部２０７により信号処理が施されたデータを「有効データ」とも称する。
【０１０７】
信号処理部２０７は、フレームごとに生成する上記テストデータとして、現フレームに対応するテストデータと、現フレームよりも前のフレーム（以降では、単に「前のフレーム」とも称し、例えば、直前のフレームが挙げられる）に対応するテストデータとを生成する。現フレームに対応するテストデータは、現フレームにおいて画素信号に適用される、当該フレームに対応する設定に応じた信号処理を入力データに対して同様に適用することで生成される。また、前のフレームに対応するテストデータは、前のフレームにおいて画素信号に適用される、当該フレームに対応する設定に応じた信号処理を入力データに対して同様に適用することで生成される。
【０１０８】
そして、信号処理部２０７は、フレームごとに生成したテストデータ（即ち、現フレーム及び前のフレームそれぞれに対応するテストデータ）と有効データとを、後段に位置するフレームデータ生成部２０９に出力する。なお、信号処理部２０７が、故障の有無の診断の対象となる「信号処理部」の一例に相当する。
【０１０９】
フレームデータ生成部２０９は、フレームごとに生成されたテストデータ（即ち、現フレーム及び前のフレームそれぞれに対応するテストデータ）と有効データとを関連付けることで、当該フレームに対応するフレームデータを生成する。そして、フレームデータ生成部２０９は、フレームごとに生成したフレームデータを、後段に位置する出力処理部２１１に出力する。なお、フレームデータ生成部２０９が、フレームデータを生成する「データ生成部」の一例に相当する。
【０１１０】
出力処理部２１１は、固体撮像装置２００が画像信号を出力するための出力インタフェースを模式的に示している。即ち、出力処理部２１１は、一連のフレームそれぞれについて生成されたフレームデータを、一連の画像信号として所定の出力先に出力する。
【０１１１】
診断部２１３は、信号処理部２０７によりフレームごとに生成されたテストデータ（即ち、現フレーム及び前のフレームそれぞれに対応するテストデータ）に基づき、当該信号処理部２０７により実行される上記信号処理に異常が生じているか否か（即ち、信号処理部２０７の故障の有無）を診断する。
【０１１２】
なお、本開示の一実施形態に係る固体撮像装置２００においては、上記テストデータの生成に係る処理、当該テストデータを含むフレームデータの構成、及び当該テストデータに基づく信号処理部２０７の故障の有無の診断方法（判定方法）に特徴を有する。そのため、これらの詳細については、本開示の一実施形態に係る故障診断の一例として、詳細を別途後述する。
【０１１３】
また、図１５を参照して説明した構成はあくまで一例であり、必ずしも本実施形態に係る固体撮像装置２００の機能構成を限定するものではない。例えば、図１５に示す固体撮像装置２００の各構成のうち、一部の構成が当該固体撮像装置２００の外部に設けられていてもよい。具体的な一例として、診断部２１３が固体撮像装置２００の外部に設けられていてもよい。なお、この場合には、診断部２１３は、固体撮像装置２００からフレームごとに出力されるフレームデータからテストデータを抽出し、当該テストデータに基づき上記診断を行えばよい。また、ＡＤ変換されたデジタル画素信号に対して信号処理を施しフレームデータを生成する信号処理部２０７及びフレームデータ生成部２０９が、固体撮像装置２００の外部に設けられていてもよい。また、この場合には、テストデータ生成部２０５についても固体撮像装置２００の外部に設けられていてもよい。また、一部の構成（例えば、信号処理部２０７、フレームデータ生成部２０９等）が、複数の電子機器や複数の装置が連携して動作することで実現されてもよい。なお、信号処理部２０７及びフレームデータ生成部２０９に相当する部分（即ち、ＡＤ変換されたデジタル画素信号に対して信号処理を施しフレームデータを生成する部分）が、「信号処理装置」の一例に相当する。
【０１１４】
また、図２を参照して前述したように、固体撮像装置２００が積層型の固体撮像装置として構成されていてもよい。この場合には、固体撮像装置２００における信号処理装置に相当する部分（例えば、信号処理部２０７及びフレームデータ生成部２０９）は、画素２０１が配設される半導体基板（例えば、センサダイ23021）とは異なる他の半導体基板（例えば、ロジックダイ23024）に、ロジック回路（例えば、ロジック回路23014）として実装され得る。なお、この場合には、画素２０１が配設される半導体基板が「第１の半導体基板」の一例に相当し、上記信号処理装置に相当する部分がロジック回路として実装される半導体基板が「第２の半導体基板」の一例に相当する。即ち、第２の半導体基板は、第１の半導体基板の光入射面の反対側に位置することとなる。
【０１１５】
以上、図１５を参照して、本開示の一実施形態に係る固体撮像装置の機能構成の一例について、特に、各画素から出力される画素信号に対して信号処理を施す部分と、当該信号処理の異常の検出に係る部分とに着目して説明した。
【０１１６】
＜３．２．故障診断の詳細＞
続いて、図１６〜図１８を参照して、本開示の一実施形態に係る故障診断についてより詳細に説明する。
【０１１７】
（フレームデータの構造）
まず、図１６を参照して、本実施形態に係る固体撮像装置２００においてフレームごとに生成されるフレームデータのデータ構造の一例について説明する。図１６は、本実施形態に係る固体撮像装置においてフレームごとに生成されるフレームデータのデータ構造の一例について示した図である。図１６に示すように、本実施形態に係るフレームデータＤ１００は、第１のテストデータ領域Ｄ１１０と、第２のテストデータ領域Ｄ１２０と、有効データ領域Ｄ１３０とを含む。有効データ領域Ｄ１３０は、有効データが関連付けられる（例えば、格納される）領域であり、図９を参照して説明したフレームデータＤ９００における有効データ領域Ｄ９１０に相当する。
【０１１８】
第１のテストデータ領域Ｄ１１０及び第２のテストデータ領域Ｄ１２０それぞれには、入力データに対して有効データと同様に画像処理を適用することで生成されるテストデータが関連付けられる。具体的には、第１のテストデータ領域Ｄ１１０には、入力データに対して現フレームに対応する設定に応じた信号処理を施すことで生成されるテストデータ（即ち、現フレームに対応するテストデータ）が関連付けられる。また、第２のテストデータ領域Ｄ１２９には、入力データに対して前のフレームに対応する設定に応じた信号処理を施すことで生成されるテストデータ（即ち、前のフレームに対応するテストデータ）が関連付けられる。
【０１１９】
また、フレームデータＤ１００は、当該フレームデータＤ１００が時系列に沿って順次読み出される際に、第１のテストデータ領域Ｄ１１０、第２のテストデータ領域Ｄ１２０、及び有効データ領域Ｄ１３０それぞれに関連付けられたデータが、この順序で読み出されるように生成される。なお、第１のテストデータ領域Ｄ１１０、第２のテストデータ領域Ｄ１２０、及び有効データ領域Ｄ１３０がそれぞれ、「第１の領域」、「第２の領域」、及び「第３の領域」の一例に相当する。
【０１２０】
（処理の流れ）
続いて、図１７を参照して、フレームごとのフレームデータの生成に係る処理と、当該フレームデータに関連付けられたテストデータに基づく故障診断（即ち、信号処理部２０７の故障の有無の診断）に係る処理と、についてそれぞれ説明する。図１７は、本実施形態に係る故障診断の概要について説明するためのタイムチャートであり、フレームデータの生成に係る処理と、当該故障診断に係る処理と、を含む一連の処理の流れの一例について概要を示している。図１７において、横方向は時間軸に相当する。ＸＶＳ及びＶＬＰはそれぞれ同期信号を示しており、これらの同期信号に同期したフレーム単位で、各画素からの画素信号の読み出しや、当該画素信号に基づくフレームデータの生成等の処理が実行される。なお、図１７において、「Ｆｒａｍｅ１」、「Ｆｒａｍｅ２」、及び「Ｆｒａｍｅ３」は、それぞれが上記フレームを示している。
【０１２１】
また、図１７において、「ＲＥＧ１」、「ＲＥＧ２」、及び「ＲＥＧ３」は、それぞれ「Ｆｒａｍｅ１」、「Ｆｒａｍｅ２」、及び「Ｆｒａｍｅ３」における画素信号に対する信号処理に適用される設定値を模式的に示している。図１７に示す例では、フレームごとに、画素信号に対する信号処理や、テスト用の入力データに対する信号処理に適用される設定値として、２種類の設定値が互いに異なるレジスタに保持されて利用される。具体的には、２種類のレジスタとして、現フレームにおいて画素信号に対する信号処理に適用される設定値（適用値）が保持されるレジスタＲＥＧと、前のフレームにおいて画素信号に対する信号処理に適用された設定値（保持値）が保持されるレジスタＲＥＧ＿ＳＭとが設けられている。
【０１２２】
具体的な一例として、「Ｆｒａｍｅ２」においては、レジスタＲＥＧには、現フレームにおいて画素信号に対する信号処理に適用される設定値（適用値）として「ＲＥＧ２」が保持される。また、レジスタＲＥＧ＿ＳＭには、「Ｆｒａｍｅ２」の前のフレームである「Ｆｒａｍｅ１」において画素信号に対する信号処理に適用された設定値（保持値）として「ＲＥＧ１」が保持される。なお、前のフレームが存在しないフレームにおいては、レジスタＲＥＧ＿ＳＭには、設定値（保持値）が保持されていなくてもよい。
【０１２３】
以上のような構成の基で、フレームごとに、フレームデータの生成に係る処理や、当該フレームデータに関連付けられたテストデータに基づく故障検出に係る処理が実行される。
【０１２４】
例えば、「Ｆｒａｍｅ１」では、「Ｆｒａｍｅ１」に対応する設定値である「ＲＥＧ１」に関する情報がレジスタＲＥＧに保持される。その上で、「Ｆｒａｍｅ１」に対応するフレームデータの生成に係る処理が実行される。
【０１２５】
具体的には、まず、レジスタＲＥＧに保持された設定値「ＲＥＧ１」に応じた信号処理が、テスト用の入力データに対して適用されることで、現フレームに対応するテストデータＤ１１１が生成される。次いで、レジスタＲＥＧに保持された設定値「ＲＥＧ１」に応じた信号処理が、「Ｆｒａｍｅ１」で読み出された画素信号に対して適用されることで、現フレームに対応する有効データＤ１３１が生成される。そして、テストデータＤ１１１及び有効データＤ１３１に基づき、「Ｆｒａｍｅ１」に対応するフレームデータＤ１０１が生成される。具体的には、フレームデータＤ１０１の第１のテストデータ領域及び有効データ領域に対して、テストデータＤ１１１及び有効データＤ１３１がそれぞれ関連付けられる。即ち、フレームデータＤ１０１が時系列に沿って順次読み出された場合に、テストデータＤ１１１及び有効データＤ１３１がこの順序で読み出されることとなる。
【０１２６】
また、「Ｆｒａｍｅ１」で生成されたテストデータＤ１１１は、所定の記憶領域（以下、「記憶領域ＳＲＡＭ１」とも称する）に一時的に保持される。当該記憶領域に保持されたテストデータＤ１１１が、後の「Ｆｒａｍｅ２」において同様の条件で生成される他のテストデータ（後述する、テストデータＤ１２２）と比較されることとなる。なお、テストデータを一時的に保持するための記憶領域の構成は特に限定されない。即ち、当該記憶領域としてＳＲＡＭ（Static  Random  Access  Memory）が使用されてもよいし、レジスタが使用されてもよい。
【０１２７】
続いて、「Ｆｒａｍｅ２」について説明する。まず、従前の「Ｆｒａｍｅ１」でレジスタＲＥＧに保持されていた「ＲＥＧ１」に関する情報が、レジスタＲＥＧ＿ＳＭに保持される。その上で、上記レジスタＲＥＧには、「Ｆｒａｍｅ２」に対応する設定値である「ＲＥＧ２」に関する情報が保持される。そして、「Ｆｒａｍｅ２」に対応するフレームデータの生成に係る処理が実行される。
【０１２８】
具体的には、まず、レジスタＲＥＧに保持された設定値「ＲＥＧ２」に応じた信号処理が、テスト用の入力データに対して適用されることで、現フレームに対応するテストデータＤ１１２が生成される。次いで、レジスタＲＥＧ＿ＳＭに保持された設定値「ＲＥＧ１」に応じた信号処理が、当該入力データに対して適用されることで、前のフレームに対応するテストデータＤ１２２が生成される。次いで、レジスタＲＥＧに保持された設定値「ＲＥＧ２」に応じた信号処理が、「Ｆｒａｍｅ２」で読み出された画素信号に対して適用されることで、現フレームに対応する有効データＤ１３２が生成される。そして、テストデータＤ１１２、テストデータＤ１２２、及び有効データＤ１３２に基づき、「Ｆｒａｍｅ２」に対応するフレームデータＤ１０２が生成される。具体的には、フレームデータＤ１０２の第１のテストデータ領域、第２のテストデータ領域、及び有効データ領域に対して、テストデータＤ１１２、テストデータＤ１２２、及び有効データＤ１３２がそれぞれ関連付けられる。即ち、フレームデータＤ１０２が時系列に沿って順次読み出された場合に、テストデータＤ１１２、テストデータＤ１２２、及び有効データＤ１３２がこの順序で読み出されることとなる。
【０１２９】
また、「Ｆｒａｍｅ２」で生成されたテストデータＤ１１２は、記憶領域ＳＲＡＭ１とは異なる他の記憶領域（以下、「記憶領域ＳＲＡＭ２」とも称する）に一時的に保持される。
【０１３０】
次いで、「Ｆｒａｍｅ２」において、フレームデータＤ１０１及びＤ１０２それぞれに保持された、設定値「ＲＥＧ１」に応じた信号処理に基づき生成されたテストデータを基に、当該信号処理に異常が生じているか否か（即ち、信号処理部２０７の故障の有無）が診断される。具体的には、従前の「Ｆｒａｍｅ１」において記憶領域ＳＲＡＭ１に一時的に保持されたテストデータＤ１１１と、「Ｆｒａｍｅ２」で生成されたテストデータＤ１２２とが比較される。このとき、信号処理に異常が生じていない場合には、テストデータＤ１１１とテストデータＤ１２２との比較結果は一致することとなる。
【０１３１】
一方で、テストデータＤ１１１が生成されたタイミングからテストデータＤ１２２が生成されたタイミングまでの期間において上記信号処理に何らかの異常が生じた場合には、当該テストデータＤ１１１と当該テストデータＤ１２２との比較結果は一致しないこととなる。即ち、この場合には、当該期間中、即ち、テストデータＤ１１１、有効データＤ１３１、テストデータＤ１１２、及び当該テストデータＤ１２２が生成された期間中のいずれかのタイミングにおいて、信号処理に異常が生じた（換言すると、信号処理部２０７の故障が発生した）ことが推定される。
【０１３２】
以上のような特性を利用することで、テストデータＤ１１１が生成されたタイミングからテストデータＤ１２２が生成されたタイミングまでの期間において上記信号処理に異常が生じたか否か（換言すると、信号処理部２０７の故障が発生したか否か）を診断することが可能となる。
【０１３３】
なお、上述した故障診断のための上記比較については、テストデータＤ１１１及びテストデータＤ１２２として同じデータが得られているか否かを判定できれば、その方法は特に限定されない。具体的な一例として、テストデータ自体が比較の対象となってもよいし、各テストデータから算出された符号（例えば、パリティやチェックサム、ＣＲＣ等のような誤り訂正符号）が比較の対象となってもよい。
【０１３４】
また、「Ｆｒａｍｅ１」及び「Ｆｒａｍｅ２」をそれぞれ「第１のフレーム」及び「第２のフレーム」とした場合に、テストデータＤ１１１及びＤ１２２が「第１のテストデータ」の一例に相当し、テストデータＤ１１２が「第２のテストデータ」の一例に相当する。即ち、「ＲＥＧ１」が「第１の設定」の一例に相当し、当該「ＲＥＧ１」に基づく信号処理が「第１の処理」の一例に相当する。また、「ＲＥＧ２」が「第２の設定」の一例に相当し、当該「ＲＥＧ２」に基づく信号処理が「第２の処理」の一例に相当する。
【０１３５】
続いて、「Ｆｒａｍｅ３」について説明する。まず、従前の「Ｆｒａｍｅ２」でレジスタＲＥＧに保持されていた「ＲＥＧ２」に関する情報が、レジスタＲＥＧ＿ＳＭに保持される。その上で、上記レジスタＲＥＧには、「Ｆｒａｍｅ３」に対応する設定値である「ＲＥＧ３」に関する情報が保持される。そして、「Ｆｒａｍｅ３」に対応するフレームデータの生成に係る処理が実行される。
【０１３６】
具体的には、まず、レジスタＲＥＧに保持された設定値「ＲＥＧ３」に応じた信号処理が、テスト用の入力データに対して適用されることで、現フレームに対応するテストデータＤ１１３が生成される。次いで、レジスタＲＥＧ＿ＳＭに保持された設定値「ＲＥＧ２」に応じた信号処理が、当該入力データに対して適用されることで、前のフレームに対応するテストデータＤ１２３が生成される。次いで、レジスタＲＥＧに保持された設定値「ＲＥＧ３」に応じた信号処理が、「Ｆｒａｍｅ３」で読み出された画素信号に対して適用されることで、現フレームに対応する有効データＤ１３３が生成される。そして、テストデータＤ１１３、テストデータＤ１２３、及び有効データＤ１３３に基づき、「Ｆｒａｍｅ３」に対応するフレームデータＤ１０３が生成される。具体的には、フレームデータＤ１０３の第１のテストデータ領域、第２のテストデータ領域、及び有効データ領域に対して、テストデータＤ１１３、テストデータＤ１２３、及び有効データＤ１３３がそれぞれ関連付けられる。即ち、フレームデータＤ１０３が時系列に沿って順次読み出された場合に、テストデータＤ１１３、テストデータＤ１２３、及び有効データＤ１３３がこの順序で読み出されることとなる。
【０１３７】
また、「Ｆｒａｍｅ３」で生成されたテストデータＤ１１３は、記憶領域ＳＲＡＭ１に一時的に保持される。
【０１３８】
次いで、「Ｆｒａｍｅ３」において、フレームデータＤ１０２及びＤ１０３それぞれに保持された、設定値「ＲＥＧ２」に応じた信号処理に基づき生成されたテストデータを基に、当該信号処理に異常が生じているか否か（即ち、信号処理部２０７の故障の有無）が診断される。具体的には、従前の「Ｆｒａｍｅ２」において記憶領域ＳＲＡＭ２に一時的に保持されたテストデータＤ１１２と、「Ｆｒａｍｅ３」で生成されたテストデータＤ１２３とが比較される。このとき、信号処理に異常が生じていない場合には、テストデータＤ１１２とテストデータＤ１２３との比較結果は一致することとなる。
【０１３９】
一方で、テストデータＤ１１２が生成されたタイミングからテストデータＤ１２３が生成されたタイミングまでの期間において上記信号処理に何らかの異常が生じた場合には、当該テストデータＤ１１２と当該テストデータＤ１２３との比較結果は一致しないこととなる。この場合には、当該期間中、即ち、該テストデータＤ１１２、テストデータＤ１２２、有効データＤ１３２、テストデータＤ１１３、及び当該テストデータＤ１２３が生成された期間中のいずれかのタイミングにおいて、信号処理に異常が生じた（換言すると、信号処理部２０７の故障が発生した）ことが推定される。
【０１４０】
以上のような特性を利用することで、テストデータＤ１１２が生成されたタイミングからテストデータＤ１２３が生成されたタイミングまでの期間において上記信号処理に異常が生じたか否か（換言すると、信号処理部２０７の故障が発生したか否か）を診断することが可能となる。
【０１４１】
なお、「Ｆｒａｍｅ２」及び「Ｆｒａｍｅ３」をそれぞれ「第１のフレーム」及び「第２のフレーム」とした場合に、テストデータＤ１１２及びＤ１２３が「第１のテストデータ」の一例に相当し、テストデータＤ１１３が「第２のテストデータ」の一例に相当する。即ち、「ＲＥＧ２」が「第１の設定」の一例に相当し、当該「ＲＥＧ２」に基づく信号処理が「第１の処理」の一例に相当する。また、「ＲＥＧ３」が「第２の設定」の一例に相当し、当該「ＲＥＧ３」に基づく信号処理が「第２の処理」の一例に相当する。
【０１４２】
なお、以降のフレームにおいても、上記と同様に、フレームデータの生成に係る処理と、テストデータに基づく信号処理の異常の有無の診断に係る処理と、が逐次実行される。例えば、「Ｆｒａｍｅ４」においては、当該「Ｆｒａｍｅ４」に対応するフレームデータＤ１０４が生成される。また、フレームデータＤ１０４には、現フレームに対応するテストデータＤ１１４、前のフレームに対応するテストデータＤ１２４、及び有効データＤ１３４が関連付けられる。また、従前の「Ｆｒａｍｅ３」において記憶領域ＳＲＡＭ１に一時的に保持されたテストデータＤ１１３と、「Ｆｒａｍｅ４」で生成されたテストデータＤ１２４との比較に基づき、信号処理の異常の有無が診断される。なお、このときの当該診断の対象は、テストデータＤ１１３が生成されたタイミングからテストデータＤ１２４が生成されたタイミングまでの期間となる。
【０１４３】
（最初のフレームにおける故障診断）
続いて、図１８を参照して、従前に他のフレームが存在しない最初のフレームにおける故障診断の方法の一例について以下に説明する。図１８は、本実施形態に係る故障診断の概要について説明するためのタイムチャートであり、最初のフレームにおける、フレームデータの生成に係る処理と、当該故障診断に係る処理と、を含む一連の処理の流れの一例について概要を示している。
【０１４４】
前述したように、本実施形態に係る故障診断では、現フレームにおいて前のフレームに対応する信号処理に基づきテストデータが生成され、当該テストデータが、前のフレームにおいて同様の信号処理に基づき生成された他のテストデータと比較される。一方で、最初のフレームにおいては、前のフレームが存在せず、当該前のフレームに対応する設定値（即ち、信号処理のための設定値）や、当該前のフレームで生成される他のテストデータ（即ち、比較対象となるテストデータ）が存在しないこととなる。このような場合には、前のフレームに対応する設定値に相当する値として、あらかじめ生成された所定の初期値が使用されてもよい。また、比較対象となるテストデータについても、当該初期値に基づきあらかじめ生成され、所定の記憶領域に記憶されていればよい。
【０１４５】
具体的には、図１８に示すように、固体撮像装置２００の起動に伴い、起動時の各種処理が実行されると、所定の記憶領域に保持された「初期値」が、最初のフレームの前のフレームに対応する設定値に相当する情報としてレジスタＲＥＧに保持される。
【０１４６】
次いで、最初のフレーム（以下、「Ｆｒａｍｅ１」とする）において、レジスタＲＥＧに保持されていた「初期値」がレジスタＲＥＧ＿ＳＭに保持される。その上で、上記レジスタＲＥＧには、「Ｆｒａｍｅ１」に対応する設定値である「ＲＥＧ１」に関する情報が保持される。そして、「Ｆｒａｍｅ１」に対応するフレームデータの生成に係る処理が実行される。
【０１４７】
具体的には、まず、レジスタＲＥＧに保持された設定値「ＲＥＧ１」に応じた信号処理が、テスト用の入力データに対して適用されることで、現フレームに対応するテストデータＤ２１１が生成される。次いで、レジスタＲＥＧ＿ＳＭに保持された「初期値」に応じた信号処理が、当該入力データに対して適用されることで、前のフレームに対応するテストデータＤ２２１が生成される。次いで、レジスタＲＥＧに保持された設定値「ＲＥＧ１」に応じた信号処理が、「Ｆｒａｍｅ１」で読み出された画素信号に対して適用されることで、現フレームに対応する有効データＤ２３１が生成される。そして、テストデータＤ２１１、テストデータＤ２２１、及び有効データＤ２３１に基づき、「Ｆｒａｍｅ３」に対応するフレームデータＤ２０１が生成される。具体的には、フレームデータＤ２０１の第１のテストデータ領域、第２のテストデータ領域、及び有効データ領域に対して、テストデータＤ２１１、テストデータＤ２２１、及び有効データＤ２３１がそれぞれ関連付けられる。即ち、フレームデータＤ２０１が時系列に沿って順次読み出された場合に、テストデータＤ２１１、テストデータＤ２２１、及び有効データＤ２３１がこの順序で読み出されることとなる。
【０１４８】
次いで、「Ｆｒａｍｅ１」における信号処理部２０７の故障診断について説明する。この場合には、「Ｆｒａｍｅ１」において「初期値」に基づき生成されたテストデータＤ２２１が、当該「初期値」に基づき事前に生成されたテストデータＤ２１０と比較されることで、固体撮像装置２００の起動後（少なくとも「Ｆｒａｍｅ１」の開始タイミング）から、テストデータＤ２２１が生成されたタイミングまでの期間において、信号処理部２０７の故障が生じたか否か（即ち、信号処理に異常が生じたか否か）を診断することが可能となる。
【０１４９】
なお、上述した「初期値」やテストデータＤ２１０については、所定の記憶領域（例えば、ＲＯＭ等）にあらかじめ記憶させておけばよい。また、「初期値」やテストデータＤ２１０については、信号処理部２０７の故障検出のカバレッジ（即ち、診断の対象となる範囲）が最大化するような条件に設定されてもよい。なお、故障検出のカバレッジが最大化するような条件とは、例えば、入力データを構成する各値（例えば、画素ごとの画素信号に相当する値）として、画素信号が取り得る値が可能な限り多く含まれる（ひいては、画素信号が取り得る値の全てが含まれる）条件が挙げられる。また、他の一例として、デジタルゲイン等の設定については、１倍のままだと処理結果が変わらないため、故障が発生したとしても当該故障の検出が困難となる場合がある。そのため、この場合には、１．５倍や２倍等の設定のように、入力と処理結果とが異なるような設定が適用されるとよい。また、ノイズリダクション機能等のように、オン／オフにより適用の有無が切り替えられる場合には、当該機能（換言すると、当該機能を担う回路）が活性化されるように、オン状態に制御されることが望ましい。以上のような設定が行われることで、例えば、固体撮像装置２００の起動時に信号処理部２０７の故障が生じた場合においても、当該故障の検出がしやすくなる。なお、上記「初期値」が、現フレームの従前に他のフレームが存在しない場合にテストデータを生成するための信号処理に適用される「所定の設定」の一例に相当する。
【０１５０】
以上説明したように、本実施形態に係る故障診断においては、フレームごとにテストデータの生成と有効データの生成とをシーケンシャルに実行したうえで、当該テストデータに基づき信号処理部２０７の故障診断が行われる。このような特性から、本実施形態に係る故障診断は、多相化された構成を必要とせず、単相構成の信号処理回路においても故障診断を行うことが可能となる。即ち、故障診断のために信号処理部２０７の多相化を行う必要がなく、当該多相化に伴う回路規模の増大や消費電力の増加を抑制することが可能となる。また、本実施形態に係る故障診断では、互いに異なるフレームそれぞれにおいて同様の信号処理に基づき生成されたテストデータ間での比較に基づき当該信号処理の有無の診断が行われる。そのため、図１７に示すように、信号処理に適用される設定値を任意に変更した場合においても、当該設定値の変更を踏まえて当該信号処理の異常の有無を診断することが可能である。また、隣接画素を参照するようなフィルタ処理が信号処理として適用された場合においても、当該フィルタ処理を踏まえて生成された一連のテストデータどうしが比較されるため、信号処理に異常が生じた場合に当該異常を検出することが可能となる。また、テストデータ間の比較結果が一致するか否かにより故障の有無の診断が行われるため、例えば、信号処理の結果が正常か否かを判定するための期待値の算出等のような複雑な計算が不要となる。
【０１５１】
以上、図１６〜図１８を参照して、本開示の一実施形態に係る故障診断についてより詳細に説明した。
【０１５２】
＜３．３．変形例＞
続いて、本開示の一実施形態に係る固体撮像装置の変形例について説明する。
【０１５３】
（アナログの入力データの利用について）
前述した例では、テスト用の入力データを生成するテストデータ生成部２０５がＡＤ変換部２０３の後段に設けられており、当該入力データがデジタルデータとして生成されていた。一方で、テスト用の入力データがアナログ値として生成されてもよい。即ち、前述した実施形態におけるデジタルの入力データが、アナログ値として生成された入力データがＡＤ変換部２０３によりＡＤ変換されることで生成されてもよい。具体的には、画素２０１とＡＤ変換部２０３との間のいずれかの場所に、テスト用の入力データをアナログ値として生成して出力する構成（以下、「テストデータ生成部２０５’」とも称する）が設けられていてもよい。テストデータ生成部２０５’は、アナログブロックにおける上記テストデータ生成部２０５に相当する。
【０１５４】
この場合には、例えば、アナログブロックのうち、テストデータ生成部２０５’以降のいずれかの構成に異常が生じた場合にアナログの入力データが変化するため、当該異常の発生の前後において、入力データに基づくテストデータの生成結果が変化することとなる。より具体的な一例として、アナログ信号の伝搬路に何らかの異常が生じることでアナログの入力データに歪が生じた場合には、当該異常が発生する前後において、入力データに基づくテストデータの生成結果が変化する。また、ＡＤ変換部２０３に異常が生じた場合においても、当該異常が発生する前後において、入力データに基づくテストデータの生成結果が変化する。そのため、テスト用の入力データとしてアナログ値を利用することで、信号処理部２０７の故障に加え、アナログブロックに何らかの異常が生じたい場合においても、異常が生じたことを検出することが可能となる。
【０１５５】
（固体撮像装置外部での故障検出）
前述した例では、信号処理部２０７の故障を検出する診断部２１３が固体撮像装置２００の内部に設けられていた。一方で、前述したようにフレームデータＤ１００の第１のテストデータ領域Ｄ１１０及び第２のテストデータ領域Ｄ１２０にテストデータが関連付けられているため、固体撮像装置２００の外部（例えば、外部のサーバ等）においても、当該テストデータに基づき信号処理部２０７の故障を検出することが可能である。
【０１５６】
（テスト用の入力データ）
テストデータの生成元となる入力データについては、信号処理部２０７が信号処理の対象となり得るように生成されていれば、当該入力データの内容や生成方法は特に限定されない。具体的な一例として、入力データが固定値のパターンとして生成されてもよい。また、他の一例として、入力データが乱数に基づき生成されてもよい。また、このとき乱数を生成するためのシード値があらかじめ設定されていてもよい。
【０１５７】
以上、本開示の一実施形態に係る固体撮像装置の変形例について説明した。
【０１５８】
＜＜４．ハードウェア構成＞＞
次に、図１９を参照しながら、前述した固体撮像装置２００のうち信号処理部２０７やフレームデータ生成部２０９等のような信号処理装置に相当する部分を、外部の装置（以下、「情報処理装置９００」とも称する）として構成した場合における、当該装置のハードウェア構成の一例について説明する。図１９は、本開示の一実施形態に係る情報処理装置９００のハードウェア構成の一例を示す機能ブロック図である。
【０１５９】
本実施形態に係る情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１６０】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図１５を参照して前述した、テストデータ生成部２０５、信号処理部２０７、フレームデータ生成部２０９、及び診断部２１３は、例えば、ＣＰＵ９０１により実現され得る。
【０１６１】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【０１６２】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１６３】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【０１６４】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
【０１６５】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。
【０１６６】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０１６７】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【０１６８】
以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１９では図示しないが、本実施形態に係る情報処理装置９００に対応する各種の構成を当然備える。
【０１６９】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。
【０１７０】
＜＜５．応用例＞＞
続いて、本開示に係る技術の応用例について説明する。本開示に係る技術は、固体撮像装置を有する装置や機器であれば応用することが可能であり、特に、固体撮像装置の動作としての信頼性が問われる装置や機器に応用される。このような、より高い信頼性が問われる装置や機器としては、例えば、内視鏡や顕微鏡等の医療用観察装置のように医療の現場で使用される装置や機器が挙げられる。また、前述したように、ＩＳＯ２６２６２等の機能安全規格への準拠が要求される車両等の装置についても、本開示に係る技術が応用されることで、固体撮像装置の信号処理回路に何らかの異常が生じた場合に、当該障害の発生をランタイムで検知することが可能となる。
【０１７１】
ここで、本開示に係る技術を、移動体に応用する場合の一例について以下に説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１７２】
図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１７３】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０１７４】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１７５】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１７６】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１７７】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１７８】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１７９】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０１８０】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１８１】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１８２】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１８３】
図２１は、撮像部１２０３１の設置位置の例を示す図である。
【０１８４】
図２１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１８５】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１８６】
なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１８７】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１８８】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１８９】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１９０】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１９１】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図１に示す固体撮像装置１は、撮像部１２０３１に適用され得る。撮像部１２０３１に対して本開示に係る技術を適用することにより、例えば、撮像部１２０３１により取得された各種情報（例えば、撮像結果として得られる画像情報等）を、当該撮像部１２０３１の内部で、デバイス（固体撮像装置）に固有の情報に基づき暗号化を施すことが可能となる。これにより、例えば、撮像部１２０３１により取得された情報の保護に関するセキュリティ性をより向上させることが可能となる。さらには、
撮像部１２０３１に対して本開示に係る技術を適用することにより、撮像部１２０３１の信号処理回路の故障の有無の診断を行い、当該信号処理回路が正常であるかどうかを検出することができる。そして、これらの信号処理回路が異常である場合には、例えば、その検出結果をマイクロコンピュータ１２０５１に通知することにより、車両制御システム１２０００における車外情報検出ユニット１２０３０は、
撮像部１２０３１に不具合が生じたことを把握することができる。これにより、車両制御システム１２０００では、例えば運転者に注意喚起を促すなどの適切な処理を行うことができるため、信頼性を高めることができる。また、車両制御システム１２０００では、検出結果に基づいて、車両を制御する機能を制限することができる。車両を制御する機能の具体例としては、車両の衝突回避あるいは衝突緩和機能、車間距離に基づく追従走行機能、車速維持走行機能、車両の衝突警告機能、車両のレーン逸脱警告機能等が挙げられる。撮像部１２０３１における信号処理回路が異常であると判定された場合、車両を制御する機能を制限し、あるいは禁止することができる。具体的には、車外情報検出ユニット１２０３０は、ブレーキ、エンジン出力、モータ出力、トランスミッションを制御することができる。これにより、車両制御システム１２０００では、撮像部１２０３１における信号処理回路の異常に基づく誤検知に起因した事故を防止することができる。
【０１９２】
＜＜６．むすび＞＞
以上説明したように、本実施形態に係る固体撮像装置において、信号処理装置に相当する部分は、画素信号に対して信号処理を施す信号処理部と、画素信号に対して信号処理が施された有効データに基づきフレームデータを生成するフレームデータ生成部とを備える。具体的には、フレームデータ生成部は、第１のテストデータと、第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された画素信号に基づく有効データと、を関連付けることで、当該第２のフレームに対応するフレームデータを生成する。このとき、第１のテストデータは、テスト用の入力データに対して第１の処理が施されることで生成される。第１の処理は、第１のフレームにおいて有効データを生成するための上記信号処理である。また、第２のテストデータは、上記入力データに対して第２の処理が施されることで生成される。第２の処理は、第１のフレームよりも後の第２のフレームにおいて有効データを生成するための上記信号処理である。以上のような構成を全手して、上記第１のフレームに対応する上記フレームデータに関連付けられた上記第１のテストデータと、上記第２のフレームに対応する上記フレームデータに関連付けられた上記第１のテストデータと、に基づき、上記信号処理の異常の有無の診断が行われる、
【０１９３】
以上のような構成により、上記信号処理装置は、フレームごとにテストデータの生成と有効データの生成とをシーケンシャルに実行したうえで、当該テストデータに基づき上記信号処理の異常の有無（即ち、信号処理回路の故障の有無）を診断することが可能となる。このような特性から、上記信号処理装置は、例えば、信号処理回路が単相構成の場合においても、当該信号処理回路の故障の有無の診断を行うことが可能となる。換言すると、故障診断のために信号処理回路の多相化を行う必要がなく、当該多相化に伴う回路規模の増大や消費電力の増加を抑制することが可能となる。また、上述の通り、互いに異なるフレームそれぞれにおいて同様の信号処理に基づき生成されたテストデータ間での比較に基づき当該信号処理の有無の診断が行われる。そのため、例えば、信号処理に適用される設定値を任意に変更した場合においても、当該設定値の変更を踏まえて当該信号処理の異常の有無を診断することが可能である。また、隣接画素を参照するようなフィルタ処理が信号処理として適用された場合においても、当該フィルタ処理を踏まえて生成された一連のテストデータどうしが比較されるため、信号処理に異常が生じた場合に当該異常を検出することが可能となる。また、テストデータ間の比較結果が一致するか否かにより故障の有無の診断が行われるため、例えば、信号処理の結果が正常か否かを判定するための期待値の算出等のような複雑な計算が不要となる。このように、上記信号処理装置に依れば、画素信号に対して適用される信号処理に異常が発生した場合に、より好適な態様で当該異常の発生を検出することが可能となる。
【０１９４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１９５】
例えば、上記では、連続するフレーム間においてテストデータの比較が行われる例について説明したが、必ずしも同態様のみには限定されない。例えば、２フレーム以上前のフレームで生成されて所定の記憶領域に保持されたテストデータが、現フレームにおいて生成されたテストデータと比較されるような構成とされていてもよい。また、上記では主に画像信号を対象とした処理に着目して説明したが、本開示に係る技術の適用先は、必ずしも画像信号を対象とした信号処理のみには限定されない。即ち、入力される信号に対して一定の周期で施される信号処理であれば、本開示に係る技術を適用することが可能である。具体的な一例として、音声、楽曲、及び効果音等のような音響信号を対象とした信号処理に対して、本開示に係る技術を応用することで、当該信号処理に異常が生じたか否かを診断することも可能となる。
【０１９６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１９７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画素信号に対して信号処理を施す信号処理部と、
入力データに対して第１の処理が施された第１のテストデータと、前記入力データに対して第２の処理が施された第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された前記画素信号に対して前記第２の処理が施された有効データと、を関連付けて、前記第２のフレームに対応するフレームデータを生成するデータ生成部と、
を備え、
前記第１の処理は、前記第１のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第２の処理は、前記第２のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断が行われる、
信号処理装置。
（２）
前記フレームデータは、時系列に沿って順次読み出される第１の領域、第２の領域、及び第３の領域を含み、
前記第２のフレームに対応する前記フレームデータは、前記第１の領域、前記第２の領域、及び前記第３の領域に対して、当該第２のフレームにおいて生成された、前記第２のテストデータ、前記第１のテストデータ、及び当該第２のフレームに対応する前記有効データがこの順序で関連付けられる、
前記（１）に記載の信号処理装置。
（３）
前記第２のフレームでは、前記第２のテストデータ、前記第１のテストデータ、及び前記有効データが、時系列に沿ってこの順序で生成される、前記（２）に記載の信号処理装置。
（４）
前記第２のフレームにおいて、前記第１のフレームに対応する前記フレームデータの前記第１の領域に格納された前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータの前記第２の領域に格納された前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断が行われる、前記（２）または（３）に記載の信号処理装置。
（５）
前記第２のフレームにおいて、前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータが生成されたタイミングから、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータが生成されたタイミングまでの期間における、前記信号処理の異常の有無の診断が行われる、前記（４）に記載の信号処理装置。
（６）
前記第１のフレーム及び前記第２のフレームそれぞれに対応する前記フレームデータが時系列に沿ってこの順序で読み出され、前記第２のフレームにおける前記診断が行われる、前記（４）または（５）に記載の信号処理装置。
（７）
前記第１の処理は、前記第１のフレームに対応する第１の設定に基づき、当該第１のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第２の処理は、前記第２のフレームに対応する第２の設定に基づき、当該第２のフレームにおいて前記有効データを生成するための前記信号処理である、
前記（１）〜（６）のいずれか一項に記載の信号処理装置。
（８）
前記第２のフレームにおける前記診断は、前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、の比較により行われる、前記（１）〜（７）のいずれか一項に記載の信号処理装置。
（９）
前記第２のフレームにおける前記診断は、前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータに基づく符号と、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータに基づく符号と、の比較により行われる、前記（１）〜（７）のいずれか一項に記載の信号処理装置。
（１０）
前記比較の対象となる符号は、誤り訂正符号である、前記（９）に記載の信号処理装置。
（１１）
前記入力データは、乱数に基づき生成される、前記（１）〜（１０）のいずれか一項に記載の信号処理装置。
（１２）
前記入力データは、アナログ値をデジタルデータに変換することで生成される、前記（１）〜（１０）のいずれか一項に記載の信号処理装置。
（１３）
前記アナログ値は、前記画素信号をアナログ信号として出力する画素と、当該アナログ信号をデジタル信号に変換するＡＤ変換部と、の間から出力される、前記（１２）に記載の信号処理装置。
（１４）
前記データ生成部は、現フレームの従前に他のフレームが存在しない場合に、前記入力データに対して所定の設定に基づく前記信号処理が施されたテストデータに基づき、当該現フレームに対応する前記フレームデータを生成し、
前記現フレームにおける前記診断は、当該現フレームで生成された前記テストデータと、あらかじめ生成された他のテストデータと、に基づき行われる、
前記（１）〜（１３）のいずれか一項に記載の信号処理装置。
（１５）
前記他のテストデータは、前記入力データに対して前記所定の設定に基づく前記信号処理が施されることで生成される、前記（１４）に記載の信号処理装置。
（１６）
前記所定の設定は、生成される前記テストデータに基づく前記診断の対象となる範囲が最大化されるように設定される、前記（１４）または（１５）に記載の信号処理装置。
（１７）
前記診断を行う診断部を備える、前記（１）〜（１６）のいずれか一項に記載の信号処理装置。
（１８）
前記診断が、他の装置により実行される、前記（１）〜（１６）のいずれか一項に記載の信号処理装置。
（１９）
前記画素信号を出力する画素が配設された第１の半導体基板と、前記第１の半導体基板とは異なる第２の半導体基板と、が積層された積層構造を有する撮像装置のうち、
前記第２の半導体基板に配設される、
前記（１）〜（１８）のいずれか一項に記載の信号処理装置。
（２０）
前記第２の半導体基板は、前記画素が配設された前記第１の半導体基板の光入射面の反対側に位置する、前記（１９）に記載の信号処理装置。
（２１）
コンピュータが、
画素信号に対して信号処理を施すことと、
入力データに対して第１の処理が施された第１のテストデータと、前記入力データに対して第２の処理が施された第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された前記画素信号に対して前記第２の処理が施された有効データと、を関連付けて、前記第２のフレームに対応するフレームデータを生成することと、
を含み、
前記第１の処理は、前記第１のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第２の処理は、前記第２のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断が行われる、
信号処理方法。
（２２）
画素信号に対して信号処理を施す信号処理部と、
入力データに対して第１の処理が施された第１のテストデータと、前記入力データに対して第２の処理が施された第２のテストデータと、第１のフレームよりも後の第２のフレームにおいて読み出された前記画素信号に対して前記第２の処理が施された有効データと、を関連付けて、前記第２のフレームに対応するフレームデータを生成するデータ生成部と、
前記第１のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、前記第２のフレームに対応する前記フレームデータに関連付けられた前記第１のテストデータと、に基づき、前記信号処理の異常の有無の診断を行う診断部と、
を備え、
前記第１の処理は、前記第１のフレームにおいて前記有効データを生成するための前記信号処理であり、
前記第２の処理は、前記第２のフレームにおいて前記有効データを生成するための前記信号処理である、
信号処理システム。
【符号の説明】
【０１９８】
２００  固体撮像装置
２０１  画素
２０３  変換部
２０５  テストデータ生成部
２０７  信号処理部
２０９  フレームデータ生成部
２１１  出力処理部
２１３  診断部
【図１】
2019161441.tif 000003
【図２】
2019161441.tif 000004
【図３】
2019161441.tif 000005
【図４】
2019161441.tif 000006
【図５】
2019161441.tif 000007
【図６】
2019161441.tif 000008
【図７】
2019161441.tif 000009
【図８】
2019161441.tif 000010
【図９】
2019161441.tif 000011
【図１０】
2019161441.tif 000012
【図１１】
2019161441.tif 000013
【図１２】
2019161441.tif 000014
【図１３】
2019161441.tif 000015
【図１４】
2019161441.tif 000016
【図１５】
2019161441.tif 000017
【図１６】
2019161441.tif 000018
【図１７】
2019161441.tif 000019
【図１８】
2019161441.tif 000020
【図１９】
2019161441.tif 000021
【図２０】
2019161441.tif 000022
【図２１】
2019161441.tif 000023