(57)【要約】【課題】撮像装置を小型化する。【解決手段】入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、画素回路毎に、電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、ＡＤ変換部からの変換結果をエンコードするエンコード部と、エンコード結果を保持する保持部と、保持部に保持されているエンコード結果を出力する出力部とを備え、第１の基板に、画素回路が配置され、第１の基板の下層に積層される第２の基板に、ＡＤ変換部が配置されている。本技術は、撮像装置に適用できる。【選択図】図１３
2020028098.tif 000002
【特許請求の範囲】
【請求項１】
入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、
前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、
前記ＡＤ変換部からの変換結果をエンコードするエンコード部と、
前記エンコード結果を保持する保持部と、
前記保持部に保持されている前記エンコード結果を出力する出力部と
を備え、
第１の基板に、前記画素回路が配置され、
前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置されている
撮像装置。
【請求項２】
前記エンコード部、前記保持部、および前記出力部は、前記第２の基板に配置されている
請求項１に記載の撮像装置。
【請求項３】
前記出力部は、前記第１の基板に配置され、
前記エンコード部と前記保持部は、前記第２の基板に配置されている
請求項１に記載の撮像装置。
【請求項４】
前記第２の基板の下層に積層される第３の基板に、前記エンコード部、前記保持部、および前記出力部が配置されている
請求項１に記載の撮像装置。
【請求項５】
前記保持部に保持されている前記エンコード結果をデコードするデコード部をさらに備え、
前記デコード部は、前記エンコード部と同一基板に備えられている
請求項１に記載の撮像装置。
【請求項６】
前記デコード部は、前記画素回路のリセットレベルの前記コード入力信号をデコードし、
前記出力部は、前記デコード部によりデコードされた前記リセットレベルの前記コード入力信号と、前記画素回路の信号レベルの前記コード入力信号を用いてＣＤＳ(Correlated Double Sampling)を行い、ＣＤＳ結果を出力する
請求項５に記載の撮像装置。
【請求項７】
前記出力部により出力された前記ＣＤＳ結果は、前記エンコード部でエンコードされ、前記保持部に保持される
請求項６に記載の撮像装置。
【請求項８】
前記保持部に保持されている前記エンコード結果は、前記デコード部でデコードされた後、前記出力部により出力される
請求項７に記載の撮像装置。
【請求項９】
入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、
前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、
前記ＡＤ変換部からの変換結果をエンコードするエンコード部と、
前記エンコード結果を保持する保持部と、
前記保持部に保持されている前記エンコード結果を出力する出力部と
を備え、
第１の基板に、前記画素回路が配置され、
前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置されている
撮像装置と、
前記撮像装置からの信号を処理する処理部と
を備える電子機器。
【請求項１０】
入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、
前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、
前記ＡＤ変換部からの変換結果を保持する保持部と、
前記保持部に保持されている変換結果を出力する出力部と
を備え、
第１の基板に、前記画素回路と、前記保持部または前記出力部が配置され、
前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置されている
撮像装置。
【請求項１１】
入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、
前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、
前記ＡＤ変換部からの変換結果を保持する保持部と、
前記保持部に保持されている変換結果を出力する出力部と
を備え、
第１の基板に、前記画素回路が配置され、
前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置され、
前記第２の基板の下層に積層される第３の基板に、前記保持部と前記出力部が配置されている
撮像装置。
【請求項１２】
前記出力部は、ＣＤＳ(Correlated Double Sampling)を実行し、その結果を出力する
請求項１１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は撮像装置、電子機器に関し、例えば、小型化に適した撮像装置、電子機器に関する。
【背景技術】
【０００２】
近年の撮像装置には、多画素化、高画質化、高速化が望まれ一方で、さらなる小型化も望まれている。このような要望を満たす撮像装置として、積層型の撮像装置が提案されている（例えば、特許文献１参照）。
【０００３】
積層型の撮像装置は、撮像装置の支持基板の代わりに信号処理回路が形成されたチップを用い、その上に画素部分を重ね合わせる構造とされている。このような構成とすることで、撮像装置を小型化することが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2009−17720号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
積層型の撮像装置は、画素が微細化されると、積層されるチップに搭載されている回路も小さくする必要がある。チップに搭載される回路としては、例えば、ＡＤ変換回路がある。このＡＤ変換回路は、トランジスタが多く、小型化が困難である。ＡＤ変換回路が搭載されるチップを小型化し、積層型の撮像装置自体を小型化することが望まれている。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、チップサイズを小型化し、積層型の撮像装置を小型化することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の第１の撮像装置は、入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、前記ＡＤ変換部からの変換結果をエンコードするエンコード部と、前記エンコード結果を保持する保持部と、前記保持部に保持されている前記エンコード結果を出力する出力部とを備え、第１の基板に、前記画素回路が配置され、前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置されている。
【０００８】
本技術の一側面の電子機器は、入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、前記ＡＤ変換部からの変換結果をエンコードするエンコード部と、前記エンコード結果を保持する保持部と、前記保持部に保持されている前記エンコード結果を出力する出力部とを備え、第１の基板に、前記画素回路が配置され、前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置されている撮像装置と、前記撮像装置からの信号を処理する処理部とを備える。
【０００９】
本技術の一側面の第２の撮像装置は、入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、前記ＡＤ変換部からの変換結果を保持する保持部と、前記保持部に保持されている変換結果を出力する出力部とを備え、第１の基板に、前記画素回路と、前記保持部または前記出力部が配置され、前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置されている。
【００１０】
本技術の一側面の第３の撮像装置は、入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、前記ＡＤ変換部からの変換結果を保持する保持部と、前記保持部に保持されている変換結果を出力する出力部とを備え、第１の基板に、前記画素回路が配置され、前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置され、前記第２の基板の下層に積層される第３の基板に、前記保持部と前記出力部が配置されている。
【００１１】
本技術の一側面の第１の撮像装置においては、入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、画素回路毎に、電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、ＡＤ変換部からの変換結果をエンコードするエンコード部と、エンコード結果を保持する保持部と、保持部に保持されているエンコード結果を出力する出力部とが備えられ、第１の基板に、画素回路が配置され、第１の基板の下層に積層される第２の基板に、ＡＤ変換部が配置されている。
【００１２】
本技術の一側面の電子機器においては、前記第１の撮像装置が備えられる。
【００１３】
本技術の一側面の第２の撮像装置においては、入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、画素回路毎に、電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、ＡＤ変換部からの変換結果を保持する保持部と、保持部に保持されている変換結果を出力する出力部とが備えられ、第１の基板に、画素回路と、保持部または出力部が配置され、第１の基板の下層に積層される第２の基板に、ＡＤ変換部が配置されている。
【００１４】
本技術の一側面の第３の撮像装置においては、入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、画素回路毎に、電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、ＡＤ変換部からの変換結果を保持する保持部と、保持部に保持されている変換結果を出力する出力部とが備えられ、第１の基板に、画素回路が配置され、第１の基板の下層に積層される第２の基板に、ＡＤ変換部が配置され、第２の基板の下層に積層される第３の基板に、保持部と出力部が配置されている。
【００１５】
なお、撮像装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。また、電子機器は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１６】
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本技術の一側面によれば、チップサイズを小型化し、積層型の撮像装置を小型化することができる。
【００１８】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本開示に係る撮像装置の概略構成を示す図である。
【図２】画素部の構成例を示すブロック図である。
【図３】画素部の回路図である。
【図４】積層型の撮像装置の構成例について説明するための図である。
【図５】画素とＡＤＣとの位置関係について説明するための図である。
【図６】画素からの信号の読み出しについて説明するための図である。
【図７】第１の実施の形態における撮像装置の構成例を示す図である。
【図８】小型化できることについて説明するための図である。
【図９】信号の流れについて説明するための図である。
【図１０】第１の実施の形態における撮像装置の他の構成例を示す図である。
【図１１】第２の実施の形態における撮像装置の構成例を示す図である。
【図１２】信号の流れについて説明するための図である。
【図１３】第３の実施の形態における撮像装置の構成例を示す図である。
【図１４】小型化できることについて説明するための図である。
【図１５】画素からの信号の読み出しについて説明するための図である。
【図１６】画素からの信号の読み出しについて説明するための図である。
【図１７】画素からの信号の読み出しについて説明するための図である。
【図１８】第３の実施の形態における撮像装置の他の構成例を示す図である。
【図１９】第４の実施の形態における撮像装置の構成例を示す図である。
【図２０】信号の流れについて説明するための図である。
【図２１】第５の実施の形態における撮像装置の構成例を示す図である。
【図２２】信号の流れについて説明するための図である。
【図２３】電子機器の構成を示す図である
【図２４】体内情報取得システムの概略的な構成の一例を示すブロック図である。
【図２５】内視鏡手術システムの概略的な構成の一例を示す図である。
【図２６】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【図２７】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２８】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００２０】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００２１】
＜撮像装置の概略構成例＞
図１は、本開示に係る撮像装置の概略構成を示している。
【００２２】
図１の撮像装置１は、半導体として例えばシリコン（Si）を用いた半導体基板１１に、画素２１が２次元アレイ状に配列された画素アレイ部２２を有する。そして、撮像装置１は、画素アレイ部２２の他に、画素駆動回路２３、DAC（D/A Converter）２４、垂直駆動回路２５、センスアンプ部２６、出力部２７、及びタイミング生成回路２８を含む。
【００２３】
画素２１は、図２に示されるように、その内部に画素回路４１とＡＤＣ（A/D Converter）４２を備える。画素回路４１は、受光した光量に応じた電荷信号を生成しかつ蓄積する光電変換部を有し、光電変換部で得られたアナログの画素信号SIGをＡＤＣ４２に出力する。ＡＤＣ４２は、画素回路４１から供給されたアナログの画素信号SIGをデジタル信号に変換する。
【００２４】
ＡＤＣ４２は、比較器５１とラッチ記憶部５２で構成される。比較器５１は、DAC２４から供給される参照信号REFと画素信号SIGを比較し、比較結果を示す信号として、出力信号VCOを出力する。比較器５１は、参照信号REFと画素信号SIGが同一（の電圧）になったとき、出力信号VCOを反転させる。
【００２５】
ラッチ記憶部５２には、入力信号として、その時の時刻を示すコード値BITXn（ｎ＝１乃至Nの整数）が入力される。そして、ラッチ記憶部５２では、比較器５１の出力信号VCOが反転したときのコード値BITXnが保持され、その後、出力信号Colnとして読み出される。これにより、ＡＤＣ４２から、アナログの画素信号SIGをNビットにデジタル化したデジタル値が出力される。
【００２６】
図１の画素駆動回路２３は、画素２１内の画素回路４１及び比較器５１を駆動する。DAC２４は、時間経過に応じてレベル（電圧）が単調減少するスロープ信号である参照信号REFを生成し、各画素２１に供給する。垂直駆動回路２５は、画素２１内で生成されたデジタルの画素信号SIGを、タイミング生成回路２８から供給されるタイミング信号に基づいて、所定の順番でセンスアンプ部２６に出力する。画素２１から出力されたデジタルの画素信号SIGはセンスアンプ部２６で増幅された後、出力部２７から撮像装置１の外部へ出力される。出力部２７は、黒レベルを補正する黒レベル補正処理やＣＤＳ(Correlated Double Sampling；相関２重サンプリング)処理など、所定のデジタル信号処理を必要に応じて行い、その後、外部へ出力する。
【００２７】
タイミング生成回路２８は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、生成した各種のタイミング信号を、画素駆動回路２３、DAC２４、垂直駆動回路２５等に供給する。
【００２８】
図３は、画素回路４１の回路図である。画素回路４１は、光電変換部としてのフォトダイオード（ＰＤ）１０１、排出トランジスタ１０２、転送トランジスタ１０３、リセットトランジスタ１０４、及び、FD(浮遊拡散層)１０５で構成されている。
【００２９】
排出トランジスタ１０２は、露光期間を調整する場合に使用される。具体的には、露光期間を任意のタイミングで開始したいときに排出トランジスタ１０２をオンさせると、それまでの間にフォトダイオード１０１に蓄積されていた電荷が排出されるので、排出トランジスタ１０２がオフされた以降から、露光期間が開始されることになる。
【００３０】
転送トランジスタ１０３は、フォトダイオード１０１で生成された電荷をFD１０５に転送する。リセットトランジスタ１０４は、FD１０５に保持されている電荷をリセットする。ＦＤ１０５は、増幅トランジスタ１０６のゲートに接続されている。増幅トランジスタ１０６からの画素信号SIG、すなわち画素回路４１からの画素信号SIGは、ＡＤＣ４２(図２)に供給される。
【００３１】
撮像装置１は、画素２１毎にＡＤＣ４２を備える構成とされているため、撮像装置１の画素アレイ部２２の各画素２１は、全画素同時にリセットし、かつ、全画素同時に露光するグローバルシャッタ動作が可能である。全画素が同時に露光及び読み出しを行うことができるので、通常、画素内に設けられる、電荷が読み出されるまでの間、電荷を保持する保持部が不要である。また、画素２１の構成では、カラム並列読み出し型の固体撮像装置で必要であった、画素信号SIGを出力する画素を選択するための選択トランジスタ等も不要である。
【００３２】
＜積層構造＞
図４は、撮像装置１を２層構造で形成したときの構成例を示す図である。撮像装置１は、画素チップ２０１とロジックチップ２０２が積層された構造とされている。
【００３３】
１層目の画素チップ２０１には、画素エリア２１１と画素バイアス２１２が設けられている。２層目のロジックチップ２０２には、信号処理部２２１、フレームメモリ２２２、データ処理部２２３、および制御部２２４が設けられている。
【００３４】
１層目の画素チップ２０１の画素エリア２１１の領域に画素回路４１（図２）が形成されている。２層目のロジックチップ２０２の信号処理部２２１の領域には、ＡＤＣ４２(図２)が形成されている。図４に示した構造の場合、画素２１は、２層に分割されて構成されている。
【００３５】
画素２１毎にＡＤＣ４２を備える構成とした場合、図５に示すように、画素エリア２１１の領域と信号処理部２２１の領域は、略同じ大きさの領域となる。画素エリア２１１に形成されている所定の画素（画素回路４１）の真下に、その所定の画素用のＡＤＣ４２が位置する。画素エリア２１１内の画素回路４１と信号処理部２２１のＡＤＣ４２は、１対１対応とされているため、画素エリア２１１の領域と信号処理部２２１の領域は、略同じ大きさの領域となる。
【００３６】
なお、画素回路４１とＡＤＣ４２は、１対１対応であるとして説明を続けるが、換言すれば、画素回路４１とＡＤＣ４２は、同数であるとして説明を続けるが、本技術は、同数である場合に限らず適用可能である。例えば、画素回路４１の方が、ＡＤＣ４２よりも数が多い場合にも本技術を適用できる。また、例えば、画素エリア２１１内の一部の画素回路４１に、ＡＤＣ４２が設けられていない構成の場合であっても、本技術を適用することができる。
【００３７】
図４を再度参照するに、ロジックチップ２０２には、信号処理部２２１以外に、フレームメモリ２２２、データ処理部２２３、および制御部２２４が配置されている。信号処理部２２１は、上記したように、画素エリア２１１と同程度の大きさとなる。フレームメモリ２２２は、図６を参照して説明するように、１フレーム以上のデータを保持できる容量が必要となる。なお、ここでは、フレームメモリと記載するが、データを保持する機能を有する保持部であれば良い。
【００３８】
このようなことから、ロジックチップ２０２は、画素チップ２０１よりも大きくなる。
【００３９】
図６を参照し、フレームメモリ２２２への書き込みや読み出しについて説明を加える。図６における太枠の矢印は、信号の流れを示している。画素エリア２１１内の画素回路４１においては、リセットトランジスタ１０４(図３)によるリセット動作と、転送トランジスタ１０３(図３)による転送動作とが行われる。リセット動作では、リセットトランジスタ１０４によってリセットされたときのフローティングディフュージョン１０５(図３)の電圧がリセット成分（Ｐ相）として画素回路４１から垂直信号線（不図示）に出力される。
【００４０】
転送動作では、画素回路４１のフォトダイオード１０１(図３)に蓄積された電荷が転送トランジスタ１０３によって転送されたときのフローティングディフュージョン１０５の電圧が、信号成分（Ｄ相）として垂直信号線に出力される。
【００４１】
このような読み出しが行われるため、フローティングディフュージョン１０５がリセットされ、そのレベルがＡＤＣ４２によりＡＤ変換される（Ｐ相期間）。Ｐ相期間においてＡＤＣ４２のラッチ記憶部５２（図２）から出力される値は、ＡＤＣ４２の１行ずつ読み出され、フレームメモリ２２２に格納される。
【００４２】
Ｐ相期間の後、フォトダイオード１０１の光電子がフローティングディフュージョン１０５に転送され、このレベルがＡＤＣ４２によりＡＤ変換される（Ｄ相期間）。Ｄ相期間において、ＡＤＣ４２のラッチ記憶部５２（図２）から出力される値は、ＡＤＣ４２の１行ずつ読み出され、データ処理部２２３に供給される。
【００４３】
データ処理部２２３は、Ｄ相期間において読み出された値を、フレームメモリ２２２に記憶されているＰ相期間において読み出された値から減算し、信号を得る。得られた信号は、再度フレームメモリ２２２に書き込まれ、その後、後段の処理部(不図示)に出力される。なお、減算の結果得られた信号は、フレームメモリ２２２に書き込まれずに、後段の処理部に出力されるように構成することも可能である。このようなＰ相、Ｄ相に係わる信号取得に係わる処理は、全画素同時に行われる。
【００４４】
このような処理が行われため、一回、Ｐ相（リセット信号）を、全画素分、フレームメモリ２２２に記憶する必要がある。よって、上記したように、フレームメモリ２２２は、１フレーム分以上のデータを保持するための容量が必要となる。
【００４５】
よって、上記したように、ロジックチップ２０２は、画素チップ２０１よりも大きくなるため、画素チップ２０１とロジックチップ２０２を積層することを考えると、ロジックチップ２０２の大きさと、画素チップ２０１の大きさは、略同じにされ、その大きさは、ロジックチップ２０２に合わせられる。よって、撮像装置１を小型化する場合、ロジックチップ２０２を小型化する必要がある。
【００４６】
以下に、ロジックチップ２０２を小型化する実施の形態について順次説明を加える。
【００４７】
＜第１の実施の形態＞
図７は、第１の実施の形態における撮像装置１の構成を示す図である。以下の説明において、図４などに示した撮像装置１と同様の部分には、同一の符号を付し、重複する説明は省略する。
【００４８】
図７に示した撮像装置１ａは、図４に示した撮像装置１と同じく、１層目の画素チップ２０１ａと２層目のロジックチップ２０２ａの２層から構成されている。
【００４９】
なお、１層目、２層目との記載を行い、説明を続けるが、１層目と２層目が必ずしも直に接続されていなくても良い。例えば、１層目と２層目の間に、他の層が含まれる３層構造で、撮像装置１ａが形成されていても良い。換言すれば、１層目は上層であり、２層目は下層であるため、その間に、複数の層が挟まれている構成であっても良く、複数層で形成されている場合にも本技術を適用できる。
【００５０】
また、撮像装置１は、画素チップ２０１ａとロジックチップ２０２ａ以外のチップを、さらに下層に形成されている構造であっても良い。このようなことは、以下の第２の実施の形態以降の説明においても、同様である。
【００５１】
画素チップ２０１ａには、画素エリア２１１、画素バイアス２１２、およびデータ処理部２２３ａが形成されている。ロジックチップ２０２ａには、信号処理部２２１、フレームメモリ２２２、および制御部２２４が形成されている。
【００５２】
図７に示した撮像装置１ａを、図４に示した撮像装置１と比較した場合、ロジックチップ２０２に形成されていたデータ処理部２２３が、画素チップ２０１ａに形成されている点が異なる。
【００５３】
図４を再度参照するに、画素チップ２０１には、画素エリア２１１と画素バイアス２１２が形成されている。また画素チップ２０１は、ロジックチップ２０２と略同等の大きさで形成されているため、画素エリア２１１と画素バイアス２１２を形成しても、残る領域がある。この残る領域に、データ処理部２２３が形成される。
【００５４】
図８に、図４に示した撮像装置１と図７に示した撮像装置１ａを並べて図示する。図８中、左側の図が、図４に示した撮像装置１であり、右側の図が、図７に示した撮像装置１ａである。
【００５５】
右図に示した撮像装置１ａは、左図に示した撮像装置１のロジックチップ２０２のデータ処理部２２３を、画素チップ２０１ａに移動した構成とされている。データ処理部２２３を移動したことで、データ処理部２２３の分だけ、撮像装置１を小型化することができる。
【００５６】
例えば、左図に示した撮像装置１の縦方向の長さを長さＬとする。左図に示した撮像装置１の画素チップ２０１とロジックチップ２０２の長さは、ともに長さＬとなる。データ処理部２２３の長さを長さａとする。
【００５７】
右図に示した撮像装置１aのロジックチップ２０２ａは、データ処理部２２３がない分だけ、長さが短くなっている。すなわちこの場合、ロジックチップ２０２ａの長さは、（長さＬ−長さａ）となり、長さａだけ短くなる。ロジックチップ２０２の長さが、（長さＬ−長さａ）となることで、画素チップ２０１ａの長さも、（長さＬ−長さａ）となる。
【００５８】
よって、画素チップ２０１ａとロジックチップ２０２ａから構成される撮像装置１ａは、小型化された撮像装置１ａとすることができる。
【００５９】
このように構成した撮像装置１ａの信号の流れについて、図９を参照して説明する。なお、撮像装置１ａの動作については、図６を参照して説明した場合と同様である。
【００６０】
１層目の画素チップ２０１ａの画素エリア２１１からの信号は、２層目のロジックチップ２０２ａの信号処理部２２１（ＡＤＣ４２）に供給される。信号処理部２２１からの信号（ＡＤＣの結果）は、フレームメモリ２２２に供給され、保持される。フレームメモリ２２２からのデータは、１層目の画素チップ２０１ａのデータ処理部２２３ａに供給される。データ処理部２２３ａによる処理結果、この場合ＣＤＳの結果は、後段のチップ、例えば、ＤＳＰ（Digital Signal Processor）チップに出力される。
【００６１】
なお、Ｄ層の信号(データ信号)は、直接的に、信号処理部２２１からデータ処理部２２３ａに供給される信号の流れであっても良い。また、データ処理部２２３aから、ＣＤＳ結果が、フレームメモリ２２２に供給されるという信号の流れがあっても良い。
【００６２】
図７乃至図９では、データ処理部２２３ａが、画素チップ２０１ａに形成される場合を例に挙げて説明したが、データ処理部２２３以外のロジックチップ２０２に形成されている機能が、画素チップ２０１ａに形成されても良い。例えば、図１０に示すように、フレームメモリ２２２が、画素チップ２０１ａに形成されるようにしても良い。
【００６３】
図１０に示した撮像装置１ａは、フレームメモリ２２２が、フレームメモリ２２２ａ−１とフレームメモリ２２２ａ−２の２つに分割され、それぞれ別の層に配置されている。具体的には、フレームメモリ２２２ａ−１は、１層目の画素チップ２０１ａに配置され、フレームメモリ２２２ａ−２は、２層目のロジックチップ２０２ａに配置されている。
【００６４】
図１０に示したように、フレームメモリ２２２の一部を画素チップ２０１ａに形成することで、ロジックチップ２０２ａに形成されるフレームメモリ２２２の領域を小さくすることができるため、ロジックチップ２０２ａを小型化することができる。よって、画素チップ２０１ａとロジックチップ２０２ａを含む撮像装置１aであり、ＡＤＣ４２を画素２１毎に有するような撮像装置１を小型化することができる。
【００６５】
＜第２の実施の形態＞
図１１は、第２の実施の形態における撮像装置１（撮像装置１ｂとする）の構成を示す図である。
【００６６】
図１１に示した撮像装置１ｂは、１層目の画素チップ２０１ｂ、２層目のロジックチップ２０２ｂ、および３層目のロジックチップ２０３ｂの３層から構成されている。
【００６７】
画素チップ２０１ｂには、画素エリア２１１、画素バイアス２１２が形成されている。ロジックチップ２０２ｂには、信号処理部２２１が形成されている。ロジックチップ２０３ｂには、フレームメモリ２２２ｂと制御部２２４ｂが形成されている。
【００６８】
撮像装置１ｂも、画素毎にＡＤＣ４２が形成され、１層目の画素チップの画素エリア２１１の領域と、２層目の信号処理部２２１（ＡＤＣ４２）の領域は、略同じ大きさの領域で形成されている。
【００６９】
このように３層構造とし、２層目のロジックチップ２０２（例えば、図４に示したロジックチップ２０２）に配置されていたフレームメモリ２２２、データ処理部２２３、および制御部２２４を、３層目のロジックチップ２０３ｂに移動させる。２層目のロジックチップ２０２ｂは、フレームメモリ２２２、データ処理部２２３、および制御部２２４がなくなった分だけ、少なくとも小さくなる。
【００７０】
よって、２層目のロジックチップ２０２ｂが小さくなることで、そのロジックチップ２０２ｂに合わせて、１層目の画素チップ２０１ｂを小型化することが可能となる。よって、画素２１毎に、ＡＤＣ４２を備える構成とした場合であっても、ロジックチップ２０２ｂを小型化し、画素チップ２０１ｂを小型化することができ、これらを含む撮像装置１ｂ自体を小型化することが可能となる。
【００７１】
このように構成した撮像装置１ｂの信号の流れについて、図１２を参照して説明する。なお、撮像装置１ｂの動作については、図６を参照して説明した場合と同様である。
【００７２】
１層目の画素チップ２０１ｂの画素エリア２１１からの信号は、２層目のロジックチップ２０２ｂの信号処理部２２１（ＡＤＣ４２）に供給される。信号処理部２２１からの信号（ＡＤＣの結果）は、３層目のロジックチップ２０３ｂのフレームメモリ２２２ｂに供給され、保持される。
【００７３】
フレームメモリ２２２ｂからのデータは、同層に形成されているデータ処理部２２３ｂに供給される。データ処理部２２３ｂによる処理結果、この場合ＣＤＳの結果は、後段のチップ、例えば、ＤＳＰチップに出力される。
【００７４】
第２の実施の形態における撮像装置１ｂにおいては、画素エリア２１１から信号処理部２２１、信号処理部２２１からフレームメモリ２２２ｂという上層から下層への信号のパスができるため、上層から下層へと繋ぐ配線の設計がしやすくなる。
【００７５】
第２の実施の形態における撮像装置１ｂにおいても、画素チップ２０１ｂ、ロジックチップ２０２ｂ、ロジックチップ２０３ｂを含む撮像装置１ｂであり、ＡＤＣ４２を画素２１毎に有するような撮像装置１ｂを小型化することができる。
【００７６】
また、フレームメモリ２２２ｂを、ロジックチップ２０３ｂに配置することで、フレームメモリ２２２ｂの容量を大きくしたとしても、例えば、１フレーム以上の容量としたとしても、撮像装置１ｂの小型化を妨げることはない。
【００７７】
＜第３の実施の形態＞
図１３は、第３の実施の形態における撮像装置１の構成を示す図である。
【００７８】
図１３に示した撮像装置１ｃは、図４に示した撮像装置１と同じく、１層目の画素チップ２０１ｃと２層目のロジックチップ２０２ｃの２層から構成されている点は同一であるが、フレームメモリ２２２ｃの容量が小さく構成されている点が異なる。またフレームメモリ２２２ｃの容量を小さくするために、エンコーダ部３０１とデコーダ部３０２が追加された構成とされている点も異なる。
【００７９】
エンコーダ部３０１は、信号処理部２２１での処理結果（ＡＤＣの結果）を、所定のアルゴリズムにより圧縮し、フレームメモリ２２２ｃに供給するエンコーダとして機能する。デコーダ部３０２は、フレームメモリ２２２ｃに記憶されたデータを、エンコーダ部３０１に対応するデコード方式で、解凍するデコーダとし機能する。
【００８０】
このように、エンコーダ部３０１を備える構成とすることで、フレームメモリ２２２ｃに保持させるデータ量を少なくすることができ、撮像装置１ｃを小型化することができる。
【００８１】
図１４を参照し、撮像装置１ｃを小型化することができることについて説明を加える。図１４の左図は、エンコーダ部３０１を備えていないロジックチップ２０２（例えば、図４に示したロジックチップ２０２）を示し、右図は、図１３に示した撮像装置１ｃのロジックチップ２０２ｃを示す。
【００８２】
エンコーダ部３０１により信号処理部２２１からのデータが圧縮されることで、フレームメモリ２２２ｃに保持させる必要があるデータ量を少なくすることができるため、フレームメモリ２２２ｃを形成する面積を小さくすることができる。
【００８３】
よって、ロジックチップ２０２ｃを小型化することができる。またロジックチップ２０２ｃを小型化することで、画素チップ２０１ｃを小型化することができ、結果として画素チップ２０１ｃとロジックチップ２０２ｃを備える撮像装置１を小型化することができる。
【００８４】
エンコーダ部３０１によるエンコードは、非可逆圧縮でも良いし、可逆圧縮でも良い。一般的に、非可逆圧縮の方が、可逆圧縮よりもデータ量を小さくできるため、フレームメモリ２２２ｃの容量を小さくしたい場合には、非可逆圧縮によるエンコードを行うエンコーダ部３０１が備えられるようにすることができる。
【００８５】
一方で、非可逆圧縮によると、ノイズがのり画質が劣化する可能性があるため、画質を優先する場合、可逆圧縮によるエンコードを行うエンコーダ部３０１が備えられるようにすることができる。エンコーダ部３０１のアルゴリズムは、フレームメモリ２２２ｃの容量（配置する面積）、所望とされる画質などを考慮して適切に設定される。
【００８６】
フレームメモリ２２２ｃに保持されているデータは圧縮されているため、ＣＤＳの処理を行うときには、デコーダ部３０２により解凍されたデータが用いられる。ここで、図１５を参照し、フレームメモリ２２２への書き込みや読み出しについて説明を加える。図１５における太枠の矢印は、信号の流れを示している。
【００８７】
画素回路４１を構成するフローティングディフュージョン１０５がリセットされ、そのレベルがＡＤＣ４２によりＡＤ変換される（Ｐ相期間）。Ｐ相期間においてＡＤＣ４２のラッチ記憶部５２（図２）から出力される値は、ＡＤＣ４２の１行ずつ読み出され、エンコーダ部３０１でエンコードされた後、フレームメモリ２２２ｃに格納される。
【００８８】
Ｐ相期間の後、フォトダイオード１０１の光電子がフローティングディフュージョン１０５に転送され、このレベルがＡＤＣ４２によりＡＤ変換される（Ｄ相期間）。Ｄ相期間において、ＡＤＣ４２のラッチ記憶部５２（図２）から出力される値は、ＡＤＣ４２の１行ずつ読み出され、データ処理部２２３に供給される。
【００８９】
データ処理部２２３は、Ｄ相期間において読み出された値を、フレームメモリ２２２ｃに記憶されているＰ相期間において読み出された値から減算するＣＤＳ処理を行う。このとき、フレームメモリ２２２ｃから読み出されたデータは、デコーダ部３０２に供給され、デコードされた後、データ処理部２２３に供給される。
【００９０】
データ処理部２２３による処理で、得られた結果は、後段のＤＳＰに出力される。
【００９１】
または、図１６に示すように、データ処理部２２３からのＣＤＳ処理結果は、エンコーダ部３０１に供給され、エンコードされ、フレームメモリ２２２ｃに一旦記憶される。フレームメモリ２２２に記憶されたＣＤＳ処理結果は、後段のＤＳＰに転送するタイミングで、フレームメモリ２２２ｃから読み出され、デコーダ部３０２に供給される。
【００９２】
デコーダ部３０２で解凍されたＣＤＳ処理結果は、データ処理部２２３により、後段のＤＳＰ（不図示）に出力される。
【００９３】
または、図１７に示すように、データ処理部２２３からのＣＤＳ処理結果は、エンコーダ部３０１に供給され、エンコードされ、フレームメモリ２２２ｃに一旦記憶される。フレームメモリ２２２に記憶されたＣＤＳ処理結果は、後段のＤＳＰに転送するタイミングで、フレームメモリ２２２ｃから読み出され、データ処理部２２３により、後段のＤＳＰ（不図示）に出力される。
【００９４】
図１７に示した処理の流れでは、ＣＤＳ処理結果は、圧縮されたまま、データ処理部２２３から後段のＤＳＰに出力される。図１８に示すようにＤＳＰ３５１側は、圧縮されたＣＤＳ処理結果を解凍するためのデコード部３５２を備える構成とされる。
【００９５】
図１８に示したように、図１７に示したような処理を行う撮像装置１ｃからのデータを処理するＤＳＰ３５１は、デコード部３５２を備える構成とされる。ＤＳＰ３５１のデコード部３５２は、撮像装置１ｃのデコーダ部３０２と同じアルゴリズムにより、供給されるＣＤＳ処理結果を解凍する。
【００９６】
撮像装置１ｃから出力されるデータは、圧縮されたデータであるため、例えば、図１５や図１６に示した処理のように圧縮されていないデータが授受されるときも、授受されるデータ量を抑えることができる。よって、撮像装置１ｃからＤＳＰ３５１へのデータ転送時間を短くすることができる。すなわち、撮像装置１ｃからＤＳＰ３５１へのデータ転送をより高速で行うことが可能となる。
【００９７】
なお、図１３に示したロジックチップ２０２ｃ上の、エンコーダ部３０１、デコーダ部３０２などの配置位置は、一例であり、限定を示す記載ではない。図１５乃至１７を参照して説明した処理を行うのに適した配置とされ、適宜配置位置は変更可能である。
【００９８】
また、図１６を参照して説明した処理を行う場合、ＡＤＣ４２からのデータをエンコードするエンコーダ部３０１と、データ処理部２２３からのＣＤＳ処理結果をエンコードするエンコーダ部３０１を、それぞれ設け、ロジックチップ２０２ｃ上の適切な位置に配置されるようにしても良い。
【００９９】
第２の実施の形態における撮像装置１ｃにおいても、画素チップ２０１ｃとロジックチップ２０２ｃを含む撮像装置１ｃであり、ＡＤＣ４２を画素２１毎に有するような撮像装置１ｃを小型化することができる。
【０１００】
＜第４の実施の形態＞
第４の実施の形態における撮像装置１について説明を加える。図１９に、第４の実施の形態における撮像装置１ｄの構成を示す。
【０１０１】
第４の実施の形態における撮像装置１は、第１の実施の形態における撮像装置１ａと第３の実施の形態における撮像装置１ｃを組み合わせた撮像装置である。図１９に示した撮像装置１ｄの画素チップ２０１ｄには、第１の実施の形態における撮像装置１ａ（図７）と同じく、画素エリア２１１、画素バイアス２１２、およびデータ処理部２２３ａが形成されている。
【０１０２】
図１９に示した撮像装置１ｄのロジックチップ２０２ｄには、第３の実施の形態における撮像装置１ｃ（図１３）と同じく、信号処理部２２１、エンコーダ部３０１、フレームメモリ２２２ｃ、デコーダ部３０２、および制御部２２４が形成されている。
【０１０３】
画素チップ２０１ｄに、データ処理部２２３ａを形成することで、第１の実施の形態における撮像装置１ａと同じく、データ処理部２２３ａが無くなった分だけ、ロジックチップ２０２ｄを小型化することができる。また、エンコーダ部３０１を形成することで、第３の実施の形態における撮像装置１ｃと同じく、フレームメモリ２２２ｃの容量を小さくすることができ、フレームメモリ２２２ｃの配置面積を小さくすることができる。
【０１０４】
よって、ロジックチップ２０２ｄをより小さく形成することができ、画素チップ２０１ｄとロジックチップ２０２ｄを含む撮像装置１ｄを、より小型化することができる。
【０１０５】
このように構成した撮像装置１ｄの信号の流れについて、図２０を参照して説明する。なお、撮像装置１ｄの動作については、撮像装置１ｃの動作と同様である。
【０１０６】
１層目の画素チップ２０１ｄの画素エリア２１１からの信号は、２層目のロジックチップ２０２ｄの信号処理部２２１（ＡＤＣ４２）に供給される。信号処理部２２１からの信号（ＡＤＣの結果）は、同層のエンコーダ部３０１に供給され、エンコード後、同層のフレームメモリ２２２ｃに供給され、保持される。
【０１０７】
フレームメモリ２２２ｃからのデータは、同層に形成されているデコーダ部３０２に供給され、デコード後、上層のデータ処理部２２３ａに供給される。データ処理部２２３ａによる処理結果、この場合ＣＤＳの結果は、後段のチップ、例えば、ＤＳＰチップに出力される。
【０１０８】
第４の実施の形態における撮像装置１ｄにおいても、画素チップ２０１ｄとロジックチップ２０２ｄを含む撮像装置１ｄであり、ＡＤＣ４２を画素２１毎に有するような撮像装置１ｄを小型化することができる。
【０１０９】
＜第５の実施の形態＞
第５の実施の形態における撮像装置１について説明を加える。図２１に、第５の実施の形態における撮像装置１ｅの構成を示す。
【０１１０】
第５の実施の形態における撮像装置１は、第２の実施の形態における撮像装置１ｂと第３の実施の形態における撮像装置１ｃを組み合わせた撮像装置である。図２１に示した撮像装置１ｅの画素チップ２０１ｅには、第２の実施の形態における撮像装置１ｂ（図１１）と同じく、画素エリア２１１と画素バイアス２１２が形成されている。
【０１１１】
図２１に示した撮像装置１ｅのロジックチップ２０２ｅには、第２の実施の形態における撮像装置１ｂ（図１１）と同じく、信号処理部２２１が形成されている。図２１に示した撮像装置１ｅのロジックチップ２０３ｅには、エンコーダ部３０１ｅ、フレームメモリ２２２ｂ、デコーダ部３０２ｅ、データ処理部２２３ｂ、および制御部２２４ｂが形成されている。
【０１１２】
撮像装置１ｅを３層構造とし、３層目のロジックチップ２０３ｅに、２層目のロジックチップ２０２ｃ（図１３）に配置されていたエンコーダ部３０１、フレームメモリ２２２ｃ、デコーダ部３０２、データ処理部２２３、および制御部２２４を、３層目のロジックチップ２０３ｅに移動させることで、２層目のロジックチップ２０２ｄを小型化できる。
【０１１３】
よって、２層目のロジックチップ２０２ｄが小さくなることで、そのロジックチップ２０２ｂに合わせて、１層目の画素チップ２０１ｅを小型化することが可能となる。よって、画素２１毎に、ＡＤＣ４２を備える構成とした場合であっても、ロジックチップ２０２ｅを小型化し、画素チップ２０１ｅを小型化することができ、これらを含む撮像装置１ｅ自体を小型化することが可能となる。
【０１１４】
このように構成した撮像装置１ｅの信号の流れについて、図２２を参照して説明する。なお、撮像装置１ｅの動作については、撮像装置１ｃの動作と同様である。
【０１１５】
１層目の画素チップ２０１ｅの画素エリア２１１からの信号は、２層目のロジックチップ２０２ｅの信号処理部２２１（ＡＤＣ４２）に供給される。信号処理部２２１からの信号（ＡＤＣの結果）は、３層目のロジックチップ２０３ｅのエンコーダ部３０１ｅに供給され、エンコード後、同層のフレームメモリ２２２ｂに供給され、保持される。
【０１１６】
フレームメモリ２２２ｂからのデータは、同層に形成されているデコーダ部３０２ｅに供給され、デコード後、同層のデータ処理部２２３ｂに供給される。データ処理部２２３ｂによる処理結果、この場合ＣＤＳの結果は、後段のチップ、例えば、ＤＳＰチップに出力される。
【０１１７】
図２１に示した撮像装置１ｅの構成は一例あり、限定を示す記載ではない。例えば、図２１に示した撮像装置１ｅでは、ロジックチップ２０３ｅに配置されているデータ処理部２２３ｂを、画素チップ２０１ｅに配置した構成としても良い。
【０１１８】
また例えば、図２１に示した撮像装置１ｅでは、ロジックチップ２０３ｅに配置されているデータ処理部２２３ｂを、ロジックチップ２０２ｅに配置した構成としても良い。
【０１１９】
また例えば、図２１に示した撮像装置１ｅでは、ロジックチップ２０３ｅに配置されているエンコーダ部３０１ｅとデコーダ部３０２ｅのどちらか一方または両方を、画素チップ２０１ｅに配置した構成としても良い。
【０１２０】
第５の実施の形態における撮像装置１ｅにおいても、画素チップ２０１ｅ、ロジックチップ２０２ｅ、ロジックチップ２０３ｅを含む撮像装置１ｅであり、ＡＤＣ４２を画素２１毎に有するような撮像装置１ｅを小型化することができる。
【０１２１】
上記した実施の形態においては、撮像装置１は、２層構造または３層構造である場合を例に挙げて説明したが、３層以上の例えば４層構造、５層構造などであっても良い。また、フレームメモリを２フレーム分のデータを保持できる容量とし、２層で構成するような場合も、本技術の適用範囲である。
【０１２２】
本技術によれば、画素毎にＡＤＣを備える構造の撮像装置を小型化することができる。撮像装置を構成するチップの大きさを小型化できるため、理収を向上させることができる。また、チップの設計時のＳＴＡ（static timing analysis）等が、チップサイズが縮小することで容易になる。
【０１２３】
＜電子機器＞
本開示は、撮像装置への適用に限られるものではなく、デジタルスチルカメラやビデオカメラ等の撮像装置や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部に撮像装置を用いる複写機など、画像取込部（光電変換部）に撮像装置を用いる電子機器全般に対して適用可能である。なお、電子機器に搭載される上記モジュール状の形態、即ちカメラモジュールを撮像装置とする場合もある。
【０１２４】
図２３は、本開示の電子機器の一例である撮像装置の構成例を示すブロック図である。図２３に示すように、本開示の撮像装置６００は、レンズ群６０１等を含む光学系、撮像素子６０２、カメラ信号処理部であるＤＳＰ回路６０３、フレームメモリ６０４、表示装置６０５、記録装置６０６、操作系６０７、及び、電源系６０８等を有している。
【０１２５】
そして、ＤＳＰ回路６０３、フレームメモリ６０４、表示装置６０５、記録装置６０６、操作系６０７、及び、電源系６０８がバスライン６０９を介して相互に接続された構成となっている。ＣＰＵ６１０は、撮像装置６００内の各部を制御する。
【０１２６】
レンズ群６０１は、被写体からの入射光（像光）を取り込んで撮像素子６０２の撮像面上に結像する。撮像素子６０２は、レンズ群６０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像素子６０２として、先述した実施の形態に係る固体撮像素子を用いることができる。
【０１２７】
表示装置６０５は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置等のパネル型表示装置からなり、撮像素子６０２で撮像された動画または静止画を表示する。記録装置６０６は、撮像素子６０２で撮像された動画または静止画を、ビデオテープやＤＶＤ(Digital Versatile Disk)等の記録媒体に記録する。
【０１２８】
操作系６０７は、ユーザによる操作の下に、本撮像装置が持つ様々な機能について操作指令を発する。電源系６０８は、ＤＳＰ回路６０３、フレームメモリ６０４、表示装置６０５、記録装置６０６、及び、操作系６０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
【０１２９】
このような撮像装置６００は、ビデオカメラやデジタルスチルカメラ、さらには、携帯電話機等のモバイル機器向けカメラモジュールに適用される。そして、この撮像装置６００において、撮像素子６０２として先述した実施の形態に係る撮像装置を用いることができる。
【０１３０】
＜体内情報取得システムへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【０１３１】
図２４は、本開示に係る技術（本技術）が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
【０１３２】
体内情報取得システム１０００１は、カプセル型内視鏡１０１００と、外部制御装置１０２００とから構成される。
【０１３３】
カプセル型内視鏡１０１００は、検査時に、患者によって飲み込まれる。カプセル型内視鏡１０１００は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置１０２００に順次無線送信する。
【０１３４】
外部制御装置１０２００は、体内情報取得システム１０００１の動作を統括的に制御する。また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための画像データを生成する。
【０１３５】
体内情報取得システム１０００１では、このようにして、カプセル型内視鏡１０１００が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。
【０１３６】
カプセル型内視鏡１０１００と外部制御装置１０２００の構成及び機能についてより詳細に説明する。
【０１３７】
カプセル型内視鏡１０１００は、カプセル型の筐体１０１０１を有し、その筐体１０１０１内には、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、給電部１０１１５、電源部１０１１６、及び制御部１０１１７が収納されている。
【０１３８】
光源部１０１１１は、例えばＬＥＤ（light emitting diode）等の光源から構成され、撮像部１０１１２の撮像視野に対して光を照射する。
【０１３９】
撮像部１０１１２は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。撮像部１０１１２では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部１０１１２によって生成された画像信号は、画像処理部１０１１３に提供される。
【０１４０】
画像処理部１０１１３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサによって構成され、撮像部１０１１２によって生成された画像信号に対して各種の信号処理を行う。画像処理部１０１１３は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部１０１１４に提供する。
【０１４１】
無線通信部１０１１４は、画像処理部１０１１３によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ１０１１４Ａを介して外部制御装置１０２００に送信する。また、無線通信部１０１１４は、外部制御装置１０２００から、カプセル型内視鏡１０１００の駆動制御に関する制御信号を、アンテナ１０１１４Ａを介して受信する。無線通信部１０１１４は、外部制御装置１０２００から受信した制御信号を制御部１０１１７に提供する。
【０１４２】
給電部１０１１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部１０１１５では、いわゆる非接触充電の原理を用いて電力が生成される。
【０１４３】
電源部１０１１６は、二次電池によって構成され、給電部１０１１５によって生成された電力を蓄電する。図２４では、図面が煩雑になることを避けるために、電源部１０１１６からの電力の供給先を示す矢印等の図示を省略しているが、電源部１０１１６に蓄電された電力は、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び制御部１０１１７に供給され、これらの駆動に用いられ得る。
【０１４４】
制御部１０１１７は、ＣＰＵ等のプロセッサによって構成され、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び、給電部１０１１５の駆動を、外部制御装置１０２００から送信される制御信号に従って適宜制御する。
【０１４５】
外部制御装置１０２００は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置１０２００は、カプセル型内視鏡１０１００の制御部１０１１７に対して制御信号を、アンテナ１０２００Ａを介して送信することにより、カプセル型内視鏡１０１００の動作を制御する。カプセル型内視鏡１０１００では、例えば、外部制御装置１０２００からの制御信号により、光源部１０１１１における観察対象に対する光の照射条件が変更され得る。また、外部制御装置１０２００からの制御信号により、撮像条件（例えば、撮像部１０１１２におけるフレームレート、露出値等）が変更され得る。また、外部制御装置１０２００からの制御信号により、画像処理部１０１１３における処理の内容や、無線通信部１０１１４が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
【０１４６】
また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ(Noise reduction)処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の信号処理を行うことができる。外部制御装置１０２００は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置１０２００は、生成した画像データを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。
【０１４７】
＜内視鏡手術システムへの応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【０１４８】
図２５は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【０１４９】
図２５では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【０１５０】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【０１５１】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０１５２】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：  Ｃａｍｅｒａ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１１２０１に送信される。
【０１５３】
ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【０１５４】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【０１５５】
光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【０１５６】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【０１５７】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０１５８】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０１５９】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０１６０】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ  Ｂａｎｄ  Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０１６１】
図２６は、図２５に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
【０１６２】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【０１６３】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【０１６４】
撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【０１６５】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【０１６６】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【０１６７】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【０１６８】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【０１６９】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
【０１７０】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【０１７１】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【０１７２】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【０１７３】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【０１７４】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【０１７５】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【０１７６】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０１７７】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【０１７８】
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
【０１７９】
＜移動体への応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１８０】
図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１８１】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０１８２】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１８３】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１８４】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１８５】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１８６】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１８７】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０１８８】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１８９】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１９０】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１９１】
図２８は、撮像部１２０３１の設置位置の例を示す図である。
【０１９２】
図２８では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１９３】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１９４】
なお、図２８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１９５】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１９６】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１９７】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１９８】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１９９】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２００】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０１】
なお、本技術は以下のような構成も取ることができる。
（１）
入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、
前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、
前記ＡＤ変換部からの変換結果をエンコードするエンコード部と、
前記エンコード結果を保持する保持部と、
前記保持部に保持されている前記エンコード結果を出力する出力部と
を備え、
第１の基板に、前記画素回路が配置され、
前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置されている
撮像装置。
（２）
前記エンコード部、前記保持部、および前記出力部は、前記第２の基板に配置されている
前記（１）に記載の撮像装置。
（３）
前記出力部は、前記第１の基板に配置され、
前記エンコード部と前記保持部は、前記第２の基板に配置されている
前記（１）に記載の撮像装置。
（４）
前記第２の基板の下層に積層される第３の基板に、前記エンコード部、前記保持部、および前記出力部が配置されている
前記（１）に記載の撮像装置。
（５）
前記保持部に保持されている前記エンコード結果をデコードするデコード部をさらに備え、
前記デコード部は、前記エンコード部と同一基板に備えられている
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
前記デコード部は、前記画素回路のリセットレベルの前記コード入力信号をデコードし、
前記出力部は、前記デコード部によりデコードされた前記リセットレベルの前記コード入力信号と、前記画素回路の信号レベルの前記コード入力信号を用いてＣＤＳ(Correlated Double Sampling)を行い、ＣＤＳ結果を出力する
前記（５）に記載の撮像装置。
（７）
前記出力部により出力された前記ＣＤＳ結果は、前記エンコード部でエンコードされ、前記保持部に保持される
前記（６）に記載の撮像装置。
（８）
前記保持部に保持されている前記エンコード結果は、前記デコード部でデコードされた後、前記出力部により出力される
前記（７）に記載の撮像装置。
（９）
入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、
前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、
前記ＡＤ変換部からの変換結果をエンコードするエンコード部と、
前記エンコード結果を保持する保持部と、
前記保持部に保持されている前記エンコード結果を出力する出力部と
を備え、
第１の基板に、前記画素回路が配置され、
前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置されている
撮像装置と、
前記撮像装置からの信号を処理する処理部と
を備える電子機器。
（１０）
入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、
前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、
前記ＡＤ変換部からの変換結果を保持する保持部と、
前記保持部に保持されている変換結果を出力する出力部と
を備え、
第１の基板に、前記画素回路と、前記保持部または前記出力部が配置され、
前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置されている
撮像装置。
（１１）
入射された光を受光して光電変換することで生成された電荷信号を出力する画素回路と、
前記画素回路毎に、前記電荷信号と参照信号を比較し、比較結果が反転したときのコード入力信号を変換結果として出力するＡＤ変換部と、
前記ＡＤ変換部からの変換結果を保持する保持部と、
前記保持部に保持されている変換結果を出力する出力部と
を備え、
第１の基板に、前記画素回路が配置され、
前記第１の基板の下層に積層される第２の基板に、前記ＡＤ変換部が配置され、
前記第２の基板の下層に積層される第３の基板に、前記保持部と前記出力部が配置されている
撮像装置。
（１２）
前記出力部は、ＣＤＳ(Correlated Double Sampling)を実行し、その結果を出力する
前記（１０）または（１１）に記載の撮像装置。
【符号の説明】
【０２０２】
１  撮像装置，  １１  半導体基板，  ２１  画素，  ２２  画素アレイ部，  ２３  画素駆動回路，  ２５  垂直駆動回路，  ２６  センスアンプ部，  ２７  出力部，  ２８  タイミング生成回路，  ４１  画素回路，  ５１  比較器，  ５２  ラッチ記憶部，  １０１  フォトダイオード，  １０２  排出トランジスタ，  １０３  転送トランジスタ，  １０４  リセットトランジスタ，  １０５  フローティングディフュージョン，  １０６  増幅トランジスタ，  ２０１  画素チップ，  ２０２  ロジックチップ，  ２０３  ロジックチップ，  ２１１  画素エリア，  ２１２  画素バイアス，  ２２１  信号処理部，  ２２２  フレームメモリ，  ２２３  データ処理部，  ２２４  制御部，  ３０１  エンコーダ部，  ３０２  デコード部，  ３５２  デコード部
【図１】
2020028098.tif 000003
【図２】
2020028098.tif 000004
【図３】
2020028098.tif 000005
【図４】
2020028098.tif 000006
【図５】
2020028098.tif 000007
【図６】
2020028098.tif 000008
【図７】
2020028098.tif 000009
【図８】
2020028098.tif 000010
【図９】
2020028098.tif 000011
【図１０】
2020028098.tif 000012
【図１１】
2020028098.tif 000013
【図１２】
2020028098.tif 000014
【図１３】
2020028098.tif 000015
【図１４】
2020028098.tif 000016
【図１５】
2020028098.tif 000017
【図１６】
2020028098.tif 000018
【図１７】
2020028098.tif 000019
【図１８】
2020028098.tif 000020
【図１９】
2020028098.tif 000021
【図２０】
2020028098.tif 000022
【図２１】
2020028098.tif 000023
【図２２】
2020028098.tif 000024
【図２３】
2020028098.tif 000025
【図２４】
2020028098.tif 000026
【図２５】
2020028098.tif 000027
【図２６】
2020028098.tif 000028
【図２７】
2020028098.tif 000029
【図２８】
2020028098.tif 000030