(57)【要約】【課題】被写体が高速に動いている場合でも高精度な被写体の動き情報を取得する。【解決手段】行列状に複数配置された画素からの信号を、列方向に沿って配置された信号線に順次読み出すことによって信号を取得する固体撮像素子であって、前記固体撮像素子に行列状に複数配置された複数の第１の画素と、前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置され、画素内メモリを有する複数の第２の画素と、を有し、前記複数の第２の画素からの信号を前記画素内メモリに所定の電荷保持時間だけ保持してから読み出すことにより、隣接する行間での前記第２の画素の露光タイミングの差を、隣接する行間での前記第１の画素の露光タイミングの差に対して異ならせる。【選択図】図２
2015164284.tif 000002
【特許請求の範囲】
【請求項１】
行列状に複数配置された画素からの信号を、列方向に沿って配置された信号線に順次読み出すことによって各画素の信号を取得する固体撮像素子であって、
前記固体撮像素子に行列状に複数配置された複数の第１の画素と、
前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置され、画素内メモリを有する複数の第２の画素と、
を有し、
前記複数の第２の画素からの信号を前記画素内メモリに所定の電荷保持時間だけ保持してから読み出すことにより、隣接する行間での前記第２の画素の露光タイミングの差を、隣接する行間での前記第１の画素の露光タイミングの差に対して異ならせる、
ことを特徴とする固体撮像素子。
【請求項２】
前記第１の画素の数と、前記第２の画素の数が等しい、
ことを特徴とする、請求項１に記載の固体撮像素子。
【請求項３】
前記第１の画素が画素内メモリを有さない、
ことを特徴とする、請求項１または２に記載の固体撮像素子。
【請求項４】
前記第１の画素が画素内メモリを有し、
前記複数の第１の画素における画素内メモリへの電荷保持時間が、前記複数の第２の画素における画素内メモリへの電荷保持時間と異なることにより、隣接する行間での前記第２の画素の露光タイミングの差を、隣接する行間での前記第１の画素の露光タイミングの差に対して異ならせる、
ことを特徴とする、請求項１または２に記載の固体撮像素子。
【請求項５】
画素からの信号が先に前記信号線に読み出される前記第１の画素ほど、前記画素内メモリへの保持時間が長い、
ことを特徴とする、請求項４に記載の固体撮像素子。
【請求項６】
隣接する行に配置された前記第２の画素の露光タイミングが同時である、
ことを特徴とする、請求項１から５のいずれか１項に記載の固体撮像素子。
【請求項７】
前記第１の画素の光電変換部の開口率が、前記第２の画素の光電変換部の開口率よりも大きい、
ことを特徴とする、請求項１から６のいずれか１項に記載の固体撮像素子。
【請求項８】
前記第２の画素で取得した画素信号の値が第１の値よりも小さい場合には前記第１の画素で取得した画像情報を使用し、前記第１の画素で取得した画素信号の値が第２の値よりも大きい場合には前記第２の画素で取得した画像情報を使用し、両者を合成する処理を行う、
ことを特徴とする、請求項７に記載の固体撮像素子。
【請求項９】
前記第２の画素の画素内メモリが、隣接する第１の画素と第２の画素の境界にまたぐように配置されている、
ことを特徴とする、請求項１から８のいずれか１項に記載の固体撮像素子。
【請求項１０】
前記第１の画素および前記第２の画素から、所定の行数おきに間引いて信号を読み出すように構成され、
前記複数の第１の画素の間引き行数よりも、前記複数の第２の画素の間引き行数が多い
、
ことを特徴とする、請求項１から９のいずれか１項に記載の固体撮像素子。
【請求項１１】
行列状に複数配置された画素からの信号を、列方向に沿って配置された信号線に順次読み出すことによって信号を取得する固体撮像素子であって、
前記固体撮像素子に行列状に複数配置された複数の第１の画素と、
前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置された複数の第２の画素と、
を有し、
前記第１の画素および前記第２の画素から、所定の行数おきに間引いて信号を読み出すように構成され、
前記複数の第１の画素の間引き行数よりも、前記複数の第２の画素の間引き行数が多い、
ことを特徴とする固体撮像素子。
【請求項１２】
前記第１の画素または前記第２の画素のうち少なくとも一部の画素が、前記固体撮像素子へ入射する光束を分離して検出する測距画素である、
ことを特徴とする、請求項１から１１のいずれか１項に記載の固体撮像素子。
【請求項１３】
前記第１の画素が測距画素であって、前記第２の画素は測距画素ではない、
ことを特徴とする、請求項１２に記載の固体撮像素子。
【請求項１４】
前記第２の画素が測距画素であって、前記第１の画素は測距画素ではない、
ことを特徴とする、請求項１２に記載の固体撮像素子。
【請求項１５】
前記第１の画素および、前記第２の画素がいずれも測距画素である、
ことを特徴とする、請求項１２に記載の固体撮像素子。
【請求項１６】
前記第１の画素の基線長が、前記第２の画素の基線長よりも長い、
ことを特徴とする、請求項１５に記載の固体撮像素子。
【請求項１７】
請求項１から１６のいずれか1項に記載の固体撮像素子と、
同一フレームにおいて前記複数の第１の画素で取得した画像の歪量と、前記複数の第２の画素で取得した画像の歪量の相違を比較することで、被写体の動き情報を取得する演算処理部と、
を有することを特徴とする、動き情報取得装置。
【請求項１８】
前記演算処理部は、前記第１の画素で取得した画像と、前記第２の画素で取得した画像を用いて、前記演算処理部において歪の無い画像を生成する、
ことを特徴とする、請求項１７に記載の動き情報取得装置。
【請求項１９】
前記第１の画素または前記第２の画素のうち少なくとも一部の画素が、前記固体撮像素子へ入射する光束を分離して検出する測距画素であり、
前記演算処理部は、前記測距画素で取得した画像から求めた被写体の距離情報と被写体の動き情報を用いて、被写体の速度を取得する、
ことを特徴とする、請求項１７または１８のいずれか１項に記載の動き情報取得装置。
【請求項２０】
請求項１から１６のいずれか１項に記載の固体撮像素子または請求項１７から請求項１９のいずれか１項に記載の動き情報取得装置を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子に関するものであり、特にデジタルスチルカメラやデジタルビデオカメラなどの撮像装置において被写体の動き情報取得に用いられる固体撮像素子に関するものである。
【背景技術】
【０００２】
近年、デジタルスチルカメラやビデオカメラにおいては、画素アンプ部にＭＯＳトランジスタを用いたＣＭＯＳ型の固体撮像素子が広く使用されている。ＣＭＯＳ型の固体撮像素子における信号の転送方法として、以下の二つが知られている。一つ目の方法は、画素の電圧信号を、行毎に順次垂直信号線に転送する、所謂ローリングシャッタ方式である。ローリングシャッタ方式では、信号転送のタイミングが行毎にずれるため、露光のタイミングも行毎にずれる。二つ目の方法は、画素内メモリに一時的に電荷を保持することで、全ての画素で露光のタイミングを同時にする、所謂グローバルシャッタ方式である。グローバルシャッタ方式を用いることで、高速で動く被写体に対しても、歪みのない画像が取得できる。
【０００３】
特許文献１には、ローリングシャッタ方式で信号転送を行う固体撮像素子を使用し、被写体の動き情報を取得する手法が開示されている。特許文献１に開示されている固体撮像素子は、行方向に間引いた基準画像と、間引かずに全行の信号を取得した比較画像を比較して、被写体の動き情報を取得している。具体的には、基準画像よりも比較画像の方がローリングシャッタによって発生する画像の歪み量が大きくなることを使用し、基準画像と比較画像を比較することで、被写体の動き情報を取得している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８２５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示されている手法を用いた場合、基準画像を取得するフレームと比較画像を取得するフレームが異なっているため、特に被写体が高速に動いている場合、フレーム間の画像の位置ズレによって、取得した動き情報の精度が低下してしまう。
【０００６】
本発明では、特に被写体が高速に動いている場合においても、高精度な被写体の動き情報の取得が可能となる固体撮像素子と、それを用いた動き取得装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の第一の態様に係る固体撮像素子は、行列状に複数配置された画素からの信号を、列方向に沿って配置された信号線に順次読み出すことによって信号を取得する固体撮像素子であって、前記固体撮像素子に行列状に複数配置された複数の第１の画素と、前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置され、画素内メモリを有する複数の第２の画素と、を有し、前記複数の第２の画素からの信号を前記画素内メモリに所定の電荷保持時間だけ保持してから読み出すことにより、隣接する行間での前記第２の画素の露光タイミングの差を、隣接する行間での前記第１の画素の露光タイミングの差に対して異ならせる、ことを特徴とする。
【０００８】
また、本発明の第二の態様に係る固体撮像素子は、行列状に複数配置された画素からの
信号を、列方向に沿って配置された信号線に順次読み出すことによって信号を取得する固体撮像素子であって、前記固体撮像素子に行列状に複数配置された複数の第１の画素と、前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置された複数の第２の画素と、を有し、前記第１の画素および前記第２の画素から、所定の行数おきに間引いて信号を読み出すように構成され、前記複数の第１の画素の間引き行数よりも、前記複数の第２の画素の間引き行数が多い、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、被写体が高速に動いている場合においても、高精度な被写体の動き情報の取得が可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１に示す固体撮像素子を用いた動き情報取得装置
【図２】実施形態１に示す固体撮像素子
【図３】実施形態１に示す固体撮像素子中の画素
【図４】ローリングシャッタとグローバルシャッタで取得した画像
【図５】実施形態１に示す固体撮像素子中の第１の画素の回路図
【図６】実施形態１に示す固体撮像素子中の第１の画素の動作フロー
【図７】実施形態１に示す固体撮像素子中の第２の画素の回路図
【図８】実施形態１に示す固体撮像素子中の第２の画素の動作フロー
【図９】第１の画素と第２の画素で取得した信号値
【図１０】画素内メモリの配置の変形例
【図１１】実施形態２に示す固体撮像素子中の第１の画素
【図１２】実施形態２に示す固体撮像素子中の第１の画素の動作フロー
【図１３】固体撮像素子中の第２の画素の動作フローの変形例
【図１４】実施形態３に示す固体撮像素子中の画素
【図１５】実施形態３に示す固体撮像素子中の第１の画素の回路図
【図１６】実施形態３に示す固体撮像素子中の第１の画素の動作フロー
【図１７】実施形態３に示す固体撮像素子中の第２の画素の回路図
【図１８】実施形態３に示す固体撮像素子中の第２の画素の動作フロー
【図１９】実施形態３に示す固体撮像素子中の画素の変形例
【図２０】実施形態３に示す固体撮像素子中の画素の変形例
【図２１】実施形態３に示す固体撮像素子中の画素の変形例
【図２２】実施形態４に示す固体撮像素子の第１の画素の動作フロー
【図２３】実施形態４に示す固体撮像素子の第２の画素の動作フロー
【発明を実施するための形態】
【００１１】
以下、図を用いて、本発明の実施形態における固体撮像素子について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
【００１２】
（実施形態１）
＜動き情報取得装置＞
図１は本実施形態における固体撮像素子を用いた動き情報取得装置の模式図である。図１において、動き情報取得装置１００は、結像光学系１０１、固体撮像素子１１０、演算処理部１０２から構成される。固体撮像素子１１０は結像光学系１０１の光軸上に配置され、結像光学系１０１は固体撮像素子１１０上に被写体像を結像する。
【００１３】
演算処理部１０２は、ＣＰＵやＤＳＰとプログラムを格納したメモリから構成され、プログラムを実行することにより被写体の動き情報を検出したり、被写体像を取得したりす
る。また、動き情報取得装置と演算処理部１０２の撮像機能（被写体像取得部）から、撮像装置が構成される。演算処理部１０２における被写体像取得機能については、公知の技術を採用可能であるので、本明細書では詳しい説明は省略する。
【００１４】
＜固体撮像素子＞
図２は、本発明における動き情報取得装置中の、固体撮像素子１１０を示す概略図である。固体撮像素子１１０は、行列状に複数配置された第１の画素１２０および第２の画素１３０と、画素１２０、１３０から信号を読み出すための周辺回路を有している。なお、図２では簡単のために画素数を４ｘ４としたが、これに限るものではない。
【００１５】
周辺回路は、トランジスタを駆動するための接続された水平駆動線１４１、画素からの信号を読み出す垂直信号線１４２を有している。各画素は水平駆動線１４１によって駆動され、画素信号を垂直信号線１４２に出力している。
【００１６】
第１の画素１２０、第２の画素１３０は互い違いに異なる列に配置されている。図２に示すように、画素１２０（１３０）が配置されている行に応じて、画素１２０（１３０）ａ、画素１２０（１３０）ｂ、画素１２０（１３０）ｃ、画素１２０（１３０）ｄと呼ぶ。
【００１７】
＜画素＞
図３（ａ）は、画素１２０の画素内構成を示す概略図であり、図３（ｂ）は画素１３０の画素内構成を示す概略図である。画素１２０（１３０）は光の入射側から、マイクロレンズ１２１（１３１）、基板１２２（１３２）を有している。基板１２２（１３２）内には、画素に入射した光を電荷に変換するための光電変換部１２３（１３３）が設けられている。マイクロレンズは、検出する波長帯域で透明な材料であるＳｉＯ２やＳｉＮなどで形成されており、基板は、検出する波長帯域で吸収を有するＳｉや有機半導体などの材料で形成されている。配線はＡｌやＣｕなどの金属によって形成されている。
【００１８】
画素１３０には、イオン打ち込みなどによって形成された画素内メモリ１３５が設けられており、画素内メモリに電荷を一時的に保持することで、グローバルシャッタによって画素信号の取得を行う。一方、画素１２０は、ローリングシャッタによって画素信号の取得を行う。画素１２０中の光電変換部１２３の開口率は、画素内メモリ１３５が無い分だけ、画素１３０中の光電変換部１３３の開口率よりも大きくなっている。なお、図３（ｂ）では画素内メモリ１３５を光電変換部１３３に対してＸ方向にずれた位置に配置した例を示したが、Ｙ方向にずれた位置に配置しても良いし、斜め方向にずれた位置に配置しても良い。
【００１９】
＜動き情報取得＞
固体撮像素子１１０では、第１の画素１２０を用いてローリングシャッタによる画素信号の取得を行い、第２の画素１３０を用いてグローバルシャッタによる画素信号の取得を行う。そして、画素１２０で取得した被写体像と、画素１３０で取得した被写体像の画像の歪量を比較することで、被写体の動き情報の取得を行う。即ち、本発明に示す動き情報取得装置では、同一フレームにおいて歪量の異なる複数の被写体像を取得し、歪量の相違から動き情報を取得しているため、被写体が高速に動いている場合においても、高精度な被写体の動き情報の取得が可能となっている。以下で、説明を行う。
【００２０】
＜画像歪みの発生原因＞
まず、ローリングシャッタによって取得した画像と、グローバルシャッタによって取得した画像の差異について説明する。図４（ａ）および図４（ｂ）は、Ｘ方向に向かって高速で動く正方形の被写体を撮影した場合に取得される画像を説明する図である。図４（ａ
）はローリングシャッタによって取得した画像、図４（ｂ）はグローバルシャッタによって取得した画像である。ローリングシャッタを用いた場合、異なる行間では露光のタイミングがずれるため、正方形のＹ方向（列方向）の辺は斜めに伸びる線像として取得される。一方、Ｘ方向（行方向）に沿った画素間の露光タイミングは同時であるため、行方向の辺は行方向に伸びる線像として取得される。また、グローバルシャッタを用いた場合、全ての画素で露光タイミングが同時であるため、被写体の形を反映した、正方形の画像が取得される。このように、高速で動く被写体像を撮影した場合、ローリングシャッタで取得した画像と、グローバルシャッタで取得した画像では、被写体の動き情報を反映して、画像の歪量が異なっている。
【００２１】
＜回路図と動作フロー：第１の画素＝ローリングシャッタ＞
次に、画素１２０、１３０において画素信号を検出する動作について説明を行う。図５は画素１２０の回路図、図６は同一列に並んだ複数の画素１２０の動作フローを説明する図である。同様に、図７は画素１３０の回路図、図８は同一列に並んだ複数の画素１３０の動作フローを説明する図である。
【００２２】
図５、図６を用いて画素１２０の信号検出動作を説明する。まず、水平駆動線１４１によって、リセットトランジスタ（ＲＳＴ）１６１を、固体撮像素子１１０の上側の行から順次ＯＮにし、光電変換部１２３を電源電圧（ＶＤＤ）にリセットする。次に、同様にＲＳＴ１６１を固体撮像素子１１０の上側の行から順次ＯＦＦにし、光電変換部１２３への電荷蓄積を開始する。光電変換部１２３に蓄積された電荷は、光電変換部１２３に接続された増幅トランジスタによるソースフォロアによって、電圧信号として出力される。最後に、水平駆動線１４１によって選択トランジスタ（ＳＥＬ）１６５を、固体撮像素子１１０の上側の行から順次ＯＮにし、画素信号を垂直信号線１４２によって、周辺回路へ転送する。即ち、画素１２０では、ＲＳＴがＯＦＦになってから、ＳＥＬがＯＮになるまでの時間Ｔｅｘが露光時間である。図６からわかるように、画素１２０（第１の画素）では、露光のタイミングが隣り合う行間でΔＴｅｘずれており、ローリングシャッタによる信号検出を行っている。
【００２３】
＜回路図と動作フロー：第２の画素＝グローバルシャッタ＞
図７、図８を用いて画素１３０の信号検出動作を説明する。まず、水平駆動線１４１によって、測距画素１３０のリセットトランジスタ（ＲＳＴ）１７１および転送トランジスタ（ＴＸ）１７３をＯＮにする。これにより、光電変換部１３３および画素内メモリ１３５が電源電圧（ＶＤＤ）にリセットされる。次に、同時に異なる行のＴＸ１７３をＯＦＦにし、光電変換部１３３への電荷蓄積を開始する。ＲＳＴ１７１をＯＦＦにした後、同時に異なる行のＴＸ１７３をＯＮにし、光電変換部１３３内の電荷を各々、画素内メモリ１３５に転送する。転送後、ＴＸ１７３をＯＦＦにして光電変換部と画素内メモリを分離し、画素内メモリ１３５に電荷を保持する。画素内メモリ１３５に保持された電荷は、画素内メモリに接続された増幅トランジスタによるソースフォロアによって、電圧信号として出力される。最後に、水平駆動線１４１によって選択トランジスタ（ＳＥＬ）１７５を、固体撮像素子１１０の上側の行から順次ＯＮにし、画素信号を垂直信号線１４２によって、周辺回路へ転送する。即ち、測距画素１３０では、ＴＸがＯＦＦになってから、ＴＸがＯＮになるまでの時間Ｔｅｘが露光時間である。図８からわかるように、画素内メモリでの電荷保持時間Ｔｆｄは、それぞれ所定の時間に設定され、露光時間が同時になるようにしている。なお各行の電荷保持時間Ｔｆｄは、行毎にあらかじめ定められた読出（転送）タイミング、あらかじめ定められた露光時間Ｔｆｄ、および露光タイミングから決定することができる。このような電荷保持時間を行毎に設定することで、露光のタイミングを同時にしながら、信号を行毎に順次読み出すことが可能となっている。即ち、画素１３０（第２の画素）はグローバルシャッタによる信号検出を行っている。
【００２４】
＜画像歪を用いた動き情報の検出＞
このように、画素１２０では光電変換部１２３から直接信号を転送し、画素１３０では画素内メモリ１３５に電荷を保持してから信号を転送する。つまり、画素１２０と画素１３０では行毎の露光タイミングのズレ量が異なっている。そのため、画素１２０と画素１３０で歪み量の異なる画像を同一フレーム内で取得することができる。従って、両者を比較することで高精度に被写体の動き情報を取得することができる。
【００２５】
具体的には、演算処理部１０２で以下のような動作を行えば良い。露光タイミングが同時の画素（図５〜図８の画素１２０ａと画素１３０ａ）を原点に取った場合、Ｙ座標の絶対値が大きい画素ほど、画素１３０で取得した画像１３９と、画素１２０で取得した画像１２９では画面上の位置が大きくずれる。従って、被写体のＸ方向の動き量をＶ、画素サイズで規格化したＹ座標をＮｙ、隣接行間での露光タイミングずれをΔＴｅｘとすると、画像１３９上の点Ｐ３に対応する、画像１２９上の点Ｐ２のＸ座標は以下のように書ける。（図４参照）
Ｐ２＝Ｐ３＋Ｖ×Ｎｙ×ΔＴｅｘ        （式１）
【００２６】
即ち、画像１２９は、画像１３９に対してパラメータＶの関数で記述できる。この時、パラメータＶの大きさは、画像上では画像の歪量の大きさに相当している。そこで、パラメータＶを変化させつつ、基準画像１３９を歪ませた参照画像１３８を生成し、相関演算により参照画像１３８と比較画像１２９の相関値が極大値をとるようなパラメータＶの値を求めれば、被写体の動き量を求めることができる。
【００２７】
基準画像１３９、比較画像１２９の全部を比較してもよいし、画像の一部のみを切り出して相関演算を行ってもよい。上述したように、Ｙ座標の絶対値の差が大きいほど被写体の動きが画像１２９と画像１３９の相違に大きく反映されるため、Ｙ方向の切り出し幅が大きいほうが好ましい。
【００２８】
また、基準画像として画像１２９を用い、比較画像として画像１３９を用いてもよい。その場合は、画像１３９を画像１２９に対して被写体の動き量をパラメータとする関数で記述し、同様の処理を行えばよい。動き量を表すパラメータＶは、基準画像と比較画像の平行移動量を表す動きベクトルであってもよいし、画像の回転など動き検出の自由度が高いアフィンパラメータであってもよい。
【００２９】
＜画素１２０と画素１３０の数＞
なお、図２では、画素１２０の列と列方向に画素１３０の列を互い違いに同数配置したが、どちらかの測距画素を多く配置しても良いし、互い違いに配置しなくても良い。但し、画素１２０と画素１３０を同数配置した方が、基準画像と比較画像の画像サイズが等しくなり、高精度な動き情報の取得が可能となるため、好ましい。画素１２０と画素１３０の数が同数でない場合には、画素数の多い方で取得した画像を間引くか、画素数の少ないほうで取得した画像を補間するか、または両者の組み合わせによって、基準画像と比較画像の画素サイズをあわせてから動き量の計算を行う。
【００３０】
＜間引き読み出し＞
また、図５から図８では全ての画素１２０、１３０の画素信号を読み出していたが、一部の画素の信号のみを間引いて読み出してもよい。間引き読み出しを行うことにより、消費電力を低減することができる。このとき、画素１２０よりも、画素１３０を間引く行数を多くするほうが好ましい。以下で理由を説明する。
【００３１】
ローリングシャッタ読み出しを行う場合、画素の間引き数を増やすほど、画像の歪量は減少する。従って、画素１２０の間引き行数を増やすほど、画素１２０で取得した画像の
歪量は減少する。一方、グローバルシャッタ読み出しを行う場合、画素の間引き行数を増やしても、画像の歪量は変化しない。
【００３２】
また、画素１２０で取得した画像と、画素１３０で取得した画像の歪量が大きいほど、被写体の動きを高精度に取得できる。従って、間引くことによって歪量が低減する画素１２０は間引かず、間引いても歪量が変化しない画素１３０を間引くことで、高精度な測距を行いつつ、消費電力を低減することができる。以上の理由より、画素１２０よりも、画素１３０を間引く行数を多くするほうが好ましい。
【００３３】
なお、以上で述べたように、ローリングシャッタ読み出しを行う場合、画素を間引く行数を変えることによって画像の歪量を変えることができる。これを利用して、画素列によって画素の間引き行数を変えることで、歪量の異なる画像を取得しても良い。この実施形態については、実施形態４で説明を行う。
【００３４】
＜開口率の違いを利用したダイナミックレンジの拡大＞
図３に示すように、画素１２０中の光電変換部１２３の開口率は、画素内メモリ１３５が無い分だけ、測距画素１３０中の光電変換部１３３の開口率よりも大きくなっている。従って、暗い被写体に対しては画素１２０を用い、明るい被写体については画素１３０を用いることで、画像のダイナミックレンジを広げることができる。同一の露光条件で撮影した場合、図９に示すように、画素１２０で取得した画素信号値（破線）の方が、画素１３０で取得した画素信号値（点線）よりも大きい。そのため、画素１２０で取得した画像は、被写体の明るい部分が白トビしやすいが、暗い部分は画像の品質が高い。一方、画素１３０で取得した画像は、被写体の暗い部分が黒ツブレしやすいが、明るい部分は画像の品質が高い。
【００３５】
そこで、以下のようにすれば、品質の高い画像が取得できる。画素１３０（第２の画素）の画素信号が第１の値よりも小さい部分１５３に関しては、画素１２０（第１の画素）で取得した画素信号を使用する。一方、画素１２０（第１の画素）の画素信号が第２の値よりも大きい部分１５４に関しては、画素１３０（第２の画素）で取得した画素信号を使用する。最後に両方の画像を合成することで、白トビや黒ツブレの少ない画像を取得することができる。画素１２０、画素１３０のどちらで取得しても白トビ、黒ツブレのない部分に関してはどちらを使用しても良い。
【００３６】
＜画素境界にメモリを配置して感度差を低減＞
隣接した画素１２０と画素１３０において、画素内メモリ１３５を画素１３０と画素１２０の境界をまたぐように配置すれば、光電変換部１２３と光電変換部１３３間の開口率の差を低減することができる。（図１０）。このような固体撮像素子１１０を用いた場合、画素１２０で取得した画像と、画素１３０で取得した画像間の輝度差が低減しているため、動き量を計算する際の計算精度が向上する。その結果、動き情報の取得精度が向上するため、好ましい。なお、画素１２０、画素１３０で取得した画像間で輝度差がある場合には、演算処理部１０２で輝度差の補正を行ってから動き量の計算を行う方が好ましい。
なお、画素１２０および画素１３０は、相関２重サンプリングを行うための画素内メモリを有していても良い。相関２重サンプリングとは、電荷転送前の画素内メモリのダークレベル信号をあらかじめ読み出しておき、電荷転送後の信号との差分を取ることで、回路のダークレベル信号を除去する技術である。
この場合、画素１２０は、相関２重サンプリングを行うための画素内メモリを有し、画素１３０はグローバルシャッタを行うための画素内メモリ１３５と相関２重サンプリングを行うための画素内メモリとを有している。
【００３７】
＜変形例＞
なお、図１では演算処理部１０２を内部に備えた動き情報取得装置１００の例を示したが、演算処理部１０２を内部に備えていなくても良い。動き情報取得装置１００では歪量の異なる画像を取得するまでを行い、動き情報取得装置とは別に設けられた演算処理装置を用いて、歪量から動き情報を取得しても良い。
【００３８】
（実施形態２）
実施形態２に示す固体撮像素子２１０は、実施形態１に示す固体撮像素子１１０に対し、ローリングシャッタによる信号検出を行う画素２２０（第１の画素）の構成及び、動作フローのみが異なる。
【００３９】
図１１は、固体撮像素子２１０中の、第１の画素２２０の画素内構成を示した図面である。画素２２０は、第２の画素１３０と同様の構成であり、マイクロレンズ２２１、基板２２２内に設けられた光電変換部２２３、画素内メモリ２２５を有する。画素２２０の回路構成も、画素１３０と同様である。但し、画素内メモリ２２５に電荷を保持する時間が、画素内メモリ１３５に電荷を保持する時間とは異なるため、画素２２０と画素１３０では行毎の露光タイミングのズレ量が異なっている。結果として、画素２２０で取得した画像と画素１３０で取得した画像の歪み量が異なるため、歪み量の相違から被写体の動き情報を取得することができる。
【００４０】
画素２２０の動作フローを、図１２の動作フローを用いて説明する。なお、基本的なトランジスタの動作は図７に示す画素１３０と同様であるため、詳細は省略する。まず、ＲＳＴ２６１とＴＸ２６３を用いて光電変換部２２３と画素内メモリ２２５をリセットする。次に、異なる行の転送トランジスタ２６３を、下の行ほど遅くなるようにＯＦＦにして光電変換部２２３への電荷蓄積を開始する。続いて、ＲＳＴ２６１をＯＦＦにした後ＴＸ２６３をＯＮにして光電変換部２２３内の電荷を各々、画素内メモリ２２５に転送する。転送後、ＴＸ２６３をＯＦＦにして光電変換部２２３と画素内メモリ２２５を分離し、画素内メモリ２２５に電荷を保持する。最後に、固体撮像素子２１０の上側の行から、ＳＥＬ２６５をＯＮにして順次画素信号を周辺回路へ転送する。
【００４１】
図１２からわかるように、画素２２０では画素内メモリへ一時的に電荷を保持しているものの、異なる行の画素２２０の露光タイミングは同時ではない。一方、図７からわかるように、画素１３０では異なる行の画素１３０の露光タイミングは同一である。従って、画素１３０と画素２２０で歪み量の異なる画像を取得することができる。歪量の異なる画像から動き情報を求めるには、実施形態１で述べたように、式１を用いて参照画像を生成し、相関演算からパラメータＶを求めればよい。
【００４２】
このように、第１の画素２２０が電荷を一時的に保持するための画素内メモリを有していても、第２の画素１３０とは隣り合う行間での露光タイミングのズレ量が異なっていれば動き情報を取得できる。第１の画素２２０にも画素内メモリを設け、電荷保持時間Ｔｆｄを制御することで、第１の画素で取得する画像の歪み量を変化させることができる。
【００４３】
＜第１の画素の電荷保持時間＞
例えば、図１２のように、上側の行に位置する画素２２０ほど電荷保持時間Ｔｆｄを長くすることで、実施形態１に示す画素１２０よりも、画像の歪み量を増加させることができる。このように、第１の画素で取得した画像と第２の画素で取得した画像間の歪み量の相違を大きくすることで、動き情報を高精度に取得することができるため、好ましい。但し、実施形態１に示す固体撮像素子の方が、第１の画素の構造と動作が簡略化するため、消費電力や製造容易性の観点からは好ましい。
【００４４】
＜第２の画素の電荷保持時間＞
第２の画素１３０においても、必ずしも異なる行の露光タイミングを同時にするグローバルシャッタを用いる必要はない。隣り合う行の第２の画素１３０の露光タイミングのずれ量と、隣り合う行の第１の画素２２０の露光タイミングのズレ量が異なっていれば、動き情報を取得できる。第２の画素１３０の動作の一例を図１３に示す。図１３に示すように、第２の画素１３０における画素内メモリへの電荷保持時間の行毎の差が、第１の画素２２０における画素内メモリでの電荷保持時間の行毎の差と異なっていれば動き情報を取得できる。第２の画素がグローバルシャッタではない場合であっても、第１の画素で取得した画像と第２の画素で取得した画像の歪量の差異を用いて、歪のない画像を生成することもできる。
なお、同様の理由で、実施形態１の固体撮像素子１１０においても、第２の画素はグローバルシャッタでなくてもよい。第２の画素１３０における画素内メモリへの電荷保持時間の行毎の差が、第１の画素１２０における画素内メモリでの電荷保持時間の行毎の差と異なっていれば動き情報を取得できる。
【００４５】
上述したように、第１の画素で取得した画像と第２の画素で取得した画像間の歪み量の相違が大きい方が、動き情報を高精度に取得することができる。そのため、第２の画素にグローバルシャッタを採用して異なる行の露光タイミングが完全に同じにする方が好ましい。
実施形態１と同様に、第１の画素２２０、第２の画素１３０が共に、相関２重サンプリングを行うための画素内メモリも有していても良い。この時、第１の画素２２０、第２の画素１３０は共に、隣り合う行間での露光タイミングのズレ量を制御するためのメモリに加え、相関２重サンプリング用のメモリも有している。
【００４６】
（実施形態３）
実施形態３に示す固体撮像素子３１０は、固体撮像素子３１０中の画素が測距機能も有しており、被写体の動き情報と同時に距離情報も取得することができるようになっている。このような構成とすることで、被写体の動き情報と同時に被写体の距離情報を取得することができる。被写体の距離情報を同時に用いることで、像面上での被写体の動き量を、被写体の実空間上での動き量に変換することができる。即ち、被写体の速度を取得することができるため、更に好ましい。
【００４７】
図１４（ａ）は、測距画素３２０（第１の画素）の画素内構成を示す概略図であり、図１４（ｂ）は測距画素３３０（第２の画素）の画素内構成を示す概略図である。測距画素３２０（３３０）には、Ｘ方向に並んだ２つの光電変換部３２３（３３３）、３２４（３３４）が形成され、マイクロレンズ３２１（３３１）が２つの光電変換部にまたがって配置されている。そして、結像光学系の射出瞳のうち、＋Ｘ方向に偏心した瞳領域から入射した光束を光電変換部３２３（３３３）に、−Ｘ方向に偏心した瞳領域から入射した光束を光電変換部３２４（３３４）に、各々選択的に導いている。２つの光電変換部で取得した像のズレ量を比較することで、ステレオ画像による三角測量を用いて距離を検出することが可能となっている。また、２つの光電変換部で取得した信号を加算することで、結像光学系の全瞳領域を通過した光束を取得が取得でき、測距画素における画像情報を同時に取得することができる。
【００４８】
測距画素３３０（第２の画素）には、光電変換部３３３に対応する画素内メモリ３３５および光電変換部３３４に対応する画素内メモリ３３６が設けられており、画素内メモリに電荷を保持することで、グローバルシャッタによって画素信号の取得を行う。一方、測距画素３２０（第１の画素）には画素内メモリが設けられて折らず、ローリングシャッタによって画素信号の取得を行う。
【００４９】
＜画素の動作フロー＞
図１５、図１６を用いて測距画素３２０の信号検出動作を説明する。図１５は測距画素３２０の回路図、図１６は同一列に並んだ複数の測距画素３２０の動作フローを説明する図である。まず、リセットトランジスタ（ＲＳＴ）３６１、３６２を、固体撮像素子３１０の上側の行から順次ＯＮにし、光電変換部３２３、３２４をリセットする。次に、同様にＲＳＴ３６１、３６２を固体撮像素子３１０の上側の行から順次ＯＦＦにし、光電変換部３２３、３２４への電荷蓄積を開始する。最後に、選択トランジスタ（ＳＥＬ）３６５、３６６を、固体撮像素子３１０の上側の行から順次ＯＮにし、画素信号を周辺回路へ転送する。図１６からわかるように、測距画素３２０（第１の画素）では、露光のタイミングが行毎にΔＴｅｘずれており、ローリングシャッタによる信号検出を行っている。
【００５０】
図１７、図１８を用いて測距画素３３０の信号検出動作を説明する。図１７は測距画素３３０の回路図、図１８は同一列に並んだ複数の測距画素３３０の動作フローを説明する図である。まず、リセットトランジスタ（ＲＳＴ）３７１、３７２および転送トランジスタ（ＴＸ）３７３、３７４をＯＮにして、光電変換部３３３、３３４および画素内メモリ３３５、３３６をリセットする。次に、同時に異なる行のＴＸ３７３、３７４をＯＦＦにし、光電変換部３３３、３３４への電荷蓄積を開始する。ＲＳＴ３７１、３７２をＯＦＦにした後、同時に異なる行のＴＸ３７３、３７４をＯＮにし、光電変換部３３３、３３４内の電荷を各々、画素内メモリ３３５、３３６に転送する。転送後、ＴＸ３７３、３７４をＯＦＦにして光電変換部と画素内メモリを分離し、画素内メモリ３３５、３３６に電荷を保持する。最後に、選択トランジスタ（ＳＥＬ）３７５、３７６を、固体撮像素子３１０の上側の行から順次ＯＮにし、画素信号を周辺回路へ転送する。図１８からわかるように、異なる行の測距画素３３０（第２の画素）の露光タイミングは同時であり、グローバルシャッタによる信号検出を行っている。
【００５１】
＜使用する測距画素の選択＞
測距画素３２０と測距画素３３０は、ともに被写体の距離情報を取得することができるため、どちらか一方を用いて被写体の距離情報を取得しても良いし、両方の結果を比較して、より高精度な距離情報を取得しても良い。この際、被写体に応じて使用する測距画素を変更することで、被写体によらずに高精度な測距が可能となる。以下で、例を示す。
【００５２】
測距画素３２０中の光電変換部３２３、３２４の開口率は、測距画素３３０中の光電変換部３３３、３３４よりも、画素内メモリ３３５、３３６が設けられていない分だけ大きい。従って、暗い被写体に対しては、感度の高い測距画素３２０を用いて測距を行うことで、高精度な距離情報を取得することができる。
【００５３】
また、前述したように、高速で移動する被写体の像を、ローリングシャッタを用いて取得した場合、異なる行間で露光タイミングがずれる。従って、高速で移動する被写体に対しては、グローバルシャッタを使用している測距画素３３０を用いて測距を行うことが好ましい。
【００５４】
更に、測距画素３２０と測距画素３３０の構成を変更して、更に被写体に依存せずに高精度な距離情報を取得できるようにすると好ましい。以下で例を示す。
【００５５】
＜測距画素の基線長＞
図１４では、測距画素３２０と測距画素３３０の基線長は同一であったが、測距画素３２０と測距画素３３０の基線長を異ならせても良い。結像光学系の射出瞳のうち、外側の瞳領域からの光束を選択的に受光する測距画素ほど、基線長が長くなるためより高精度な測距を行うことができる。但し、外側の瞳領域からの光束を選択的に受光する画素ほど、中央の瞳領域からの受光量が減少してしまうため、感度が低下し、基線長と感度のトレードオフとなる。
【００５６】
この時、画素内メモリを有さない第１の画素は、外側の瞳領域からの光束を選択的に受光するように構成し、画素内メモリを有する第２の画素は、内側からの瞳領域からの光束も受光するように構成するのが好ましい。以下で理由を説明する。
【００５７】
前述したように、第１の画素と第２の画素間の輝度差が小さい方が、高精度な被写体の動き情報が取得できる。一方、図１４に示す測距画素３２０と測距画素３３０では、測距画素３２０は画素内メモリを有しないので光電変換部の開口率が高い。開口率の高い測距画素３２０が、外側の瞳領域からの光束を選択的に受光し、開口率が低い測距画素３２０が、中央の瞳領域からの光束も受光するようにすることで、測距画素３２０と測距画素３３０間の輝度差を低減できる。このように、輝度差を低減しつつ基線長を長くでき、測距画素３２０を用いた際の測距精度を向上させることができる。
【００５８】
図１９に具体的な構成を示した。図１９（ａ）は、測距画素３２０の画素内構成を示す概略図であり、図１９（ｂ）は測距画素３３０の画素内構成を示す概略図である。測距画素３２０中の光電変換部３２３、３２４は、画素のＸ方向の周辺に寄っているため、外側の瞳領域からの光束を選択的に受光できるようになっている。一方、測距画素３３０中の光電変換部３３３、３３４は画素の中心に寄っているため、内側の瞳領域からの光束も受光できる構成となっている。
【００５９】
図１４では、測距画素３２０、測距画素３３０の瞳分割方向はＸ方向であったが、瞳分割方向はＹ方向や斜め方向であっても良い。特に、測距画素３２０と測距画素３３０を、異なる瞳分割方向とすることで、被写体の有するテクスチャ方向によらずに高精度な測距が可能となる。
【００６０】
＜一部の画素のみが測距画素＞
図１４では、第１の画素と第２の画素がどちらも測距機能を有する測距画素である例を示したが、どちらか一方のみが測距画素であっても良い。第２の画素を測距画素とした場合、高速で移動する被写体に対する測距精度が向上するため、好ましい。一方、第１の画素を測距画素とした場合、測距とグローバルシャッタの機能が第１および第２の画素の間で分散されるため、画素間の感度差の低減や、製造の容易化が可能となり好ましい。更に、第１の画素や第２の画素の一部のみが測距画素であっても良い。
【００６１】
＜測距画素の変形例＞
測距画素として、図２１のように、結像光学系の瞳の一部を通過する光束を検出する複数の画素を用いても良い。図２１（ａ）に示す撮像画素３１１及び、図２１（ｂ）に示す測距画素３８０、図２１（ｃ）に示す測距画素３８１は、マイクロレンズ３１２、基板３１３内に配置された単一の光電変換部３１４を有している。また、測距画素３８０、３８１は、マイクロレンズ３１２と基板３１３の間に、マイクロレンズ３１２の光軸に対してシフトした遮光膜３１５を有している。
【００６２】
このような構成とすることで、測距画素３８０は、結像光学系の＋Ｘ方向の瞳領域からの光束を選択的に受光し、測距画素３８１は、結像光学系の−Ｘ方向からの瞳領域からの光を選択的に受光する。測距画素３８０で取得した画像と、測距画素３８１で取得した画像では、Ｘ方向（行方向）に像ズレが生じるため、両者を比較することで測距を行うことができる。
【００６３】
また、測距画素３８０（３８１）の代わりに、全瞳領域からの光を取得する撮像画素３１１を使用しても良い。全瞳領域からの光を受光する撮像画素３１１で取得した信号と、測距画素３８０（３８１）で取得した信号の差から、−Ｘ方向（＋Ｘ方向）の瞳領域から
の光束による信号を取得することができる。
【００６４】
（実施形態４）
実施形態４に示す固体撮像素子４１０は、画素列によって画素の間引き行数を変えることで、歪量の異なる画像を取得する。具体的には、第１の画素４２０よりも第２の画素４３０の方が間引く行数を多くすることによって、第１の画素４２０で取得した画像よりも第２の画素４３０で取得した画像の歪量を小さくすることができる。以下では、画素４２０は間引かず、画素４３０は１行毎に間引く構成を例として示す。
【００６５】
第１の画素４２０、第２の画素４３０はともに実施形態１の第１の画素１２０と同じ回路構成であり、ローリングシャッタによって画素信号の取得を行っている。
【００６６】
図２２は、同一列に並んだ複数の画素４２０の動作フローを説明する図であり、図２３は同一列に並んだ複数の画素４３０の動作フローを説明する図である。図６と同様、リセットトランジスタ４６１、４７１がＯＦＦになってから、選択トランジスタ４６５、４７５がＯＮになるまでが露光時間Ｔｅｘである。
【００６７】
図２２からわかるように、画素４２０では露光のタイミングが、１行毎にΔＴｅｘずつ異なっている。一方、図２３からわかるように、画素４３０では露光のタイミングが、２行毎にΔＴｅｘずつ異なっている。即ち、画素４３０の２行毎の露光タイミングのズレ量は、画素４２０の露光タイミングのズレ量の半分となっている。そのため、画素４２０と画素４３０で歪み量の異なる画像を同一フレーム内で取得することができる。従って、両者を比較することで高精度に被写体の動き情報を取得することができる。歪量の異なる画像から動き情報を求めるには、実施形態１で述べたように、式１を用いて参照画像を生成し、相関演算からパラメータＶを求めればよい。
【００６８】
但し、固体撮像素子４１０のように間引き行数を変えて歪量の異なる画像を取得するよりも、実施形態１や２に示す固体撮像素子のように、画素内メモリを使用して歪量の異なる画像を取得した方が好ましい。以下で理由を説明する。
【００６９】
固体撮像素子４１０の場合、画素４３０の間引き行数と画素４２０の間引き行数の差が大きいほど、画素４２０で取得した画像と画素４３０で取得した画像の歪量の差を大きくすることができ、動き情報の取得精度を向上させることができる。一方、間引き行数の差が大きいほど、画素４２０で取得した画像と画素４３０で取得した画像のサイズの差が大きくなり、動き情報の取得精度が低下してしまう。このように、固体撮像素子４１０では、間引き行数によって画像の歪量と画素数がともに変化するため、トレードオフが発生する。
【００７０】
一方、実施形態１や実施形態２では画素のサイズは第１の画素および第２の画素の画素数で、歪量を画素内メモリでの電荷保持時間で制御しているため、実施形態４のようなトレードオフが発生しない。そのため、画素内メモリへの電荷保持時間を制御することで歪量の異なる画像を取得する方が好ましい。
【００７１】
以上の実施形態で示した固体撮像素子によって取得した被写体の動き情報を用いると、被写体の追尾や認識に使用することができる。例えば、被写体が動く向きに応じてカメラの向きやズーム、フォーカスを変える、動き情報を用いて動く物体と背景を区別する、など方法を行えば良い。
【符号の説明】
【００７２】
１１０、２１０、３１０、４１０：固体撮像素子
１２０、２２０、３２０、４２０：第１の画素
１３０、２３０、３３０、４３０：第２の画素
１３５、２２５、３３５、３３６：画素内メモリ
【図１】
2015164284.tif 000003
【図２】
2015164284.tif 000004
【図３】
2015164284.tif 000005
【図４】
2015164284.tif 000006
【図５】
2015164284.tif 000007
【図６】
2015164284.tif 000008
【図７】
2015164284.tif 000009
【図８】
2015164284.tif 000010
【図９】
2015164284.tif 000011
【図１０】
2015164284.tif 000012
【図１１】
2015164284.tif 000013
【図１２】
2015164284.tif 000014
【図１３】
2015164284.tif 000015
【図１４】
2015164284.tif 000016
【図１５】
2015164284.tif 000017
【図１６】
2015164284.tif 000018
【図１７】
2015164284.tif 000019
【図１８】
2015164284.tif 000020
【図１９】
2015164284.tif 000021
【図２０】
2015164284.tif 000022
【図２１】
2015164284.tif 000023
【図２２】
2015164284.tif 000024
【図２３】
2015164284.tif 000025