(57)【要約】【課題】  時間分解能の制限から従来不可能であった種々の画像解析を可能とする。【解決手段】  入力フォトンを電流に変換するフォトダイオードＦＤ、入力された外部電気信号Ｓに応じてフォトダイオードＦＤにより発生した電流を変調するトランジスタ対、およびトランジスタ対により変調された電流を時間積分するコンデンサＣを有する複数の受光素子を備え、複数の受光素子を走査して各コンデンサＣの積分値を順次読み出す。【選択図】        図１ 
2006005898.tif 000002
【特許請求の範囲】
【請求項１】
入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備えることを特徴とする時間相関検出型イメージセンサ。    
【請求項２】
入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備えることを特徴とする時間相関検出型イメージセンサ。
【請求項３】
計測対象物体に変調光を照射し、その計測対象物体からの反射光を受光する請求項１または２の時間相関型イメージセンサであって、
前記複数のコンデンサの積分値の和が前記計測対象物体の平均照度を表し、前記複数のコンデンサの積分値の差が前記計測対象物体の一次微分値となるように前記変調信号を入力することを特徴とする時間相関検出型イメージセンサ。
【請求項４】
時間変調をかけた光を物体に照射する光源と、
光源の時間変調信号を遅延する遅延手段と、
前記物体からの反射光を受光する請求項１〜３のいずれか一項に記載の時間相関型イメージセンサとを備え、
前記遅延手段により遅延された信号を前記時間相関型イメージセンサに変調信号として入力することにより得られた前記複数のコンデンサの各電荷の和と差を算出して、前記物体の形状を特定することを特徴とする画像解析装置。
【請求項５】
入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備えることを特徴とする時間相関検出型イメージセンサ。    
【請求項６】
入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備えることを特徴とする時間相関検出型イメージセンサ。
【請求項７】
時間変調をかけた光を物体に照射する光源と、
光源の時間変調信号を遅延する遅延手段と、
前記物体からの反射光を受光する請求項５または６に記載の時間相関型イメージセンサとを備え、
前記遅延手段により遅延された信号を前記時間相関型イメージセンサに変調信号として入力することにより得られた前記複数のコンデンサの電荷の差を前記物体の一次微分画像として前記走査回路で読み出すことを特徴とする画像解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入射光強度と外部電気信号との時間相関検出を行う時間相関検出型センサおよび時間相関検出型センサを用いた画像解析方法に関する。
【背景技術】
【０００２】
画像センシングや画像解析の応用は、コンピュータビジョン、自動視覚検査、科学計測、リモートセシング等、多岐にわたっている。しかし、その入力手段としては、ほとんど放送用のイメージセンサの流用以外の方法がなく、その限定された機能に由来して、画像処理の応用展開上、多くの制約を受けているのが現状である。
【０００３】
特に問題が大きいのが、フレームレート1/30秒という時間分解能の悪さであり、ＭＯＳ型イメージセンサの高速スキャンや、イメージディテクタのような時間信号出力型デバイスを用いても、感度や本来の空間分解能が犠牲になるため、本質的な解決にならない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この問題に対して、本発明は画像センシングの方法論に立返った考察から解決法を与えようとするものである。もともと、空間分解能と時間分解能の双方を高めようとする要求は情報量の莫大化に帰着するため、本質的な困難さがある。本発明は、センサ段階で適切な処理を加え、後続する画像解析に必要十分な情報に圧縮して出力する方法を採るものであり、これにより、例えば、時間分解能の制限から従来不可能であった種々の画像解析が可能となる、という技術上の効果が得られる。
【課題を解決するための手段】
【０００５】
（１）請求項１の発明に係る時間相関検出型イメージセンサは、図４に示すようなイメージセンサに対応するものであって、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と；
変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備えることを特徴とする。
（２）請求項２に係る時間相関検出型イメージセンサは、図６に示すようなイメージセンサに対応するものであって、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と；
変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備えることを特徴とする。
（３）請求項３に係る発明は、計測対象物体に変調光を照射し、その計測対象物体からの反射光を受光する請求項１または２の時間相関型イメージセンサであって、複数のコンデンサの積分値の和が計測対象物体の平均照度を表し、複数のコンデンサの積分値の差が計測対象物体の一次微分値となるように変調信号を入力することを特徴とする。
（４）請求項４に係る画像解析装置は、時間変調をかけた光を物体に照射する光源と、光源の時間変調信号を遅延する遅延手段と、物体からの反射光を受光する請求項１〜３のいずれか一項に記載の時間相関型イメージセンサとを備え、遅延手段により遅延された信号を時間相関型イメージセンサに変調信号として入力することにより得られた複数のコンデンサの各電荷の和と差を算出して、物体の形状を特定することを特徴とする。
（５）請求項５に係る時間相関検出型イメージセンサは、図５に示すようなイメージセンサに対応するものであって、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と；
変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備えることを特徴とする。
（６）請求項６に係る時間相関検出型イメージセンサは、図５や６に示すようなイメージセンサに対応するものであって、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と；
変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備えることを特徴とする。
（７）請求項７に係る画像解析装置は、時間変調をかけた光を物体に照射する光源と、
光源の時間変調信号を遅延する遅延手段と、物体からの反射光を受光する請求項５または６に記載の時間相関型イメージセンサとを備え、遅延手段により遅延された信号を時間相関型イメージセンサに変調信号として入力することにより得られた複数のコンデンサの電荷の差を物体の一次微分画像として走査回路で読み出すことを特徴とする。
【発明の効果】
【０００６】
（１）請求項１や請求項２に係る発明によれば、入力フォトンを電流に変換する際、入力された電気信号に応じて発生した電流を分流して変調し、変調制御された電流をそれぞれ時間積分する複数のコンデンサを有する受光素子、あるいは、入力フォトンを電流に変換する際、変調信号として印加される外部電界に応じて発生した電流を分流して変調し、分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子を備え、変調信号よりも遅い周期により複数の受光素子を走査することによって、積分した信号を順次読み出すようにしたので、高い時間分解能での時間相関検出を行うことができる。
（２）請求項３に係る発明によれば、計測対象物体に変調光を照射し、その計測対象物体からの反射光を受光する請求項１または２の時間相関型イメージセンサであって、複数のコンデンサの積分値の和が計測対象物体の平均照度を表し、複数のコンデンサの積分値の差が計測対象物体の一次微分値となるように変調信号を入力するようにしたので、時間相関型イメージセンサを画像解析装置に用いることができる。
（３）請求項４に係る画像解析装置によれば、時間変調をかけた光を物体に照射する光源と、光源の時間変調信号を遅延する遅延手段と、物体からの反射光を受光する請求項１〜３のいずれか一項に記載の時間相関型イメージセンサとを備え、遅延手段により遅延された信号を時間相関型イメージセンサに変調信号として入力することにより得られた複数のコンデンサの各電荷の和と差を算出するようにしたので、イメージセンサの出力信号を用いて簡単に物体の形状を特定することができる。
（４）請求項５〜７に係る発明では、請求項１や２における受光素子の複数のコンデンサの電荷の差を順次読み出しリセットするようにしたので、飽和しにくいイメージセンサとすることができ、計測精度が向上する。
【発明を実施するための最良の形態】
【０００７】
以下、図１〜図８を用いて本発明による時間相関検出型イメージセンサおよび画像解析方法の実施の形態について説明する。
【０００８】
本発明による時間相関型イメージセンサの基本構造を図１に示す。この構造の要点は、（ａ）入射フォトンを光電流（被乗数）に変換するフォトダイオード検出器ＦＤを備え、（ｂ）全画素に共通に外部電気信号（乗数）Ｓを供給するようにし、（ｃ）光電流と電気信号との間の積に比例する電流を生成する電流モード乗算器１を備え、（ｄ）上記の積電流を時間積分して相関値として蓄積するコンデンサＣを備え、（ｅ）相関値を走査して通常のビデオ信号として出力するための走査部（ＣＣＤあるいはＭＯＳスイッチ回路）２を備える、ことにある。
【０００９】
画素（ｉ，ｊ）の光検出器の出力をｆi,j（ｔ）、外部電気信号をｇ（ｔ）、走査周期に一致する積分時間をＴとすると、時間相関型イメージセンサの（ｉ，ｊ）画素の出力は、
【数１】
2006005898.tif 000003
と表されるものとなる。
【００１０】
周波数帯域から見た本発明による時間相関検出型センサの構造（動作）を図２に示す。変調光のような変化する光ではｆi,j（ｔ）にはいくらでも高い時間周波数帯域を想定できる。通常のイメージセンサでは、この帯域は走査周期（フレームレート）で強い制限を受けるが、上記のセンサ構造では、この上限は光検出器の限界帯域まで取払われる。外部電気信号Ｓは全画素共通のため、この帯域も走査周期の制約は受けず、上限帯域は信号分配配線の限界帯域程度と見積もられる。これに対して、出力信号はそれらの相関値であり走査周期分の積分値であるため、その帯域は常に走査周期の帯域に収っている。
【００１１】
−光伝搬時間による距離画像の生成−
これまで画像センシングにおける相関計測は、主として空間相関−パターンマッチング−に関して議論されるに留まり、時間軸に対する相関は、ほとんど議論されていない。ここでは、非常に高速な時間相関が得られる場合に、画像センシングにどのような応用展開が開けてくるかを、二三の具体例を用いて示す。空間解像度や出力信号の形態としては、積極的に通常の放送用のイメージセンサとコンパティブルなものを想定する。回路の複雑さを１０トランジスタ／画素程度に抑えれば、ハイビジョン程度の空間解像度までターゲットとなり得る。
【００１２】
まず最初に、光伝搬時間による距離画像の生成について図３を用いて説明する。この応用は、光検出器、外部電気信号入力とも、数ＧＨｚ以上の帯域が実現できたときに可能となる。数ＧＨｚの時間分解能では、光の伝搬長分解能は３次元計測に求められる数ｃｍ以下となることに注目すべきである。
【００１３】
光源はレーザダイオードやＬＥＤなどのように、広帯域な（高い周波数成分を含む）時間変調がかけられるものを想定する。ここではＬＥＤ３を用いている。このＬＥＤ３は一定レベルで発光させるのではなく、発光の輝度をＭ系列のパターンに変調を施して発光させる。この変調光をＭ（ｔ）とする。すなわち、
【数２】
2006005898.tif 000004
を満たすものである。
【００１４】
ＬＥＤ３の変調信号は遅延装置６を介して遅延時間τだけ遅延されて、外部電気信号としてセンサ５に入力される。また、センサ５の各受光素子により捉えられた入射光は外部電気信号により変調されて、入射光と外部電気信号との積に相当する電荷が相関値として蓄積される。各素子を順次走査することにより蓄積された各素子の電荷を読み出し、これにより相関が求まることとなる。
【００１５】
ここで、ＬＥＤ３から対象４までの距離と、対象４からセンサ５までの距離との和をｌi （i＝１，２・・・ｎ）、光速をｃとする。ただし、対象４は静止しているものと仮定する。センサ５上の光強度分布は一般に以下のように書かれる。
【数３】
2006005898.tif 000005
ただし、光の減衰等は簡略化のため無視してある。また、対象４をセンサ５上に結像させる結像光学系の図示は省略している。ここで、ｆi （ｘ，ｙ）は距離ｌi のところにある画像、ｎ（ｘ，ｙ，ｔ）は照明光や太陽光などの観測雑音である。この強度分布Ｇ（ｘ，ｙ，ｔ）と変調信号Ｍ（ｔ）の時間相関関数は、
【数４】
2006005898.tif 000006
であり、外部信号として与えるＭ（ｔ）の時間遅れがτ＝ｌi ／ｃの時だけ、ｆi （ｘ，ｙ）の出力が得られるということである。すなわち、適当にτを選択することによって、外来光によらず所望の距離の物体４表面のみを明るく検出することができる。したがって、例えばτを段階的に変化させることにより、物体４の立体像が得られる。
【００１６】
−画像の１次微分の算出−
入射光の強度に変調成分を与える方法として、センサを微小振動させる方法もある。以下で述べる応用には、光検出器と外部電気信号の時間周波数帯域とも１００ｋＨｚ以下で十分である。また、微分を画素間差分を用いずに生成することには、イメージセンサ最大の雑音源である画素感度差による誤差を排除できる利点がある。
【００１７】
センサが静止しているときにセンサ上に到来するであろう光強度分布をｆ0 （ｘ，ｙ）で表す。センサには微小半径εで回転角速度ωの回転的シフト運動、すなわちセンサの受光面内で半径εの円を軌跡とする平行運動を与える。センサの運動速度に比べれば、（例えあったとしても）対象の運動は無視できるものと仮定する。このとき、時刻ｔにおいてセンサが捉える光強度分布は、
【数５】
2006005898.tif 000007
となり、テーラー展開をして１次近似すると、
【数６】
2006005898.tif 000008
である。ここで、式（６）にεｃｏｓωｔを乗じて時間平均をとると、
【数７】
2006005898.tif 000009
となる。ここで、＜ｃｏｓωｔ＞＝０、＜ｓｉｎωｔｃｏｓωｔ＞＝０、＜ｃｏｓ2 ωｔ＞＝１／２を用いた。式（７）の左辺はセンサ上に相関値として生成され、εも既知であるから、センサ出力として画像のｘ微分ｆ0x（ｘ，ｙ）が読み出されることになる。同様にして、ｆ0y（ｘ，ｙ）も式（６）にεｓｉｎωｔを掛けて時間平均をとることにより求まる。
【００１８】
これは、回転的シフト量のｘ方向成分を外部電気信号とすることにより、画像のｘ微分ｆ0x（ｘ，ｙ）が読み出されることを意味する。同様に、回転的シフト量のｙ方向成分を外部電気信号とすることにより、画像のｙ微分ｆ0y （ｘ，ｙ）が読み出される。また、定数を外部信号として読み出せば、回転的シフトによる移動平均画像が得られる。
【００１９】
１次微分が精度良く求まることは、単に演算処理量の減少にとどまらず、勾配ベクトルを用いたさまざまな画像処理（エッジ検出、オプティカルフロー検出、両眼ステレオ等）の精度の大幅な向上につながる。なお、センサ自体を振動させる代りに、例えば光学系の一部を振動させるなどして、固定したセンサ上で結像を移動（振動）させるようにしてもよい。
【００２０】
−時間相関型イメージセンサのセンシングセルの構造−
次に、時間相関型イメージセンサのセンシングセルの具体的な構成を例示する。
【００２１】
乗算を実現する代表的な回路構成として、可変コンダクタンス差動増幅器が知られている。図４は、これを利用した構成法を示す。図４ではバイポーラトランジスタＱ1 ，Ｑ2 を用いているが、差動のトランジスタ対として、サブスレッショルド領域にバイアスされたＭＯＳＦＥＴ対を用いてもよい。
【００２２】
この回路の差動入力電圧
【数８】
2006005898.tif 000010
に対する相互コンダクタンスｇm は、トランジスタＱ1 ，Ｑ2 のエミッタバイアス電流を与える光電流ＩPD（ｔ）に比例する。したがって、この比例係数をρとすると、両コレクタ電流は、
【数９】
2006005898.tif 000011
となり、コンデンサＣ1 ，Ｃ2 に蓄積される電荷には、
【数１０】
2006005898.tif 000012
【数１１】
2006005898.tif 000013
のように、ＩPD （ｔ）とＶ（ｔ）の相関に比例した成分と、ＩPD の積分値に比例する成分との和が生成される。ＭＯＳＦＥＴＱ3 ，Ｑ4 による電荷転送の後で、画素ごとにこれらの和と差をとることにより、
【数１２】
2006005898.tif 000014
【数１３】
2006005898.tif 000015
のごとく、それらが分離される。前者の和の成分は、通常のイメージセンサの出力（平均照度）に等しい。したがって、例えば上述した画像の１次微分の算出を行う場合には、式（８）の差動入力電圧Ｖ（ｔ）をセンサの外部電気信号（変調信号）として用い、２つのコンデンサＣ1 ，Ｃ2 の電荷をＦＥＴＱ3 およびＱ4 をオンさせて電圧を介して検出し、その差分を相関として求めればよい。なお、式（９）〜式（１３）の添字はコンデンサＣ1 ，Ｃ2 の添字に対応している。
【００２３】
しかし、この回路構成の欠点は、応用によっては大変大きな値をもつＩPD の積分値の成分が、蓄積コンデンサ（コンデンサＣ1 ，Ｃ2 ）やＣＣＤ転送線を飽和させやすいため精度上の困難さが予想される点にある。平均照度の成分をあきらめて差成分のみを生成するには、カレントミラー回路の付加により分岐された電流を逆相合成して１つのコンデンサに電荷を蓄積する方法や、図５のように、２つのコンデンサＣ3 ，Ｃ4 の蓄積電荷の差成分のみを取り出すようなＦＥＴスイッチ回路（Ｑ5 ，Ｑ6 ）を内蔵させる方法なども考えられる。通常は図５のＶXFR を低電位に維持して２つのコンデンサＣ3 ，Ｃ4 を充電するとともに、走査時にＶXFR を高電位に切替えることにより、ＦＥＴＱ3 を介して２つのコンデンサＣ3 ，Ｃ4 の蓄積電荷の差成分に応じた電圧を検出することができる。
【００２４】
図４および図５の回路では、検出器に生じた光電流を、電圧入力に比例した按分比率で２つのコンデンサに分配し、電荷として蓄えていると見なせる。そして、光検出器自体にこのような発生電流の按分機構を埋め込めれば、回路的手段により電荷を振り分ける場合に比べて乗算の周波数帯域が大幅に拡大することが予想される（例えば数ＧＨｚ以上）。
【００２５】
図６はこのような光検出器の一例であり、半導体中に発生した光キャリアのドリフト方向を外部電界で制御し、２つのｐｎ接合に流れ落ちるキャリア数を変調するようにし、コンデンサＣ5 ，Ｃ6 に電流を振り分けている。コンデンサＣ5 ，Ｃ6 の電荷はＭＯＳＦＥＴＱ7 ，Ｑ8 のオン動作により読み出される。図６に示す光検出器では、ＶMPY+ とＶMPY- の差分が上述の光伝搬時間による距離画像の生成における外部電気信号（変調信号）に対応する。
【００２６】
次に、図７に示すＦＥＴブリッジを用いたスイッチング方式半２値相関回路について説明する。この回路構成には、外部電気信号が２値的信号に制限される欠点はあるが、容易に高精度の動作が得られるという利点とともに、従来のＣＣＤイメージセンサと半導体製造プロセス上の共通点が多いという利点がある。
【００２７】
この回路の動作は、図８に模式的に示される。まず、画素に光が入射すると、その光は各画素ごとにフォトダイオードＰＤにより電流に変換される。通常のＣＣＤカメラでは、この電流により直接コンデンサで電荷を蓄積し、コンデンサの両端電圧をスキャンする。ここで提案する方法では、通常の電荷蓄積前にＦＥＴを４個（Ｑ11 〜Ｑ14 ）用いてスイッチングを行い、走査時にはＦＥＴＱ12 およびＱ13 をオンさせた状態でＦＥＴＱ15 を介してコンデンサＣ7 の電圧を検出する。これは、例えばＭ系列信号で駆動することに対応している。すなわち、電流スイッチングを繰返し行うことにより、中央のコンデンサＣ7 の電荷が蓄積され（放出され）、このコンデンサＣ7 の両端電圧を計測することにより、相関が計算されたことになる。
【図面の簡単な説明】
【００２８】
【図１】本発明によるイメージセンサの構造を示す図。
【図２】図１に示すイメージセンサの動作帯域を示す図。
【図３】本発明によるイメージセンサを用いた光伝播時間による距離画像の生成を示す図。
【図４】差動トランジスタを用いて光電流を２つのコンデンサに分流させる例を示す回路図。
【図５】図４に示す回路にＦＥＴスイッチを付加しで差分だけを取り出す例を示す回路図。
【図６】半導体中に発生した光キャリアを２つのコンデンサに割り振る構成を模式的に示す図。
【図７】ＦＥＴブリッジを用いたスイッチング方式半２値相関回路を示す回路図。
【図８】図７に示す回路の動作を説明する図。
【符号の説明】
【００２９】
１      電流モード乗算器
３      ＬＥＤ
４      対象
Ｃ      コンデンサ
Ｓ      電気信号
ＦＤ    フォトダイオード
【図１】
2006005898.tif 000016
【図２】
2006005898.tif 000017
【図３】
2006005898.tif 000018
【図４】
2006005898.tif 000019
【図５】
2006005898.tif 000020
【図６】
2006005898.tif 000021
【図７】
2006005898.tif 000022
【図８】
2006005898.tif 000023