(57)【要約】【課題】対象空間での光量変化の影響を受けずに凹凸を有する対象物を抽出できる画像処理装置を提供する。【解決手段】発光源２は対象空間に光を照射し、光検出素子１は対象空間を撮像する。画像生成部４は、発光源２から対象空間に照射された光と対象空間内の対象物Ｏｂで反射され光検出素子１で受光される反射光との対応関係によって対象物Ｏｂまでの距離を求め、対象空間の各方向に対応する画素値が距離値である距離画像を生成する。微分処理部５は、距離画像から距離微分値を画素値とする距離微分画像を生成する。微分処理部５で生成された対象物Ｏｂの距離微分画像は、類似度算出部６においてあらかじめ登録されているテンプレートと照合され類似度が算出される。対象物抽出部７は類似度算出部６で算出された類似度が所定値以上になる部位をテンプレートに相当する対象物として抽出する。【選択図】        図１
2006053792.tif 000002
【特許請求の範囲】
【請求項１】
対象空間に光を照射する発光源と、対象空間を撮像する光検出素子と、発光源から対象空間に照射され対象空間内の対象物で反射された反射光に対応する光検出素子の出力により対象物までの距離を求め画素値が距離値である距離画像を生成する画像生成部と、距離画像の距離値から求められる各画素の微分強度値である距離微分値を画素値とする距離微分画像を生成する微分処理部と、微分処理部で生成された対象物の距離微分画像をあらかじめ登録されているテンプレートと照合し類似度を算出する類似度算出部と、類似度算出部で算出された類似度が所定値以上になる部位をテンプレートに相当する対象物として抽出する対象物抽出部とを備えることを特徴とする画像処理装置。
【請求項２】
対象空間に光を照射する発光源と、対象空間を撮像する光検出素子と、発光源から対象空間に照射され対象空間内の対象物で反射された反射光に対応する光検出素子の出力により対象物までの距離を求め画素値が距離値である距離画像を生成する画像生成部と、距離画像の距離値から基準平面に対する画素の勾配方向として求められる各画素の微分方向値である勾配方向値を画素値とする勾配方向画像を生成する微分処理部と、微分処理部で生成された対象物の勾配方向画像をあらかじめ登録されているテンプレートと照合し類似度を算出する類似度算出部と、類似度算出部で算出された類似度が所定値以上になる部位をテンプレートに相当する対象物として抽出する対象物抽出部とを備えることを特徴とする画像処理装置。
【請求項３】
対象空間に光を照射する発光源と、対象空間を撮像する光検出素子と、発光源から対象空間に照射され対象空間内の対象物で反射された反射光に対応する光検出素子の出力により対象物までの距離を求め画素値が距離値である距離画像を生成する画像生成部と、距離画像の距離値から求められる各画素の微分強度値である距離微分値を画素値とする距離微分画像および距離画像の距離値から基準平面に対する画素の勾配方向として求められる各画素の微分方向値である勾配方向値を画素値とする勾配方向画像を生成する微分処理部と、基準となる対象物の距離微分画像のうち距離微分値が規定の閾値以上である領域における勾配方向画像をあらかじめ登録されているテンプレートと照合し類似度を算出する類似度算出部と、類似度算出部で算出された類似度が所定値以上になる部位をテンプレートに相当する対象物として抽出する対象物抽出部とを備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象空間の画像を用いて対象空間に存在する所望の対象物を抽出する画像処理装置に関するものである。
【背景技術】
【０００２】
従来から、対象空間を撮像した画像を用いて対象空間を監視したり対象空間内の対象物の外観を抽出したりする技術が種々提案されている（たとえば、特許文献１参照）。
【特許文献１】特開平１１−２８４９９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述した技術において用いている画像は、対象空間の明暗を反映した濃淡画像であって、外光の光量変化の影響を受けるから、光量にほとんど変化の生じない環境でしか使用できないという問題がある。
【０００４】
また、濃淡画像を用いてテンプレートと照合するパターンマッチングでは、外光の影響を軽減するために濃淡画像にソーベルオペレータのようなエッジ強調オペレータを適用し、エッジを強調する技術が知られている。このようにエッジを強調し、適宜の閾値で二値化すると画面全体の明暗の変化の影響を軽減できる。しかしながら、濃淡画像においてエッジを強調しても、外光で生じた影などにより対象物に存在しないエッジが抽出されることもあり、結果的にテンプレートとの類似度が低下し、対象物を正しく抽出できないという問題を生じる。
【０００５】
本発明は上記事由に鑑みて為されたものであり、その目的は、対象空間の光量変化の影響を受けることなく対象物を抽出できるようにした画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
請求項１の発明は、対象空間に光を照射する発光源と、対象空間を撮像する光検出素子と、発光源から対象空間に照射され対象空間内の対象物で反射された反射光に対応する光検出素子の出力により対象物までの距離を求め画素値が距離値である距離画像を生成する画像生成部と、距離画像の距離値から求められる各画素の微分強度値である距離微分値を画素値とする距離微分画像を生成する微分処理部と、微分処理部で生成された対象物の距離微分画像をあらかじめ登録されているテンプレートと照合し類似度を算出する類似度算出部と、類似度算出部で算出された類似度が所定値以上になる部位をテンプレートに相当する対象物として抽出する対象物抽出部とを備えることを特徴とする。
【０００７】
この構成によれば、距離画像について微分強度値である距離微分値を画素値とする距離微分画像をテンプレートと照合するのであって、対象物における距離の変化率の分布についてテンプレートとの類似度を算出するから、凹凸を有した対象物に対する識別能力が高いという利点がある。しかも光検出素子のダイナミックレンジの範囲内であれば外光光量の変化の影響を受けることなく同じ距離値を得ることができるから、対象物を正確に検出することが可能になるという利点がある。とくに、外光により影などが生じても距離微分値では対象物に存在しないエッジを発生させることがないから、対象物を正しく抽出することが可能になる。
【０００８】
請求項２の発明は、対象空間に光を照射する発光源と、対象空間を撮像する光検出素子と、発光源から対象空間に照射され対象空間内の対象物で反射された反射光に対応する光検出素子の出力により対象物までの距離を求め画素値が距離値である距離画像を生成する画像生成部と、距離画像の距離値から基準平面に対する画素の勾配方向として求められる各画素の微分方向値である勾配方向値を画素値とする勾配方向画像を生成する微分処理部と、微分処理部で生成された対象物の勾配方向画像をあらかじめ登録されているテンプレートと照合し類似度を算出する類似度算出部と、類似度算出部で算出された類似度が所定値以上になる部位をテンプレートに相当する対象物として抽出する対象物抽出部とを備えることを特徴とする。
【０００９】
この構成によれば、距離画像について微分方向値である勾配方向値を画素値とする勾配方向画像をテンプレートと照合するのであって、対象物における画素の勾配方向の分布についてテンプレートとの類似度を算出するから、凹凸のパターンに関する識別能力が高いという利点がある。しかも光検出素子のダイナミックレンジの範囲内であれば外光光量の変化の影響を受けることなく同じ距離値を得ることができるから、対象物を正確に検出することが可能になるという利点がある。
【００１０】
請求項３の発明は、対象空間に光を照射する発光源と、対象空間を撮像する光検出素子と、発光源から対象空間に照射され対象空間内の対象物で反射された反射光に対応する光検出素子の出力により対象物までの距離を求め画素値が距離値である距離画像を生成する画像生成部と、距離画像の距離値から求められる各画素の微分強度値である距離微分値を画素値とする距離微分画像および距離画像の距離値から基準平面に対する画素の勾配方向として求められる各画素の微分方向値である勾配方向値を画素値とする勾配方向画像を生成する微分処理部と、基準となる対象物の距離微分画像のうち距離微分値が規定の閾値以上である領域における勾配方向画像をあらかじめ登録されているテンプレートと照合し類似度を算出する類似度算出部と、類似度算出部で算出された類似度が所定値以上になる部位をテンプレートに相当する対象物として抽出する対象物抽出部とを備えることを特徴とする。
【００１１】
この構成によれば、距離画像について微分絶対値である距離微分値を画素値とする距離微分画像のうち距離微分値が規定の閾値以上である領域について勾配方向値をテンプレートに用いており、対象物の輪郭や凹凸部分のように距離変化の大きい領域のみを抽出し、当該領域における勾配方向値の分布をテンプレートに用いるから、類似度を算出する領域として他の部位よりも情報量の多い部位を用いることで類似度の算出を正確に行うことを可能とし、かつ情報量の少ない部位を類似度を算出する領域から排除してノイズとなる情報の混入を低減することができる。また、対象物における画素の勾配方向の分布についてテンプレートとの類似度を算出するから、凹凸のパターンに関する識別能力が高いという利点がある。しかも光検出素子のダイナミックレンジの範囲内であれば外光光量の変化の影響を受けることなく同じ距離値を得ることができるから、対象物を正確に検出することが可能になるという利点がある。
【発明の効果】
【００１２】
請求項１の発明の構成によれば、対象物における距離の変化率の分布についてテンプレートとの類似度を算出するから、凹凸を有した対象物に対する識別能力が高いという利点がある。
【００１３】
請求項２、請求項３の発明の構成によれば、対象物における画素の勾配方向の分布についてテンプレートとの類似度を算出するから、凹凸のパターンに関する識別能力が高いという利点がある。
【００１４】
とくに請求項３の発明の構成では、対象物の輪郭や凹凸部分のように距離変化の大きい領域のみを抽出し、当該領域における勾配方向値の分布をテンプレートに用いるから、類似度を算出する領域として他の部位よりも情報量の多い部位を用いることで類似度の算出を正確に行うことを可能とし、かつ情報量の少ない部位を類似度を算出する領域から除去してノイズとなる情報の混入を低減することができるという利点がある。
【００１５】
また、請求項１、請求項２、請求項３のいずれの発明も、距離画像の画素値である距離値に基づいて対象物を検出するものであり、光検出素子のダイナミックレンジの範囲内であれば外光光量の変化の影響を受けることなく同じ距離値を得ることができるから、対象物を正確に検出することが可能になるという利点がある。
【発明を実施するための最良の形態】
【００１６】
本発明の実施形態を説明するにあたり、まず本実施形態で用いる距離画像センサの構成について説明する。
【００１７】
距離画像センサは、図１に示すように、対象空間に光を照射する発光源２を備えるとともに、対象空間からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子１を備える。対象空間に存在する対象物Ｏｂまでの距離は、発光源２から対象空間に光が照射されてから対象物Ｏｂでの反射光が光検出素子１に入射するまでの時間（「飛行時間」と呼ぶ）によって求める。ただし、飛行時間は非常に短いから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。なお、本発明の技術思想は、距離画像センサとして、飛行時間により距離画像を生成する構成のほか、三角測量法の原理によって距離画像を生成する構成においても採用可能である。ただし、以下に説明する構成の距離画像センサは、三角測量法の原理を用いる距離画像センサに比較して短時間で（ほぼ実時間）で距離画像を生成できるから、三角測量法の原理を採用した距離画像センサよりも好ましい。
【００１８】
図２（ａ）に示すように、発光源２から空間に放射する光の強度が曲線イのように変化し、光検出素子１で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより対象物Ｏｂまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相が０度、９０度、１８０度、２７０度の位相で求めた曲線ロの受光光量がそれぞれＡ０、Ａ１、Ａ２、Ａ３であるとする（受光光量Ａ０、Ａ１、Ａ２、Ａ３を斜線部で示している）。ただし、各位相における受光光量Ａ０、Ａ１、Ａ２、Ａ３は、瞬時値ではなく所定の時間Ｔｗで積算した受光光量を用いる。いま、受光光量Ａ０、Ａ１、Ａ２、Ａ３を求める間に、位相差ψが変化せず（つまり、対象物Ｏｂまでの距離が変化せず）、かつ対象物Ｏｂの反射率にも変化がないものとする。また、発光源２から放射する光の強度を正弦波で変調し、時刻ｔにおいて光検出素子１で受光される光の強度がＡ・ｓｉｎ（ωｔ＋δ）＋Ｂで表されるものとする。ここに、Ａは振幅、Ｂは外光成分を含む受光光量の平均値、ωは角振動数、δは位相である。光検出素子１で受光する受光光量Ａ０、Ａ１、Ａ２、Ａ３を時間Ｔｗの積算値ではなく瞬時値とすれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３は、次のように表すことができる。
Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂ
Ａ１＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ
Ａ２＝Ａ・ｓｉｎ（π＋δ）＋Ｂ
Ａ３＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ
ここに、δ＝−ψであるから、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂであり、結果的に、各受光光量Ａ０、Ａ１、Ａ２、Ａ３と位相差ψとの関係は、次式のようになる。
ψ＝ｔａｎ−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝    …（１）
（１）式では受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いているが、受光光量Ａ０、Ａ１、Ａ２、Ａ３として時間Ｔｗにおける積算値を用いても（１）式で位相差ψを求めることができる。
【００１９】
上述のように対象空間に照射する光の強度を変調するために、発光源２としては、たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源２は、制御回路部３から出力される所定の変調周波数である変調信号によって駆動され、発光源２から放射される光は変調信号により強度が変調される。制御回路部３では、たとえば２０ＭＨｚの正弦波で発光源２から放射する光の強度を変調する。なお、発光源２から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。
【００２０】
光検出素子１は、規則的に配列された複数個の感光部１１を備える。また、感光部１１への光の入射経路には受光光学系８が配置される。感光部１１は光検出素子１において対象空間からの光が受光光学系８を通して入射する部位であって、感光部１１において受光光量に応じた量の電荷を生成する。また、感光部１１は、平面格子の格子点上に配置され、たとえば垂直方向（つまり、縦方向）と水平方向（つまり、横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。
【００２１】
受光光学系８は、光検出素子１から対象空間を見るときの視線方向と各感光部１１とを対応付ける。すなわち、受光光学系８を通して各感光部１１に光が入射する範囲を、受光光学系８の中心を頂点とし各感光部１１ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源２から放射され対象空間に存在する対象物Ｏｂで反射された反射光が感光部１１に入射すれば、反射光を受光した感光部１１の位置により、受光光学系８の光軸を基準方向として対象物Ｏｂの存在する方向を知ることができる。
【００２２】
受光光学系８は一般に感光部１１を配列した平面に光軸を直交させるように配置されるから、受光光学系８の中心を原点とし、感光部１１を配列した平面の垂直方向と水平方向と受光光学系８の光軸とを３軸の方向とする直交座標系を設定すれば、対象空間に存在する対象物Ｏｂの位置を球座標で表したときの角度（いわゆる方位角と仰角）が各感光部１１に対応する。なお、受光光学系８は、感光部１１を配列した平面に対して光軸が９０度以外の角度で交差するように配置することも可能である。
【００２３】
本実施形態では、上述のように、対象物Ｏｂまでの距離を求めるために、発光源２から対象空間に照射される光の強度変化に同期する４点のタイミングで受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。したがって、目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３を得るためのタイミングの制御が必要である。また、発光源２から対象空間に照射される光の強度変化の１周期において感光部１１で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図１のように各感光部１１で発生した電荷をそれぞれ集積する複数個の電荷集積部１３を設けるとともに、各感光部１１において利用できる電荷を生成する領域の面積を変化させることにより各感光部１１の感度をそれぞれ調節する複数個の感度制御部１２を設けている。
【００２４】
各感度制御部１２では、感度制御部１２に対応する感光部１１の感度を上述した４点のうちのいずれかのタイミングで高め、感度が高められた感光部１１では当該タイミングの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を主として生成するから、当該受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を当該感光部１１に対応する電荷集積部１３に集積させることができる。
【００２５】
ところで、感度制御部１２は感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させることにより各期間の電荷の生成量を変化させるものであるから、電荷集積部１３に集積された電荷は必ずしも受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間に生成された電荷だけではなく、他の期間に生成された電荷も混入することになる。いま、感度制御部１２において、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部１１は受光光量に比例する電荷を生成するものとする。この条件では、受光光量Ａ０に対応した電荷を集積する電荷集積部１３には、αＡ０＋β（Ａ１＋Ａ２＋Ａ３）＋βＡｘ（Ａｘは受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間以外の受光光量）に比例する電荷が蓄積され、受光光量Ａ２に対応した電荷を集積する電荷集積部１３には、αＡ２＋β（Ａ０＋Ａ１＋Ａ３）＋βＡｘに比例する電荷が蓄積される。上述したように、位相差ψを求める際には（Ａ２−Ａ０）を求めており、Ａ２−Ａ０＝（α−β）（Ａ２−Ａ０）になり、同様にしてＡ１−Ａ３＝（α−β）（Ａ１−Ａ３）になるから、（Ａ２−Ａ０）／（Ａ１−Ａ３）は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。
【００２６】
感光部１１と感度制御部１２と電荷集積部１３とを備える光検出素子１は１つの半導体装置として構成され、光検出素子１には電荷集積部１３に集積された電荷を半導体装置の外部に取り出すために電荷取出部１４が設けられる。電荷取出部１４はＣＣＤイメージセンサにおける垂直転送部および水平転送部と同様の構成を有する。
【００２７】
電荷取出部１４から取り出された電荷は画像生成部４に画像信号として与えられ、画像生成部４において対象空間内の対象物Ｏｂまでの距離が上述した（１）式を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３から算出される。すなわち、画像生成部４では各感光部１１に対応した各方向における対象物Ｏｂまでの距離が算出され、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。
【００２８】
以下に光検出素子１の具体的構造例を説明する。図３に示す光検出素子１は、複数個（たとえば、１００×１００個）の感光部１１をマトリクス状に配列したものであって、たとえば１枚の半導体基板上に形成される。感光部１１のうち垂直方向の各列では一体に連続する半導体層２１を共用するとともに半導体層２１を垂直方向への電荷（本実施形態では、電子を用いる）の転送経路として用い、さらに各列の半導体層２１の一端から電荷を受け取って水平方向に電荷を転送するＣＣＤである水平転送部Ｔｈを半導体基板に設ける構成を採用することができる。
【００２９】
すなわち、図４に示すように、半導体層２１が感光部１１と電荷の転送経路とに兼用された構造であって、フレーム・トランスファ（ＦＴ）方式のＣＣＤイメージセンサと類似した構造になる。また、ＦＴ方式のＣＣＤイメージセンサと同様に、感光部１１を配列した撮像領域Ｄａに隣接して遮光された蓄積領域Ｄｂを設けてあり、蓄積領域Ｄｂに蓄積した電荷を水平転送部Ｔｈに転送する。撮像領域Ｄａから蓄積領域Ｄｂへの電荷の転送は垂直ブランキング期間に一気に行い、水平転送部Ｔｈでは１水平期間に１水平ライン分の電荷を転送する。図１に示した電荷取出部１４は、半導体層２１における垂直方向への電荷の転送経路としての機能とともに水平転送部Ｔｈを含む機能を表している。ただし、電荷集積部１３は蓄積領域Ｄｂを意味するのではなく、撮像領域Ｄａにおいて電荷を集積する機能を表している。言い換えると、蓄積領域Ｄｂは電荷取出部１４に含まれる。
【００３０】
半導体層２１は不純物が添加してあり、半導体層２１の主表面は酸化膜からなる絶縁膜２２により覆われ、半導体層２１に絶縁膜２２を介して複数個の制御電極２３を配置している。この光検出素子１はＭＩＳ素子として知られた構造であるが、１個の光検出素子１として機能する領域に複数個（図示例では５個）の制御電極２３を備える点が通常のＭＩＳ素子とは異なる。絶縁膜２２および制御電極２３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。図示例の半導体層２１の導電形はｎ形であり、光の照射により生成される電荷として電子ｅを利用する。図３は１個の感光部１１に対応する領域のみを示したものであり、半導体基板（図示せず）には上述したように図３の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。電荷取出部１４として設ける垂直転送部は、図３の左右方向に電荷を転送することを想定しているが、図３の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設定するのが望ましい。
【００３１】
この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）２４が形成される。つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子ｅの一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子ｅは半導体層２１の深部での再結合により消滅する。また、ポテンシャル井戸２４から離れた場所で生成された電子ｅも半導体層２１の深部での再結合により消滅する。
【００３２】
ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。つまり、制御電圧を印加する制御電極２３の個数を変化させることは感度制御部１２における感度の調節を意味する。たとえば、図３（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図３（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める面積が変化するのであって、図３（ａ）の状態のほうがポテンシャル井戸２４の面積が大きいから、図３（ｂ）の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部１１の感度を高めたことになる。このように、感光部１１および感度制御部１２は半導体層２１と絶縁膜２２と制御電極２３とにより構成されていると言える。ポテンシャル井戸２４は光照射により生成された電荷を保持するから電荷集積部１３として機能する。
【００３３】
ポテンシャル井戸２４から電荷を取り出すには、ＦＴ方式のＣＣＤと同様の技術を採用すればよく、ポテンシャル井戸２４に電子ｅが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子ｅを一方向（たとえば、図の右方向）に転送することができる。つまり、半導体層２１をＣＣＤの垂直転送部と同様に電荷の転送経路に用いることができる。さらに、電荷は図４に示した水平転送部Ｔｈを転送され、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。要するに、制御電極２３への制御電圧の印加パターンを制御することにより、各感光部１１ごとの感度を制御するとともに、光照射により生成された電荷を集積し、さらに集積された電荷を転送することができる。
【００３４】
本実施形態における感度制御部１２は、利用できる電荷を生成する面積を大小２段階に切り換えることにより感光部１１の感度を高低２段階に切り換えるのであって、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに対応する電荷を感光部１１で生成しようとする期間にのみ高感度とし（電荷を生成する面積を大きくし）、他の期間には低感度にする。高感度にする期間と低感度にする期間とは、発光源２を駆動する変調信号に同期させて設定される。また、変調信号の複数周期に亘ってポテンシャル井戸２４に電荷を集積した後に電荷取出部１４を通して光検出素子１の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の１周期内では感光部１１が利用可能な電荷を生成する期間が短く（たとえば、変調信号の周波数を２０ＭＨｚとすれば５０ｎｓの４分の１以下）、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷（発光源２から照射された光に対応する電荷）と雑音電荷（外光成分および光検出素子１の内部で発生するショットノイズに対応する電荷）との比を大きくとることができ、大きなＳＮ比が得られる。
【００３５】
ところで、位相差ψを求めるのに必要な４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を１個の感光部１１で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を４個の感光部１１でそれぞれ生成するとすれば、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差は小さくなるが、４種類の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、本実施形態では、２個の感光部１１を用いることにより、変調信号の１周期内で受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２種類ずつ生成する構成を採用している。つまり、２個の感光部１１を組にして用い、組になる２個の感光部１１に同じ視線方向からの光が入射するようにしている。
【００３６】
上述の構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している対象物Ｏｂについても距離の検出精度を比較的高く保つことができる。なお、本実施形態の構成では、１個の感光部１１で４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部１１の小型化や受光光学系８の設計によって向上させることが可能である。
【００３７】
以下に動作を具体的に説明する。図３に示した例では、１個の感光部１１について５個の制御電極２３を設けた例を示しているが、両側の２個の制御電極２３は、感光部１１で電荷（電子ｅ）を生成している間に隣接する感光部１１に電荷が流出するのを防止するための障壁を形成するものであって、２個の感光部１１を組にして用いる場合には隣接する感光部１１のポテンシャル井戸２４の間には、いずれかの感光部１１で障壁が形成されるから、各感光部１１には３個ずつの制御電極２３を設けるだけで足りることになる。この構成によって、感光部１１の１個当たりの占有面積が小さくなり、２個の感光部１１を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。
【００３８】
ここでは、図５に示すように、組にした２個の感光部１１にそれぞれ設けた３個ずつの制御電極２３を区別するために各制御電極２３に（１）〜（６）の数字を付す。（１）〜（６）の数字を付与した制御電極２３を有する２個の感光部１１は、１つの視線方向に対応しておりイメージセンサにおける画素を構成する。なお、１画素ずつの感光部１１に対応付けて、それぞれオーバフロードレインを設けるのが望ましい。
【００３９】
図５（ａ）（ｂ）はそれぞれ制御電極２３に異なる印加パターンで制御電圧＋Ｖを印加した状態（半導体基板に設けた図示しない基板電極と制御電極２３との間に制御電圧＋Ｖを印加した状態）を示しており、ポテンシャル井戸２４の形状からわかるように、図５（ａ）では１画素となる２個の感光部１１のうち制御電極（１）〜（３）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）のうちの中央の制御電極（５）に正の制御電圧＋Ｖを印加している。また、図５（ｂ）では制御電極（１）〜（３）のうちの中央の制御電極（２）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）に正の制御電圧＋Ｖを印加している。つまり、１画素を構成する２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを交互に入れ換えている。２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを入れ換えるタイミングは、変調信号における逆位相の（位相が１８０度異なる）タイミングになる。なお、各感光部１１に設けた３個の制御電極２３に同時に制御電圧＋Ｖを印加している期間以外は、各感光部１１に設けた中央部の１個の制御電極２３（つまり、制御電極（２）（５））にのみ制御電圧＋Ｖを印加し、他の制御電極２３は０Ｖに保つ状態とする。
【００４０】
たとえば、１画素を構成する２個の感光部１１において受光光量Ａ０、Ａ２に対応する電荷を交互に生成する場合は、図２のように、一方の感光部１１で受光光量Ａ０に対応する電荷を生成するために３個の制御電極（１）〜（３）に制御電圧＋Ｖを印加している間に、他方の感光部１１では受光光量Ａ２に対応する電荷を保持するために１個の制御電極（５）にのみ制御電圧＋Ｖを印加する。同様にして、一方の感光部１１で受光光量Ａ２に対応する電荷を生成するために３個の制御電極（４）〜（６）に制御電圧＋Ｖを印加している間には、他方の感光部１１では受光光量Ａ０に対応する電荷を保持するために１個の制御電極（２）にのみ制御電圧＋Ｖを印加する。また、受光光量Ａ０、Ａ２に対応する電荷を生成する期間以外では制御電極（２）（５）にのみ制御電圧＋Ｖを印加する。図２（ｂ）（ｃ）に受光光量Ａ０、Ａ２に対応する電荷を蓄積する際の各制御電極（１）〜（６）に制御電圧＋Ｖの印加のタイミングを示す。図において斜線部が制御電圧＋Ｖを印加している状態を示し、空白部が制御電極（１）〜（６）に電圧を印加していない状態を示している。
【００４１】
１画素を構成する２個の感光部１１において受光光量Ａ１、Ａ３に対応する電荷を生成する場合も同様であって、受光光量Ａ０、Ａ２に対応する電荷を生成する場合とは制御電極２３に制御電圧＋Ｖを印加するタイミングが、変調信号の位相における９０度異なる点が相違するだけである。また、受光光量Ａ０、Ａ１に対応する電荷を生成する期間と、受光光量Ａ１、Ａ３に対応する電荷を生成する期間との間で撮像領域から蓄積領域に電荷を転送する。つまり、受光光量Ａ０に対応する電荷が制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積されるとともに、受光光量Ａ２に対応する電荷が制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積されると、これらの受光光量Ａ０、Ａ２に対応する電荷を外部に取り出す。次に、受光光量Ａ１に対応する電荷が制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積されるとともに、受光光量Ａ３に対応する電荷が制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積されると、これらの受光光量Ａ１、Ａ３に対応する電荷を外部に取り出す。このような動作を繰り返すことによって、４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２回の読出動作で光出力素子１の外部に取り出すことができ、取り出した電荷を用いて位相差ψを求めることが可能になる。なお、たとえば３０フレーム毎秒の画像を得るためには、受光光量Ａ０、Ａ１に対応する電荷を生成する期間と受光光量Ａ１、Ａ３に対応する電荷を生成する期間とは６０分の１秒よりも短い期間とする。
【００４２】
上述の例では３個の制御電極２３（（１）〜（３）または（４）〜（６））に同時に印加する制御電圧と、１個の制御電極２３（（２）または（５））にのみ印加する制御電圧とを等しくしているから、ポテンシャル井戸２４の面積は変化するもののポテンシャル井戸２４の深さは等しくなっている。この場合、制御電圧を印加していない制御電極２３（（１）（３）または（４）（６））において生成された電荷は、同程度の確率でポテンシャル井戸２４に流れ込む。つまり、感光部１１を構成する３個の制御電極２３のうちの１個にのみ制御電圧＋Ｖを印加することによって電荷集積部１３として機能している領域と、３個の制御電極２３のすべてに制御電圧＋Ｖを印加している領域との両方に同程度の量の電荷が流れ込む。つまり、電荷を保持しているポテンシャル井戸２４に流れ込む雑音成分が比較的多いものであるから、ダイナミックレンジを低下させる原因になる。
【００４３】
そこで、図６のように、組になる２個の感光部１１に設けた各３個の制御電極（１）〜（３）または（４）〜（６）に同時に印加する制御電圧が、１個の制御電極（２）または（５）にのみ印加する制御電圧よりも高くなるように設定し、大面積のポテンシャル井戸２４を小面積のポテンシャル井戸２４よりも深く設定するのが望ましい。このように、主として電荷（電子ｅ）を生成しているポテンシャル井戸２４を、主として電荷の保持を行っているポテンシャル井戸２４よりも深くすることにより、制御電圧を印加していない制御電極（１）（３）または（４）（６）に対応する部位で生じた電荷は、深いほうのポテンシャル井戸２４に流れ込みやすくなる。つまり、制御電極２３に一定の制御電圧＋Ｖを印加する場合に比較すると、電荷を保持するポテンシャル井戸２４に流れ込む雑音成分を低減することができる。
【００４４】
なお、上述した距離画像センサの構成例では、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４期間を変調信号の１周期内で位相の間隔が９０度ずつになるように設定しているが、変調信号に対する位相が既知であれば４期間は９０度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、４期間の受光光量に対応した電荷を取り出す周期は、対象物Ｏｂの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の１周期内で４個の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源２から放射される光の波長のみを透過させる光学フィルタを感光部１１の前に配置するのが望ましい。図５、図６を用いて説明した構成例では、感光部１１ごとに３個ずつの制御電極２３を対応付けているが、制御電極２３を４個以上設けるようにしてもよい。また、上述の例ではＦＴ方式のＣＣＤイメージセンサと同様の構成を採用しているが、インターライン・トランスファ（ＩＴ）方式、フレーム・インターライン・トランスファ（ＦＩＴ）方式と同様の構成を採用することも可能である。
【００４５】
次に、上述した距離画像センサを用いて対象空間に存在する対象物を抽出する技術について説明する。以下に説明する各部の機能はマイクロコンピュータにより適宜のプログラムを実行することで実現される。また、距離画像を生成する際の光検出素子１への外光成分の入射を低減するために、発光源２から赤外線を対象空間に照射し、光検出素子１の前方に赤外線透過フィルタを配置しているものとする。
【００４６】
図１に示すように、画像生成部４で生成された距離画像は微分処理部５に与えられ、微分処理部５では、距離画像の距離値から求められる各画素の微分強度値である距離微分値を画素値とする距離微分画像と、距離画像の距離値から求められる各画素の微分方向値である勾配方向値を画素値とする勾配方向画像とが生成される。微分強度値は、たとえば着目する画素の８近傍を用いて求められる値であって、本実施形態では、図７のような３×３平方領域の中央の画素ｐ５を着目する画素とするときに、他の画素ｐ１〜ｐ４，ｐ６〜ｐ９の画素値Ｂ１〜Ｂ４，Ｂ６〜Ｂ９を用いることにより（２）式で表される。
（ΔＸ２＋ΔＹ２）１／２    …（２）
ただし、
ΔＸ＝（Ｂ１＋Ｂ４＋Ｂ７）−（Ｂ３＋Ｂ６＋Ｂ９）
ΔＹ＝（Ｂ１＋Ｂ２＋Ｂ３）−（Ｂ７＋Ｂ８＋Ｂ９）
本実施形態では、距離微分値を求めるから画素値Ｂ１〜Ｂ４，Ｂ６〜Ｂ９は距離値になる。（２）式によって求めた距離微分値を画素値に持つ距離微分画像においては距離画像における距離差の大きい部位ほど距離微分値が大きくなる。また、微分方向値は、画素値Ｂ１〜Ｂ４，Ｂ６〜Ｂ９を用いることにより、（３）式で表される。
ｔａｎ−１（ΔＹ／ΔＸ）  …（３）
本実施形態では、画素値Ｂ１〜Ｂ４，Ｂ６〜Ｂ９が距離値であるから、（３）式によって得られる微分方向値は勾配方向値であって、勾配方向値は、受光光学系８の光軸に直交する１つの平面を基準平面として、基準平面に対して各画素がどの向きの勾配を持つかを表している。つまり、勾配方向値は基準平面に対する勾配の向きだけを表しており、基準平面に対する傾斜角度は含んでいない。つまり、地図における等高線を距離画像における距離分布に類比すれば、勾配方向値は斜面が傾斜している方角に相当し斜面の傾斜角度の情報は含まないことになる。いま、距離画像における水平方向をＸ方向とし垂直方向をＹ方向として、Ｘ方向の正の向きを勾配方向値における０度とし、Ｙ方向の正の向きを勾配方向値における９０度とする。ΔＸは基準平面に対するＸ方向における傾きの大きさを表し、ΔＹは基準平面に対するＹ方向における傾きの大きさを表しており、Ｘ方向とＹ方向との傾きの大きさが等しければ、Ｘ方向とＹ方向とにそれぞれ何度傾いていても勾配方向値は４５度になる。つまり、当該画素を正面から見たときに４５度の方向（原点の回りでＸ軸の正の向きからＹ軸の正の向きに向かって４５度回転した方向）に勾配を有していることになる。
【００４７】
なお、勾配方向値としては（２）式のように着目画素の８近傍から求めるほか、４近傍や１６近傍を用いることも可能であり、またアークタンジェントに代えて他の関数を用いることも可能である。なお、この関数はΔＸとΔＹとの比の非線形性を修正して勾配方向値に線形性が得られるものであれば望ましい。また、勾配方向値を用いることによってＸ方向とＹ方向との傾きを合わせて１個のデータに集約しているから、１画素についてΔＸとΔＹとの２個の値を用いる場合よりもデータ量を低減することができるとともに、距離を求める演算速度が向上する。
【００４８】
距離微分画像および勾配方向画像は類似度算出部６に与えられる。類似度算出部６にはテンプレート作成記憶部６ａが設けられており、テンプレート作成記憶部６ａでは、欠陥のない基準となる対象物Ｏｂに関する距離画像に基づいて生成した距離微分画像から距離微分値が規定の閾値以上である領域を抽出し、さらに抽出した領域における勾配方向値をテンプレートとして登録する。要するに、距離微分画像において距離微分値が閾値以上である領域を抽出すれば、対象物Ｏｂの輪郭や凹凸部分のように対象物Ｏｂの特徴を表す領域を抽出することができ、対象物Ｏｂの外観形状に関する情報量が比較的少ない部分は除去されることになる。すなわち、テンプレートとして用いるのに情報量の多い領域のみを用いることができ、質の高いテンプレートを作成することができる。テンプレートとしては距離微分値を用いて抽出した領域の勾配方向値の分布を用いる。
【００４９】
実際に対象物Ｏｂを検出する際には、テンプレート作成記憶部６ａにあらかじめ格納しておいたテンプレートを、対象物Ｏｂの距離画像から微分処理部５において作成した勾配方向値画像に照合する。つまり、対象物Ｏｂの検出の際には微分処理部５では距離微分画像は生成せずに勾配方向画像だけを生成し、勾配方向画像を類似度算出部６に与える。類似度算出部６ではテンプレート作成記憶部６ａに格納されているテンプレートと微分処理部５から入力された勾配方向画像との類似度を算出する。すなわち、勾配方向画像の中でテンプレートを走査し、テンプレートに含まれる各画素とテンプレートに重複する部位の勾配方向画像の各画素との画素値の差分の総和を類似度として算出する。このとき差分の総和が小さいほど類似度が高いことを意味する。算出された差分の総和は対象物抽出部７に与えられ、対象物抽出部７では、勾配方向画像の中で差分の総和が最小値になり、かつ規定の閾値以下であるときに類似度が高いことを意味するので、テンプレートに相当する対象物Ｏｂが存在すると判断し、このときのテンプレートの代表点の位置を対象物Ｏｂの位置とする。なお、テンプレートの寸法は勾配方向画像の中での対象物Ｏｂの寸法に一致させておく。
【００５０】
ところで、対象物Ｏｂの凹凸が比較的少ない場合であって対象物Ｏｂがテンプレートに対して回転している場合には、勾配方向値の方向毎の度数を表すヒストグラムはほぼ同形状になるが、ヒストグラムのピークの位置にずれが生じる。そこで、テンプレートを走査してテンプレートを対象物Ｏｂの勾配方向画像と照合する際に、勾配方向画像においてテンプレートと重複する部位の勾配方向値のヒストグラムと、テンプレートにおける勾配方向値のヒストグラムとを生成し（テンプレートのヒストグラムはあらかじめ作成しておくのが望ましい）、両ヒストグラムのピーク間の方向差を求め、一方のヒストグラムのピーク位置を他方のヒストグラムのピーク位置に一致させた状態でのヒストグラムの距離（各方向の度数同士の差の二乗和）を求め、この距離が規定の閾値以下になるときに、類似度算出部６において上述した類似度の算出を行うようにしてもよい。この技術を採用すれば、対象物Ｏｂがテンプレートに対して回転している場合でも類似度を算出することが可能になる。
【００５１】
なお、外光光量が光検出素子１のダイナミックレンジの範囲内であれば、距離微分値および距離方向値は外光光量の変化の影響をほとんど受けないから、濃淡画像を用いる場合のように外光光量の影響を受けることなく対象物Ｏｂを正確に検出することができる。
【００５２】
上述した構成例では、距離微分画像において距離微分値が閾値以上である領域について勾配方向画像から勾配方向値の分布を求めてテンプレートに用いているが、テンプレートは距離微分画像あるいは勾配方向画像における対象物Ｏｂに相当する領域を用いるようにしてもよい。距離微分画像から求めたテンプレートを用いる場合には、照合対象は距離微分画像になり、勾配方向画像から求めたテンプレートを用いる場合、照合対象は勾配方向画像になる。
【００５３】
すなわち、対象物Ｏｂのテンプレートを作成する際に、テンプレート作成記憶部６ａに対して距離微分画像または勾配方向画像のみを与え、利用者が対象物Ｏｂの存在領域をモニタ画面（図示していないが、距離画像、距離微分画像、勾配方向画像を切り換えて表示することができるモニタ装置を設けている）において指定することで、対象物Ｏｂの存在領域における距離微分値または勾配方向値の分布をテンプレートとして抽出してもよい。距離微分値の分布をテンプレートに用いる場合には、類似度算出部６において距離微分画像にテンプレートを照合して類似度を求める。また、勾配方向値の分布をテンプレートに用いる場合には、類似度算出部６において勾配方向画像にテンプレートを照合して類似度を求める。類似度の算出方法は上述した方法を採用する。
【００５４】
距離微分画像をテンプレートと照合する場合は、対象物Ｏｂにおける距離の変化率の分布についてテンプレートとの類似度を算出するから、対象物Ｏｂに距離の変化が急である凹凸部分が存在する場合にその凹凸部分の輪郭形状を抽出しやすくなり、段差のような凹凸部分を有した対象物Ｏｂに対する識別能力が高くなる。また、勾配方向画像をテンプレートと照合する場合は、対象物Ｏｂの各部位における画素の勾配方向の分布についてテンプレートとの類似度を算出するから、対象物Ｏｂに距離の変化が緩やかである凹凸部分が存在する場合にその凹凸部分のパターンを抽出しやすくなり、距離変化の緩やかな凹凸模様を有した対象物Ｏｂに対する識別能力が高くなる。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態を示すブロック図である。
【図２】同上の動作説明図である。
【図３】同上に用いる光検出素子の要部の動作説明図である。
【図４】同上に用いる光検出素子の平面図である。
【図５】同上に用いる光検出素子の要部の動作説明図である。
【図６】同上に用いる光検出素子の要部の動作説明図である。
【図７】同上の微分処理部の動作説明図である。
【符号の説明】
【００５６】
１  光検出素子
２  発光源
３  制御回路部
４  画像生成部
５  微分処理部
６  類似度算出部
７  対象物判定部
Ｏｂ  対象物
【図１】
2006053792.tif 000003
【図２】
2006053792.tif 000004
【図３】
2006053792.tif 000005
【図４】
2006053792.tif 000006
【図５】
2006053792.tif 000007
【図６】
2006053792.tif 000008
【図７】
2006053792.tif 000009