(57)【特許請求の範囲】
【請求項１】
イメージセンサの対を備えその視界内の映像のパターンを表す映像データの対を発するイメージセンサ手段と、イメージセンサの視界内に検出対象を捉えるべき視野を複数個並べて設定する視野設定手段と、映像データから視野に対応して抽出した窓部分の対から視野内の映像の対がもつ視差に相応する見掛けの距離を各視野ごとに計算する距離計算手段と、複数個の見掛けの距離の頻度分布から検出距離の候補を複数個選出してそれらをほぼ包み込む輪郭をもちかつ内部に距離検出候補以外のものも含みうる対象の存在範囲を選定した上で該存在範囲に属する距離候補のみから対象の距離を確定して出力する距離確定手段とを備える距離検出装置において、前記距離確定手段により選出した距離候補に相当する距離位置に対象が存在する場合のその見掛けの大きさを表す枠を設定し、かつ選定した対象の存在範囲がこの枠にほぼ一致する大きさであることを確かめた上で存在範囲内の距離候補から対象の距離を確定するようにしたことを特徴とする距離検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は自動車の衝突防止等のためにイメージセンサにより検出対象の映像を捉えてそれまでの距離を検出するいわゆる受動的ないしはパッシブな方式の距離検出装置に関する。
【０００２】
【従来の技術】
上述の受動的な距離検出装置は１対のイメージセンサにレンズ等の光学手段を通して検出対象の映像を互いに異なる光路を介してそれぞれ受け，光路が異なる映像がもついわゆる視差を利用して対象までの距離を検出するもので、超音波や赤外線を対象に当ててそれから反射されてくる時間から距離を検出するいわゆる能動的な距離検出装置に比べて遠距離の検出に適し，距離検出の指向性が非常に良好で，妨害音波や妨害光の影響を受けにくい等の優れた特長があるため、自動焦点カメラに従来から広く採用されており、最近では前述の自動車の衝突防止の用途にもその将来性が囑目されている。
【０００３】
周知のように、このイメージセンサを用いる距離検出装置は三角測量の原理を利用して距離を検出するものであり、１対のイメージセンサが受ける検出対象の映像がもつセンサ上の視差をσを検出すればそれに映像を結像させる光学手段の１対のレンズ間の距離である基線長をｂとし，レンズの焦点距離をｆとすると、対象の距離ｄをｄ＝ｂｆ／σなる簡単な式で計算できる。なお、実際の用途では距離ｄの値をこの式から計算でわざわざ求めることなく視差σをそのまま距離の指標として用いるのが通例である。
【０００４】
ところが、自動焦点カメラでは検出対象をそのファインダで捉えることにより特定できるのに対し、自動車の衝突防止の用途では検出対象がイメージセンサの正面にあるとは限らずドライバにそれを特定する負担を掛けることもできない。もっとも、対象がイメージセンサの正面から任意の角度θをなす方向に存在する場合でも、幸いなことに視差σを検出すれば上述と同じ式で距離ｄを計算できることが知られているので、イメージセンサがもつ視界内に複数の視野を設定し，さらにはイメージセンサ対を複数個設けて、それらの視野ごとに距離を検出した上で最も確からしい距離の値を採用する手段がとられる。
【０００５】
本件出願人による特願平7-167321号にはこの方式の距離検出装置が提案されており、この装置では対象を検出すべき視界ないし検出範囲内の距離検出値の頻度分布から確からしい距離範囲を選出し、かつこの距離範囲を含むように選定した領域を視界内で順次に移動させながら平均値を計算した結果から最も確からしい距離を採用するようになっている。なお、複数のイメージセンサ対を併せた広い視界の中には距離が互いに異なる検出対象が複数個存在することもあり、かかる場合には確からしい距離範囲を複数個選出した上で各距離範囲についての距離を求めることもできる。
【０００６】
【発明が解決しようとする課題】
ところが、イメージセンサの映像検出の精度には限界があるため悪条件下では正確に距離を検出できないことがある。検出に不利な条件としては対象としての自動車が夕日等の明るい逆光を受けているためその映像の内部パターンが充分な精度で検出できない場合がある。この場合は対象の全体が逆光の明るさに比べて非常に暗い影になってしまうので、その映像がもつ内部パターンを検出するのが非常に困難である。一方、映像から距離を検出する際は１対のイメージセンサが受ける映像を相互にシフトさせながらそのパターンが一致ないしは最高の相関を示したときのシフト値を前述の視差σとするので、映像の内部パターンが乏しい場合はパターンの一致や相関を検定する精度が低下し、従って距離指標としての視差σの検出精度も落ちてくるのである。
【０００７】
もっとも、対象の映像の内部パターンが検出できなくても対象と逆光の境目は検出できるので距離情報が全く得られないわけではないが、実験の結果によれば内部パターン情報が乏しくて映像の輪郭に関する情報だけでは距離の検出精度の低下が避けられない。内部パターンの検出精度を向上するにはイメージセンサに映像データが例えば８ビット以上の高精度で得られる高級で非常に高価なものを用いる必要があるがもちろん実用面での不利を免れない。
【０００８】
かかる現状に立脚して、本発明の課題は検出対象の映像の内部パターンがごく乏しくてその輪郭のパターンに関する情報しか得られないような不利な条件下においても、イメージセンサにとくに高精度のものを用いることなく対象の距離を正確に検出できる距離検出装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の距離検出装置によれば、イメージセンサの対を備えるイメージセンサ手段によりその視界内の映像のパターンを表す映像データの対を発生させ、視野設定手段により各イメージセンサの視界内に検出対象を捉えるべき視野を複数個並べて設定し、距離計算手段により映像データの対から視野に対応して抽出した窓部分の対から視野内の映像対がもつ視差に相応する見掛けの距離を視野ごとに計算し、かつ距離確定手段により複数の見掛けの距離の頻度分布から複数の検出距離候補を選出してそれらをほぼ包み込む輪郭をもちかつ内部に距離検出候補以外のものも含みうる対象の存在範囲を選定し, 距離確定手段により選出された距離候補に相当する距離位置に対象が存在する場合のその見掛けの大きさを表す枠を設定し、上述のように選定した対象の存在範囲がこの枠にほぼ一致する大きさであることを確かめた上で、この存在範囲に属する距離候補のみから対象の距離を確定して出力することによって前述の課題を解決する。
【００１０】
本発明は検出距離の精度ないし信頼度がかなり低い場合であっても距離がほぼ正確に検出された視野の分布が視界内のある範囲に集まりやすい傾向がある点に着目したものであり、検出距離の頻度分布から見て確からしい距離の候補を距離確定手段にまず複数個選出させ、かつ視界内のそれらに対応する視野が集まっている範囲をほぼ包み込むような輪郭で対象の存在範囲を選定して、この範囲内の距離候補から対象の距離をほぼ正確に確定できるようにしたものである。
【００１１】
なお、上記構成にいうイメージセンサ手段にはイメージセンサおよびその関連回路を組み込んだ集積回路装置を用いて、視界内の映像をイメージセンサの上に結像させる光学手段とともに映像検出モジュールとして纏めるのが便利である。視野設定手段にはイメージセンサの視界内の映像を漏れなく捉え得るよう複数の視野を若干とも互いに重なり合うよう設定させるのが望ましい。また、距離計算手段には複数の距離計算回路を組み込んだ集積回路装置を用いて複数個の視野について距離を同時に並行して計算させるのが、距離の計算速度を極力高める上で有利である。この距離計算手段にはハードウエアの回路が有利であるのに対し、距離確定手段はマイクロコンピュータ等のプロセッサにそのソフトウエアとして望ましくは視野設定手段とともに装荷するのが有利である。また、この距離確定手段には距離計算手段により計算された複数個の検出距離からできるだけ有用な情報を引き出せるようにその頻度分布から距離候補を複数個, 例えば２〜数個の検出距離を含むように選出させるのが有利である。
【００１２】
とくに自動車の衝突防止用の場合には不特定の対象を自動的に見付ける必要があるから対象を捉える視界を広く設定するのが望ましく、このためにはイメージセンサ手段にイメージセンサを複数対組み込み、視野設定手段により各イメージセンサ対ごとに設定する複数の視野と複数のイメージセンサ対とを組み合わせて視野を二次元マトリックス状に並べてなる検出範囲の中で映像を捉え、距離計算手段にこのマトリックスを構成する視野ごとに映像の見掛けの距離を計算させるのが望ましい。さらに、この場合には距離確定手段により選出される距離候補の検出範囲内の分布状態を示す二次元のマップを作り、このマップ内で距離候補が分布するパターンに外接するように方形輪郭をもつ領域を対象の存在範囲として選定するのが合理的である。
【００１３】
しかし、検出範囲内で距離候補が離散して分布する場合もあり、この離散度が大きいと上述のように存在範囲と枠の大きさを合致させるのが困難になるので、各距離候補にその集合状態を加味して重みを付けたマップを作成し、距離候補に相当する距離位置に対象が存在する場合の見掛けの大きさを表す枠を設定して、枠内の距離候補に付した重みの合計が最大になるようにマップに枠を当て嵌めて対象の存在範囲を選定するのが有利である。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の望ましい実施形態を説明する。図１に本発明による距離検出装置の構成例を距離を検出すべき対象とともに示し、図２に本発明装置を構成する距離確定手段の動作例を示し、図３にこの距離確定手段の異なる動作例を示す。なお、以下に説明する実施形態では距離検出装置は自動車の衝突防止用であるものとする。
【００１５】
図１の上部に示す図の例では自動車である検出対象１は明るい夕日等の逆光を受けているためハッチングで示すようにその暗い影になっており、正常な状態で認められるはずのネームプレート，バンパー，テールランプ，窓等のその内部のパターンが不明瞭で、逆光との境目の輪郭だけが際立っている状態にある。その下側に示す光学手段10は１対のレンズ11と12によりかかる対象１の映像を捉えてイメージセンサ手段20に対して互いに異なる光路L1とL2を介して与えるもので、２個のレンズ11と12の光軸間の距離ｂが三角測量の原理により対象１の距離ｄを検出する上でのいわゆる基線長である。
【００１６】
自動車の衝突防止用では不特定な方向にある対象１を広い視界で捉える必要があるのでイメージセンサ手段20にはイメージセンサ21と22の対を複数個, 例えば数〜十数対組み込むのがよい。また、この用途では経験から上述の光学手段10のレンズ11と12およびイメージセンサ21と22を垂直な方向に配列するのがよいが、図示の都合から図１では水平方向の配列で示されている。対象１は光学手段10の正面から角度θの方向にありその映像がレンズ11と12の短い焦点距離ｆの位置にあるイメージセンサ21と22の上に結像される。この映像の中心のイメージセンサ21や22の基準位置からのずれをそれぞれσ1 , σ2 とし, かつσ＝σ1 ＋σ2 とすると、対象１の距離ｄは前述のように角度θと無関係にｄ＝ｂｆ／σの式から計算できるが、σを距離ｄの指標として用いるのが通例である。
【００１７】
イメージセンサ21や22にはＣＣＤを用いるのが便利で、図示の例ではイメージセンサ手段20内にそれらによる検出信号を受ける切換回路23と増幅回路24とＡＤ変換器25が組み込まれており、イメージセンサ21や22が受ける映像のパターンを表す例えば８ビット精度の映像データがＡＤ変換器25から出力される。イメージセンサ手段20はこれらの関連回路を複数対のイメージセンサ21, 22とともに作り込んだ集積回路チップであり、光学手段10とともに小形のパッケージに収納したモジュールの形に纏めて自動車に搭載するのが便利である。
【００１８】
図１の下側に示すプロセッサ70は例えばマイクロコンピュータであり、図示の都合からこれに視野設定手段30と距離計算手段40と距離確定手段50を組み込んだ形で示すが、少なくとも距離計算手段40はプロセッサ70と別体のハードウエアの集積回路装置として構成するのが望ましい。
プロセッサ70の上部に示されたメモリ71はイメージセンサ手段20の前述のＡＤ変換器25から出力を受けて１対の映像データID１とID２として記憶する。各映像データはイメージセンサ21や22のふつう数百個の光センサがそれぞれ受ける光の強度を表すディジタルなセンサデータの集合である。視野設定手段30はこれらの映像データID１とID２から窓部分WD１とWD２を図では細線で示すようにそれぞれ抽出することにより、イメージセンサ21や22がもつ視界内に対象１を捉えるべき視野を複数個, ふつうは数十個並べて設定するもので、これによって設定されるイメージセンサごとの複数の視野と複数対のイメージセンサ21と22により視野が二次元マトリックス状に並んだ検出範囲DAが図１では対象１と重ねて輪郭を示すよう設定される。なお、イメージセンサ対ごとに設定する視野は視界内の映像を漏れなく捉え得るように相互に若干重ね合わせるのがよい。
【００１９】
距離計算手段40は前述のようにハードウエアの集積回路装置とするのがよく、いわゆるゲートアレイがこれに適する。図の例では複数個の単位計算回路41から距離計算手段40が構成されており、各単位計算回路41は図では細線で示すように視野設定手段30から映像データID１とID２の対から抽出した１対の窓部分WD１とWD２を受けて、前述の検出範囲DAのマトリックスを構成する各視野内の映像対がもつ視差に対応する見掛けの距離の指標σを計算する。複数の単位計算回路41にこの計算を並行して行なわせるので短時間に計算を完了できる。この計算結果はプロセッサ70のメモリ72に記憶させておくのがよい。
【００２０】
距離確定手段50は望ましくは前述の視野設定手段30とともにプロセッサ70内にソフトウエアの形で装荷しておくのが有利である。この距離確定手段50は上述の距離計算手段40の計算結果である前述の検出範囲DA内に二次元マトリックス状に並んだ視野ごとの見掛けの距離をメモリ72から読み込み、まず距離の頻度分布を作ってそれから最も確からしい検出距離の候補を複数個選出し、次にこれら距離候補をほぼ包み込む輪郭をもつ対象１の存在範囲を選定した上で、それに属する距離候補から対象１の距離を確定して出力するものである。以下、この距離確定手段50の動作例を図２と図３を参照して説明する。図２(a) は見掛け距離の頻度分布を示す線図、図２(b) と図３(a), (b)は存在範囲の選定要領を示す模式図、図２(c) と図３(c) は距離確定手段の動作例を示す流れ図である。
【００２１】
図２(a) の頻度分布図は横軸が距離計算手段40により計算された見掛け距離の指標σで，縦軸がその発生度数ｎである。分布に若干の凹凸はあるが図の例では中央部に度数ｎが高い範囲Ａがあり、この範囲Ａ内のσを最も確からしい距離の候補として選出する。範囲Ａの広さは距離計算手段40により計算された複数個の距離からできるだけ有用な情報を引き出せるようにその頻度分布から距離候補を複数個, 例えば２〜数個の検出距離を含むよう，あるいはそれに含まれる度数が全体度数の数〜十数％になるように決めるのがよい。
【００２２】
図２(b) はこのようにして選出して距離候補が前述の検出範囲DA内に分布する様子を示すマップであり、簡単化のために距離候補に対応する視野に１を付け, それ以外の視野には０を付けてある。マップ内には対象１の存在範囲EAが細線の枠で示されており、図２の実施態様では検出範囲DEのマップ内の距離候補である図の１の分布パターンに外接する方形の輪郭をもつ領域をこの存在範囲EAとして選定する。しかし、検出距離の正確性を期するためにはこの選定が適正なことを確かめておくのが望ましい。このため、図２の実施態様では距離候補に相当する距離だけ離れた位置にある対象１のサイズを表す枠FMを図示のように設定して、存在範囲EAの幅と高さがそれとほぼ一致することを確かめる。存在範囲EAをこのようにして確定した後は、それに属する距離候補の総平均値を計算して対象１の検出距離として採用するのが合理的である。
【００２３】
図２(c) にソフトウエアである距離確定手段50の以上の動作を流れ図で示す。最初のステップＳ51で図２(a) のように距離の頻度分布を作り、ステップＳ52で範囲Ａ内の距離候補を選出する。ステップＳ53で図２(b) の距離候補のマップに相当する０と１のマトリックスを作成し、ステップＳ54でそれから方形の輪郭をもつ存在範囲EAを選定し、ステップＳ55で距離候補に相応する枠FMを設定する。ステップＳ56は存在範囲EAがこの枠FMにほぼ同じであるか否かを判定し、然りであればこれで存在範囲EAが確定したのでステップＳ57でそれに属する距離候補の総平均値σavを距離指標σとして計算するが、否の場合はステップＳ58で距離の指標σに距離検出に失敗した旨を明確に示す値σf を入れる。ステップＳ59では距離指標σとして平均値σavまたは検出の失敗を示すσf を出力し、これで距離確定手段50としての動作を完了する。
【００２４】
しかし、図２(b) のように距離候補が検出範囲DAの中で纏まって分布するとは必ずしも限らず、かなり離散して分布する場合もあり、分布の離散度が大きいと存在範囲EAを枠FMと合致させて確定するのが困難になる。図３に示す実施態様はこのような場合, さらには図２の態様では距離検出に失敗した場合にも適し得るものである。図３(a) は図２(b) に相当するマップであるが、検出範囲DAのほぼ全域に亘り１で示す距離候補が離散分布した例を示す。この図３の実施態様ではかかる場合でも存在範囲EAとそれ以外では距離候補に対応する視野が繋がり合う様子に差が出てくる点を利用して、各距離候補にその集合状態を加味した重みを付けたマップを作り, かつ距離候補に相当する前述の枠FMを設定して, マップに枠FMをその中の距離候補の重みの合計が最大になるように当て嵌めることにより存在範囲EAを選定する。
【００２５】
図３(b) に各距離候補に重みを付けたマップの図３(a) に対応する例を示す。図の例では各距離候補自体に１の重みをまず与え, その上下左右に隣接する距離候補がある場合はそれぞれについて２の重みを加え、さらに斜め方向の４個所に隣接する距離候補がある場合にもそれぞれについて１の重みを加えてある。このマップにその下側に示す枠FMを上述の要領で当て嵌めた結果を存在範囲EAにより示す。図の例ではこの存在範囲EA内の距離候補の重みの合計は51であり、容易にわかるように検出範囲DAの中でこの存在範囲EAの位置が少しでもずれれば重みの合計が減少するので、重み付けマップに枠FMを当て嵌めるべき位置をほとんどの場合について一義的に決定できる。
【００２６】
図３(c) にこの実施態様における距離確定手段50の動作例を示す。最初の内のステップＳ51とＳ52の動作は図２(c) と同じであるが、次のステップＳ53ａでは図３(a) のマップＡを作り、さらにステップＳ53ｂで重み付けされた図３(b) のマップＢを作る。ステップＳ61で流れ制御用のフラグＦを０にセットした上で、ステップＳ55でマップ内の距離候補に相応するよう図３(b) の枠FMを設定する。つづくステップＳ62ではフラグＦが０か否かを調べるが、最初は然りであるから動作はステップＳ63に入ってフラグＦに１を立てた上で、ステップＳ54で枠FMをマップＢに前述の要領で当て嵌めることにより図３(b) の存在範囲EAを設定し, かつ後の動作の準備のために枠FMの大きさを記憶する。
【００２７】
次のステップＳ57では設定された存在範囲EAに属する距離候補の平均値σavを計算した上で、流れをステップＳ55に戻して枠FMを平均値σavに相応するように設定し直す。続くステップＳ62ではフラグＦが０か否かを判定するが、こんどはこれに１が立っているから判定は必ず否と出て動作はステップＳ64に移る。このステップＳ64ではステップＳ55で設定し直した新しい枠FMが前にステップＳ54で記憶しておいたものと同じか否かを判定する。この判定が否と出た場合は流れをステップＳ54に戻して存在範囲EAを設定し直された枠FMを用いて選出し直すが、ほとんどの場合は判定結果が然りと出るから、ステップＳ58で距離指標σとしてステップＳ57で計算済みの平均値σavを出力し、これで図３の実施態様における距離確定手段50の動作が完了する。
【００２８】
【発明の効果】
以上説明したとおり、本発明では検出対象の映像パターンが細部構造に乏しいために検出距離の信頼度がかなり低い場合でもイメージセンサの視界内の距離がほぼ正確に検出された視野の分布がある範囲に集合しやすい点に着目して、距離確定手段により検出距離の頻度分布から見て最も確からしい距離の候補を複数個選出し、視界内にそれらが集っている範囲をほぼ包み込む輪郭をもつ対象の存在範囲を選定し、対象が距離候補に相当する位置にある場合の見掛けの大きさを表す枠を設定して存在範囲がそれとほぼ一致することを確認した上でこの存在範囲内の距離候補から対象の距離を確定するようにしたので、(a) 自動車等の対象が明るい逆光を受けてその暗い影になっているために影と逆光の境目からしかその映像を捉え得ないような悪条件下でも対象の距離をほぼ確実にかつ正確に検出することができ、(b) 対象の距離の検出と同時にその存在範囲が判明するので対象を捉えるべき視界や視野を存在範囲に適した方向や広さに設定することにより対象の検出に失敗するおそれを減らすとともに距離の検出精度を高めることができる。かかる特長をもつ本発明による距離検出装置はとくに自動車の衝突防止用に適するものである。
【００２９】
距離計算手段に集積回路装置を用いてそれに複数個の単位計算回路を組み込む実施態様は、視界内の複数個の視野について距離計算を同時並行して進めて距離検出時間を短縮できる効果があり、距離確定手段や視野設定手段をプロセッサにソフトウエアの形で装荷する実施態様は、それらの動作細部を装置の使用状況に適合するように簡単にかつ随時変更できる効果がある。
【００３０】
イメージセンサ手段に複数対のイメージセンサを組み込み，これらのイメージセンサ対と視野設定手段によりイメージセンサ対ごとに設定される複数の視野を組み合わせた二次元マトリックス状の検出範囲内の各視野ごとに距離計算手段に距離を計算させる実施態様は、とくに自動車の衝突防止用の場合に広い視界内の映像を捉えることにより不特定な方向に存在する対象をドライバに負担を掛けることなく洩れなく自動的に発見できる効果がある。
【００３１】
さらに、距離確定手段により各距離候補に対しその集合状態を加味して重みを付けたマップを作り，かつ対象が距離候補に相応する位置にある場合の見掛けの大きさを表す枠を設定して，この枠をマップに各距離候補に付けた重みの合計が枠内で最大になるよう当て嵌めて対象の存在範囲を選定する実施態様は、対象の映像パターンの細部が不明瞭なために検出範囲のほぼ全体に亘り距離候補が広く離散して分布するような不利な条件下でも対象の存在範囲を確実にかつ合理的に選定して距離を正確に確定できる効果がある。
【図面の簡単な説明】
【図１】本発明の距離検出装置の構成例と検出対象を示す構成回路図である。
【図２】本発明で用いる距離確定手段の動作例を示し、同図(a) は見掛けの距離の頻度分布を示す線図、同図(b) は存在範囲を設定する要領を示す模式図、同図(c) は距離確定手段の動作例を示す流れ図である。
【図３】本発明で用いる距離確定手段の異なる動作例を示し、同図(a) は検出範囲内の距離候補の分布例を示す模式図、同図(b) は重み付けされた距離候補の分布例と存在範囲を選定する要領を示す模式図、同図(c) は距離確定手段の動作例を示す流れ図である。
【符号の説明】
１        検出対象
10        イメージセンサに映像を結像させる光学手段
11, 12    光学手段の１対のレンズ
20        イメージセンサ手段
21, 22    イメージセンサの対
30        視野設定手段
40        距離計算手段
41        距離計算手段を構成する単位計算回路
50        距離確定手段
70        プロセッサないしはマイクロコンピュータ
Ａ        距離候補の選出範囲
ｂ        距離検出上の基線長
ｄ        検出すべき対象の距離
DA        検出範囲
FM        存在範囲に対応する枠
ｆ        レンズの焦点距離
EA        存在範囲
ID1, ID2  １対の映像データ
ｎ        距離候補の頻度分布中の発生度数
WD1, WD2  映像データ中の窓部分
σ        距離の指標
θ        対象が存在する方向の角度
【図１】
0003632315.tif 000002
【図２】
0003632315.tif 000003
【図３】
0003632315.tif 000004