(57)【特許請求の範囲】
【請求項１】
高さが異なる位置に設けられ同一方向へ指向して物体の画像撮影を各々行う一対のカメラと、両カメラの撮影画像から水平エッジを抽出する水平エッジ抽出手段と、抽出された水平エッジが撮影画像の垂直軸に射影されたヒストグラムを両カメラについて作成するヒストグラム作成手段と、作成された両ヒストグラムから対応したピークを垂直軸の下側より順に探索して対応したピークの垂直軸上における位置の差を両カメラの視差として算出する視差算出手段と、算出された視差から物体までの距離を求める距離算出手段と、を有する、ことを特徴とした距離計測装置。
【請求項２】
水平エッジ抽出手段は、横長の方形とされた画素領域内で水平エッジの強度を検出してヒストグラム作成手段へ引き渡すエッジオペレータと、両カメラの撮影画像において下側から上側へ向かいエッジオペレータの水平走査を繰り返す手段と、を含む、ことを特徴とした請求項１記載の距離計測装置。
【請求項３】
ヒストグラム作成手段は、検出された水平エッジの強度が所定の値を越えた画素の数をカウントする手段と、カウントされた値を撮影画像の垂直軸に射影する手段と、を含む、ことを特徴とした請求項２記載の距離計測装置。
【請求項４】
物体及び両カメラが存在する帯状の平面領域における左右端を表示する２本の線と無限遠点が含まれる水平線との交点を頂点としカメラ撮影領域の下辺を底辺とする三角領域を両カメラの撮影画像から切り出して水平エッジ抽出手段に引き渡す領域切出手段が設けられた、ことを特徴とする請求項１記載の距離計測装置。
【請求項５】
ヒストグラム作成手段は、ピークの高さを三角領域における斜辺間の幅に反比例して調整する手段が設けられた、ことを特徴とする請求項４記載の距離計測装置。
【請求項６】
ヒストグラム作成手段は、ピークの高さを垂直軸上における位置に比例して調整する手段が設けられた、ことを特徴とする請求項４記載の距離計測装置。
【請求項７】
視差算出手段は、両カメラの視野が重ならない画像領域のヒストグラム部分を対応したピークの探索範囲から予め除外する手段を含む、ことを特徴とした請求項１記載の距離計測装置。
【請求項８】
視差算出手段は、垂直軸上の各位置と物体が存在する平面上の各点へ両カメラから至る距離とを対応して記憶する手段と、両ヒストグラムから対応したピークを垂直軸の下側から順に探索する手段と、探索された両ピークの垂直軸上における位置と対応した距離を記憶内容から検索して両距離を比較する手段と、距離不一致の比較結果が得られた両ピークの垂直軸上における位置の差を両カメラの視差として算出する手段と、を含む、ことを特徴とした請求項１記載の距離計測装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、上下２台のカメラで同一の物体を撮影してその物体へ至る距離を計測する装置に関するものである。
【０００２】
工場などでは人員を削減するために無人走行車が導入されるが、構内の歩行者や周囲の備品との衝突を回避することが望まれる。
また高速道路での走行中に車両運転者が疲労した場合には、前方車への追突を未然に防止することも要望される。
そこで、この種の装置を無人走行車や一般車両に搭載して車両の制動機構を自動制御したり車両運転者に対し警報を発する提案が行われている。
【０００３】
【従来の技術】
図２において、車両２００を車両２０２が追走しており、後続車２０２には２台のカメラ２０４，２０６が搭載されている。
【０００４】
それらのカメラ２０４，２０６は車両２０２の前部で高さが異なる位置に取り付けられており、車両前方へ指向している。
【０００５】
図３では”テンプレートによる追跡”の方式が説明されており、両カメラ２０４，２０６により前方の車両２００が撮影され、同車両２００の特徴（例えば明るい部分：図３においてはナンバープレート）が両カメラ２０４，２０６の撮影画像に含まれる。
【０００６】
ここで、上側のカメラ２０４により撮影された画像内の車両特徴を通過する垂直線（エピポーラ線）が下側のカメラ２０６により撮影された画像内の同一の車両特徴を貫くことから、同一の車両特徴が上側と下側の撮影画像内よりエピポーラ線に沿って探索される。
【０００７】
そして、探索された車両特徴の高さ位置が画素単位で両撮影画像につき求められて両位置の差が両カメラ２０４，２０６の視差とされ、両カメラ２０４，２０６より前方の車両２００へ至る距離が三角測量の原理に従ってこの視差から算出される。
【０００８】
エピポーラ線に沿って同一の車両特徴を探索して前方の車両２００へ至る距離を算出する処理は両カメラ２０４，２０６の撮影画像が得られる毎に行われ、前方を走行する車両２００のナンバープレートなどが時系列的に連続して追跡される。
【０００９】
以上の”テンプレートによる追跡”以外では、同一の二次元的な車両特徴を上下の撮影画像が得られる毎にフレーム独立で探索する特徴非追跡の方式が採用され、この方式においては、距離算出用の車両特徴のみが撮影画像中に存在するものから絞り込まれる。
【００１０】
【発明が解決しようとする課題】
車両走行中の振動でカメラの横ブレが生ずると、エピポーラ線上から車両特徴がしばしば外れ、特徴探索，距離算出の処理を行うことが不可能となる。
【００１１】
このことは”テンプレートによる追跡”の方式が適用された場合で、前方の車両２００との間へ図４のように他の車両２０１が割り込んで車両２００の特徴（ナンバープレート）を隠蔽したときも、同様となる。
【００１２】
また特徴非追跡の方式が適用された場合は、図５のように多数の車両特徴が各画像フレーム内に存在するので、距離算出用の車両特徴をフレーム周期毎に絞り込むことが処理速度上で極めて困難となる。
【００１３】
本発明は上記の事情に鑑みてなされたものであり、物体特徴の対応付けをより確実に行え、かつ、計算負荷を大幅に軽減できる距離計測装置の提供を目的としている。
【００１４】
【課題を解決するための手段】
請求項１：
図１において、高さが異なる位置に設けられ同一方向へ指向して物体１０の画像撮影を各々行う一対のカメラ１２，１４と、両カメラ１２，１４の撮影画像から水平エッジを抽出する水平エッジ抽出手段１６と、抽出された水平エッジが撮影画像の垂直軸に射影されたヒストグラムを両カメラ１２，１４について作成するヒストグラム作成手段１８と、作成された両ヒストグラムから対応したピークを垂直軸の下側より順に探索して対応したピークの垂直軸上における位置の差を両カメラ１２，１４の視差として算出する視差算出手段２０と、算出された視差から三角測量の原理で物体１０までの距離を求める距離算出手段２２と、を有している。
【００１５】
請求項２：
請求項１の装置において、水平エッジ抽出手段は、横長の方形とされた画素領域内で水平エッジの強度を検出してヒストグラム作成手段へ引き渡すエッジオペレータと、両カメラの撮影画像において下側から上側へ向かいエッジオペレータの水平走査を繰り返す手段と、を含む。
【００１６】
請求項３：
請求項２の装置において、ヒストグラム作成手段は、検出された水平エッジの強度が所定の値を越えた画素の数をカウントする手段と、カウントされた値を撮影画像の垂直軸に射影する手段と、を含む。
【００１７】
請求項４：
請求項１の装置において、物体及び両カメラが存在する帯状の平面領域における左右端を表示する２本の線と無限遠点が含まれる水平線との交点を頂点としカメラ撮影領域の下辺を底辺とする三角領域を両カメラの撮影画像から切り出して水平エッジ抽出手段に引き渡す領域切出手段が設けられる。
【００１８】
請求項５：
請求項４の装置において、ヒストグラム作成手段は、ピークの高さを三角領域における斜辺間の幅に反比例して調整する手段が設けられる。
【００１９】
請求項６：
請求項４の装置において、ヒストグラム作成手段は、ピークの高さを垂直軸上における位置に比例して調整する手段が設けられる。
【００２０】
請求項７：
請求項１の装置において、視差算出手段は、両カメラの視野が重ならない画像領域のヒストグラム部分を対応したピークの探索範囲から予め除外する手段を含む。
【００２１】
請求項８：
請求項１の装置において、視差算出手段は、垂直軸上の各位置と物体が存在する平面上の各点へ両カメラから至る距離とを対応して記憶する手段と、両ヒストグラムから対応したピークを垂直軸の下側から順に探索する手段と、探索された両ピークの垂直軸上における位置と対応した距離を記憶内容から検索して両距離を比較する手段と、距離不一致の比較結果が得られた両ピークの垂直軸上における位置の差を両カメラの視差として算出する手段と、を含む。
【００２２】
【作用】
請求項１：
カメラ１２，１４を高さが異なる位置に設けて同一方向へ指向させ、物体１０の画像撮影を各々行わせる。
【００２３】
そして、両カメラ１２，１４の撮影画像から水平エッジを抽出し、抽出された水平エッジが撮影画像の垂直軸に射影されたヒストグラムを両カメラ１２，１４について作成する。
【００２４】
さらに、両ヒストグラムから対応したピークを垂直軸の下側より順に探索し（衝突などを回避するためには最も近い位置の物体をより高度に検出することが要求されることから、ピークの探索は垂直軸の下側より順に行う）、対応したピークの垂直軸上における位置の差を両カメラ１２，１４の視差として算出し、この視差から三角測量の原理で物体１０までの距離を求める。
【００２５】
以上のように本発明では、物体１０の水平エッジを垂直線上に投影したヒストグラムが作成されてその物体１０へ至る距離がヒストグラムの下側より一次元的に算出される。
【００２６】
請求項２：
請求項１の装置において、横長の方形とされた画素領域内で水平エッジの強度を検出し、両カメラの撮影画像において下側から上側へ向かい画素領域の水平走査を繰り返し、水平エッジの強度を撮影画像の垂直軸に射影してヒストグラムを両カメラについて作成する。
【００２７】
請求項３：
請求項２の装置において、水平エッジの強度が所定の値を越えた画素の数を撮影画像の垂直軸に射影してヒストグラムを作成する。
【００２８】
請求項４：
請求項１の装置において、物体及び両カメラが存在する帯状の平面領域（具体的には、本装置搭載の車両が走行している車線）における左右端を表示する２本の線（具体的には、走行車線の両側に引かれた直線状または破線状の白線または黄線）と無限遠点が含まれる水平線（地平線）との交点を頂点としカメラ撮影領域の下辺を底辺とする三角領域を両カメラの撮影画像から切り出し、その三角領域に水平エッジの抽出範囲を限定する。
【００２９】
先行車へ至る距離を計測するためにはその先行車の水平エッジのみによるヒストグラムで十分であることから、先行車が含まれる走行車線部分だけを取り出し、周囲の景色部分を除外する。
【００３０】
請求項５：
カメラから離れた位置ではヒストグラムの起伏が小さくなる（三角領域の頂点側）。
そこで、請求項４の装置において、ピークの高さを三角領域における斜辺間の幅に反比例して調整する。
【００３１】
請求項６：
カメラから離れた位置ではヒストグラムの起伏が小さくなることを考慮し、請求項４の装置において、ピークの高さを垂直軸上における位置に比例して調整する。
【００３２】
請求項７：
請求項１の装置において、両カメラの視野が重ならない画像領域のヒストグラム部分をピークの探索範囲から予め除外し、両カメラの視野が重なる画像領域のみを注目する。
【００３３】
請求項８：
請求項１の装置において、垂直軸上の各位置と物体が存在する平面上の各点へ両カメラから至る距離とを対応して予め記憶し、両ヒストグラムから対応したピークを垂直軸の下側から順に探索し、探索された両ピークの垂直軸上における位置と対応した距離を記憶内容から検索し、両距離を比較し、距離不一致の比較結果が得られた両ピークの垂直軸上における位置の差を両カメラの視差として算出する。
【００３４】
走行路上のマーク，影，雨天時の写り込みなどは路面上の平面的な物体として認識され、このため、路面からある程度の高さがある物体のみを距離計測の対象とする。
【００３５】
【実施例】
第１実施例：
図６において、カメラ２０４，２０４の撮影画像は画像入力部６００，６０２へ各々与えられ（本実施例においてもカメラ２０４，２０４は図７のように車両２０２の前部で高さが異なる位置に取り付けられており、車両前方へ指向している）、画像入力部６００，６０２はカメラ２０４，２０４の撮影画像をＡ／Ｄ変換してデジタル画像とする（図８＿ステップ８０２，８０４）。
【００３６】
これらのデジタル画像は自車レーン抽出部６０４，６０６に転送され、自車レーン抽出部６０４，６０６は転送された撮影画像から車両２０２が走行しているレーンの白線を検出し（図８＿ステップ８０６，８０８）、予め用意した無限遠線（地平線）と白線とが交わる三角領域の走行レーンを図９のように切り出し（図８＿ステップ８１０，８１２）、エッジヒストグラム作成部６０８，６１０へ各々転送する。
【００３７】
その際には図１０のエッジオペレータ（縦１画素／横３画素）を２つ使用して図１１の処理が行われ（エッジオペレータに関しては、「画像解析ハンドブック」高木幹雄，下田陽久監修」東京大学出版界ｐｐ．５５０〜５７５参照）、最初に高さ位置Ｙ１，Ｙ２が設定される（ステップ１１００）。
【００３８】
そして、両エッジオペレータを高さ位置Ｙ１，Ｙ２における画像の横方向中心から左側の端へ向かって走査し、画素の最大値とその横方向位置Ｘを記録する（図８＿ステップ１１０２，１１０４，１１０６，１１０８，１１１０，１１１２，１１１４，１１１６，１１１７，１１１８）。
【００３９】
次に、両最大値がしきい値内であることを確認すると（ステップ１１２０，１１２２）、高さ位置Ｙ１，Ｙ２について記録された横方向位置Ｘを結ぶ直線を計算する（ステップ１１２４）
【００４０】
さらに、その直線と無限遠線との交点を算出し（ステップ１１２６）、道幅から走行路の両側に引かれた白線（黄線）を推測し（ステップ１１２８）、推測した白線（黄線）を斜辺とし画像下枠を底辺とする三角領域の走行レーン部分を切り出す（ステップ１１３０）。
【００４１】
図６のエッジヒストグラム作成部６０８，６１０は転送された走行レーン部分（車線領域）から水平エッジを検出し（図８＿ステップ８１４，８１６）、図１２のように垂直軸へ投影してヒストグラムを作成する（図８＿ステップ８１８，８２０）。
【００４２】
水平エッジの検出時には図１３のエッジオペレータ（縦３画素／横９画素）が走査され、実際の装置においてはエッジの強度（エッジオペレータの値）が抽出される。
【００４３】
そして、図６の対応部６１２は両ヒストグラム上で対応したピークを下から順に検索し（図８＿ステップ８２２，８２４，８２６，８２８）、検索毎にそのピーク対を距離算出部６１４へ送出する。
【００４４】
距離計算部６１４は物体特徴へ至る距離を図１４の距離テーブルから両ヒストグラム上のＹ座標で求め、それら距離の差がしきい値内の場合で物体特徴が路面上のマークなどのときには、次のピーク対の送出を要求する（図８＿ステップ８３０）。
【００４５】
図１４において、距離テーブルは両カメラ２０４，２０６について予め用意され（図８＿ステップ８００）、垂直方向における撮影画面内の位置範囲とカメラ２０４，２０６からの距離範囲とが対応した内容とされている。
【００４６】
また、両距離の差がしきい値内の場合で物体特徴が路面上の平面的なマーク，影，雨天時の写り込みなので、距離算出をしない。
しきい値以上の場合は車，建造物なので、両ヒストグラム上のＹ座標から特徴三角測量の原理に従い前方車の特徴（ナンバープレートなど）までの距離と同特徴の高さを算出し（図７参照）、これを外部へ出力してから対応部６１２の動作を終了させる（図８＿ステップ８３２）。
【００４７】
したがって、車両前方に存在する物体のうち最も近いものが認識されたときに装置出力が得られ、このため、前方車との間に他の車両が割り込んだ場合（図４参照）で、その割り込み車両との距離が許容できないときに、割り込み車両との追突を運転者に対して直ちに警報できる。
【００４８】
本実施例では前方車両の特徴が二次元的に認識されずその特徴までの距離が一次元的な処理で計算され、計算処理の対象となる範囲が走行路部分の抽出や距離テーブルの利用で限定されることから、追突の警報をほぼ瞬時的に行える。
【００４９】
また、先行車へ至る距離を計測するためにはその先行車の水平エッジのみによるヒストグラムで十分であることから、先行車が含まれる走行車線部分だけを取り出して周囲の景色部分を除外しているので、その景色部分による外乱を回避して装置の誤動作をより確実に防止できる。
【００５０】
なお、水平エッジの強度が所定の値を越えた画素の数を撮影画像の垂直軸に射影してヒストグラムを作成しても良い。
また、カメラ２０４，２０６から離れた位置ではヒストグラムの起伏が小さくなることを考慮し、図１５のように、ピークの高さを三角領域における斜辺間の幅に反比例して調整し、あるいは、垂直軸上における位置に比例して調整することも好ましい。
【００５１】
さらに、変動量が設定の値を越えたピークを両ヒストグラムより選択し、対応したピークを垂直軸の下側から順に選択されたピークより探索することで、シャープな水平エッジのみを物体の特徴が示される適切なものとして注目することが好適である。
【００５２】
そして、両カメラの視野が重ならない画像領域のヒストグラム部分をピークの探索範囲から予め除外し、両カメラの視野が重なる画像領域のみを注目して処理負荷を軽減することが好ましい。
【００５３】
第２実施例：
図１６には第２実施例の構成が示されており、画像入力部６０３，自車レーン抽出部６０７，エッジヒストグラム作成部６１１が図６の第１実施例と異なり、単一化されている。
【００５４】
本実施例によれば、第１実施例に比して装置の規模（ソフトウェアを含む）を大幅に削減して装置の製造コストを著しく引き下げることが可能となる。
なお、画像入力，自車レーン抽出，エッジヒストグラム作成の処理が並列に行われず、直列に行われるので、それらの処理に時間を要すが、処理の一次元化，撮影画像の下側からのエッジオペレータ走査，処理の対象となる領域を自車の走行レーンに限定するなどして負荷を軽減することで、実用上において十分な処理速度を確保することが可能となる。
【００５５】
【発明の効果】
以上説明したように本発明によれば、カメラ前方に存在する物体の水平エッジを垂直線上に投影したヒストグラムが作成されてその物体へ至る距離がヒストグラムの下側より一次元的に算出されるので、エピポーラ線を利用することなく、処理負荷を大幅に軽減できる。
【００５６】
このため、人や車両がカメラの前へ割り込んでもその前方物体へ至る距離を誤りなく計測することが可能となり、この距離計測を画像フレームの周期内で十分な余裕を持って完了することも可能となる。
【００５７】
その上、水平エッジヒストグラムの一次元的な処理で前方物体へ至る距離が算出されることから、走行中における車両の振動でカメラが横ブレしても、安定した距離計算結果が常に得られる。
【図面の簡単な説明】
【図１】第１発明の原理説明図である。
【図２】カメラ対の取付位置説明図である。
【図３】テンプレートによる追跡の説明図である。
【図４】車両割込時の特徴隠蔽作用説明図である。
【図５】フレーム内探索候補の説明図である。
【図６】第１実施例の構成説明図である。
【図７】距離算出式の説明図である。
【図８】第１実施例の処理概要を説明するフローチャートである。
【図９】自車レーン切り出しの作用説明図である。
【図１０】自レーン切出用エッジオペレータの説明図である。
【図１１】走行レーン切出処理を説明するフローチャートである。
【図１２】第１実施例の作用説明図である。
【図１３】ヒストグラム用エッジオペレータの説明図である。
【図１４】距離テーブルの内容説明図である。
【図１５】ヒストグラムの重み付け作用説明図である。
【図１６】第２実施例の構成説明図である。
【符号の説明】
２００，２０１，２０２  車両
２０４，２０６  カメラ
６００，６０２，６０３  画像入力部
６０４，６０６，６０７  自車レーン抽出部
６０８，６１０，６１１  エッジヒストグラム作成部
６１２  対応部
６１４  距離算出部
【図１】
0003556319.tif 000002
【図２】
0003556319.tif 000003
【図３】
0003556319.tif 000004
【図４】
0003556319.tif 000005
【図５】
0003556319.tif 000006
【図６】
0003556319.tif 000007
【図７】
0003556319.tif 000008
【図８】
0003556319.tif 000009
【図９】
0003556319.tif 000010
【図１０】
0003556319.tif 000011
【図１１】
0003556319.tif 000012
【図１２】
0003556319.tif 000013
【図１３】
0003556319.tif 000014
【図１４】
0003556319.tif 000015
【図１５】
0003556319.tif 000016
【図１６】
0003556319.tif 000017