(57)【要約】【課題】  単一の撮像手段および簡単な演算処理で、濡れた路面の反射の影響を除去して障害物を精度良く認識する。【解決手段】  カメラで撮像した自車周辺の画像中の歩行者等の物体像Ｑ０を上側の物体像Ｑ１および下側の物体像Ｑ２に上下二分割するとともに、下側の物体像Ｑ２を反転した反転像Ｑ２′を作成し、上側の物体像Ｑ１および反転像Ｑ２′の相関値Ａが閾値ｔｈ１以上の場合に、物体が濡れた路面に反射して下側の物体像Ｑ２が撮像されたと判定し、前記上側の物体像Ｑ１だけを障害物と認識する。これにより、２台のステレオカメラを必要とせずに１台のカメラを設けるだけで、また１台のカメラで撮像した画像に簡単な演算処理を施すだけで、濡れた路面の反射の影響を除去して障害物を精度良く認識することができる。また、上側の物体像Ｑ１および反転像Ｑ２′の相関値Ａに基づいて路面が濡れているか否かを精度良く判定することができる。【選択図】        図４
2008287692.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段（Ｃ）で撮像した自車周辺の画像中の物体像を障害物として認識する障害物認識装置において、
前記物体像のうちから障害物候補の物体像（Ｐ０，Ｑ０，Ｒ０）を抽出する障害物候補抽出手段（Ｍ１）と、
前記障害物候補抽出手段（Ｍ１）で抽出した物体像（Ｐ０，Ｑ０，Ｒ０）を上側の物体像（Ｐ１，Ｑ１，Ｒ１）および下側の物体像（Ｐ２，Ｑ２，Ｒ２）に上下二分割するとともに、下側の物体像（Ｐ２，Ｑ２，Ｒ２）を上下反転した反転像（Ｐ２′，Ｑ２′，Ｒ２′）を作成する反転像作成手段（Ｍ２）と、
前記上側の物体像（Ｐ１，Ｑ１，Ｒ１）および前記反転像（Ｐ２′，Ｑ２′，Ｒ２′）の類似度を判定する類似度判定手段（Ｍ３）と、
前記類似度が第１閾値（ｔｈ１）以上の場合に前記上側の物体像（Ｑ１）を障害物と認識するとともに、前記類似度が第２閾値（ｔｈ２）未満の場合に前記二分割前の物体像（Ｐ０）を障害物と認識する障害物認識手段（Ｍ５）と、
を備えることを特徴とする障害物認識装置。
【請求項２】
前記類似度が前記第２閾値（ｔｈ２）以上で前記第１閾値（ｔｈ１）未満の場合において、前記類似度が最も高くなる位置を路面位置として推定する路面位置推定手段（Ｍ４）を備え、前記障害物認識手段（Ｍ５）は前記路面位置よりも上側の物体像（Ｒ１′）を障害物と認識することを特徴とする、請求項１に記載の障害物認識装置。
【請求項３】
前記路面位置推定手段（Ｍ４）は、分割前の物体像（Ｒ０）の上下方向中心から所定範囲内で路面位置を推定することを特徴とする、請求項２に記載の障害物認識装置。
【請求項４】
前記路面位置推定手段（Ｍ４）は、分割前の物体像（Ｒ０）の上下方向中心から下側で路面位置を推定することを特徴とする、請求項２または請求項３に記載の障害物認識装置。
【請求項５】
前記類似度に基づいて路面の状態を判定する路面状態判定手段（Ｍ６）を備えることを特徴とする、請求項１〜請求項４の何れか１項に記載の障害物認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段で撮像した自車周辺の画像中の物体像を障害物として認識する障害物認識装置に関する。
【背景技術】
【０００２】
カメラで撮像した自車周辺の画像から障害物を識別する際に、路面が濡れて水が溜まった状態にあると、障害物が濡れた路面に反射して写り込むために、障害物の物体像とそれを上下反転した反射像とが一体になって撮像されてしまい、実際の障害物とは形状および位置が異なる障害物が誤認識されてしまう問題がある。
【０００３】
そこで、車両の左右方向に離間した位置に設けた２台のステレオカメラで視点の異なる二つの画像を撮像し、それらの二つの画像の物体像の相関値を比較して前記物体像が路面の反射による反射像を含むものか否かを判定することで、濡れた路面の反射の影響を除去して真の障害物だけを認識するものが、下記特許文献１により公知である。
【特許文献１】特開２００２−３５２２２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら上記従来のものは、２台のステレオカメラを必要とするためにコストが増加するだけでなく、２台のステレオカメラで撮像した二つの画像を処理する演算が複雑であるためにコンピュータの演算負荷が増大する問題があった。
【０００５】
本発明は前述の事情に鑑みてなされたもので、単一の撮像手段および簡単な演算処理で、濡れた路面の反射の影響を除去して障害物を精度良く認識することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載された発明によれば、撮像手段で撮像した自車周辺の画像中の物体像を障害物として認識する障害物認識装置において、前記物体像のうちから障害物候補の物体像を抽出する障害物候補抽出手段と、前記障害物候補抽出手段で抽出した物体像を上側の物体像および下側の物体像に上下二分割するとともに、下側の物体像を上下反転した反転像を作成する反転像作成手段と、前記上側の物体像および前記反転像の類似度を判定する類似度判定手段と、前記類似度が第１閾値以上の場合に前記上側の物体像を障害物と認識するとともに、前記類似度が第２閾値未満の場合に前記二分割前の物体像を障害物と認識する障害物認識手段とを備えることを特徴とする障害物認識装置が提案される。
【０００７】
また請求項２に記載された発明によれば、請求項１の構成に加えて、前記類似度が前記第２閾値以上で前記第１閾値未満の場合において、前記類似度が最も高くなる位置を路面位置として推定する路面位置推定手段を備え、前記障害物認識手段は前記路面位置よりも上側の物体像を障害物と認識することを特徴とする障害物認識装置が提案される。
【０００８】
また請求項３に記載された発明によれば、請求項２の構成に加えて、前記路面位置推定手段は、分割前の物体像の上下方向中心から所定範囲内で路面位置を推定することを特徴とする障害物認識装置が提案される。
【０００９】
また請求項４に記載された発明によれば、請求項２または請求項３の構成に加えて、前記路面位置推定手段は、分割前の物体像の上下方向中心から下側で路面位置を推定することを特徴とする障害物認識装置が提案される。
【００１０】
また請求項５に記載された発明によれば、請求項１〜請求項４の何れか１項の構成に加えて、前記類似度に基づいて路面の状態を判定する路面状態判定手段を備えることを特徴とする障害物認識装置が提案される。
【００１１】
尚、実施の形態のカメラＣは本発明の撮像手段に対応する。
【発明の効果】
【００１２】
請求項１の構成によれば、撮像手段で撮像した自車周辺の画像中の物体像を上側の物体像および下側の物体像に上下二分割するとともに、下側の物体像を上下反転した反転像を作成し、上側の物体像および反転像の類似度が第１閾値以上の場合に前記上側の物体像を障害物と認識し、また前記類似度が第２閾値未満の場合に前記二分割前の物体像を障害物と認識するので、２台の撮像手段を必要とせずに１台の撮像手段を設けるだけで、また１台の撮像手段で撮像した画像に簡単な演算処理を施すだけで、濡れた路面の反射の影響を除去して障害物を精度良く認識することができる。
【００１３】
また請求項２の構成によれば、上側の物体像および反転像の類似度が第２閾値以上で第１閾値未満の場合に、類似度が最も高くなる位置を路面位置として推定し、路面位置よりも上側の物体像を障害物と認識するので、濡れた路面の状況により下側の物体像の一部が欠けている場合であっても、障害物を支障無く認識することができる。
【００１４】
また請求項３の構成によれば、分割前の物体像の上下方向中心から所定範囲内で路面位置を推定するので、路面位置を探す演算負荷を最小限に抑えることができる。
【００１５】
また請求項４の構成によれば、分割前の物体像の上下方向中心から下側で路面位置を推定するので、路面位置が存在し得ない画像の上下方向中心から上側で路面位置を探す無駄を回避することができる。
【００１６】
また請求項５の構成によれば、上側の物体像および反転像の類似度に基づいて路面が濡れているか否かの路面状態を精度良く判定することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を添付の図面に基づいて説明する。
【００１８】
図１〜図６は本発明の実施の形態を示すもので、図１はカメラを装備した自動車の側面図、図２は障害物認識装置のブロック図、図３は路面が濡れていないときの障害物認識過程の説明図、図４は路面が広範囲に濡れているときの障害物認識過程の説明図、図５は路面が部分的に濡れているときの障害物認識過程の説明図、図６は障害物認識のフローチャートである。
【００１９】
図１に示すように、自動車のルーフの前端に単一のカメラＣが設けられており、そのカメラＣは自車の障害物となり得る物体を識別すべく、自車前方の道路を含む所定の領域を撮像する。
【００２０】
図２に示すように、電子制御ユニットＵは、障害物候補抽出手段Ｍ１と、反転像作成手段Ｍ２と、類似度判定手段Ｍ３と、路面位置推定手段Ｍ４と、障害物認識手段Ｍ５と、路面状態判定手段Ｍ６と、車両制御手段Ｍ７とを備えており、障害物候補抽出手段Ｍ１にはカメラＣが接続され、車両制御手段Ｍ７にはブザー、チャイム、音声等で運転者に警報を発する警報装置Ｗと、車輪ブレーキを自動的に作動させる制動装置Ｂとが接続される。
【００２１】
障害物候補抽出手段Ｍ１は、カメラＣで撮像した自車前方の画像から、エッジ検出処理等により物体像を抽出し、抽出した物体像にパターンマッチング等の手法を適用することにより、自車の障害物となり得る物体の物体像を抽出する。この物体像からは、路面に描かれた文字や図形は除かれる。その理由は、路面に描かれた文字や図形は自車の障害物となり得ないからである。また前記物体像からは、上下対称な形状のものは除かれる。その理由は、本実施の形態の手法では、上下対称な形状の物体像は路面の反射像を含むものであるか否かを識別できないからである。
【００２２】
障害物候補抽出手段Ｍ１により実際に抽出される自車の障害物となり得る物体は、例えば歩行者や車両である。以下、その一例として障害物として歩行者を認識する場合について説明する。
【００２３】
図３における符号Ｐ０は、路面が乾いている場合に障害物候補抽出手段Ｍ１が抽出した歩行者の物体像であり、図４における符号Ｑ０は、路面の広い範囲に水溜まりができている場合に障害物候補抽出手段Ｍ１が抽出した歩行者の物体像であり、図５における符号Ｒ０は、路面の一部に水溜まりができている場合に障害物候補抽出手段Ｍ１が抽出した歩行者の物体像である。路面が濡れて大きな水溜まりができていると歩行者の姿が路面に反射されるため、路面を境にして歩行者の真の物体像と、それに対して上下対称な歩行者の反射像とが一体になったものが、障害物候補抽出手段Ｍ１により物体像として抽出されてしまう（図４のＱ０参照）。このような場合に、歩行者の真の物体像と、それに対して上下対称な歩行者の反射像とが一体になったものを一人の歩行者の物体像であると誤認すると、反射像の下端（頭部に対応する位置）を基準として歩行者の位置を認識するため、自車から歩行者までの距離が実際の距離よりも近いように誤認されて無駄な警報や自動制動が行われる可能性がある。
【００２４】
このような不都合を回避するために、本実施の形態によれば、図３〜図５に示すように、反転像作成手段Ｍ２が物体像Ｐ０，Ｑ０，Ｒ０を上側の物体像Ｐ１，Ｑ１，Ｒ１と下側の物体像Ｐ２，Ｑ２，Ｒ２とに上下二分割するとともに、下側の物体像Ｐ２，Ｑ２，Ｒ２を上下反転して反転像Ｐ２′，Ｑ２′，Ｒ２′を作成する。その結果、反射像を含まない図３の物体像Ｐ０は歩行者の上半身に対応する上側の物体像Ｐ１と、歩行者の上下反転した下半身に対応する反転像Ｐ２′とに分割される。一方、反射像を含む図４の物体像Ｑ０は歩行者の全身に対応する上側の物体像Ｑ１と、同じく歩行者の全身に対応する反転像Ｑ２′とに分割される。更に、路面の一部に水溜まりがあるために下側の物体像Ｒ２の頭部が欠けている図５の物体像Ｒ０は、上下二分割することで上側の物体像Ｒ１の足部分が欠けてしまい、その足部分が頭部が欠けた反転像Ｒ２′側に付加されてしまう。
【００２５】
類似度判定手段Ｍ３は、図３の上側の物体像Ｐ１および反転像Ｐ２′間の相関値と、図４の上側の物体像Ｑ１および反転像Ｑ２′間の相関値と、図５の上側の物体像Ｒ１および反転像Ｒ２′間の相関値とを算出する。
【００２６】
図３の場合には、上側の物体像Ｐ１は歩行者の上半身に対応し、反転像Ｐ２′は歩行者の上下反転した下半身に対応するため、上側の物体像Ｐ１と反転像Ｐ２′との相関値Ａは第２閾値ｔｈ２未満になる。このように、
Ａ＜ｔｈ２
が成立するとき、類似度判定手段Ｍ３は上側の物体像Ｐ１および反転像Ｐ２′間の相関値Ａが低いと判定し、障害物認識手段Ｍ５は、上下二分割する前の物体像（図３のＰ０）を障害物の物体像であると認識する。
【００２７】
一方、図４の場合には、上側の物体像Ｑ１は歩行者の全身に対応し、反転像Ｑ２′も歩行者の全身に対応するため、上側の物体像Ｑ１と反転像Ｑ２′との相関値Ａは前記第２閾値ｔｈ２よりも大きい第１閾値ｔｈ１以上となる。このように、
Ａ≧ｔｈ１
が成立するとき、類似度判定手段Ｍ３は上側の物体像Ｑ１および反転像Ｑ２′間の相関値Ａが高いと判定し、障害物認識手段Ｍ５は、上下二分割した後の上側の物体像（図４のＱ１）を障害物の物体像であると認識する。
【００２８】
更に、図５の場合には、上側の物体像Ｒ１は歩行者の足部分が欠け、反転像Ｒ２′は頭部が欠けて足部分が付加されるため、上側の物体像Ｒ１と反転像Ｒ２′との相関値Ａは中程度となり、前記第２閾値ｔｈ２以上で前記第１閾値ｔｈ１未満となる。このように、
ｔｈ２≦Ａ＜ｔｈ１
が成立するとき、類似度判定手段Ｍ３は上側の物体像Ｒ１および下側の反転像Ｒ２′間の相関値Ａが中程度であると判定し、路面位置推定手段Ｍ４が物体像Ｒ０における路面位置（図５参照）を推定する。
【００２９】
具体的は、図５において物体像Ｒ０の上下方向中心位置を基準として上下分割線を上下方向に移動させ、その移動させた上下分割線を挟む物体像Ｒ１と反転像Ｒ２′との相関値Ａを算出し、算出された相関値Ａが最大になる位置に最終的な上下分割線を設定する。相関値Ａが最大になるとき、上下分割線の位置は物体像Ｒ１の足と反転像Ｒ２′の足との境目、つまり路面位置となる。何故ならば、路面位置で物体像Ｒ１と反転像Ｒ２′とを分割したとき、その相関値Ａが最大になるからである。そして障害物認識手段Ｍ５は路面位置の上側の物体像（図５のＲ１′）を障害物の物体像であると認識する。
【００３０】
路面位置（図５参照）を推定するとき、上下分割線を上下方向中心位置の近傍であって、かつ上下方向中心位置の下側で移動させることで、路面位置を推定するための演算負荷を最小限に抑えることができる。その理由は、下側の反転像Ｒ２は一部が欠けているため、路面位置は物体像Ｒ０の上下方向中心位置よりも僅かに下方にずれている筈だからである。
【００３１】
路面状態判定手段Ｍ６は、上下二分割する前の物体像（図３のＰ０参照）が障害物の物体像であると認識された場合、つまり路面における反射が発生していない場合には、路面が乾燥してると判定する。一方、路面状態判定手段Ｍ６は、上下二分割した後の上側の物体像（図４のＱ１参照）が障害物の物体像であると認識された場合、つまり路面における反射が発生している場合には、路面が広範囲に濡れていると判定する。更に、路面状態判定手段Ｍ６は、上下二分割した後の下側の反転像（図５のＲ２′参照）の一部が欠けていると認識された場合、つまり路面における反射が部分的に発生している場合には、路面が部分的に濡れていると判定する。
【００３２】
しかして、車両制御手段Ｍ７は、障害物認識手段Ｍ５で認識した障害物の距離および位置と、そのときの自車の運転状態（車速や操舵角）とを比較し、自車が障害物に接触する可能性があると判断したときには警報装置Ｗを作動させて運転者に制動を促したり、制動装置Ｂを自動的に作動させたりして障害物との接触を回避する。このとき、路面状態判定手段Ｍ６により路面状態が濡れていると判定されている場合には、その濡れ具合に応じて警報装置Ｗを作動させるタイミングや制動装置Ｂを作動させるタイミングを早めたりすることで、障害物との接触を一層確実に回避することができる。
【００３３】
上記作用を、図６のフローチャートに基づいて再度説明する。
【００３４】
先ずステップＳ１でカメラＣにより自車前方の画像を撮像し、ステップＳ２で前記画像中に歩行者や車両のような障害物候補となる物体の画像が抽出されれば、ステップＳ３で障害物候補の画像を上側の物体像と、下側の物体像を上下反転した反転像とに二分割する。ステップＳ４で上側の物体像および反転像の相互間の相関値Ａを算出し、ステップＳ５で相関値Ａが第２閾値ｔｈ２未満であれば、ステップＳ６で二分割前の物体像をそのまま障害物の画像として認識し、ステップＳ７で路面が濡れていないと判定する。一方、前記ステップＳ５で相関値Ａが第２閾値ｔｈ２未満でなく、かつステップＳ８で相関値Ａが第１閾値ｔｈ１以上であれば、ステップＳ９で反転像を切り捨てて上側の物体像だけを障害物の画像として認識し、ステップＳ１０で路面が広範囲に濡れていると判定する。
【００３５】
またステップＳ５，Ｓ８で相関値Ａが第２閾値ｔｈ２以上、第１位置ｔｈ１未満であれば、ステップＳ１１で物体像における路面位置を推定し、ステップＳ１２で前記路面位置よりも上側の物体像を障害物の画像として認識し、ステップＳ１３で路面が部分的に濡れていると判定する。
【００３６】
そしてステップＳ１４で路面の状況に応じた車両制御を実行する。
【００３７】
以上のように、本実施の形態によれば、２台のステレオカメラを必要とせずに、単一のカメラＣを用いるだけで、濡れた路面の反射の影響を排除して歩行者や車両のような障害物の形状や位置を精度良く識別することができる。しかも、２台のステレオカメラで撮像した２枚の画像を処理する必要がなく、１枚の画像を処理するだけで済むため、電子制御ユニットＵの演算負荷を軽減して素早い処理を可能にすることができる。
【００３８】
以上、本発明の実施の形態を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。
【００３９】
例えば、カメラＣで撮像した画像から物体像を抽出する処理には、公知の任意の手法を用いることができる。
【００４０】
また上側の物体像Ｐ１，Ｑ１，Ｒ１と反転像Ｐ２′，Ｑ２′，Ｒ２′との相関値Ａを算出する処理には、公知の任意の手法を用いることができる。
【図面の簡単な説明】
【００４１】
【図１】カメラを装備した自動車の側面図
【図２】障害物認識装置のブロック図
【図３】路面が濡れていないときの障害物認識過程の説明図
【図４】路面が広範囲に濡れているときの障害物認識過程の説明図
【図５】路面が部分的に濡れているときの障害物認識過程の説明図
【図６】障害物認識のフローチャート
【符号の説明】
【００４２】
Ｃ          カメラ（撮像手段）
Ｐ０，Ｑ０，Ｒ０      物体像
Ｐ１，Ｑ１，Ｒ１，Ｒ１′      上側の物体像
Ｐ２，Ｑ２，Ｒ２      下側の物体像
Ｐ２′，Ｑ２′，Ｒ２′      反転像
Ｍ１        障害物候補抽出手段
Ｍ２        反転像作成手段
Ｍ３        類似度判定手段
Ｍ４        路面位置推定手段
Ｍ５        障害物認識手段
Ｍ６        路面状態判定手段
【図１】
2008287692.tif 000003
【図２】
2008287692.tif 000004
【図３】
2008287692.tif 000005
【図４】
2008287692.tif 000006
【図５】
2008287692.tif 000007
【図６】
2008287692.tif 000008