(57)【要約】【課題】撮像画像中の立体物を特定して、特定した立体物に対して標識の内容を認識するための処理を行う。【解決手段】レーダ３からレーザ光を送出し、立体物に反射して戻ってきた反射光に基づいて、立体物の位置を検出し、検出した立体物の位置に基づいて、カメラ２により撮像された画像上における立体物の位置を特定する。特定した画像中における立体物の位置の部分に対して、標識の内容を認識するためのパターンマッチング処理を行う。これにより、路面上のペイント表示部分に対してパターンマッチング処理を行うことが無くなるので、演算負荷を軽減することができる。【選択図】図１
2005025497.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて、車両周囲を撮像する撮像手段と、
信号を送出し、物体に反射して戻ってきた反射信号に基づいて、立体物の位置を検出する位置検出手段と、
前記位置検出手段により検出した立体物の位置に基づいて、前記撮像手段により撮像された画像上における前記検出された立体物の位置を特定する位置特定手段と、
画像上において前記位置特定手段により特定された立体物の位置に対応する部分に対して、標識の内容を認識するための処理を行う認識処理手段とを備えることを特徴とする標識認識装置。
【請求項２】
請求項１に記載の標識認識装置において、
前記撮像手段により撮像された画像に基づいて、道路形状を推定する道路形状推定手段と、
前記位置検出手段から送出された信号が物体に反射して戻ってきた反射信号に基づいて、立体物の反射面の角度を算出する反射面角度算出手段と、
前記道路形状推定手段により推定された道路形状と、前記反射面角度算出手段により算出された反射面の角度とに基づいて、前記位置検出手段により検出された立体物が自車両の走行車線向けの標識であると判定する自車線標識判定手段とをさらに備え、
前記位置特定手段は、前記自車線標識判定手段により判定された標識の位置に基づいて、前記撮像手段により撮像された画像上における前記標識の位置を特定し、
前記認識処理手段は、前記位置特定手段により特定された標識の位置の部分に対して、標識の内容を認識するための処理を行うことを特徴とする標識認識装置。
【請求項３】
請求項２に記載の標識認識装置において、
前記反射面角度算出手段は、前記反射信号の強度が所定のしきい値以上となってから最大値となるまでの時間と、前記反射信号の強度が最大値となってから所定のしきい値以下となるまでの時間との比に基づいて、立体物の反射面の角度を算出することを特徴とする標識認識装置。
【請求項４】
請求項２または３に記載の標識認識装置において、
前記道路形状推定手段は、自車両が走行している車線の曲率中心を検出し、
前記自車線標識判定手段は、前記道路形状推定手段により検出された道路の曲率中心と立体物とを結ぶ線分と、前記反射面角度算出手段により算出された反射面の角度に基づいて求められる反射面を示す線分との成す角度が所定の角度以下の場合に、検出された立体物が自車両の走行車線向けの標識であると判定することを特徴とする標識認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、路上の道路標識などの標識を検出して内容を認識する標識認識装置に関する。
【０００２】
【従来の技術】
カメラにより撮像した画像に基づいて、道路標識を認識する装置が知られている（特許文献１参照）。この従来の標識認識装置では、撮像画像から標識の特定色を抽出して抽出画像とし、抽出画像の形状に対してパターンマッチング処理を施すことにより、標識を認識している。
【０００３】
【特許文献１】
特開平９−１８５７０３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、撮像画像中には、道路上のペイントなどが示されている場合もあるので、従来の認識装置では、撮像画像から標識の特定色を抽出した時に、道路上のペイント部分が抽出される場合もある。従って、路面上のペイント等のように、平面物に対してもパターンマッチング処理を行うことになり、演算負荷の増大、または、演算速度の速い高価な演算装置が必要となるという問題があった。
【０００５】
本発明は、撮像画像中の立体物を特定して、特定した立体物に対して標識の内容を認識するための処理を行う標識認識装置を提供する。
【０００６】
【課題を解決するための手段】
本発明による標識認識装置は、信号を送出して物体に反射して戻ってきた反射信号に基づいて、立体物の位置を検出し、検出した立体物の位置に基づいて、撮像画像上における検出された立体物の位置を特定し、画像中において特定された立体物の位置の部分に対して、標識の内容を認識するための処理を行うことを特徴とする。
【０００７】
【発明の効果】
本発明による標識認識装置によれば、撮像画像中の立体物を特定して、特定した立体物に対して標識の内容を認識するための処理を行うので、標識を認識するための演算負荷を軽減することができる。
【０００８】
【発明の実施の形態】
図１は、本発明による標識認識装置を車両１に搭載した一実施の形態を示す図である。一実施の形態における標識認識装置は、カメラ２と、レーダ３と、反射面角度推定装置４と、処理装置５とを備える。カメラ２は、車両１の室内天井１ａの前方中央部に取り付けられ、フロントウインドウ１ｂを通して、車両前方を撮影する。カメラ２は、高感度撮像が可能なＣＣＤまたはＣＭＯＳセンサを備えたカメラを用いることが好ましい。なお、カメラ２の光軸は、車両直進方向と一致させておくことが好ましい。
【０００９】
レーダ３は、車両前方に取り付けられ、車両前方にレーザ光を出射し、物標までの距離、反射光が戻ってくる方向、反射角度および反射強度を検出する。物標までの距離は、レーザ光を出射してから反射光が戻ってくるまでの時間に基づいて算出する。図２は、レーダ３の詳細な構成を示す図である。レーダ３は、投光窓４１と、受光窓４２と、ミラー４３と、モータ４４と、受光素子（ＰＤ）４５と、レーザ発光素子（ＬＤ）４６と、増幅回路４７と、レーザ発光素子４６を駆動するＬＤ駆動回路４８と、モータ４４を駆動するモータ駆動回路４９と、ＣＰＵ５０とを備える。
【００１０】
レーザ発光素子４６は、ＬＤ駆動回路４８からの指令に基づいて、近赤外線波長域のレーザ光を送出する。レーザ発光素子４６から送出されたレーザ光は、反射ミラー４３にて反射されて、投光窓４１から射出される。このとき、モータ駆動回路４９は、モータ４４を駆動して、上下左右方向に回転する反射ミラー４３を所定の角度分解能で回転させることにより、所定角度範囲に水平方向にｎ本のビーム、垂直方向にｍ本のビームを送出する。投光窓４１から射出されたレーザ光は、先行車などの物標に反射し、受光窓４２を介して、受光素子４５で受光される。受光素子４５で受光された受光信号は、増幅回路４７で増幅されて、ＣＰＵ５０に送られる。
【００１１】
ＣＰＵ５０は、増幅回路４７、ＬＤ駆動回路４８およびモータ駆動回路４９を制御することにより、レーザ発光素子４５からレーザ光を送出させて、受光素子４５で受光される受光信号の強度を時間分解して記録し、前方物標との距離や検出角度、相対速度を算出する。ＣＰＵ５０は、これらの計算結果と、図示しない車速センサから出力される車速信号および後述する車両挙動推定処理部２０にて算出される車両のピッチ角とに基づいて、車速信号に基づいて算出される自車両の速度、および、垂直方向の物標検出角度を補正して、物標の高さを算出する。ＣＰＵ５０は、また、自車両の速度と、物標との相対速度とに基づいて、検出された物標が静止物であるか否かを判定する。
【００１２】
物標の高さの算出について、図３，図４を用いて補足しておく。図３は、レーダ３の上下方向のピッチ角が０である場合に、レーダ３から上下方向に３本のレーザビームを送出している様子を示す図である。この状態から、図４に示すように、レーダ３が上方向に傾くと、３本のビームで検知するエリアも変化する。従って、レーダ３の上下方向の傾き（車両のピッチ角）に基づいて、それぞれのビームで検出された物標の高さを補正する必要があり、ＣＰＵ５０は、補正後の高さを算出する。
【００１３】
レーダ３の構成について補足しておく。受光窓４２には受光レンズ（不図示）が組み込まれており、受光レンズで集光された光が受光素子４５に入力される。また、レーザ発光素子４５の前方には図示しない投光レンズが設けられており、レーザ発光素子４５から送出されるレーザ光は、投光レンズを介して所定の角度に広げられる。投光窓４１にも図示しない投光レンズが組み込まれているので、レーザ発光素子４５から送出されたレーザ光は、投光窓４１の投光レンズにて所定の角度に細められて送出される。投光レンズで広げられる所定の角度は、走査を行うエリア広さ、要求分解能、モータ性能、装置の要求サイズ等に基づいて決められる。レーダ装置３のこのような構造により、投光窓４１から投光されるレーザ光は一定の面積を持つ太いレーザ光により走査することが可能となり、汚れや雨に強いレーザ光を得ることができる。
【００１４】
レーザ光の強度分布を図５に示す。図５（ａ）は、上述した一定の面積を持つレーザ光の強度が同じ部分を結んだ分布を示す図であり、図５（ｂ）は、図５（ａ）の中心線で切断した断面での強度を示す図である。図５（ｂ）に示すように、レーザ光の中心部分が最も強度が強い。
【００１５】
反射面角度推定装置４は、レーダ３により検出された物標（標識）が自車両に向いている角度（反射面角度）を推定する。反射面角度の推定方法について説明する。図６は、物標に対してレーダ３からレーザ光を照射する様子を示す図である。物標に照射されたレーザ光は、レーダ３と物標とが正対していなければ、散乱光が観測される。物標を完全散乱面であると仮定すると、観測されるレーザ光（反射光）の強度Ｉは、ランバート（Ｌａｍｂｅｒｔ）の余弦則より、次式（１）により表される。
Ｉ＝Ｋｄ×Ｉｉ×ｃｏｓα            …（１）
ただし、Ｋｄは散乱反射率、Ｉｉは物標入射光の強度、αは、図６に示すように、物標の法線と入射レーザ光との間の成す角である。なお、完全散乱面とは、反射光を見た場合に、どの方向から見ても輝度の等しい表面をいう。
【００１６】
ここで、図６に示すように、レーダ３の右側において物標が検出された場合について考察する。この場合、レーダ３の左側から射出されたレーザ光は、物標の左側に当たって反射して戻ってくるのに対して、右側から射出されたレーザ光は、物標の右側で反射して戻ってくる。物標は、レーダ３の右側に位置しているので、物標の左側で反射する光の方が、物標の右側で反射する光よりも早く戻ってくる。また、物標の右側に照射される面積の方が、左側に照射される面積よりも広いので、反射光の強度が低下していく時間は、物標の右側で反射して戻ってくる光の方が長い。
【００１７】
図７は、物標に反射して戻ってくる光の強度の時間変化を示す図である。反射光の強度が所定のしきい値（例えば、最大値の１０％）から最大値となるのに要する時間をｔ１、最大値から所定のしきい値に低下するまでに要する時間をｔ２とすると、物標がレーダ３の右側に位置している場合には、上述した理由により、ｔ１＜ｔ２の関係が成り立つ。また、ｔ１とｔ２との比は、レーダ３に対する物標の位置を示す角度αにより決定される。従って、ｔ１とｔ２とを計測して、両者の比を演算することにより、物標の反射面角度を算出することができる。なお、ｔ１とｔ２との比と、物標の反射面角度との関係は、実験等により予め求めておく。
【００１８】
図８は、物標が３つ存在する場合に、レーダ３からレーザ光を射出して、反射光を受光する様子を示した図である。物標１がレーダ３に最も近い位置に存在し、物標３がレーダ３から最も遠い位置に存在している。図９は、図８に示す物標１〜３で反射して戻ってきた光の強度の時間変化を示す図である。図９に示すように、物標１に対して、上述した時間ｔ１，ｔ２をｔ１＿１，ｔ２＿１、物標２に対して、ｔ１＿２，ｔ２＿２、物標３に対して、ｔ１＿３，ｔ２＿３とそれぞれ表す。
【００１９】
図９に示すように、物標の位置がレーダ３から遠ざかる程、時間ｔ１とｔ２との比が１：１に近くなる。この時間ｔ１とｔ２との和（ｔ１＋ｔ２）は、レーザ光の広がり角、および、レーダ３と物標との距離に依存する。従って、遠方に位置する物標３に対するレーザ光の入射角度αは小さくなるが、レーダ３からの距離は長くなるので、必ずしもｔ１＿３＋ｔ２＿３の大きさがｔ１＿１＋ｔ２＿１より短くなるわけではない。
【００２０】
上述した時間ｔ１，ｔ２の大きさ、および、ｔ１とｔ２との比の関係は、物標がレーダ３の左側に存在する場合にも同様である。レーダ３のどちら側に物標が存在するかは、反射光の戻ってくる方向に基づいて判断する。
【００２１】
図１０は、処理装置５の詳細な構成を示す図である。処理装置５は、画像メモリ１０と、車両挙動推定処理部２０と、標識検出部３０とを備える。画像メモリ１０には、カメラ２によって所定時間（例えば、１６ｍｓｅｃ）ごとに撮像された画像が格納される。
【００２２】
車両挙動推定処理部２０は、内部で行う処理機能上、白線検出部２１と、車両挙動推定部２２と、車両進行方向推定部２３とを備える。白線検出部２１は、画像メモリ１０に格納されている画像に基づいて、道路上の白線を検出する。白線の検出は、例えば、画像の濃淡エッジに基づいて画像の中の特徴パターンの位置を認識する方法や、画像中の特徴パターンと予め記憶している白線の特徴パターンとを照合して認識する方法など、既知の方法を採用することができる。検出された白線が図１１に示すように、道路の境界線である２本のレーンマークＬ１，Ｌ２である場合には、白線検出部２１は、２本のラインＬ１，Ｌ２の画像上の座標値を取得する。
【００２３】
車両挙動推定部２２は、白線検出部２１で検出された白線に基づいて、カメラ２の路面に対するピッチ角を算出する。ピッチ角の算出は既知の方法を用いることができる。例えば、車両が静止した状態において撮像された２本のレーンマークが図１１に示すものであるとすると、車両の前部が持ち上がった場合（カメラ２の光軸が上向き）には、開いて見えるレーンマークＬ１，Ｌ２の開き具合がさらに大きくなる。逆に、車両の後部が持ち上がった場合（カメラ２の光軸が下向き）には、図１１に示す２本のレーンマークＬ１，Ｌ２の開き具合が小さくなる（平行に近づく）。この原理に基づいて、車両のピッチ角、すなわち、カメラ２の路面に対するピッチ角を算出することができる（特開２００２−１６３６４１号公報参照）。
【００２４】
車両進行方向推定部２３は、白線検出部２１で検出された白線に基づいて、車線（白線）に対する自車両１のヨー角、および、道路の曲率を算出する。例えば、自車両１のヨー角および道路の曲率などのパラメータを含む道路モデルを適用し、カルマンフィルタや最小二乗法を用いるなどの既知の方法により推定することができる（特開２００２−２３６９１２号公報参照）。なお、車両挙動推定部２２で算出されるピッチ角を車両進行方向推定部２３で算出してもよい。
【００２５】
標識検出部３０は、内部で行う処理機能上、物標特定部３１と、物標座標推定部３２と、パターンマッチング部３３とを備える。物標特定部３１は、車両進行方向推定部２３により推定されたヨー角および道路の曲率と、レーダ３により検出された物標の位置および方向と、反射面角度推定装置４により検出された物標の反射面角度とに基づいて、自車線向けの標識を検出する。
【００２６】
図１２を用いて、自車線向けの標識を検出する具体的な方法について説明する。図１２は、自車両１がカーブに進入する様子を示しており、図中には、物標Ａ，物標Ｂ，物標Ｃの３つの物標が示されている。通常、自車線向けの標識は、道路にほぼ直角に設置されており、道路が曲率を有する場合には、その地点での道路にほぼ直角に、すなわち、標識の面が標識とカーブの中心とを結ぶ線分とほぼ平行になるように設置されている。従って、標識の面が標識とカーブの中心とを結ぶ線分とほぼ平行である場合には、自車線向けの標識であると判断することができる。なお、標識とカーブの中心とを結ぶ線分と、標識の面を示す線分との成す角が所定の角度以下であれば、自車線向けの標識であると判断してもよい。
【００２７】
路上の区分線（車線）は、道路に平行に引かれているので、区分線の形状が分かれば、道路の形状を推定することができる。車両進行方向推定部２３により推定される自車両のヨー角および道路の曲率に基づいて、物標Ａ，Ｂ，Ｃの地点の道路の形状を類推するとともに、物標までの距離、方向、高さに基づいて、物標（標識）の位置を特定し、道路の曲率中心と物標とを結んだ線の自車両に対する角度を計算する。この角度と、反射面角度推定装置４により算出された反射面角度とが一致すれば、対象物標が自車線向けの標式であると判断することができる。このような方法により、図１２に示す物標Ａ，Ｂ，Ｃのうち、物標Ｂおよび物標Ｃが自車線向けの標識であると判断する。
【００２８】
物標座標推定部３２は、車両挙動推定部２２により推定された車両１のピッチ角と、レーダ３により検出された物標の高さ、距離とに基づいて、自車線向けの標識であると判定された物標の画面上での座標を求める。具体的には、物標特定部２１により自車線向けの標識であると判定された物標座標を画像メモリ１０上に射影を行い、パターンマッチング処理部３３にてパターンマッチを行うための中心座標を求める。ここでの射影処理とは、レーダ３により検出された実空間座標上にある立体物がカメラ２によりどのように写るのか計算する処理のことである。
【００２９】
図１３は、カメラ２および物標Ｂを横方向から見た図である。カメラ２のレンズ２ａと撮像素子２ｂとの距離、すなわち、レンズ２ａの焦点距離をｆ、カメラ２の高さをｈ、物標Ｂの高さをＨ、カメラ２のレンズ２ａから物標Ｂまでの距離をＬ、カメラ２のピッチ角をθ１、カメラ２の高さｈの位置から物標Ｂを見た時の角度をθ２、撮像素子２ｂ上に射影される座標（ｙ座標）をｙとすると、次式（２）〜（４）の関係が成り立つ。なお、座標の単位は、画素数であり、焦点距離ｆは、実空間上の距離を画素数で表したもの、つまり、実寸法を１画素当たりの大きさで割った値である。
ｔａｎ（θ１＋θ２）＝ｙ／ｆ      …（２）
ｔａｎ（θ１＋θ２）＝（ｔａｎθ１＋ｔａｎθ２）／（１−ｔａｎθ１×ｔａｎθ２）      …（３）
ｔａｎ（θ２）＝（Ｈ−ｈ）／Ｌ        …（４）
【００３０】
θ１およびθ２の値が０に近い場合には、１−ｔａｎθ１×ｔａｎθ２≒１と近似できるので、式（３）に式（２），（４）をそれぞれ代入すると、次式（５）が得られる。
ｔａｎ−１（ｙ／ｆ）＝ｔａｎ−１（（Ｈ−ｈ）／Ｌ）＋θ１      …（５）
【００３１】
図１４は、カメラ２および物標Ｂを上方向から見た図である。この場合、撮像素子２ｂ上に射影される座標（ｘ座標）ｘは、次式（６）により表される。
ｘ＝ｆ・ｔａｎ（θｂ）      …（６）
ただし、θｂは、カメラ２（レンズ２ａ）の光軸と物標Ｂとの間の角度である。
【００３２】
パターンマッチング処理部３３は、物標座標推定部３２により算出された座標に対応する部分、すなわち、カメラ２により撮像された画像において、自車線向きの標識であると判定された部分と、所定のテンプレートとに対してパターンマッチング処理を施して、標識の内容を認識する。なお、パターンマッチングの方法としては、標識に使用される特定の色の組み合わせを有していることに基づいて行う方法や、標識の形状に着目したパターンマッチングによる認識手法が用いられる。すなわち、標識の色の組み合わせや形状をテンプレートとして画像とマッチング処理を行い、標識の種類や文字を判別する。なお、標識は見る角度によって形状が変化するので、反射面角度推定装置４にて算出された反射面角度に基づいて補正されたテンプレートを用いる。
【００３３】
パターンマッチング処理による標識の認識結果は、ナビゲーション装置などの外部装置に出力される。例えば、ナビゲーション装置に標識の表示を行うことにより、運転者に対して注意喚起を促すことができる。また、標識表示をナビゲーション情報の更新、車両の自動制御に用いることもできる。
【００３４】
一実施の形態における標識認識装置によれば、レーダ３からレーザ光を送出して、物標に反射して戻ってきた反射光に基づいて、立体物の位置を検出し、検出した立体物の位置に基づいて、カメラ２により撮像された画像上における立体物の位置を特定し、画像上において特定した立体物の部分に対して、標識の内容を認識するための処理（パターンマッチング処理）を行う。これにより、路面のペイント表示などの平面物に対して、標識の内容を認識するための処理を行うことが無くなるので、演算負荷を軽減することができる。
【００３５】
また、一実施の形態における標識認識装置によれば、撮像画像に基づいて、道路形状を推定し、レーダ３から送出されたレーザ光の反射光に基づいて、立体物の反射面の角度を算出し、推定された道路形状と算出した反射面角度とに基づいて、自車線向きの標識を検出する。この自車線向けの標識に対して、標識の内容を認識するための処理（パターンマッチング処理）を行うので、他の車線向けの標識に対して、標識の内容を認識するための処理を行うことが無くなるので、演算負荷を軽減することができる。
【００３６】
本発明は、上述した一実施の形態に限定されることはない。例えば、立体物の検出に際し、レーザ光を送出するレーダを用いたが、電波や超音波等の他の信号を送出するレーダを用いてもよい。
【００３７】
また、車両１のピッチ角、車線（白線）に対する車両１のヨー角、道路の曲率の算出方法も上述した方法に限定されることはなく、他の方法を用いることができる。
【００３８】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ１０が撮影手段を、レーダ３および物標特定部３１が位置検出手段を、物標座標推定部３２が位置特定手段を、パターンマッチング処理部３３が認識手段を、レーダ３および反射角度推定装置４が反射面角度算手段を、物標特定部３１が自車線標識判定手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】本発明による標識認識装置を車両１に搭載した一実施の形態を示す図
【図２】レーダ３の詳細な構成を示す図
【図３】レーダの上下方向のピッチ角が０である場合に、レーダから上下方向に３本のレーザビームを送出している様子を示す図
【図４】レーダが上下方向に傾いた時にレーザビームを送出する様子を示す図
【図５】図５（ａ）は、上述した一定の面積を持つレーザ光の強度が同じ部分を結んだ分布を示す図であり、図５（ｂ）は、図５（ａ）の中心線で切断した断面での強度を示す図
【図６】物標に対してレーダからレーザ光を照射する様子を示す図
【図７】物標に反射して戻ってくる光の強度の時間変化を示す図
【図８】物標が３つ存在する場合に、レーダからレーザ光を射出して、反射光を受光する様子を示した図
【図９】図１３に示す物標１〜３で反射して戻ってきた光の強度の時間変化を示す図
【図１０】処理装置５の詳細な構成を示す図
【図１１】白線検出部２１により検出された２本の白線Ｌ１，Ｌ２を示す図
【図１２】自車両がカーブに進入する様子を示す図
【図１３】カメラおよび物標Ｂを横方向から見た図
【図１４】カメラおよび物標Ｂを上方向から見た図
【符号の説明】
１…車両、１ａ…天井、１ｂ…フロントウインドウ、２…カメラ、３…レーダ、４…反射面角度推定装置、５…処理装置、１０…画像メモリ、２０…車両挙動推定処理部、２１…白線検出部、２２…車両挙動推定部、２３…車両進行方向推定部、３０…標識検出部、３１…物標特定部、３２…物標座標推定部、３３…パターンマッチング処理部、４１…投光窓、４２…受光窓、４３…反射ミラー、４４…モータ、４５…受光素子、４６…レーザ発光素子、４７…増幅回路、４８…ＬＤ駆動回路、４９…モータ駆動回路、５０…ＣＰＵ
【図１】
2005025497.tif 000003
【図２】
2005025497.tif 000004
【図３】
2005025497.tif 000005
【図４】
2005025497.tif 000006
【図５】
2005025497.tif 000007
【図６】
2005025497.tif 000008
【図７】
2005025497.tif 000009
【図８】
2005025497.tif 000010
【図９】
2005025497.tif 000011
【図１０】
2005025497.tif 000012
【図１１】
2005025497.tif 000013
【図１２】
2005025497.tif 000014
【図１３】
2005025497.tif 000015
【図１４】
2005025497.tif 000016