(57)【要約】【課題】車両の前方に存在する自転車を判定する。【解決手段】対象物の温度に応じた輝度値を有する撮像画像を取得し、背景より高い温度を表す輝度値を有する画像領域を抽出する。それぞれが水平方向の幅よりも垂直方向の長さの方が大きい一対の第１対象物部分であって、一方の第１対象物部分と他方の第１対象物部分との間の距離が水平方向において所定値以下である該一対の第１対象物部分が、該抽出された画像領域から検出されると共に、一対の第１対象物部分の間に、該第１対象物部分と異なる輝度を持ち、かつ垂直方向に所定値以上の長さを有する第２対象物部分が存在するならば、該一対の第１対象物部分（両足部分）および該第２対象物部分（タイヤ部分）を含む対象物を自転車と判定する。【選択図】図９
2010097541.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、車両周辺において運転者により運転されている自転車を認識するための車両周辺監視装置であって、
前記車両周辺を撮像し、対象物の温度に応じた輝度値を有する撮像画像を取得する撮像手段と、
前記撮像画像から、背景の温度よりも所定値以上高い温度を表す輝度値を有する画像領域を抽出する抽出手段と、
それぞれが水平方向の幅よりも垂直方向の長さの方が大きい一対の第１対象物部分であって、一方の第１対象物部分と他方の第１対象物部分との間の距離が水平方向において所定値以下である該一対の第１対象物部分が、前記抽出された画像領域から検出されると共に、前記一対の第１対象物部分の間に、該第１対象物部分と異なる輝度を持ち、かつ垂直方向に所定値以上の長さを有する第２対象物部分が存在するならば、該一対の第１対象物部分および該第２対象物部分を含む対象物を前記自転車と判定する自転車判定手段と、
を備える、車両周辺監視装置。
【請求項２】
前記自転車判定手段は、前記第２対象物部分が、前記背景の温度よりも低い温度を表す輝度値を有していれば、該第１対象物部分および該第２対象物部分を含む対象物を前記自転車と判定する、
請求項１に記載の車両周辺監視装置。
【請求項３】
前記自転車判定手段は、さらに、前記一対の第１対象物部分の最下点の位置よりも、前記第２対象物部分の最下点の位置の方が、垂直方向において低いことが検出されたならば、前記対象物を自転車と判定する、
請求項１または２に記載の車両周辺監視装置。
【請求項４】
前記自転車判定手段は、さらに、前記第２対象物部分の最下点近傍に、所定値以上の面積を有し、かつ輝度値が一様な画像領域を検出したならば、前記対象物を自転車と判定する、
請求項１から３のいずれかに記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周辺に存在する自転車を認識するために、車両の周辺を監視するための装置に関する。
【背景技術】
【０００２】
従来、車両の周辺をカメラにより撮像し、該車両の周辺に存在する物体を認識する手法が提案されている。特許文献１には、自車両前方に存在する自転車等の物体を認識し、該自転車の運転者の視線方向を特定する手法が記載されている。該視線の方向が自車両に向けられていない場合には、警報を発生する。
【特許文献１】特開２００５−１６５４２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
車両と接触する可能性のある対象物は、歩行者に限られず、その中には自転車も含まれる。自転車は、車道を通行することが多く、その存在は、車両の走行に影響を与える可能性がある。したがって、自転車を他の物体と区別して、車両の運転者に知らせるのが望ましい。上記特許文献１では、対象物として自転車を認識しているが、その認識の具体的な手法は何ら示唆されていない。
【０００４】
したがって、この発明は、撮像された画像において自転車を判定する手法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明の一つの側面によると、車両に搭載され、車両周辺において運転者により運転されている自転車を認識するための車両周辺監視装置は、前記車両周辺を撮像し、対象物の温度に応じた輝度値を有する撮像画像を取得する撮像手段と、前記撮像画像から、背景の温度よりも所定値以上高い温度を表す輝度値を有する画像領域を抽出する抽出手段と、それぞれが水平方向の幅よりも垂直方向の長さの方が大きい一対の第１対象物部分であって、一方の第１対象物部分と他方の第１対象物部分との間の距離が水平方向において所定値以下である該一対の第１対象物部分が、前記抽出された画像領域から検出されると共に、前記一対の第１対象物部分の間に、該第１対象物部分と異なる輝度を持ち、かつ垂直方向に所定値以上の長さを有する第２対象物部分が存在するならば、該第１対象物部分および該第２対象物部分を含む対象物を前記自転車と判定する自転車判定手段と、を備える。
【０００６】
この発明によれば、撮像画像に撮像されている対象物の形状および配置に基づいて、自転車かどうかを判定することができる。すなわち、上記一対の第１対象物部分が検出されると共に、該一対の第１対象物部分の間に上記第２対象物部分が存在すれば、両足が検出されると共に、該両足の間に自転車のタイヤ部分とみなせる部分が存在するので、自転車と判定することができる。こうして、自転車が車両周辺に存在することを、車両の運転者に認識させることができる。また、形状および配置に基づいて自転車を判定するので、単一の撮像画像を用いて自転車を判定することができる。したがって、複数の撮像画像を時間的に追跡することは必要とされず、自転車判定に要する画像処理の時間および負荷を低減することができる。
【０００７】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【発明を実施するための最良の形態】
【０００８】
次に図面を参照してこの発明の実施の形態を説明する。
【０００９】
図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、車両のヨーレートを検出するヨーレートセンサ５と、車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両前方の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、衝突の可能性が高いと判断された対象物を運転者に認識させるような表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。
【００１０】
図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
【００１１】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号およびセンサ５〜７の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。
【００１２】
図３は、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００１３】
ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、グレースケール画像であり、背景の温度よりも対象物の温度が高いほど、高い輝度値（白に近い輝度値）を有する。カメラ１Ｒで撮像された画像すなわち右画像とカメラ１Ｌで撮像された画像すなわち左画像とでは、同一対象物の画像上の水平位置がずれており、このずれ（視差）により、該対象物までの距離を算出することができる。
【００１４】
ステップＳ１４において、右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、予めシミュレーション等によって決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。ここで、閾値ＩＴＨは、人間および動物などの所定値より高い温度の対象物を、背景（路面を含む）と区別するような値に設定される。こうして、高温の対象物は、白領域として抽出される。
【００１５】
ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。図４は、この処理を説明するための図である。図４（ａ）では、２値化により白となった領域が、Ｌ１〜Ｌ８で表されている。ラインＬ１〜Ｌ８は、いずれも、ｙ方向には１画素の幅を有している。ラインＬ１〜Ｌ８は、実際には、ｙ方向に隙間無く並んでいるが、便宜上、図では離間して示されている。また、ラインＬ１〜Ｌ８は、ｘ方向には、それぞれ、２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を、各ラインの開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで表したものである。たとえば、ラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）、および（ｘ５，ｙ５）の３画素からなるので、（ｘ３，ｙ５，３）というランレングスデータで表される。
【００１６】
ステップＳ１６およびＳ１７において、図４（ｂ）に示すように、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１および２を付与する。
【００１７】
ステップＳ１８において、図４（ｃ）に示すように、該抽出された対象物の重心Ｇ、面積Ｓ、および、破線で示すように抽出された対象物に外接する四角形すなわち外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出される。重心Ｇの座標は、面積Ｓをｘ方向に二等分する線のｘ座標およびｙ方向に二等分する線のｙ座標として算出される。縦横比ＡＳＰＥＣＴは、外接四角形のｙ方向の長さＤｙとｘ方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出される。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１８】
ステップＳ１９において、対象物の時刻間追跡（トラッキング）、すなわち、所定のサンプリング周期毎に同一対象物の認識を行う。サンプリング周期は、図３のプロセスが実行される周期と同じでもよい。具体的には、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、時刻ｋで対象物Ａを抽出した場合を考えると、該対象物Ａと、次のサンプリング周期である時刻（ｋ＋１）で抽出した対象物Ｂとの間の同一性判定を行う。同一性判定は、所定の条件に従って行うことができる。たとえば、１）対象物ＡとＢの画像上の重心Ｇの位置のＸおよびＹ座標の差が所定の許容値より小さく、２）対象物Ｂの画像上の面積の、対象物Ａの画像上の面積に対する比が所定の許容値より小さく、３）対象物Ｂの外接四角形の縦横比の、対象物Ａの外接四角形の縦横比に対する比が所定の許容値より小さければ、対象物ＡおよびＢを同一と判定することができる。
【００１９】
こうして、各サンプリング周期において、抽出された対象物に関し、該対象物の位置（この実施例では、重心Ｇの位置座標）は、付与されたラベルと共に、時系列データとしてメモリに格納される。
【００２０】
なお、以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（この実施例では、右画像）について実行される。
【００２１】
ステップＳ２０において、車速センサ６により検出される車速ＶＣＡＲおよびヨーレートセンサ５により検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、車両１０の回頭角θｒ（後述される）を算出する。
【００２２】
一方、ステップＳ３１〜Ｓ３３では、ステップＳ１９およびＳ２０の処理と平行して、車両１０から対象物までの距離ｚを算出する処理を行う。この演算は、ステップＳ１９およびＳ２０よりも長い時間を要するため、ステップＳ１９およびＳ２０より長い周期（たとえば、ステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行されるようにしてもよい。
【００２３】
ステップＳ３１では、基準画像（この実施例では、右画像）の２値化画像によって追跡される対象物のうちの１つを選択し、これを、探索画像Ｒ１（ここでは、外接四角形で囲まれる画像領域を探索画像とする）とする。ステップＳ３２では、左画像において、該探索画像Ｒ１と同じ対象物の画像（以下、対応画像と呼ぶ）を探索する。具体的には、探索画像Ｒ１と該左画像の間で相関演算を実行することにより行われることができる。相関演算は、下記式（１）に従って行われる。この相関演算は、２値画像ではなく、グレースケール画像を用いて行う。
【数１】
2010097541.tif 000003
【００２４】
ここで、探索画像Ｒ１は、Ｍ×Ｎ個の画素数を持ち、ＩＲ（ｍ，ｎ）は、探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、左画像内の所定の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。
【００２５】
代替的に、左画像において、探索すべき領域を予め設定し、探索画像Ｒ１と該領域との間で相関演算を実行してもよい。
【００２６】
ステップＳ３３において、探索画像Ｒ１の重心位置と、撮像画像の画像中心線（撮像画像をｘ方向に二分する線）ＬＣＴＲとの距離ｄＲ（画素数）および対応画像の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、式（２）に適用して、車両１０の対象物までの距離ｚを算出する。
【数２】
2010097541.tif 000004
【００２７】
ここで、Ｂは、基線長、すなわちカメラ１Ｒの撮像素子の中心位置と、カメラ１Ｌの撮像素子の中心位置とのｘ方向（水平方向）の距離（すなわち、両カメラの光軸の間隔）を示し、Ｆは、カメラ１Ｒおよび１Ｌに設けられたレンズ１２Ｒおよび１２Ｌの焦点距離を示し、ｐは、撮像素子１１Ｒおよび１１Ｌ内の画素間隔を示す。Δｄ（＝ｄＲ＋ｄＬ）は、視差の大きさを示す。
【００２８】
ステップＳ２１において、対象物の位置（前述したように、この実施例では重心Ｇの位置）の画像内の座標（ｘ、ｙ）および式（２）により算出した距離ｚを、式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図５（ａ）に示すように、カメラ１Ｒおよび１Ｌの取り付け位置の中点の位置（車両に固定された位置）を原点Ｏとして、図のように、車両１０の車幅方向にＸ軸、車両１０の車高方向にＹ軸、車両１０の進行方向にＺ軸を定めた座標系で表される。画像上の座標は、図５（ｂ）に示すように、画像の中心を原点として水平方向をｘ軸および垂直方向をｙ軸とした座標系で表される。
【数３】
2010097541.tif 000005
【００２９】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と実空間座標系の原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。また、ｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３０】
ステップＳ２２において、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。時刻ｋから（ｋ＋１）までの期間中に、車両１０がたとえば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、Δｘだけｘ方向（正の方向）にずれる。したがって、これを補正する。
【００３１】
具体的には、式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物ごとに対応づけて時系列にメモリに格納される。なお、以下の説明では、該補正後の座標を、（Ｘ，Ｙ，Ｚ）と示す。
【数４】
2010097541.tif 000006
【００３２】
ステップＳ２３において、同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（たとえば、Ｎ＝１０程度）、すなわち時系列データから、対象物の車両１０に対する相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、式（５）で表される直線を求める。
【数５】
2010097541.tif 000007
【００３３】
ここで、ｕは、任意の値を取る媒介変数である。Ｘａｖ、ＹａｖおよびＺａｖは、それぞれ、実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値、およびＺ座標の平均値である。媒介変数ｕを消去することにより、式（５）は、以下の式（５ａ）のように表される。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ      （５ａ）
【００３４】
図６は、近似直線ＬＭＶを説明するための図である。Ｐ（０）、Ｐ（１）、Ｐ（２）、・・・、Ｐ（Ｎ−２）、Ｐ（Ｎ−１）が、回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の二乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値は、その値が増加するほど過去のデータであることを示す。たとえば、Ｐ（０）は最新の位置座標、Ｐ（１）は、１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＸ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。なお、近似直線ＬＭＶを演算するより詳細な手法は、特開２００１−６０９６号公報に記載されている。
【００３５】
次に、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）前（すなわち、時間ΔＴ前）の位置座標Ｐ（Ｎ−１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を、近似直線ＬＭＶ上の位置に補正する。具体的には、式（５ａ）にＺ座標Ｚ（０）およびＺ（ｎ−１）を適用することにより、すなわち式（６）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））およびＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【数６】
2010097541.tif 000008
【００３６】
式（６）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルが、相対移動ベクトルとして算出される。
【００３７】
このように、モニタ期間ΔＴ内の複数（Ｎ個）のデータから、対象物の車両１０に対する相対移動軌跡を近似する近似直線ＬＭＶを算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して、対象物との衝突の可能性をより正確に予測することができる。
【００３８】
図３に戻り、ステップＳ２４では、対象物と衝突の可能性があるかどうかを判定する衝突可能性判定処理を行う。この処理では、式（７）によりＺ方向の相対速度Ｖｓを算出し、式（８）および式（９）が成立するかどうかを判断する。
Ｖｓ＝（Ｚｖ（Ｎ−１）―Ｚｖ（０））／ΔＴ    （７）
Ｚｖ（０）／Ｖｓ≦Ｔ                          （８）
｜Ｙｖ（０）｜≦Ｈ                            （９）
【００３９】
ここで、Ｚｖ（０）は、最新の距離検出値（ｖは、近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。また、Ｔは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものであり、例えば２〜５秒程度に設定される。Ｈは、Ｙ方向すなわち高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００４０】
式（８）および（９）が成立するならば、接近判定処理を行う。接近判定処理では、対象物が、所定の接近判定領域に存在するかどうか（すなわち、対象物の最新の位置Ｐｖ（０）が、接近判定領域内にあるかどうか）を判断し、そうであれば、対象物と自車両１０の衝突の可能性があると判定する。ここで、図７を参照すると、カメラ１Ｒおよび１Ｌによって監視可能な領域ＡＲ０が示されている。接近判定領域ＡＲ１は、車両１０の車幅αの両側に余裕β（たとえば、５０〜１００ｃｍ程度とすることができる）を加えた範囲に対応する領域、換言すれば車両１０の車幅方向の中心軸の両側に（α／２＋β）の幅を有する領域であり、対象物がそのまま存在し続ければ衝突の可能性が高い領域である。
【００４１】
対象物が接近判定領域ＡＲ１に存在しないと判定されたならば、侵入判定処理を行い、侵入判定領域内にある対象物が、移動によって接近判定領域ＡＲ１に侵入すると共に、車両と衝突する可能性があるかどうかを判定する。この判定結果が肯定であれば、対象物と自車両１０が衝突する可能性があると判定する。再び図７を参照すると、侵入判定領域ＡＲ２およびＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域ＡＲ１の横方向外側の）領域である。なお、これらの領域ＡＲ１〜ＡＲ３は、式（８）および式（９）に示したように、Ｚ方向においては所定距離Ｚ１＝Ｖｓ×Ｔを有し、Ｙ方向には所定高さＨを有する。この侵入判定処理は、任意の適切な手法により実現されることができ、たとえば、特開２００１−６０９６号にその詳細が記載されている。
【００４２】
こうして、対象物が自車両１０と衝突の可能性があると判定されたならば、ステップＳ２５に進み、該対象物を判定する処理を行う。判定された対象物が、注意喚起対象と判断されたならば、ステップＳ２６に進み、警報判定処理を行う。警報判定処理では、運転者に対し、警報を実際に出力するかどうかを判定し、この判定結果が肯定であれば、警報を出力する。
【００４３】
この発明は、車両の前方に存在する自転車を判定する技術に関するものであるが、該自転車の判定処理は、ステップＳ２５で実施される。自転車と判定されれば、上記のような注意喚起の対象と判断される。当然ながら、自転車の他に、歩行者等の判定をステップ２５で実施するようにしてもよい。歩行者であると判定されたならば、注意喚起の対象と判断される。また、ステップＳ２５において、対象物が、人工構造物であるかどうかを判定する処理を行ってもよい。人工構造物と判定された場合には、注意喚起の対象から除外するようにしてもよい。歩行者および人工構造物についての判定処理は、任意の適切な手法で実施されることができる（たとえば、特開２００６−１８５４３４号公報に記載されている）。
【００４４】
次に、この発明の一実施例に従う、車両の前方に存在する自転車の判定について説明する。具体的な判定手法を説明する前に、図８を参照して、自転車判定の原理について説明する。
【００４５】
図８には、（ａ）運転者によって運転されている自転車を撮像することにより取得されたグレースケール画像（図３のステップＳ１３により取得）、および（ｂ）該グレースケール画像を２値化した２値画像（図３のステップＳ１４により取得）、を概略的に表した図が示されている。グレースケール画像においては、ハッチングの種類の違いにより、階調の主な違いを表している。２値画像においては、ハッチングされた領域が黒領域を表している。この実施例では、自転車の運転者が車両１０に対面するよう運転している自転車を判定する。
【００４６】
両足１１１Ａおよび１１１Ｂによって自転車１０３を運転している運転者１０１は、温度が高いため、グレースケール画像において、高い輝度値を有する画像領域として撮像される。背景１０５（路面を含む）は、温度が低いので、低い輝度値を有する画像領域として撮像される。
【００４７】
自転車１０３は、水平方向（ｘ方向）に伸長するハンドル１０３ａ、運転者の両足の間に垂直方向（ｙ方向）に伸長するタイヤ１０３ｂ、およびハンドルとタイヤの間のフレーム１０３ｃを含む。ここで、タイヤ１０３ｂは、運転者１０１よりも温度が低く、かつ、背景１０５よりも温度が低い。したがって、自転車１０３のうちの少なくともタイヤ１０３ｂの部分は、運転者１０１の輝度値よりも低く、かつ、背景１０５の輝度値よりも低い輝度値を有する画像領域として撮像される。また、自転車のタイヤ１０３ｂは、常に路面に接しており、路面の温度はほぼ一様であると考えることができるので、路面は、ほぼ一様の輝度値を有する画像領域と考えることができる。
【００４８】
２値画像においては、運転者１０１は白領域として抽出され、背景１０５は、黒領域で表される。自転車１０３のタイヤ１０３ｂの部分は、背景１０５より温度が低いので、黒領域で表される。この実施例では、自転車１０３のタイヤ１０３ｂ以外の部分は、黒領域で表されているが、２値化処理で用いる閾値ＩＴＨの値によっては、白領域として抽出されることもありうる。
【００４９】
（ａ）および（ｂ）を参照して明らかなように、運転者によって運転されている自転車を撮像すると、運転者１０１の両足の部分１１１Ａおよび１１１Ｂが、互いに運転者の胴体の幅だけ離れて一対の縦長の画像領域として撮像されると共に（以下、該一対の画像領域を、足の部分について用いた符号と同じ１１１Ａおよび１１１Ｂで表す）、該一対の画像領域１１１Ａおよび１１１Ｂの間には、自転車１０３のタイヤ１０３ｂを表す画像領域が垂直方向に伸長している。
【００５０】
この発明は、この知見に基づいてなされたものであり、一対の縦長の（すなわち、水平方向の幅より垂直方向の長さの方が大きい）画像領域１１１Ａおよび１１１Ｂが、タイヤ１０３ｂの部分とみなされる画像領域を間に挟むように、水平方向に互いに離れて検出されたならば、対象物が、運転者によって運転されている自転車であると判定する。
【００５１】
図９は、図３のステップＳ２５において実施される、上記の知見に基づく自転車判定処理のフローチャートを示す。この判定処理を、図１０を参照しながら説明する。
【００５２】
ステップＳ４１では、撮像画像から、以下の条件１）および２）を満たす画像領域（この実施例では、図１０（ａ）の画像領域１１１Ａ）を、運転者の両足のうちの片方の足（一対の第１対象物部分のうちの一方）を表すものとして検出する。
１）背景の輝度値よりも所定値以上高い輝度値を有する。
２）縦長の領域である。
【００５３】
上記１）の条件は、前述した２値化処理（図３のステップＳ１４）において、閾値ＩＴＨを、背景の輝度値より所定値以上高い値に設定することにより、実現されることができる。この条件は、運転者１０１のような高温の対象物を、背景（路面を含む）１０５と区別して抽出するための処理である。したがって、このように設定された閾値ＩＴＨを用いた２値化処理をステップＳ１４で行うことにより、抽出された画像領域（白領域）には、運転者に対応する画像領域が含まれる。
【００５４】
ここで、背景の輝度値は、シミュレーション等を介して予め設定してもよいし、撮像されたグレースケール画像の輝度値のヒストグラムから、最も度数の大きい輝度値を、背景の輝度値として用いてもよい。これは、一般に、撮像画像においては背景の占める面積が最も高いからである。また、所定値は、シミュレーション等を介して予め設定してもよいし、たとえば、周知のモード法を利用して、輝度値ヒストグラムに現れる、背景を表すピークと、高温対象物を表すピークとの間に閾値ＩＴＨが設定されるよう、所定値を決定することができる（この詳細な手法は、たとえば特開２００３−２１６９４９号公報に記載されている）。
【００５５】
上記２）の条件は、図８を参照して前述したように、自転車を運転している足は、縦長の画像領域として撮像されるという知見に基づいている。水平方向（ｘ方向）の幅よりも垂直方向（ｙ方向）の長さの方が大きいとき、この条件は満たされる。
【００５６】
検出精度を上げるため、この実施例では、さらに以下の３）〜５）の条件を設定し、ステップＳ４１では、条件１）および２）に加え、これらの条件を満たす画像領域を撮像画像から検出する。
３）垂直方向において、所定値以下の長さを有する。
４）水平方向において、所定範囲内の幅を有する。
５）垂直方向において、直線性を持つ。
【００５７】
上記３）の所定値は、一般的な歩行者の足の部分（腰から下の部分）の路面に対する高さに応じて予め設定される（たとえば、成人の標準体型に応じて設定してよい）。運転者は、膝を曲げながら自転車を運転するので、撮像される足の部分の長さは、歩行している人間の足の長さ以下となる。上記３）の条件は、この知見に基づいて設定されたものである。
【００５８】
上記４）の所定範囲は、一般的な歩行者の足の部分の幅に応じて予め設定される（たとえば、成人の標準体型に応じて設定してよい）。たとえば、成人の標準体型に基づく膝の幅に所定の余裕値を加えて設定されることができる。この条件により、運転者の足の部分を、足より上の胴体部分に対し、より良好に切り分けて抽出することができる。
【００５９】
上記５）の条件は、自転車を運転している運転者の足の輪郭は、路面に対してほぼ垂直である、との知見に基づいて設定された条件である。図８に示すように、足の部分の画像領域は、画像領域１１１Ａおよび１１１Ｂに示すようにほぼ四角形の形状をなしており、該四角形のｙ軸に平行な辺は、足の輪郭を表している。この辺すなわち該四角形の垂直エッジを調べることにより、直線性を調べることができる。
【００６０】
上記５つの条件については、任意の適切な手法で判断されることができる。その一例を述べると、図３のステップＳ１４に示すように、上記１）の条件を満たすようにグレースケール画像を２値化する。図４を参照して説明したように、２値化によって抽出された対象物の画像領域はランレングスデータ化される。したがって、幅方向（ｘ方向）におけるランレングスを調べることにより、該抽出された対象物の画像領域から、所定範囲内の幅を持つ領域を検出する。さらに、該幅を持つ領域が、ｙ方向にどの程度連続するかを調べる。該幅を持つ領域のｙ方向の長さが、該幅よりも大きく、かつ所定値以下であれば、その領域を抽出する。こうして抽出された領域の垂直エッジ（たとえば、領域の右端および（または）左端の画素のｙ方向の並び）のｙ軸に対する傾きを算出し、該傾きの大きさが所定値以下であれば、直線性を持つと判断する。
【００６１】
なお、上記３）および４）の所定値および所定範囲との比較は、画像座標系（図５（ｂ））で行ってもよいし、実空間座標系（図５（ａ））で行ってもよい。このことは、以下のステップでも同様である。この実施例では、前者を採用しており、よって、上記３）および４）の判定における所定値および所定範囲は、実空間座標系における値を、対象物の画像領域の距離値ｚに応じて画像座標系に変換した値が用いられる（前述した式（３）に基づいて変換することができる）。また、車両が回頭していれば、式（４）に基づいて回頭角に基づく補正を行った後に、式（３）により変換してもよい。
【００６２】
他方、後者の場合、上記３）および４）の判定における所定値および所定範囲に、それぞれ、前述した歩行者の足の部分の路面からの高さおよび足の部分の幅に相当する値が設定される。対象物の画像領域のｙ方向の長さおよびｘ方向の幅（いずれも画素数で表される）は、式（３）に基づいて、実空間座標系のＹ方向の長さおよびＸ方向の幅に変換され、これが、所定値および所定範囲とそれぞれ比較される。この場合も、式（４）に基づく回頭角補正を行うようにしてもよい。
【００６３】
こうして、図１０（ａ）に示すように、運転者の片方の足（第１対象物部分の一方）が、画像領域１１１Ａとして、背景や自転車部分等と区別されて検出される。第１対象物部分の一方が検出されたならば、ステップＳ４２に進む。
【００６４】
ステップＳ４２において、ステップＳ４１で検出された画像領域１１１Ａから水平方向（ｘ方向）の所定範囲内に、上記１）〜５）の条件を満たす画像領域が検出されるかどうかを判断する。これは、図１０（ｂ）に示すように、運転者の他方の足（第１対象物部分の他方）に対応する画像領域１１１Ｂを検出するための処理である。
【００６５】
ここで、水平方向の所定範囲は、一般的な歩行者の胴体の幅に応じて予め設定される（たとえば、成人の標準体型に応じて設定してよい）。すなわち、一方の足と他方の足とは、胴体の幅に相当する距離だけ離れていると考えられるので、これを利用して、画像領域１１１Ｂを検出する。
【００６６】
任意の手法によって、画像領域１１１Ｂを検出することができる。たとえば、図１０（ｂ）に示すように、条件１）を満たした２値画像において、画像領域１１１Ａの右端のｘ座標値ｘａ（たとえば、画像領域１１１Ａの右辺を構成する画素の平均値とすることができる）から、ｘ方向（左右両方向）における所定範囲を調べ、ステップＳ４１と同様の手法で、上記の条件２）〜５）を満たす画像領域が検出されるかどうかを判断する。
【００６７】
なお、画像領域１１１Ｂを検出する条件として、上記の画像領域１１１Ａから水平方向に所定範囲内に存在する、という条件に加え、画像領域１１１Ａと垂直方向（ｙ方向）において重なりを持つ、という条件をさらに含めてもよい。両足は、垂直方向においてほぼ同じ範囲に検出されるはずだからである。
【００６８】
こうして、図１０（ｂ）に示すように、他方の足の部分（第１対象物部分の他方）が、画像領域１１１Ｂとして検出されたならば、ステップＳ４３に進む。
【００６９】
なお、この実施例では、検出精度を上げるため、前述した条件３）〜５）のすべてを用いているが、これらの条件のうちの任意のものを用いてもよい。また、ステップＳ４１とＳ４２とで、用いる条件を同じにするのが好ましい。
【００７０】
ステップＳ４３において、図１０（ｃ）に示すように、ステップＳ４１およびＳ４２で検出された一対の第１対象物部分（画像領域１１１Ａおよび１１１Ｂ）の間に、該一対の第１対象物部分とは異なる輝度値を持ち、かつ、垂直方向に所定値以上の長さを有する画像領域Ｒが存在するかどうかを判断する。これは、運転者の両足の間に、自転車のタイヤ１０３ｂ（図８、第２対象物部分と呼ばれる）とみなせる部分が存在するかどうかを調べる処理である。画像領域Ｒが存在すれば、タイヤ１０３ｂとみなせる部分が存在すると判断することができるので、画像領域Ｒと一対の画像領域１１１Ａおよび１１１Ｂからなる対象物を、自転車とみなすことができる。
【００７１】
この実施例では、より検出精度を上げるため、背景１０５の輝度値よりも低い画像領域Ｒを検出する。これは、図８を参照して前述したように、タイヤ１０３ｂの温度は、背景１０５の温度よりも低いとの知見に基づいている。この条件により、タイヤ１０３ｂに対応する画像領域Ｒを、背景とより良好に区別して抽出することができる。
【００７２】
この処理は、グレースケール画像に対して行われる。具体的な処理の一例を説明すると、一対の画像領域１１１Ａおよび１１１Ｂの間の領域の輝度値を調べ、前述した背景１０５の輝度値よりも低い輝度値を有する画像領域を抽出する。こうして抽出された画像領域のｙ方向の長さを調べ、これが所定値以上ならば、タイヤ部分を表す画像領域Ｒが検出されたとする。ここで、所定値は、たとえば一般的な自転車の大きさを想定し、該自転車のタイヤの頂部の路面からの高さに応じて設定されることができる。
【００７３】
こうして、図１０（ｃ）に太枠で示すように、自転車のタイヤ１０３ｂとみなすことができる領域Ｒが抽出される。
【００７４】
自転車の判定精度を上げるため、この実施例では、さらに、ステップＳ４４およびＳ４５を設けており、これらは、路面１０７を考慮した判定である。
【００７５】
ステップＳ４４では、領域Ｒの垂直方向の最下点が、画像領域１１１Ａの垂直方向の最下点および１１１Ｂの垂直方向の最下点よりも低いかどうかを判断する。これは、領域Ｒがタイヤを表していれば、タイヤは路面に接しているので、領域Ｒの底辺は、両足の画像領域１１１Ａおよび１１１Ｂの底辺よりも低い位置に存在するはず、との知見に基づいている。ここで、最下点は、撮像画像の垂直方向において最も低い位置を示す。
【００７６】
具体的な処理の一例を説明すると、この実施例では、図５（ｂ）に示すように、撮像画像を下方に向かうにつれてｙ座標値が大きくなるようにｘｙ座標系が設定されているので、「最下点」は、ｙ座標値が最も大きい点に相当する。領域Ｒの底辺の画素のうち、最も大きいｙ座標値を選択する（図１０（ｄ）に示すように、ｙ座標値がｙｒ）。同様に、画像領域１１１Ａの底辺の画素のうち、最も大きいｙ標値を選択し（ｙ座標値がｙａ）、１１１Ｂの底辺の画素のうち、最も大きいｙ座標値を選択する（ｙ座標値がｙｂ）。  ｙｒ＞ｙａであり、かつｙｒ＞ｙｂであれば、ステップＳ４４の判断がＹｅｓとなり、ステップＳ４５に進む。代替的に、底辺を構成する画素のｙ座標値の平均を取って比較してもよい。
【００７７】
ステップＳ４５では、領域Ｒの最下点近傍に、所定値以上の面積を有し、かつ輝度値が一様な画像領域が存在するかどうかを判断する。これは、領域Ｒがタイヤを表していれば、タイヤの最下点近傍には、輝度値が比較的一様な路面の画像領域Ｓが広がっているはず、との知見に基づいている。
【００７８】
具体的な処理の一例を説明すると、図１０（ｅ）に示すように、グレースケール画像において、領域Ｒの底辺（ｙ座標値がｙｒ）と、該底辺から所定値ｈ１だけ下方の位置との間にある領域の輝度値を調べる。所定値ｈ１は、実空間座標系で数センチメートル程度の値に応じて設定される値であることができる。ｘ方向において、どの範囲の輝度値を調べるかは、任意に設定されることができる。該調べた領域において、所定範囲内に収まる輝度値を有する画素が、所定の面積以上にわたって検出されたならば、輝度値が一様な領域Ｓすなわち路面を表す画像領域Ｓが存在すると判定する。ここで、該所定範囲は、輝度値がほぼ一様とみなせる程度の大きさに設定される。
【００７９】
代替的に、路面は、領域Ｒの最下点（ｙ座標値がｙｒ）に対し、ｙ方向において上方部分にも広がるよう撮像されていることがあるので、所定値ｈ１は、たとえば、図１０（ｆ）の点線で囲まれた領域Ｓａに示されるように、領域Ｒの下端部分を囲むように設定してもよい。したがって、「最下点近傍」は、最下点より下の部分だけでなく、最下点よりも上の部分を含んでもよい意図で使用されている。
【００８０】
なお、前述したように、タイヤの温度は背景の温度より低いので、路面を表す画像領域Ｓが存在するかどうかを判定する際に、該画像領域Ｓが、背景の輝度値より低い輝度値を有することを条件に加えてもよい。
【００８１】
こうして、ステップＳ４１〜Ｓ４５の判断がすべてＹｅｓであれば、一対の第１対象物部分（画像領域１１１Ａおよび１１１Ｂ）および第２対象物部分（画像領域Ｒ）を備える対象物は自転車であると判定し、注意喚起対象であると判定する（Ｓ４６）。他方、ステップＳ４１〜Ｓ４５のいずれかがＮｏであれば、自転車ではないと判定する（Ｓ４７）。自転車ではないと判定された場合には、対象物が歩行者であるかどうかを、さらに他の手法で判定してもよい。
【００８２】
前述したように、自転車であると判定されたならば、図３のステップＳ２６の警報判定処理において、警報を実際に出力するかどうかを判定する。この判定処理について説明する。
【００８３】
この実施例では、ブレーキセンサ７の出力から、車両１０の運転者がブレーキ操作を行っているか否かを判別し、ブレーキ操作を行っていなければ、警報出力を行う。ブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、加速度Ｇｓが所定の閾値ＧＴＨ以下（Ｇｓ≦ＧＴＨ）であるときは、警報出力を行い、Ｇｘ＞ＧＴＨであるときは、ブレーキ操作により衝突が回避されると判定して処理を終了する。これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。しかしながら、代替的に、ブレーキ操作について判定することなく警報を発するようにしてもよい。
【００８４】
ここで、閾値ＧＴＨは、式（１０）のように定めることができる。これは、ブレーキ加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で車両１０が停止する条件に対応する値である。
【数７】
2010097541.tif 000009
【００８５】
警報出力は、スピーカ３を介して音声による警報を発するとともに、図１１に示すように、ＨＵＤ４により、例えばカメラ１Ｒにより得られる画像を画面４ａに表示し、自転車を強調表示する。強調表示は任意の手法でよく、たとえば、色のついた枠で囲んで強調することができる。警報および画像表示のいずれか一方を用いて警報出力を行ってもよい。こうして、衝突の可能性の高い移動動物を、運転者はより確実に認識することができる。
【００８６】
本発明によれば、単一の撮像画像から、運転者の両足の形状と自転車の形状および両者の配置関係という特徴が抽出されるかどうかに基づいて自転車を判定するので、自転車を判定するのに、時系列に撮像された画像を時刻間追跡（トラッキング）する必要はない。したがって、画像処理に要する時間および計算負荷を低減しつつ、自転車判定を行うことができる。
【００８７】
しかしながら、代替形態として、上記実施例で述べた自転車判定において、トラッキングを併用してもよい。たとえば、撮像画像のそれぞれについて、上記の自転車判定を行い、連続した所定数の撮像画像において自転車が判定されたならば、対象物が自転車との最終的な判定を行う。これに応じて、上記のような注意喚起の処理を行ってもよい。
【００８８】
なお、上記の実施例では、図３のステップＳ２３およびＳ２４において相対移動ベクトルを算出して衝突の可能性がある対象物を判定し、この対象物について、ステップＳ２５の対象物判定処理を行っている。しかしながら、このような相対移動ベクトルの算出および衝突可能性の判定を行うことなく、たとえば図３のステップＳ１７の対象物抽出処理のランレングスデータ化に続けて図９の自転車判定処理を行ってもよい。さらに、図９のステップＳ４１において条件１）を満たす画像領域を、グレースケール画像から直接抽出することにより、ステップＳ４１およびＳ４２の処理を実行してもよく、この場合、図３のステップＳ１３のグレースケール画像の取得に続けて図９の自転車判定処理を行うようにしてもよい。
【００８９】
上記の実施例では、自転車の運転者が車両１０に対面するよう運転されている自転車を判定したが、この判定には、自転車に運転者は乗っているが、進行は停止している自転車も含まれる。停止している場合、少なくとも片方の足は、タイヤと同様に路面に接していると考えられるが、この場合でも、両足部分は、ステップＳ４１を参照して説明した条件を満たすよう抽出されることができる。また、自転車のタイヤ部分は両足の間で垂直方向に伸長するよう撮像されるので、垂直方向に所定値以上の長さを有する画像領域Ｒを検出することができる。
【００９０】
また、自転車の運転者が車両１０に背を向けながら進行または停止している自転車についても、両足の間に後輪（タイヤ）が撮像されることとなるので、本願発明は適用可能である。
【００９１】
また、本発明は、上記の実施形態に限られるものではなく、様々な変形形態が可能である。たとえば、上記実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なテレビカメラを使用してもよい（たとえば、特開平２−２６４９０号公報）。しかしながら、赤外線カメラを用いることにより、対象物の抽出処理をより簡略化することができ、演算負荷を低減することができる。
【００９２】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【図面の簡単な説明】
【００９３】
【図１】この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、カメラの取り付け位置を説明するための図。
【図３】この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【図４】この発明の一実施例に従う、ランレングスデータへの変換処理よびラベリング処理を説明するための図。
【図５】この発明の一実施例に従う、実空間座標系と画像座標系を示す図。
【図６】この発明の一実施例に従う、相対移動ベクトルの算出手法を説明するための図。
【図７】この発明の一実施例に従う、車両前方の領域区分を示す図。
【図８】この発明の一実施例に従う、自転車判定の原理を説明するための図。
【図９】この発明の一実施例に従う、自転車判定プロセスのフローチャート。
【図１０】この発明の一実施例に従う、自転車判定プロセスを説明するための図。
【図１１】この発明の一実施例に従う、警報出力の一例を説明するための図。
【符号の説明】
【００９４】
１Ｒ，１Ｌ  赤外線カメラ（撮像手段）
２  画像処理ユニット
３  スピーカ
４  ヘッドアップディスプレイ
【図１】
2010097541.tif 000010
【図２】
2010097541.tif 000011
【図３】
2010097541.tif 000012
【図４】
2010097541.tif 000013
【図５】
2010097541.tif 000014
【図６】
2010097541.tif 000015
【図７】
2010097541.tif 000016
【図８】
2010097541.tif 000017
【図９】
2010097541.tif 000018
【図１０】
2010097541.tif 000019
【図１１】
2010097541.tif 000020