(57)【要約】【課題】  画像内に存在する物体を検出すること。【解決手段】  制御装置１０３は、カメラ１０１によって複数フレーム撮像された画像内に存在する物体のエッジを抽出し、抽出したエッジの画像内における横方向の移動速度を算出し、算出した画像内におけるエッジの横方向の移動速度に基づいて、画像内に存在する道路境界を検出する。そして、道路境界の上部と下部とに画像を分割し、道路境界の上部に存在する範囲における物体の検出方法と、道路境界の下部に存在する範囲における物体の検出方法とを変化させて、画像の道路境界の上部に存在する範囲と、道路境界の下部に存在する範囲のそれぞれから物体を検出する。【選択図】      図１
2006268097.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって複数フレーム撮像された画像内に存在する物体のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段で抽出したエッジの画像内における横方向の移動速度を算出するエッジ速度算出手段と、
前記エッジ速度算出手段で算出した画像内におけるエッジの横方向の移動速度に基づいて、画像内に存在する道路境界を検出する道路境界検出手段と、
前記道路境界検出手段で検出した道路境界によって、画像を道路の内側の範囲と道路の外側の範囲とに分割し、分割した前記道路の内側の範囲と、前記道路の外側の範囲のそれぞれから異なる方法で物体を検出する物体検出手段とを備えることを特徴とする車載物体検出装置。
【請求項２】
請求項１に記載の車載物体検出装置において、
前記物体検出手段は、前記道路の外側の範囲を所定の大きさの物体検出領域で分割し、各物体検出領域内の速度分散に基づいて、前記道路の外側の範囲に存在する物体と背景とを分離して、前記道路の外側の範囲に存在する物体を検出すること特徴とする車載物体検出装置。
【請求項３】
請求項１に記載の車載物体検出装置において、
前記物体検出手段は、前記道路の外側の範囲を所定の大きさの物体検出領域で分割し、隣接する物体検出領域間のエッジの速度差に基づいて、前記道路の外側の範囲に存在する物体と背景とを分離して、前記道路の外側の範囲に存在する物体を検出すること特徴とする車載物体検出装置。
【請求項４】
請求項１〜３に記載の車載物体検出装置において、
前記道路の外側の範囲から検出した物体と、前記道路境界検出手段で検出した道路境界との間のフレーム間での距離変化を監視して、前記道路の外側の範囲から検出した物体の移動方向を判定する移動方向判定手段をさらに備えること特徴とする車載物体検出装置。
【請求項５】
請求項１に記載の車載物体検出装置において、
前記物体検出手段は、前記道路の内側の範囲においては、前記エッジ速度算出手段で算出した画像内におけるエッジの横方向の移動速度に基づいて、物体の下端位置および上端位置を特定することによって、前記道路の内側の範囲に存在する物体を検出すること特徴とする車載物体検出装置。
【請求項６】
請求項１に記載の車載物体検出装置において、
前記物体検出手段は、前記エッジ速度算出手段で算出した画像内におけるエッジの横方向の移動速度に基づいて、前記道路境界検出手段で検出した道路境界を跨いで存在する物体の下端位置および上端位置を特定することによって、前記道路境界を跨いで存在する物体を検出すること特徴とする車載物体検出装置。
【請求項７】
撮像手段によって複数フレーム撮像された画像内に存在する物体のエッジを抽出し、
抽出したエッジの画像内における横方向の移動速度を算出し、
算出した画像内におけるエッジの横方向の移動速度に基づいて、画像内に存在する道路境界を検出し、
検出した道路境界によって、画像を道路の内側の範囲と道路の外側の範囲とに分割し、分割した前記道路の内側の範囲と、前記道路の外側の範囲のそれぞれから異なる方法で物体を検出することを特徴とする物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、カメラで撮像した画像を画像処理して、画像内に存在する物体を検出する車載物体検出装置、および物体検出方法に関する。
【背景技術】
【０００２】
次のような画像処理装置が特許文献１によって知られている。この画像処理装置によれば、画像から各点のオプティカルフローを算出し、オプティカルフローを複数の領域にグループ化し、各領域のオプティカルフロー情報に基づいて背景と独立した移動物体を検出する。
【０００３】
【特許文献１】特開２００４−２２００５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置においては、背景と移動物体とを検出するために画像全体に対してオプティカルフローを算出して処理を行っているが、画像内の上部と下部とでは映っている背景および物体が異なることが多いことから、画像全体に対して同一の処理を実行して背景と移動物体とを検出すると誤検出が発生する可能性があるという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、撮像手段によって複数フレーム撮像された画像内に存在する物体のエッジを抽出し、抽出したエッジの画像内における横方向の移動速度を算出し、算出した画像内におけるエッジの横方向の移動速度に基づいて、画像内に存在する道路境界を検出し、検出した道路境界によって、画像を道路の内側の範囲と道路の外側の範囲とに分割し、分割した道路の内側の範囲と、道路の外側の範囲のそれぞれから異なる方法で物体を検出することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、検出した道路境界によって、画像を道路の内側の範囲と道路の外側の範囲とに分割し、分割した前記道路の内側の範囲と、前記道路の外側の範囲のそれぞれから異なる方法で物体を検出するようにした。これによって、道路の内側と外側とでは、映っている背景および物体が異なることを加味して、それぞれの範囲に応じた検出方法で物体を検出することができ、処理の精度を向上することができる。
【発明を実施するための最良の形態】
【０００７】
―第１の実施の形態―
図１は、第１の実施の形態における車載物体検出装置の一実施の形態の構成例を示すブロック図である。車載物体検出装置１００は、車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、ＣＰＵ、メモリ、およびその他周辺回路を含み、後述する各種処理を実行する制御装置１０３と、後述する画素カウンタのカウント値を格納するカウンタメモリ１０４とを備えている。
【０００８】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、自車両の走行中に極めて微小な一定時間Δｔ間隔、例えば２ｍｓ間隔（フレームレート＝５００ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ））で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。なお、カメラ１０１は、図２に示すように車両の室内上部前方に設置され、その視軸向きＺは車両前方正面方向に向き、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。
【０００９】
カメラ１０１で撮像した画像の具体例を図３に示す。カメラ１０１による撮像画像３ａは、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系（カメラ座標）によって表される。なお、図３においては、左右の走路脇に存在する道路境界、すなわち白線ＡおよびＢ、自車両前方に存在する静止している歩行者（人物）Ｃ、静止している背景の木Ｄ、自車両前方で右方向に移動している歩行者Ｅ、および左に移動している歩行者Ｆが撮像画像３ａ内に含まれている。すなわち、撮像画像３ａは、道路に描画された白線ＡおよびＢと、自車両前方に存在する静止物体Ｃと、自車両前方に存在する移動物体ＥおよびＦと、背景Ｄとを含んでいる。
【００１０】
制御装置１０３は、図３に示したカメラ１０１で撮像される撮像画像３ａ内から背景と物体とを分離することによって、撮像画像内に存在する物体を検出する。具体的には次のように処理する。まず、撮像画像３ａ内に存在する物体の画像内における横方向（ｘ軸方向）の移動速度を算出して、撮像画像３ａ内における物体の横方向の移動方向と移動速度とを階級値で表した速度画像を生成する。
【００１１】
すなわち、カメラ１０１で撮像された画像を画像メモリ１０２から読み込み、読み込んだ撮像画像３ａに対して、エッジ抽出用のフィルタを適用してエッジ抽出処理を行う。そして、抽出した各エッジに対して、次に説明するように画像処理を行うことによって、各エッジの撮像画像３ａ内における移動速度を算出する。まず、撮像画像３ａ内のエッジに対して細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば３画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。
【００１２】
図４は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。すなわち、図４（ａ）に示す２値化して得たエッジに対して、細線化処理を行って図４（ｂ）に示す細線化後のエッジを得る。そして、細線化したエッジを膨張させ、図４（ｃ）に示すようにエッジに一定の幅を持たせる。
【００１３】
その後、カウンタメモリ１０４に保存された画素カウンタの内、現在エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は０で初期化する。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。
【００１４】
そして、エッジ画像において、横方向に隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。その後、この値の逆数を得ることで、各画素における画像空間内の横方向の移動速度を算出することができ、その移動方向を判定することによって、各画素における画像空間内の横方向の移動方向を算出することができる。この各画素における画像空間内の横方向の移動速度および移動方向は、各画素に含まれるエッジの横方向の移動速度および移動方向に相当する。これによって、撮像画像３ａ上の各画素におけるエッジの速度成分、すなわちエッジの移動方向と移動速度とを算出することができる。
【００１５】
以上の処理によって算出した撮像画像３ａ上におけるエッジの速度成分を所定の階級値で表した速度画像を生成する。第１の実施の形態における速度画像では、図５に示す速度画像５ａのように、速度成分の階級値として、横方向の速度が検出された画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。
【００１６】
すなわち、図５においては、道路左側の白線Ａ、右側へ移動している歩行者Ｅからは画像の右側へ向かう速度が検出されており、道路右側の白線Ｂ、静止している歩行者Ｃ，木Ｄ、および左側へ移動している歩行者Ｆからは画像の左側へ向かう速度が検出されている。
【００１７】
次に、速度画像５ａに対して、画像内に存在する道路境界を検出するための道路境界検出領域を設定する。例えば、図６に示すように、速度画像５ａをｘ軸方向に２等分し、２等分した左右の領域内にそれぞれ複数の横長の道路境界検出領域６ａを等間隔に設定する。そして、設定した各道路境界検出領域６ａ内において同一の速度成分を有する画素を直線で結び、各道路境界検出領域６ａ内に存在する斜め線、すなわち線分ａ〜ｈを検出する。この結果、速度画像５ａの左右それぞれに存在する各道路境界検出領域６ａ内で検出した各線分が一直線上に並ぶ場合には、その各線分を結んだ直線を道路境界、例えば白線であると判定する。
【００１８】
これによって、図６に示す例においては、速度画像５ａの左側に設定した道路境界領域６ａから検出された線分ａ〜ｄは、一直線上に並んでいることから、線分ａ〜ｄを結んだ直線を道路左側の道路境界、すなわち白線Ａであると判定する。また、速度画像５ａの右側に設定した道路境界領域６ａから検出された線分ｅ〜ｈは、一直線上に並んでいることから、線分ｅ〜ｈを結んだ直線を道路右側の道路境界、すなわち白線Ｂであると判定する。
【００１９】
このようにして検出した道路境界を用いて速度画像５ａを分割する。すなわち、図７に示すように、検出した白線ＡおよびＢよりも上の領域、すなわち道路の外側の範囲を道路境界上部領域７ａとし、白線ＡおよびＢよりも下の領域、すなわち道路の内側の範囲を道路境界下部領域７ｂとして、速度画像５ａを上下に分割する。
【００２０】
一般に、このように設定した道路境界上部領域７ａは道路の外側であることから、この範囲には主に遠方の景色や道路脇の構造物などが映っており、道路境界下部領域７ｂは道路の内側であることから、この範囲には路面が映っている。このため、速度画像５ａ内では、道路境界上部領域７ａと道路境界下部領域７ｂとでは背景の移動速度が異なる。このことを加味して、後述するように道路境界上部領域７ａと道路境界下部領域７ｂとでは異なる物体検出方法によって物体を検出するようにする。
【００２１】
まず、道路境界上部領域７ａ内に存在する物体を検出する方法について説明する。道路境界上部領域７ａにおいては、道路境界より上の領域では、物体と背景とでは、その奥行きの違いによって速度差が生じることを加味して、次のように物体の検出を行う。
【００２２】
すなわち、設定した道路境界上部領域７ａ内に、所定の幅、例えば１画素分の幅を有し、道路境界上部領域７ａの下端から上端までに縦方向の複数の領域を物体検出領域７ｃとして設定し、道路境界上部領域７ａ内を物体検出領域７ｃで分割する。そして、各物体検出領域７ｃ内における速度分散を算出し、算出した速度分散が所定値以上であれば、その物体検出領域７ｃには物体の候補が存在すると判定する。一方、算出した速度分散が所定値未満であれば、その物体検出領域７ｃには背景が存在しているものと判定する。これによって、速度画像５ａ内に存在する物体の候補と背景とを分離することができる。
【００２３】
次に、物体候補が存在する物体検出領域７ｃにおいて、隣接する物体検出領域７ｃ同士の速度成分を比較し、これらが同一の速度成分を有していれば、これらの同一の速度成分を有する物体検出領域７ｃ内には同一の物体候補が存在するものと判定して、これらの物体検出候補領域７ｃを結合する。そして、結合した物体検出候補領域内における速度成分の分布に基づいて、結合した物体検出候補領域を、上述した背景が存在している物体検出領域７ｃと同じ速度成分を有している範囲と、背景が存在している物体検出領域７ｃと異なる速度成分を有している範囲とに分離する。
【００２４】
これによって、結合した物体検出候補領域を背景が含まれる領域と物体が含まれる領域とに分離することができ、物体が含まれる領域のみに物体候補領域７ｄを設定することによって、撮像画像５ａ内における物体候補が存在する範囲を特定することができる。なお、ここでは、物体候補領域７ｄが道路境界上部領域７ａの下端、すなわち道路境界と隣接して存在する場合には、同一の速度成分を有する範囲が道路境界を跨いで存在しているか否かを判定し、同一の速度成分を有する範囲が道路境界を跨いで存在している場合には、後述する処理で物体の検出を行うことから、ここでは処理対象から除外するようにする。
【００２５】
上述した処理で特定した物体候補領域７ｄと、これに近い側の道路境界、すなわち白線Ａとのフレーム間での位置関係の変化を監視し、図８に示す物体候補領域７ｄと白線Ａとの間の距離８ａの変化が検出された場合には、物体候補領域７ｄ内には移動物体が存在するものと判定し、その距離変化に基づいて、物体の移動方向を判定する。また、複数フレーム間で物体候補領域７ｄと白線Ａとの間の距離８ａの変化が検出されない場合には、複数フレームにおいて連続して同一速度成分を有する物体候補領域７ｄが検出された場合に、物体候補領域７ｄ内には静止物体が存在するものと判定する。
【００２６】
これによって、物体候補領域７ｄ内に存在する物体が移動物体である場合には、物体と道路境界との間の距離は時間とともに変化することを加味して、正確に物体を判定することができる。また、物体候補領域７ｄ内に存在する物体が静止物体である場合には、物体と道路境界との間の距離は変化しないが、複数フレームで連続して同一物体が検出されば、それが物体である可能性が高くなることを加味して、物体検出の信頼性を向上することができる。
【００２７】
これに対して、複数フレーム間で物体候補領域７ｄと白線Ａとの間の距離８ａの変化が検出されない場合で、かつ複数フレームにおいて連続して同一速度成分を有する物体候補領域７ｄが検出されない場合には、当該物体候補領域７ｄには物体は存在しないものと判定して、この物体候補領域７ｄを速度画像５ａ内から削除する。
【００２８】
以上の処理によって、速度画像５ａ内の道路境界上部領域７ａ内で、物体と背景とを分離して、道路境界上部領域７ａ内に物体、すなわち静止している歩行者Ｃが存在していると判定することができ、撮像画像３ａ内に存在する物体を検出することができる。
【００２９】
次に、速度画像５ａ内から、道路境界下部領域７ｂに存在する物体、および道路境界上部領域７ａと道路境界下部領域７ｂとに跨って存在する物体、すなわち白線ＡおよびＢ上に跨って存在する物体を検出する。また、走行中の道路に白線や縁石などの道路境界が存在せず、撮像画像３ａ内に道路境界が映っていない場合には、上述した処理で速度画像５ａ内に道路境界上部領域７ａと道路境界下部領域７ｂとを設定することができないため、この場合も次に説明する処理を速度画像５ａ全体に対して実行することによって、物体の検出を行うようにする。
【００３０】
まず、図９に示すように道路境界下部領域７ｂ内に所定の範囲を含む領域、例えば縦１画素、横３画素の大きさの領域を下端検出用小領域９ａとして設定し、下端検出用小領域９ａを速度画像５ａのｙ軸方向の下から上に走査する。そして、速度画像５ａを下から走査していって、下端検出用小領域７ｂ内に所定以上の速度を有する画素が存在する位置を物体の下端が存在する位置、すなわち物体下端位置９ｂとして検出する。
【００３１】
その後、検出した物体下端位置９ｂからy軸方向に速度画像のヒストグラムを算出する。すなわち、物体下端位置９ｂからy軸方向に存在する所定以上の同一速度を有する画素のｘ軸方向の度数分布を表すヒストグラムを算出する。そして、このときの物体下端位置９ｂの座標値をｙｄ、各ｙ座標値における所定以上の同一速度を有する画素の度数をＶ（ｙｉ）としたときの、あらかじめ設定された各物体の基準高さｙｍの範囲における度数の和を次式（１）により算出する。
【数１】
2006268097.tif 000003
【００３２】
式（１）で算出した度数の和が、所定値Ｔ１以上であれば、当該所定以上の同一速度を有する画素が分布している範囲内に物体が存在すると判定する。そして、物体が存在すると判定した場合には、あらかじめ設定された各物体の基準高さｙｍ以上となる位置で、かつｙ座標値における所定以上の同一速度を有する画素の度数Ｖ（ｙｉ）が所定値Ｔ２未満となる直前の位置、例えば図９に符号９ｃで示す位置を物体が存在する上端位置、すなわち物体上端位置９ｃとして検出する。
【００３３】
さらに、物体下端位置９ｂと物体上端位置９ｃとの間の範囲に対して、ｘ軸方向に連続して存在する所定以上の同一速度を有する画素の最も外側の画素を通るｙ軸と平行な直線を引き、当該ｙ軸に平行な直線と、物体下端位置９ｂおよび物体上端位置９ｃとで囲まれる範囲を物体が存在する範囲（物体存在範囲）９ｄとして特定する。これによって、速度画像５ａ上において、所定以上の同一速度を有する画素をグルーピングして、路境界下部領域７ｂに存在する物体の存在範囲、および道路境界上部領域７ａと道路境界下部領域７ｂとに跨って存在する物体の存在範囲を特定することができる。
【００３４】
例えば、図９に示す例では、白線Ｂに跨って存在する歩行者ＥおよびＦが含まれる物体存在範囲９ｄを特定することができ、これによって撮像画像３ａ内から歩行者ＥおよびＦを検出することができる。
【００３５】
図１０は、第１の実施の形態における車載物体検出装置１００の処理を示すフローチャートである。図１０に示す処理は、車両のイグニションスイッチがオンされることによって、車載物体検出装置１００の電源がオンされると起動するプログラムとして制御装置１０３により実行される。ステップＳ１において、カメラ１０１によって連続して撮像される撮像画像３ａを読み込んでステップＳ２へ進む。ステップＳ２では、撮像画像３ａに対して、エッジ抽出用のフィルタを適用してエッジ抽出処理を行う。その後、ステップＳ３へ進む。
【００３６】
ステップＳ３では、上述したように、撮像画像３ａ上におけるエッジの速度成分を所定の階級値で表した速度画像５ａを生成して、ステップＳ４に進む。ステップＳ４では、上述したように、速度画像５ａ上に道路境界を検出するための道路境界検出領域を設定して、各道路境界検出領域６ａ内に存在する斜め線を検出することによって、速度画像５ａ内に存在する道路境界を検出する。その後、ステップＳ５へ進み、速度画像５ａ内から道路境界が検出されたか否かを判断する。
【００３７】
その結果、速度画像５ａ内に道路境界がないと判断した場合には、後述するステップＳ１５へ進む。これに対して、速度画像５ａ内に道路境界があると判断した場合には、ステップＳ６へ進む。ステップＳ６では、検出した道路境界を境にその上下に領域を分割し、速度画像５ａ上に上述した道路境界上部領域７ａおよび道路境界下部領域７ｂを設定して、そのいずれの領域から物体を検出するかを判断する。道路境界上部領域７ａ、すなわち道路境界を境に画面上部の範囲から物体を検出する場合には、ステップＳ７へ進む。
【００３８】
ステップＳ７では、上述したように、道路境界上部領域７ａ内に、所定の幅を有し、道路境界上部領域７ａの下端から上端までの縦方向の複数の領域を物体検出領域７ｃとして設定し、各物体検出領域７ｃ内における速度分散を算出する。そして、算出した速度分散が所定値以上であるか否かを判定する。その結果、速度分散が所定値未満であると判断した場合には、後述するステップＳ１７へ進む。これに対して、速度分散が所定値以上であると判断した場合には、ステップＳ８へ進む。
【００３９】
ステップＳ８では、上述したように、速度分散が所定値以上である物体検出領域７ｃを物体の候補が存在する領域として抽出する。その後、ステップＳ９進み、速度画像５ａ内から全ての物体候補を抽出したか否かを判定し、抽出が完了していないと判断した場合には、ステップＳ７へ戻って抽出を続ける。これに対して、速度画像５ａ内から全ての物体候補を抽出したと判断した場合には、ステップＳ１０へ進む。
【００４０】
ステップＳ１０では、上述したように、物体候補が存在する物体検出領域７ｃにおいて、隣接する物体検出領域７ｃ同士の速度成分を比較し、これらが同一の速度成分を有していれば、これらの同一の速度成分を有する物体検出領域７ｃ内には同一の物体候補が存在するものと判定して、これらの物体検出候補領域７ｃを結合、すなわちグルーピングして、上述した物体候補領域７ｄを得る。その後、ステップＳ１１へ進み、特定した物体候補領域７ｄと、これに近い側の道路境界とのフレーム間の距離の変化を計測して、ステップＳ１２へ進む。
【００４１】
ステップＳ１２では、両者間の距離がフレーム間で変化したか否かを判断する。両者間の距離がフレーム間で変化したと判断した場合には、ステップＳ１４へ進み、物体候補領域７ｄ内には移動物体が存在すると判定して物体の検出を行い、同時に物体の移動方向を判定する。その後、後述するステップＳ１７へ進む。これに対して、両者間の距離がフレーム間で変化しないと判断した場合には、ステップＳ１３へ進む。
【００４２】
ステップＳ１３では、複数フレームにおいて連続して同一速度成分を有する物体候補領域７ｄが検出されたか否かを判定する。その結果、肯定判定された場合には、ステップＳ１４へ進み、物体候補領域７ｄ内には静止物体が存在するものと判定して物体の検出を行った後、後述するステップＳ１７へ進む。一方、否定判定された場合には、そのまま後述するステップＳ１７へ進む。
【００４３】
次に、ステップＳ５で速度画像５ａ内に道路境界がないと判断した場合、およびステップＳ６で物体検出領域７ｃ内の速度分散が所定値以上であると判断した場合に実行されるステップＳ１５の処理について説明する。ステップＳ１５では、上述したように速度画像５ａ内から物体下端位置９ｂ、および物体上端位置９ｃを検出して、物体存在範囲９ｄを特定する。そして、各物体存在範囲９ｂ内には物体が存在するものと判定して物体を検出する。その後、ステップＳ１６へ進み、速度画像５ａ内から全ての物体を検出したか否かを判断して、全ての物体の検出が完了したと判断した場合には、ステップＳ１７へ進む。
【００４４】
ステップＳ１７では、自車両のイグニションスイッチがオフされたか否かを判断する。自車両のイグニションスイッチがオフされないと判断した場合には、ステップＳ１へ戻って処理を繰り返す。これに対して、オフされたと判断した場合には、処理を終了する。
【００４５】
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）速度画像５ａ内から道路境界を検出して、道路境界が検出された場合には、道路境界を境にその上下に領域を分割して、速度画像５ａ上に上述した道路境界上部領域７ａおよび道路境界下部領域７ｂのそれぞれから、異なる検出方法によって物体を検出するようにした。これによって、道路境界より上方と下方とでは、画像内における背景の移動速度が異なることを加味して、精度高く物体を検出することができる。
【００４６】
（２）道路境界上部領域７ａにおいては、各物体検出領域７ｃ内における速度分散を算出し、算出した速度分散が所定値以上であれば、その物体検出領域７ｃには物体の候補が存在すると判定する。一方、算出した速度分散が所定値未満であれば、その物体検出領域７ｃには背景が存在しているものと判定することによって、速度画像５ａ内に存在する物体の候補と背景とを分離するようにした。これによって、道路境界より上の領域では、物体と背景とでは、その奥行きの違いによって速度差が生じることを加味して、精度高く物体と背景とを分離することができる。
【００４７】
（３）道路境界上部領域７ａにおいては、物体候補領域７ｄと、これに近い側の道路境界とのフレーム間での位置関係の変化を監視し、両者間の距離変化が検出された場合には、物体候補領域７ｄ内には移動物体が存在するものと判定する。また、複数フレーム間で物体候補領域７ｄと道路境界との間の距離変化が検出されない場合に、複数フレームにおいて連続して同一速度成分を有する物体候補領域７ｄが検出された場合には、物体候補領域７ｄ内には静止物体が存在するものと判定するようにした。これによって、物体候補領域７ｄ内に存在する物体が移動物体である場合には、物体と道路境界との間の距離は時間とともに変化することを加味して、正確に物体を判定することができる。また、物体候補領域７ｄ内に存在する物体が静止物体である場合には、物体と道路境界との間の距離は変化しないが、複数フレームで連続して同一物体が検出されば、それが物体である可能性が高くなることを加味して、物体検出の信頼性を向上することができる。
【００４８】
（４）物体候補領域７ｄと、これに近い側の道路境界とのフレーム間での位置関係の変化を監視し、両者間の距離変化が検出された場合には、物体候補領域７ｄ内には移動物体が存在すると判定すると共に、その距離変化に基づいて移動物体の移動方向を判定するようにした。これによって、道路境界を基準として正確に移動物体の移動方向を検出することができる。
【００４９】
（５）道路境界下部領域７ｂにおいては、速度画像５ａを下から走査して、所定以上の速度を有する画素が存在する位置を物体下端位置９ｂとして検出し、そこから上方に同一速度を有する画素が存在する範囲の上限を特定することによって物体上端位置９ｃを検出して、物体存在範囲９ｄとして特定するようにした。これによって、主に路面が映っている道路境界下部領域７ｂ内においては、物体の下端は路面と接して存在し、物体の移動速度は一般的に所定値以上となることを加味して、精度高く物体と背景とを分離することができる。
【００５０】
―第２の実施の形態―
第２の実施の形態では、道路境界上部領域７ａ内に存在する物体を検出する際に、隣接する物体検出領域７ｃ同士の速度成分を比較することによって、物体と背景を分離する。なお、図１に示した車載物体検出装置のブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、および図４に示したエッジの正規化方法の具体例を示す図については、第１の実施の形態と同様のため、説明を省略する。
【００５１】
第２の実施の形態では、図１１に示す撮像画像１１ａに対して後述する処理を実行して、物体を背景とを分離することによって撮像画像１１ａ内から物体を検出する方法について説明する。撮像画像１１ａ内には、左右の走路脇に存在する道路境界、すなわち白線ＡおよびＢ、自車両前方に存在し右方向に移動している歩行者（人物）Ｃ、および静止している背景の木Ｄが含まれている。
【００５２】
この撮像画像１１ａに基づいて、上述した第１の実施の形態と同様に、図１２に示すように速度画像１２ａを生成する。この速度画像１２ａにおいても、度成分の階級値として、横方向の速度が検出された画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示している。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。すなわち、速度画像１２ａでは、道路左側の白線Ａおよび右に移動している歩行者Ｃからは画像の右側へ向かう速度が検出されており、道路右側の白線Ｂおよび木Ｄからは画像の左側へ向かう速度が検出されている。
【００５３】
次に、第１の実施の形態と同様に、速度画像１２ａ内から道路境界、すなわち白線ＡおよびＢを検出し、検出した白線ＡおよびＢよりも上の領域を道路境界上部領域７ａとし、白線ＡおよびＢよりも下の領域を道路境界下部領域７ｂとして、速度画像１２ａを上下に分割する。そして、道路境界下部領域７ｂ内に存在する物体、および道路境界上部領域７ａと道路境界下部領域７ｂとに跨って存在する物体については、上述した第１の実施の形態と同様の処理によって、物体を背景とを分離して物体を検出する。
【００５４】
これに対して、道路境界上部領域７ａ内に存在する物体については、次のように検出する。すなわち、図１３に示すように、第１の実施の形態と同様に、道路境界上部領域７ａ内に物体検出領域７ｃを設定して、各物体検出領域７ｃ内における速度分散を算出する。そして、算出した速度分散が所定値以上であれば、その物体検出領域７ｃには物体の候補が存在すると判定する。
【００５５】
一方、算出した速度分散が所定値未満の場合には、第１の実施の形態では、その物体検出領域７ｃには背景が存在しているものと判定するようにした。しかし、例えば横方向に移動している物体が存在している場合には、縦方向の速度分散が所定値未満の場合となる可能性があり、このような横方向への移動物体が検出できない可能性がある。このために、第２の実施の形態では、次のように処理を行って、速度分散が所定値未満の物体検出領域７ｃから横方向の移動物体を検出する。
【００５６】
すなわち、各物体検出領域７ｃ内における平均速度を算出して、任意の物体検出領域７ｃと、それに隣接する物体検出領域７ｃとの平均速度の差が所定値以上であれば、当該任意の物体検出領域７ｃ内には横方向に移動する物体（横移動物体）候補が存在すると判定し、隣接する物体検出領域７ｃには背景が存在する可能性が高いと判定する。
【００５７】
そして、図１４に示すように、横移動物体候補が存在すると判定した物体検出領域７ｃの左右両側を走査して、少なくとも左右のいずれか一方に当該物体検出領域７ｃと同一の速度成分を有する物体検出領域７ｃが存在する場合には、これらの同一の速度成分を有する物体検出領域７ｃ内には同一の横移動物体候補が存在するものと判定して、これらの物体検出候補領域７ｃを結合する。さらに、結合した物体検出候補領域内における速度成分の分布に基づいて、物体検出候補領域内から上述した背景が存在している可能性が高い物体検出領域７ｃと同じ速度成分を有している範囲を除外する。
【００５８】
これによって、図１５に示すように、横移動候補の上端位置と下端位置を特定して、横移動物体候補が存在している範囲と背景が存在する範囲とを分離し、横移動物体候補領域１５ａを特定することができる。そして、このように特定した横移動物体候補領域１５ａが、複数フレームにおいて連続して検出された場合には、横移動物体候補領域１５ａ内には横移動物体が存在するものと判定する。これによって、横移動物体と背景との画像上での移動速度は異なることを加味して、精度高く横移動物体と背景とを分離して、道路境界上部領域７ａ内から横移動物体を検出することができる。
【００５９】
図１６は、第２の実施の形態における車載物体検出装置１００の処理を示すフローチャートである。図１６に示す処理は、車両のイグニションスイッチがオンされることによって、車載物体検出装置１００の電源がオンされると起動するプログラムとして制御装置１０３により実行される。なお、第１の実施の形態における図１０と共通する処理については同じステップ番号を付与し、相違点を中心に説明する。
【００６０】
ステップＳ７において、速度分散が所定値未満であると判断した場合には、ステップＳ１８へ進む。ステップＳ１８では、上述したように、横移動物体の候補が存在する物体検出領域７ｃを抽出する。その後、ステップＳ１９へ進み、道路境界上部領域７ａ全体に対して、物体の抽出を行ったか否かを判定する。道路境界上部領域７ａ全体に対して抽出が終わっていないと判断した場合には、ステップＳ７へ戻って処理を繰り返す。これに対して、抽出が完了したと判断した場合には、ステップＳ２０へ進む。
【００６１】
ステップＳ２０では、上述したように、抽出した横移動物体の候補が存在する物体検出領域７ｃの左右両側を走査する。そして、少なくとも左右のいずれか一方に当該物体検出領域７ｃと同一の速度成分を有する物体検出領域７ｃが存在する場合には、これらの同一の速度成分を有する物体検出領域７ｃ内には同一の横移動物体候補が存在するものと判定して、これらの物体検出候補領域７ｃをグルーピングする。その後、ステップＳ１３へ進む。
【００６２】
以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、次のような効果を得ることができる。
（１）物体検出領域７ｃ内の速度分散が所定値未満の場合には、物体検出領域７ｃ内における平均速度を算出して、任意の物体検出領域７ｃと、それに隣接する物体検出領域７ｃとの平均速度の差が所定値以上であれば、当該任意の物体検出領域７ｃ内には横移動物体候補が存在すると判定するようにした。すなわち、隣接する物体検出領域７ｃの速度差に基づいて物体を検出するようにした。これによって、横方向に移動している物体が存在している場合には、縦方向の分散が所定値未満の場合となる可能性があり、このような横方向への移動物体が検出できない場合であっても、横移動物体と背景との画像上での移動速度は異なることを加味して、精度高く横移動物体を検出することができる。
【００６３】
（２）横移動物体候補領域１５ａを特定するに当たって、横移動物体候補が存在すると判定した物体検出領域７ｃの左右両側を走査して、少なくとも左右のいずれか一方に当該物体検出領域７ｃと同一の速度成分を有する物体検出領域７ｃが存在する場合には、これらの物体検出候補領域７ｃを結合するようにした。これによって、横移動物体候補が存在する物体検出領域７ｃと同一速度成分を有する物体検出領域７ｃ内には同一の横移動物体候補が存在するものと判定できることを加味して、正確に個々の移動物体を検出することができる。
【００６４】
―変形例―
なお、上述した実施の形態の車載物体検出装置は、以下のように変形することもできる。
（１）上述した第１および第２の実施の形態では、図５および図１２に示す階級値を使用して速度画像５ａおよび１２ａを算出する例について説明した。しかし、これに限定されず、その他の階級値によって表される速度画像を算出してもよい。
【００６５】
（２）上述した第１および第２の実施の形態では、カメラ１０１で車両前方を撮像して、車両前方に存在する物体を検出する例について説明したが、これに限定されず、カメラ１０１で車両後方を撮像して、車両後方に存在する物体を検出する場合にも適用可能である。
【００６６】
（３）上述した第２の実施の形態では、隣接する物体検出領域７ｃの速度差に基づいて、道路境界上部領域７ａ内で横移動物体候補領域１５ａを特定して横移動物体を検出する例について説明した。しかしこれに限定されず、さらに第１の実施の形態と同様に、横移動物体候補領域１５ａと道路境界との距離変化に基づいて、道路境界上部領域７ａ内に存在する横移動物体の移動方向を判定するようにしてもよい。
【００６７】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００６８】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、制御装置１０３はエッジ抽出手段、エッジ速度算出手段、道路境界検出手段、物体検出手段、および移動方向判定手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。
【図面の簡単な説明】
【００６９】
【図１】第１の実施の形態における車載物体検出装置の一実施の形態の構成例を示すブロック図である。
【図２】車両へのカメラの設置例を示す図である。
【図３】第１の実施の形態における撮像画像の具体例を示す図である。
【図４】エッジの正規化方法を示す図である。
【図５】第１の実施の形態における速度画像の具体例を示す図である。
【図６】速度画像内から道路境界を検出する場合の具体例を示す図である。
【図７】第１の実施の形態において速度画像を道路境界上部領域と道路境界下部領域に分割した場合の具体例を示す図である。
【図８】第１の実施の形態における道路境界上部領域での物体検出例を示す図である。
【図９】第１の実施の形態における道路境界下部領域での物体検出例を示す図である。
【図１０】第１の実施の形態における車載物体検出装置１００の処理を示すフローチャート図である。
【図１１】第２の実施の形態における撮像画像の具体例を示す図である。
【図１２】第２の実施の形態における速度画像の具体例を示す図である。
【図１３】第２の実施の形態において速度画像を道路境界上部領域と道路境界下部領域に分割した場合の具体例を示す図である。
【図１４】第２の実施の形態における道路境界上部領域での物体検出例を示す第１の図である。
【図１５】第２の実施の形態における道路境界上部領域での物体検出例を示す第２の図である。
【図１６】第２の実施の形態における車載物体検出装置１００の処理を示すフローチャート図である。
【符号の説明】
【００７０】
１００  車載物体検出装置
１０１  カメラ
１０２  画像メモリ
１０３  制御装置
１０４  カウンタメモリ
【図１】
2006268097.tif 000004
【図２】
2006268097.tif 000005
【図３】
2006268097.tif 000006
【図４】
2006268097.tif 000007
【図５】
2006268097.tif 000008
【図６】
2006268097.tif 000009
【図７】
2006268097.tif 000010
【図８】
2006268097.tif 000011
【図９】
2006268097.tif 000012
【図１０】
2006268097.tif 000013
【図１１】
2006268097.tif 000014
【図１２】
2006268097.tif 000015
【図１３】
2006268097.tif 000016
【図１４】
2006268097.tif 000017
【図１５】
2006268097.tif 000018
【図１６】
2006268097.tif 000019