(57)【要約】  レーダーにより検出された物体と車両との距離に基づいて、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段２１と、画像処理対象領域に対して所定方向の微分フィルタ処理を施して輪郭部を強調する方向性抽出処理を実行する方向性抽出手段２２と、歩行者の頭部の特徴量を有する特徴領域を抽出し、該特徴領域の位置に基づいて画像処理対象領域の範囲を補正する画像処理対象領域補正手段と、補正後の画像処理対象領域に含まれる画像部分の輪郭線を抽出する輪郭線抽出手段２４と、該輪郭線に基づいて該画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段２５とを備える。これにより、撮像画像に含まれる監視対象物の画像部分の輪郭線抽出処理の処理量を減少させて、輪郭線の抽出に要する時間を短縮することができる。
2008139530.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて車両周辺を撮像する撮像手段を有し、該撮像手段による撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、
該物体検知手段による検知結果に基づいて、前記撮像画像内で監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、
前記画像処理対象領域に含まれる画像部分の輪郭線を抽出する輪郭線抽出手段と、
該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記対象物種別判別手段は、前記輪郭線抽出手段により抽出された輪郭線の周波数成分を、所定種別の監視対象物に応じて設定された周波数成分の比較用パターンと比較することによって、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別が、該所定種別であるか否かを判別することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２記載の車両周辺監視装置において、
前記画像処理対象領域に対して、各画素に所定方向の微分フィルタ処理を施し、該微分フィルタ処理により方向性が認識された画素に所定の第１輝度を割り当てると共に、方向性が認識されなかった画素に該第１の輝度と所定レベル以上の差を有する第２輝度を割り当てる方向性抽出処理を実行する方向性抽出手段を備え、
前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出することを特徴とする車両周辺監視装置。
【請求項４】
請求項３記載の車両周辺監視装置において、
前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円を、輝度が前記第１輝度と前記第２輝度の間に設定された閾値である画素の位置に至るまで内側に縮小することによって、該画像部分の輪郭線を抽出することを特徴とする車両周辺監視装置。
【請求項５】
請求項１から請求項３のうちいずれか１項記載の車両周辺監視装置において、
前記輪郭線抽出手段は、前記第１画像処理領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって該画像部分の輪郭線を抽出し、
該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネークスエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギー変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行することを特徴とする。
【請求項６】
請求項３記載の車両周辺監視装置において、
前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円を、輝度が前記第１輝度と前記第２輝度の間に設定された閾値である画素の位置に至るまで内側に縮小することによって、該画像部分の輪郭線を抽出し、
該抽出した輪郭線に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって、該輪郭線をさらに収束させ、
該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネークスエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギー変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行することを特徴とする。
【請求項７】
請求項５又は請求項６記載の車両周辺監視装置において、
前記輪郭線抽出手段は、前記算出式として、以下の式（１），式（２）を用いることを特徴とする車両周辺監視装置。
【数１】
2008139530.tif 000094
【数２】
2008139530.tif 000095
但し、（ｘt，ｙt）：ｔ時点における輪郭点の座標、（ｘt-1，ｙt-1）：ｔ−１時点における輪郭線のモデル式、Ｉ：単位行列、Ａ：内部エネルギーの変換行列、γ：イタレーションステップ（輪郭線を内側に収束させる際の１ステップあたりの移動量）、ｆx：ｘ成分の外部エネルギーの算出式、ｆy：ｙ成分の外部エネルギーの算出式。
【請求項８】
請求項７記載の車両周辺監視装置において、
前記式（１），式（２）におけるイタレーションステップγは、輪郭線の離散モデルを以下の式（３）により定義したときのスネークスの式である以下の式（４）に対して、以下の（５）の条件を満たして設定されていることを特徴とする車両周辺監視装置。
【数３】
2008139530.tif 000096
但し、Ｋi：輪郭線の離散モデル。
【数４】
2008139530.tif 000097
但し、Ｅ：スネークスの式、Ｅint(Ki)：内部エネルギー、Ｅext(Ki)：外部エネルギー、α，β：演算計数。
【数５】
2008139530.tif 000098
【請求項９】
請求項１から請求項８のうちいずれか１項記載の車両周辺監視装置であって、
前記車両に搭載されて、前記撮像手段による撮像範囲内に所在する物体と前記車両との距離を検出するレーダーを備え、
前記物体検知手段は、前記レーダーによる測距情報に基づいて、前記撮像範囲内に所在する物体を検知することを特徴とする車両周辺監視装置。
【請求項１０】
車両に搭載されて該車両周辺を撮像する撮像手段の撮像画像にアクセスする手段を有するコンピュータに、該撮像手段による撮像画像に基づいて、該車両周辺を監視する機能を実現させるためのプログラムであって、該コンピュータを、
前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、
該物体検知手段による検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、
前記画像処理対象領域に含まれる画像部分の輪郭線を抽出する輪郭線抽出手段と、
該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段として機能させることを特徴とする車両周辺監視用プログラム。
【請求項１１】
車両に搭載されて該車両周辺を撮像する撮像手段の撮像画像にアクセスする手段を有するコンピュータにより、該撮像手段による撮像画像に基づいて、該車両周辺を監視する方法であって、
前記コンピュータが、前記撮像手段による撮像範囲内に所在する物体を検知する物体検知ステップと、
前記コンピュータが、前記物体検知ステップによる検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定ステップと、
前記コンピュータが、前記画像処理対象領域内の画像部分の輪郭線を抽出する輪郭線抽出ステップと、
前記コンピュータが、前記輪郭線抽出ステップにより抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別ステップとを含むことを特徴とする車両周辺監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され撮像手段による撮像画像から、車両周辺に所在する監視対象物を検出して車両周辺を監視する車両周辺監視装置、車両周辺監視用プログラム、及び車両周辺監視方法に関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周囲に所在する監視対象物を検出する車両周辺監視装置が知られている（例えば、特許第３５１５９２６号公報参照）。また、映像中の画像部分の輪郭線を抽出する手法として、例えばスネークスアルゴリズム（例えば、M.Kass, A.Witkin, D.Terzopoulos “Snakes: Active Contour Modeles” International Journal of Computer Vision, Vol.2 No.3, 1988.参照）が知られている。【０００３】
そこで、車両に搭載されたカメラの撮像画像に含まれる画像部分の輪郭線を抽出し、該輪郭線の特徴に基づいて該画像部分に対応する実空間上の監視対象物の種別を判別することにより、監視対象物の種別を判別する精度を向上させることが考えられる。【０００４】
しかし、輪郭線を抽出する際の収束演算の演算量は膨大となるため、処理能力が高いコンピュータを用いて行う必要がある。そのため、車両に搭載された一般的な性能のコンピュータによって輪郭線の抽出処理を行った場合は処理に時間がかかり、リアルタイム性が要求される車両周辺監視装置において、輪郭線抽出による種別判別を採用することは困難であった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記背景を鑑みてなされものであり、撮像画像に含まれる監視対象物の画像部分の輪郭線抽出処理の処理量を減少させて、輪郭線の抽出に要する時間を短縮することができる車両周辺監視装置、車両周辺監視用プログラム、及び車両周辺監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、車両に搭載されて車両周辺を撮像する撮像手段を有し、該撮像手段による撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置に関する。【０００７】
そして、前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、
該物体検知手段による検知結果に基づいて、前記撮像画像内で監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、前記画像処理対象領域に含まれる画像部分の輪郭線を抽出する輪郭線抽出手段と、該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする。【０００８】
かかる本発明によれば、前記画像処理対象領域設定手段により、前記物体検知手段による検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある前記画像処理対象領域を設定する。そして、前記輪郭線抽出手段は、前記画像処理対象領域に含まれる画像部分の輪郭線を抽出する。このように、輪郭線を抽出する画像部分を、前記画像処理対象領域に含まれるものに限定することにより、該限定をせずに前記撮像画像全体について輪郭線を抽出する場合に比べて、輪郭線抽出の処理量を減少させて輪郭線抽出に要する時間を短縮することができる。【０００９】
また、前記対象物種別判別手段は、前記輪郭線抽出手段により抽出された輪郭線の周波数成分を、所定種別の監視対象物に応じて設定された周波数成分の比較用パターンと比較することによって、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別が、該所定種別であるか否かを判別することを特徴とする。【００１０】
かかる本発明によれば、輪郭線の周波数成分を所定種別の監視対象物の特徴の指標値として、輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別が該所定種別であるか否かを判別することができる。【００１１】
また、前記画像処理対象領域に対して、各画素に所定方向の微分フィルタ処理を施し、該微分フィルタ処理により方向性が認識された画素に所定の第１輝度を割り当てると共に、方向性が認識されなかった画素に該第１の輝度と所定レベル以上の差を有する第２輝度を割り当てる方向性抽出処理を実行する方向性抽出手段を備え、前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出することを特徴とする。【００１２】
かかる本発明によれば、前記画像処理対象領域に対して前記方向性抽出処理を実行することにより、方向性を有する画素と方向性を有しない画素とを輝度の違いにより区別して、前記画像処理対象領域内の画像部分の輪郭が強調された画像を得ることができる。そして、前記輪郭線抽出手段により、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出することによって、輪郭線抽出の精度を高めることができる。【００１３】
また、前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円を、輝度が前記第１輝度と前記第２輝度の間に設定された閾値である画素の位置に至るまで内側に縮小することによって、該画像部分の輪郭線を抽出することを特徴とする。【００１４】
かかる本発明によれば、前記初期輪郭楕円を、前記方向性抽出処理により輪郭部が強調された画像部分の輪郭部近傍まで縮小させて、該画像部分の輪郭線を抽出することができる。【００１５】
また、前記輪郭線抽出手段は、前記第１画像処理領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって該画像部分の輪郭線を抽出し、該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネースエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギーの変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行することを特徴とする。【００１６】
かかる本発明によれば、前記輪郭線抽出手段は、離散系のスネークスモデルの輪郭線収束時のスネースエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギーの変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行する。そして、これにより、詳細は後述するが、スネークスアルゴリズムによる輪郭線収束処理の演算量を減少させて、輪郭線抽出に要する時間を短縮することができる。【００１７】
また、前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円を、輝度が前記第１輝度と前記第２輝度の間に設定された閾値である画素の位置に至るまで内側に縮小することによって、該画像部分の輪郭線を抽出し、該抽出した輪郭線に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって、該輪郭線をさらに収束させ、該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネークスエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギー変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行することを特徴とする。【００１８】
かかる本発明によれば、前記輪郭線抽出手段により、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定して輪郭線を抽出し、該輪郭線に対して、更に前記スネークスアルゴリズムによる輪郭線収束処理を実行することによって、輪郭線収束処理に要する時間を短縮させて輪郭線抽出の精度をさらに向上させることができる。【００１９】
また、前記輪郭線抽出手段は、前記算出式として、以下の式（６），式（７）を用いることを特徴とする。【００２０】
【数６】
2008139530.tif 000003
【００２１】
【数７】
2008139530.tif 000004
【００２２】
但し、（ｘt，ｙt）：ｔ時点における輪郭点の座標、（ｘt-1，ｙt-1）：ｔ−１時点における輪郭線のモデル式、Ｉ：単位行列、Ａ：内部エネルギーの変換行列、γ：イタレーションステップ（輪郭線を内側に収束させる際の１ステップあたりの移動量）、ｆx：ｘ成分の外部エネルギーの算出式、ｆy：ｙ成分の外部エネルギーの算出式。【００２３】
かかる本発明によれば、前記輪郭線抽出手段は、上記式（６），式（７）を用いることにより、スネークスアルゴリズムによる輪郭線収束処理の演算量を減少させて、輪郭線抽出に要する時間を短縮することができる。【００２４】
また、前記式（６），式（７）におけるイタレーションステップγは、輪郭線の離散モデルを以下の式（８）により定義したときのスネークスの式である以下の式（９）に対して、以下の（１０）の条件を満たして設定されていることを特徴とする。【００２５】
【数８】
2008139530.tif 000005
【００２６】
但し、Ｋi：輪郭線の離散モデル。【００２７】
【数９】
2008139530.tif 000006
【００２８】
但し、Ｅ：スネークスの式、Ｅint(Ki)：内部エネルギー、Ｅext(Ki)：外部エネルギー、α，β：演算計数。【００２９】
【数１０】
2008139530.tif 000007
【００３０】
かかる本発明によれば、詳細は後述するが、上記式（１０）の条件を満たすイタレーションステップγを設定することによって、前記輪郭線抽出手段は、上記式（６），式（７）による輪郭線収束処理を、安定して実行することができる。【００３１】
また、前記車両に搭載されて、前記撮像手段による撮像範囲内に所在する物体と前記車両との距離を検出するレーダーを備え、前記物体検知手段は、前記レーダーによる測距情報に基づいて、前記撮像範囲内に所在する物体を検知することを特徴とする。【００３２】
かかる本発明によれば、前記物体検知手段は、前記レーダーによる測距情報により、前記車両から所定距離範囲内にある物体を検知することができる。そして、前記画像処理対象領域設定手段により、該物体の画像部分を含む領域を前記画像処理対象領域として設定することができる。【００３３】
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両周辺を撮像する撮像手段の撮像画像にアクセスする手段を有するコンピュータに、該撮像手段による撮像画像に基づいて、該車両周辺を監視する機能を実現させるためのプログラムに関する。【００３４】
そして、前記コンピュータを、前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、該物体検知手段による検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、前記画像処理対象領域に含まれる画像部分の輪郭線を抽出する輪郭線抽出手段と、該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段として機能させることを特徴とする。【００３５】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置における前記物体検知手段と、前記画像処理対象領域設定手段と、前記輪郭線抽出手段と、前記対象物種別判別手段とを構成することができる。【００３６】
次に、本発明の車両周辺監視方法は、車両に搭載されて該車両周辺を撮像する撮像手段の撮像画像にアクセスする手段を有するコンピュータにより、該撮像手段による撮像画像に基づいて、該車両周辺を監視する方法に関する。【００３７】
そして、前記コンピュータが、前記撮像手段による撮像範囲内に所在する物体を検知する物体検知ステップと、前記コンピュータが、前記物体検知ステップによる検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定ステップと、前記コンピュータが、前記画像処理対象領域内の画像部分の輪郭線を抽出する輪郭線抽出ステップと、前記コンピュータが、前記輪郭線抽出ステップにより抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別ステップとを含むことを特徴とする。【００３８】
かかる本発明によれば、前記画像処理対象領域設定ステップにより、前記コンピュータが、前記物体検知ステップによる検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある前記画像処理対象領域を設定する。そして、前記コンピュータは、前記輪郭線抽出ステップにより、前記画像処理対象領域に含まれる画像部分の輪郭線を抽出する。このように、輪郭線を抽出する画像部分を、前記画像処理対象領域に含まれるものに限定することにより、該限定をせずに前記撮像画像全体について輪郭線を抽出する場合に比べて、輪郭線抽出の処理量を減少させて輪郭線抽出に要する時間を短縮することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置の車両への取り付け態様の説明図。
【図３】歩行者判別処理の処理手順を示したフローチャート。
【図４】レーダーによる監視対象物の測距データに基づいて、画像処理対象領域を設定する処理の説明図。
【図５】画像部分のテクスチャの態様の説明図。
【図６】オリエンテーション画像の説明図。
【図７】輪郭線抽出処理の説明図。
【図８】輪郭線抽出処理の説明図。
【図９】スネークスアルゴリズムによる内部エネルギーと外部エネルギーの説明図。
【図１０】輪郭線データに対するフーリエ変換の説明図。
【図１１】輪郭線のフーリエパターンに基づく歩行者判別の説明図。
【発明を実施するための最良の形態】
【００４０】
本発明の実施の形態の一例について、図１〜図１１を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明の撮像手段に相当する）と、レーザー光線を物体に照射して物体と車両間の距離を検出するレーザーレーダー８（本発明のレーダーに相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４とを備えている。【００４１】
画像処理ユニット１は、赤外線カメラ２により得られる画像から車両前方の監視対象物の種別（歩行者、動物等）を判別し、監視対象物と車両が接触する可能性が高い場合に警報を出力する。そして、車両周囲監視装置は、音声により警報を行うためのスピーカ６と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。【００４２】
次に、図２を参照して、車両周囲監視装置の車両への取付け態様を説明する。レーザーレーダー８は２次元スキャン方式のレーザーレーダーであり、車両１０の前部に配置されている。そして、レーザーレーダーは、予め設定された前方（車両１０の進行方向）の第１監視範囲内を水平方向及び垂直方向に走査する。【００４３】
また、赤外線カメラ２は、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。そして、赤外線カメラ２は、車両１０の前部に配置されて予め設定された前方の第２監視範囲（上記第１監視範囲内に設定される）を撮像する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。【００４４】
画像処理ユニット１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリに取り込む画像入力回路と、該画像メモリに取り込まれた画像データにアクセス（読出し及び書込み）するためのインターフェース回路（本発明の撮像手段の撮像画像にアクセスする手段に相当する）と、レーザーレーダー８による距離の検出信号を入力するためのインターフェース回路を有している。【００４５】
画像処理ユニット１は、該画像メモリに取り込まれた車両前方の画像データに対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等を備えた電子ユニットである。【００４６】
また、前記コンピュータに、本発明の車両監視用プログラムを実行させることによって、前記コンピュータが、レーザーレーダー８による距離検出信号に基づいて第１監視範囲内に所在する物体を検知する物体検知手段２０、物体検知手段２０の検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段２１、画像処理対象領域に対して各画素の方向性を抽出する方向性抽出処理を実行する方向性抽出手段２２、及び該方向性抽出処理が実行された後の画像処理対象領域の範囲を補正する画像処理対象領域補正手段２３、画像処理対象領域に含まれる画像部分の輪郭線を抽出する輪郭線抽出手段２４、及び、輪郭線抽出手段２４により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段２５として機能する。なお、本実施の形態では、対象物種別判別手段２５は、監視対象物の種別が歩行者であるか否かを判別する。【００４７】
そして、これらの手段により、本発明の車両周囲監視方法における物体検知ステップ、画像処理対象領域設定ステップ、輪郭線抽出ステップ、及び対象物種別判別ステップが実行される。【００４８】
次に、本実施の形態における画像処理ユニット１による監視対象物の種別の判別方法について、図３に示したフローチャートに従って説明する。【００４９】
画像処理ユニット１は、先ず、ＳＴＥＰ１とＳＴＥＰ２０とＳＴＥＰ３０の処理を並列して実行する。ＳＴＥＰ１で、画像処理ユニット１は、車速センサ４とヨーレートセンサ３の出力を読み込んで車両１０の回頭角を算出する。また、ＳＴＥＰ２０は物体検知手段２０による処理であり、物体検知手段２０はレーザーレーダー８による第１監視領域の測距データを入力して、第１監視範囲内に所在する物体を検知する。【００５０】
また、ＳＴＥＰ３０で、画像処理ユニット１は赤外線カメラ２による赤外線画像を入力する。なお、ＳＴＥＰ２０で、第１監視範囲内に所在する物体を検知する工程が、本発明の物体検知ステップに相当する。【００５１】
続くＳＴＥＰ２で、画像処理ユニット１は、レーザーレーダー８による測距データに基づいて、回頭角補正を行いつつ第１監視領域内に所在する監視対象物のトラッキングを行う。次のＳＴＥＰ３，ＳＴＥＰ４は、画像処理対象領域設定手段２０による処理である。画像処理対象設定手段２０は、ＳＴＥＰ３で監視対象物と路面との交点を推定し、ＳＴＥＰ４で該交点を基準として画像処理対象領域を設定する。なお、ＳＴＥＰ４により画像処理対象領域を設定する工程が、本発明の画像処理対象領域設定ステップに相当する。【００５２】
図４は、レーザーレーダー８による測距データと歩行者の体格データに基づいて、カメラ２により撮像された赤外線画像上に画像処理対象領域を設定する処理の説明図である。図４の左側は、車両１０の進行方向をＶz、鉛直方向をＶy、車幅方向をＶxとして、実空間における時点ｔkでの車両１０の前方の監視対象物（本実施形態では歩行者）５２ａ，５４ａの測距状況を示したものである。また、図４の右側は、時点ｔkにおける赤外線カメラ２の撮像画像Ｉm1を示したものである。【００５３】
図４では、歩行者５２ａと車両１０との距離Ｖz1(tk)と、歩行者５４ａと車両１０との距離Ｖz2(tk)が測定されている。そして、画像処理対象領域設定手段２０は、監視対象物５２ａについて、監視対象物５２ａと路面との交点を基準として、歩行者の体格データ（一般的な歩行者よりも大きめに設定されて、図示しないメモリに予め保持されている）に応じて設定した範囲５１ａ（Ｖb1(tk)×Ｖh1(tk)）を、監視対象物５２ａと車両１０との距離Ｖz1(tk)に基づいて縮小した画像処理対象領域５１ｂを撮像画像Ｉm1上に設定する。【００５４】
同様に、画像処理対象領域設定手段２０は、監視対象物５４ａについて、監視対象物５４ａと路面との交点を基準として、歩行者の体格データに応じて設定した範囲５３ａ（Ｖb2(tk)×Ｖh2(tk)）を、監視対象物５４ａと車両１０との距離Ｖz2(tk)に基づいて縮小した画像処理対象領域５３ｂを設定する。【００５５】
このように、路面との交点を基準として、歩行者の体格データに基づいて、監視対象物５２ａについての画像処理対象領域５１ｂと監視対象物５４ａについての画像処理対象領域５１ｂ，５３ｂを設定することで、監視対象物５２ａの画像部分５２ｂの全体が含まれるように画像処理対象領域５１ｂが設定され、監視対象物５４ａの画像部分５４ｂの全体が含まれるように画像処理対象領域５３ｂが設定される。【００５６】
続くＳＴＥＰ５は、方向性抽出手段２２による処理である。方向性抽出手段２２は、画像処理対象領域の各画素に対して、以下の式（１１）による微分フィルター処理を施すことによって、行列Ｊpq(X)を算出する。【００５７】
【数１１】
2008139530.tif 000008
【００５８】
【数１２】
2008139530.tif 000009
【００５９】
【数１３】
2008139530.tif 000010
【００６０】
【数１４】
2008139530.tif 000011
【００６１】
【数１５】
2008139530.tif 000012
【００６２】
次に、ＪPq(X)の固有値λは、以下の式（１６）の関係から、以下の式（１７）〜式（２３）により算出することができる。【００６３】
【数１６】
2008139530.tif 000013
【００６４】
但し、ν→：固有ベクトル、λ：固有値。【００６５】
【数１７】
2008139530.tif 000014
【００６６】
【数１８】
2008139530.tif 000015
【００６７】
【数１９】
2008139530.tif 000016
【００６８】
【数２０】
2008139530.tif 000017
【００６９】
【数２１】
2008139530.tif 000018
【００７０】
【数２２】
2008139530.tif 000019
【００７１】
【数２３】
2008139530.tif 000020
【００７２】
また、上記式（２２），式（２３）により、以下の式（２４）の関係が得られる。【００７３】
【数２４】
2008139530.tif 000021
【００７４】
ここで、画像のテクスチャー（輝度変化による模様）によって、固有値Ｊ11'，Ｊ22'は変化する。即ち、図５に示したように、撮像画像Ｉm2が等方性（不規則な変化パターン）を有する部分６０ａと、方向性（ある方向にパターンが繰り返されている）を有する部分６０ｂと、均質性（模様がない）を有する部分６０ｃを含む場合、固有値Ｊ11'，Ｊ22'は、以下のように変化する。【００７５】
(1) 等方性を有する部分。【００７６】
【数２５】
2008139530.tif 000022
【００７７】
【数２６】
2008139530.tif 000023
【００７８】
(2) 方向性を有する部分。【００７９】
【数２７】
2008139530.tif 000024
【００８０】
【数２８】
2008139530.tif 000025
【００８１】
(3) 均質性を有する部分。【００８２】
【数２９】
2008139530.tif 000026
【００８３】
【数３０】
2008139530.tif 000027
【００８４】
そこで、方向性抽出手段２２は、図６に示したように、画像処理対象領域設定手段２１により設定された画像処理対象領域Ｉm3に対して、上記式（１１）による微分フィルター処理を施し、上記(1)〜(3)の条件の成否を判断する。そして、方向性抽出手段２２は、均質性を有する部分の画素の輝度を０（本発明の第２輝度に相当する）とし、方向性を有する部分の画素の輝度を所定輝度（本発明の第２輝度に相当する）とし、等方性を有する部分の画素を方向性を有する部分の画素の輝度よりも低くしたオリエンテーション画像Ｉm4を生成する方向性抽出処理を実行する。方向性抽出処理により、画像処理対象領域Ｉm3に含まれる画像部分の輪郭部が強調されたオリエンテーション画像Ｉm4を得ることができる。なお、該所定輝度のレベルが、本発明の所定レベルに相当する。【００８５】
次のＳＴＥＰ６は、画像処理対象領域補正手段２３による処理である。画像処理対象領域補正手段２３は、監視対象物である歩行者の頭部に応じた特徴量を有する特徴領域を、画像処理対象領域内で検索する。そして、該特徴領域が検知されたときに、画像処理対象領域補正手段２３は、画像部分が画像処理対象領域の中央部に位置するように、画像処理対象領域の位置を補正する。【００８６】
続くＳＴＥＰ７〜ＳＴＥＰ８は、輪郭線抽出手段２４による処理である。図７を参照して、輪郭線抽出手段２４は、Ｉm5に示したように、画像処理対象領域に上述した方向性抽出処理を施して生成されたオリエンテーション画像７０に対して、初期輪郭楕円７２を設定する。そして、ＳＴＥＰ８で、輪郭線抽出手段２４は、Ｉm6の７３に示したように、初期輪郭楕円７２を中心に向けて収束させる処理を実行する。【００８７】
具体的には、図８に示したように、初期輪郭楕円７２の各点について、輝度が閾値Ｙthとなる位置Ｐeまで移動させることによって、初期輪郭楕円７２を収束させる。そして、これにより、図７のＩm7に示したように、監視対象物の画像部分の輪郭線７４を得ることができる。【００８８】
続いて、輪郭線抽出手段２４は、スネークスアルゴリズムによる収束演算処理を行って、輪郭線７４を更に収束させる。ここで、一般的なスネークスアルゴリズムは、以下の式（３１）により、輪郭線の内部エネルギー（輪郭長／形状）と外部エネルギー（輝度／輝度勾配）の和を最小化することで対象物の輪郭線を求めるものである。【００８９】
【数３１】
2008139530.tif 000028
【００９０】
但し、Ｅintern：輪郭線の内部エネルギー、Ｅextern：輪郭線の外部エネルギー。【００９１】
ここで、輪郭線の内部エネルギーは、図９（ａ）に示したように、輪郭線８１を内側（輪郭線を抽出する対象物８０に向かう方向）に狭める力であり、以下の式（３２）により表される。【００９２】
【数３２】
2008139530.tif 000029
【００９３】
また、輪郭線の外部エネルギーは、図９（ｂ）に示したように、輪郭線８２を外側（輪郭線を抽出する対象物８０から離反する方向）に広げる力であり、以下の式（３３）により表される。【００９４】
【数３３】
2008139530.tif 000030
【００９５】
但し、Ｉ(νi）：輝度、∇Ｉ(νi）：輝度勾配。【００９６】
ここで、輪郭線の連続モデルを以下の式（３４）により定義すると、上記式（３１）のスネークスの式は、以下の式（３５）により表される。【００９７】
【数３４】
2008139530.tif 000031
【００９８】
【数３５】
2008139530.tif 000032
【００９９】
ここで、以下の式（３６），式（３７）によりスネークスの式を表すと、以下の式（３８）で表される。【０１００】
【数３６】
2008139530.tif 000033
【０１０１】
【数３７】
2008139530.tif 000034
【０１０２】
【数３８】
2008139530.tif 000035
【０１０３】
以下の式（３９）のEuler-Lagrange定理を用いると、以下の式（４０），式（４１）が得られる。【０１０４】
【数３９】
2008139530.tif 000036
【０１０５】
【数４０】
2008139530.tif 000037
【０１０６】
【数４１】
2008139530.tif 000038
【０１０７】
次に、輪郭線の離散モデルを以下の式（４２）により定義し、Ｅ＝０として有限差分法を用いると、以下の式（４３）により表される。【０１０８】
【数４２】
2008139530.tif 000039
【０１０９】
【数４３】
2008139530.tif 000040
【０１１０】
【数４４】
2008139530.tif 000041
【０１１１】
【数４５】
2008139530.tif 000042
【０１１２】
【数４６】
2008139530.tif 000043
【０１１３】
【数４７】
2008139530.tif 000044
【０１１４】
【数４８】
2008139530.tif 000045
【０１１５】
【数４９】
2008139530.tif 000046
【０１１６】
【数５０】
2008139530.tif 000047
【０１１７】
【数５１】
2008139530.tif 000048
【０１１８】
【数５２】
2008139530.tif 000049
【０１１９】
【数５３】
2008139530.tif 000050
【０１２０】
次に、初期輪郭楕円が対象物の輪郭線に収束した場合、イタレーションステップ（輪郭線を内側に動かす際のステップ量）をγとすると、スネークスエネルギー（＝内部エネルギー＋外部エネルギー）と、輪郭線の位置変化と、外部エネルギーの変化が０となる。そのため、以下の式（５４）〜式（５６）の関係が成り立つ。【０１２１】
【数５４】
2008139530.tif 000051
【０１２２】
【数５５】
2008139530.tif 000052
【０１２３】
【数５６】
2008139530.tif 000053
【０１２４】
上記式（５４）〜式（５６）により、以下の式（５７）の関係が得られる。【０１２５】
【数５７】
2008139530.tif 000054
【０１２６】
上記式を陽公式で表現すると、以下の式（５８）〜式（６０）の形となり、輪郭線の収束演算には、ｘとｙのトータルで２ｎ2回の掛算と２ｎ（ｎ−１）回の足算が必要になる。【０１２７】
【数５８】
2008139530.tif 000055
【０１２８】
【数５９】
2008139530.tif 000056
【０１２９】
【数６０】
2008139530.tif 000057
【０１３０】
そこで、輪郭線抽出手段は、以下に説明するアルゴリズム（以下、高速化スネークスという）により、輪郭線収束処理の演算量を減少させて、輪郭線抽出に要する時間を短縮している。【０１３１】
スネークスモデルの輪郭線収束時のスネークスエネルギーと、輪郭線位置変化と、外部エネルギー変化と、内部エネルギー変化をそれぞれ０とおくと、以下の式（６１）〜式（６４）の関係となる。【０１３２】
【数６１】
2008139530.tif 000058
【０１３３】
【数６２】
2008139530.tif 000059
【０１３４】
【数６３】
2008139530.tif 000060
【０１３５】
【数６４】
2008139530.tif 000061
【０１３６】
よって、以下の式（６５）が得られ、式（６５）を陽公式で表現すると以下の式（６６）〜式（６８）が得られる。【０１３７】
【数６５】
2008139530.tif 000062
【０１３８】
【数６６】
2008139530.tif 000063
【０１３９】
【数６７】
2008139530.tif 000064
【０１４０】
【数６８】
2008139530.tif 000065
【０１４１】
ここで、上記式（６７），式（６８）を、（Ｉ−γＡ）が外部エネルギーにも掛かる式に置き換えると、以下の式（６９），式（７０）のように表現される。【０１４２】
【数６９】
2008139530.tif 000066
【０１４３】
【数７０】
2008139530.tif 000067
【０１４４】
上記式（６９），式（７０）の計算式は以下の式（７１）〜式（７５）にように表され、ｘ，ｙのトータルで６ｎ回の掛算と８ｎ回の足算で輪郭線を収束させることができる。【０１４５】
【数７１】
2008139530.tif 000068
【０１４６】
【数７２】
2008139530.tif 000069
【０１４７】
【数７３】
2008139530.tif 000070
【０１４８】
【数７４】
2008139530.tif 000071
【０１４９】
【数７５】
2008139530.tif 000072
【０１５０】
【数７６】
2008139530.tif 000073
【０１５１】
【数７７】
2008139530.tif 000074
【０１５２】
【数７８】
2008139530.tif 000075
【０１５３】
そのため、高速スネークスを採用することによって、上述した一般的なスネークスアルゴリズムを用いた場合の演算量（２ｎ2回の掛算と２ｎ（ｎ−１）回の足算）を、（６ｎ回の掛算と８ｎ回の足算）に減少させることができる。そして、これにより、能力が低い車載コンピュータにおいても、輪郭線抽出処理を採用して監視対象物の種別を判別することが可能となる。【０１５４】
しかしながら、輪郭線が安定して収束するためには、Ｉ−γＡがスムージングフィルタであることが必要である。よって、以下の式（７９）に示したように、フィルターゲインＦ(s)が１を超えないことが必要となる。【０１５５】
【数７９】
2008139530.tif 000076
【０１５６】
但し、Ｆ^(Ｓ~)：周波数帯域におけるフィルタのゲインを表した式。【０１５７】
上記式（４３），式（４４）により、上述した行列Ａは微分型フィルターの２次と４次で表されるため、スムージング項（Ｉ−γＡ）は（Ｉ−κＤp）（Ｄ：デリバティブフィルタ，ｐは次数を表す）と記述することができ、（Ｉ−κＤp）がスムージングフィルタとなる条件は以下の式（８０）となる。【０１５８】
【数８０】
2008139530.tif 000077
【０１５９】
ここで、微分フィルター［1，-1］は周波数領域で表すと2isin(πS~/2)となり、Ｄpは以下の式（８１）のように表される。そのため、以下の式（８２）の条件を満たす必要がある。【０１６０】
【数８１】
2008139530.tif 000078
【０１６１】
【数８２】
2008139530.tif 000079
【０１６２】
上記式（８２）において、左辺が最大値を示すのはＳ~＝１のときであり、このとき上記式（８２）は以下の式（８３）の形になる。【０１６３】
【数８３】
2008139530.tif 000080
【０１６４】
上記式（８３）の両辺を２乗し、更に、行列Ａは２次と４次の微分型フィルターで表されるため、ｐが偶数であることを前提としてｋについて解くと以下の式（８４）〜式（８６）のようになる。【０１６５】
【数８４】
2008139530.tif 000081
【０１６６】
【数８５】
2008139530.tif 000082
【０１６７】
【数８６】
2008139530.tif 000083
【０１６８】
また、実際の（Ｉ−γＡ）は、上記式（４３），式（４４）により、以下の式（８７）のように記述できる。そのため、上記式（８４）〜式（８６）は、以下の式（８７）〜式（９１）の形になり、高速化スネークスにおける拘束条件は以下の式（９２）となる。【０１６９】
【数８７】
2008139530.tif 000084
【０１７０】
【数８８】
2008139530.tif 000085
【０１７１】
【数８９】
2008139530.tif 000086
【０１７２】
【数９０】
2008139530.tif 000087
【０１７３】
【数９１】
2008139530.tif 000088
【０１７４】
【数９２】
2008139530.tif 000089
【０１７５】
そこで、上記式（９２）の条件を満たすイタレーションステップγを設定することにより、安定した輪郭線収束を行うことが可能となる。なお、ＳＴＥＰ７〜ＳＴＥＰ８により、監視対象物の画像部分の輪郭線を抽出する工程が、本発明の輪郭線抽出ステップに相当する。【０１７６】
次に、図３のＳＴＥＰ９〜ＳＴＥＰ１０は、対象物種別判別手段２５による処理である。対象物種別判別手段２５は、ＳＴＥＰ９で図１０に示したように、監視対象物の画像部分について抽出された輪郭線９０のデータをフーリエ変換して、以下の式（９３）〜式（９５）による輪郭線９０のフーリエパターンを算出する。図１０の右側は、横軸を周波数に設定し、縦軸を周波数の含有割合に設定してフーリエパターンを表したグラフである。【０１７７】
【数９３】
2008139530.tif 000090
【０１７８】
但し、Ｋ：輪郭線のデータ。【０１７９】
【数９４】
2008139530.tif 000091
【０１８０】
【数９５】
2008139530.tif 000092
【０１８１】
そして、対象物種別判別手段２５は、図１１に示したように、このようにして算出した監視対象物の輪郭線１００のフーリエパターン１００ａと、予め設定された監視対象物の種別である歩行者の輪郭線の比較用パターン１１０ａ，１１１ａ，…との差Ｄminを以下の式（９６）により算出する。【０１８２】
【数９６】
2008139530.tif 000093
【０１８３】
但し、ｚ(k)，ｚ(k-1)：監視対象物の画像部分の輪郭線のフーリエパターンのデータ、ｚref(k)，ｚref(k-1)：比較用パターンのデータ。【０１８４】
なお、比較用パターン１１０ａ，１１１ａ，…は、歩行者の姿勢のパターン１１０，１１１，…の輪郭線について算出されたフーリエパターンである。そして、対象物判別手段２５は、上記式（９６）により算出したＤminが所定の閾値以下であったときに、監視対象物が歩行者であると判別する。【０１８５】
なお、ＳＴＥＰ９〜ＳＴＥＰ１０により監視対象物の種別を判別する工程が、本発明の対象物種別判別ステップに相当する。【０１８６】
なお、本実施の形態では、監視対象物が歩行者であるか否かを判別する場合を示したが、監視対象物が大型動物や他の車両等であるか否かを判別する場合にも、本発明を適用することができる。この場合は、判別する監視対象物の種別に応じた比較用のフーリエパターンが設定される。【０１８７】
また、本実施の形態では、対象物種別判別手段２５は、輪郭線のフーリエパターンに基づいて、監視対象物の種別を判別したが、輪郭線形状のパターンマッチングや特徴量抽出等、他の方法により監視対象物の種別を判別するようにしてもよい。【０１８８】
また、本実施の形態では、物体検知手段２０がレーザーレーダーによる測距データに基づいて物体を検知し、画像処理対象領域設定手段２１が、物体検知手段２０による検知結果に基づいて画像処理対象領域を設定したが、物体検知手段２０が赤外線カメラ２による赤外画像から物体を検知する構成としてもよい。この場合、物体検知手段２０は、例えば、赤外線画像に対して２値化処理を行って抽出された２値の画像部分から物体を検知し、画像処理対象領域設定手段２１は、検知された物体の位置から画像処理対象領域を設定する。また、可視カメラを採用する場合には、物体検知手段２０が、例えばステレオカメラ構成により検出した画像中の画素の距離データに基づいて、距離が近似する画素を同一物体として物体を検知し、画像処理対象領域設定手段２１が、検知された物体の位置から画像処理対象領域を設定する構成としてもよい。【０１８９】
また、本実施の形態では、図３のＳＴＥＰ５で、方向性抽出手段２２により方向性抽出処理を行ってオリエーション画像を生成したが、該方向性抽出処理を行わない場合であっても、本発明の効果を得ることができる。【０１９０】
また、本実施の形態では、図３のＳＴＥＰ８で、輪郭線抽出手段２４は、図７に示したオリエンテーション画像の輝度差による輪郭線の収束処理を行った後、さらに高速化スネークスによる輪郭線の収束処理を行って、監視対象物の画像部分の輪郭線を抽出したが、オリエンテーション画像の輝度差による輪郭線の収束処理のみ、或いはスネークスによる輪郭線の収束処理のみを行う場合であっても、本発明の効果を得ることができる。【０１９１】
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。【０１９２】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。
【産業上の利用可能性】
【０１９３】
以上のように、本発明は、車両前方の撮像画像に含まれる監視対象物の画像部分の輪郭線抽出処理の処理量を減少させて、輪郭線の抽出に要する時間を短縮することができるから、車両周辺監視のために有用である。
【図１】
2008139530.tif 000099
【図２】
2008139530.tif 000100
【図３】
2008139530.tif 000101
【図４】
2008139530.tif 000102
【図５】
2008139530.tif 000103
【図６】
2008139530.tif 000104
【図７】
2008139530.tif 000105
【図８】
2008139530.tif 000106
【図９】
2008139530.tif 000107
【図１０】
2008139530.tif 000108
【図１１】
2008139530.tif 000109
【国際調査報告】
2008139530.tif 000110
2008139530.tif 000111
2008139530.tif 000112
2008139530.tif 000113