(57)【要約】      （修正有）【課題】夜間の走行においても、可視画像に基づいて対象物を検出することができる車両の周辺監視装置を提供する。【解決手段】車両の周辺の可視画像を撮像する撮像手段を搭載して、該車両の周辺を監視する装置は、車両の周辺の環境光を推定して該車両の周辺が明るく照らされているかどうかを判断し、車両の周辺が明るく照らされていないと判断されたならば、可視画像のうち、少なくとも車両のライトにより照らされている範囲に相当する画像領域に基づいて車両の周辺の対象物を検出し、車両の周辺が明るく照らされていると判断されたならば、可視画像のうち、少なくとも車両のライトにより照らされている範囲に相当する画像領域よりも上部の画像領域に基づいて車両の周辺の対象物を検出するよう、対象物の検出手法を切り替える。【選択図】図４
2010188970.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺の可視画像を撮像する撮像手段を搭載して、該車両の周辺を監視する車両周辺監視装置であって、
前記車両の周辺の環境光を推定して該車両の周辺が明るく照らされているかどうかを判断する判断手段と、
前記車両の周辺が明るく照らされていないと判断されたならば、前記可視画像のうち、少なくとも前記車両のライトにより照らされている範囲に相当する画像領域に基づいて前記車両の周辺の対象物を検出し、前記車両の周辺が明るく照らされていると判断されたならば、前記可視画像のうち、少なくとも前記車両のライトにより照らされている範囲に相当する画像領域よりも上部の画像領域に基づいて前記車両の周辺の対象物を検出するよう、対象物の検出手法を切り替える手段と、
を備える車両周辺監視装置。
【請求項２】
前記判断手段によって前記車両の周辺が明るく照らされていないと判断された場合には、前記車両の周辺の対象物を、該対象物の動きを判定することにより検出し、前記判断手段によって前記車両の周辺が明るく照らされていると判断された場合には、前記車両の周辺の対象物を、該対象物の形状を判定することにより検出する、
請求項１に記載の車両周辺監視装置。
【請求項３】
前記対象物は歩行者であり、前記判断手段によって前記車両の周辺が明るく照らされていないと判断された場合には、前記車両の周辺の歩行者を、該歩行者の足の動きを判定することにより検出し、前記判断手段によって前記車両の周辺が明るく照らされていると判断された場合には、前記車両の周辺の歩行者を、該歩行者の頭部の形状を判定することにより検出する、
請求項１または２に記載の車両周辺監視装置。
【請求項４】
前記判断手段は、１）前記撮像手段により撮像された可視画像において、所定値以上の輝度値を持ち、所定値以上の面積を持つ画像領域が、路面からの高さが所定値以上の所に存在しているとき、２）前記可視画像において、前記車両に対して遠方の範囲に相当する画像領域における輝度と、前記車両の近傍の範囲に相当する画像領域における輝度との差が所定値以下であるとき、および３）前記車両に搭載された照度センサの検出値が所定値以上のとき、のうちの少なくとも１つが満たされたならば、前記車両の周辺が明るく照らされていると判断する、
請求項１から３のいずれかに記載の車両周辺監視装置。
【請求項５】
前記車両の周辺が明るく照らされていないと判断されたときに前記対象物が検出されたならば、運転者に注意を喚起するため、インジケータの表示および注意喚起音の少なくとも一方を用いて運転者に報知し、前記車両の周辺が明るく照らされていると判断されたときに前記対象物が検出されたならば、該インジケータの表示および注意喚起音の少なくとも一方に加え、該対象物の位置を、表示装置上に表示された撮像画像に重畳して表示することにより運転者に報知する報知手段を備える、
請求項１から４のいずれかに記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、可視画像に基づいて車両の周辺を監視するための装置に関し、より具体的には、夜間においても、可視画像に基づいて車両の周辺を監視することができる装置に関する。
【背景技術】
【０００２】
従来より、車両に撮像装置を搭載して、車両の周辺に存在する歩行者などの対象物を検出し、その情報を運転者に知らせることによって運転を支援することが行われている。
【０００３】
下記の特許文献１には、撮像装置として、車両の前方の温体画像を撮像する赤外線カメラと、車両前方の可視画像を撮像する可視カメラとを搭載し、両者のカメラから撮像された画像を用いて歩行者を検出することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７１６６２３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
赤外線カメラは、対象物の温度に応じた輝度値を有する画像を出力するので、夜間の走行においても、赤外線カメラを用いることによって歩行者のような高温の対象物を検出することができる。
【０００６】
しかしながら、赤外線カメラは比較的高価であり、車両に搭載すると、車両全体のコストを増大させるおそれがある。
【０００７】
したがって、可視画像を撮像する可視カメラを用い、夜間の走行においても、歩行者のような所定の対象物を検出することができる装置が所望されている。
【課題を解決するための手段】
【０００８】
この発明の一つの側面によると、車両の周辺の可視画像を撮像する撮像手段を搭載して、該車両の周辺を監視する車両周辺監視装置は、前記車両の周辺の環境光を推定して該車両の周辺が明るく照らされているかどうかを判断する判断手段と、前記車両の周辺が明るく照らされていないと判断されたならば、前記可視画像のうち、少なくとも前記車両のライトにより照らされている範囲に相当する画像領域に基づいて前記車両の周辺の対象物を検出し、前記車両の周辺が明るく照らされていると判断されたならば、前記可視画像のうち、少なくとも前記車両のライトにより照らされている範囲に相当する画像領域よりも上部の画像領域に基づいて前記車両の周辺の対象物を検出するよう、対象物の検出手法を切り替える手段と、を備える。
【０００９】
通常、夜間のような暗い環境で可視カメラを用いて撮像すると、その撮像画像の輝度値が一様に低くなるため、所定の対象物を検出することは困難である。しかしながら、街灯等の環境光が存在する場合には、その環境光で周辺が明るく照らされ、よって、昼間の場合と同様に、撮像した可視画像から所定の対象物を検出することができる。他方、環境光が少なくて周辺が暗い場合でも、車両のライト（たとえば、ヘッドライト）によって照らされる範囲では、可視画像から所定の対象物を検出することができる。本願発明は、この知見に基づいており、環境光によって車両周辺が明るく照らされているかどうかを判断し、照らされていないと判断した場合には、車両のライトが照らされる範囲の画像領域に基づいて対象物を検出し、照らされていないと判断した場合には、該画像領域よりも上部の画像領域に基づいて対象物を検出する。こうすることにより、夜間においても、所定の対象物を検出することができる。
【００１０】
この発明の一実施形態では、前記判断手段によって前記車両の周辺が明るく照らされていないと判断された場合には、前記車両の周辺の対象物を、該対象物の動きを判定することにより検出し、前記判断手段によって前記車両の周辺が明るく照らされていると判断された場合には、前記車両の周辺の対象物を、該対象物の形状を判定することにより検出する。一実施形態では、対象物は歩行者であり、車両の周辺が明るく照らされていないと判断された場合には、歩行者の足の動きを判定することにより該歩行者を検出し、車両の周辺が明るく照らされていると判断された場合には、歩行者の頭部の形状を判定することにより該歩行者を検出する。
【００１１】
対象物は、その上部（上半身）に、他の対象物と区別できる特徴を有することが多い。特に歩行者の場合には、頭部（顔を含む）の形状が、人工構造物等の他の対象物と区別可能な特徴を有している。したがって、車両の周辺が明るい場合には、形状判定の手法を用いることにより、より良好な精度で対象物を検出することができる。他方、車両の周辺が明るくない場合、車両のライトによって照らされている範囲から対象物を検出することができるが、この範囲では、対象物の上部が撮像されずに、対象物の下部（下半身）のみが検出可能となりうる。対象物の下部の形状のみでは、他の対象物と区別するのが困難なおそれがある。そこで、対象物の下部の動きに着目する。対象物が歩行者のような生体の場合、足の動きに特徴があるため、その動きを判定することによって、人工構造物等の他の対象物と区別して検出することができる。
【００１２】
この発明の一実施形態では、前記判断手段は、１）前記撮像手段により撮像された可視画像において、所定値以上の輝度値を持ち、所定値以上の面積を持つ画像領域が、路面からの高さが所定値以上の所に存在しているとき、２）前記可視画像において、前記車両に対して遠方の範囲に相当する画像領域における輝度と、前記車両の近傍の範囲に相当する画像領域における輝度との差が所定値以下であるとき、および３）前記車両に搭載された照度センサの検出値が所定値以上のとき、のうちの少なくとも１つが満たされたならば、前記車両の周辺が明るく照らされていると判断する。
【００１３】
このように、環境光によって車両の周辺が明るく照らされているかどうかを判断することができるので、この判断結果に応じて自動的に対象物の検出手法を切り替えることができる。
【００１４】
この発明の一実施形態では、前記車両の周辺が明るく照らされていないと判断されたときに前記対象物が検出されたならば、運転者に注意を喚起するため、インジケータの表示および注意喚起音の少なくとも一方を用いて運転者に報知し、前記車両の周辺が明るく照らされていると判断されたときに前記対象物が検出されたならば、該インジケータの表示および注意喚起音の少なくとも一方に加え、該対象物の位置を、表示装置上に表示された撮像画像に重畳して表示することにより運転者に報知する報知手段を備える。
【００１５】
車両の周辺が明るく照らされていない場合には、車両から近距離にある対象物の検出となるため、運転者には早期に対象物の存在を知らせるのが好ましい。したがって、インジケータ表示や注意喚起音という比較的簡易な手法で報知を行う。他方、車両の周辺が明るく照らされている場合には、車両から遠距離にある対象物の検出が可能であるため、上記の場合に比べて運転者に報知する時間的余裕がある。そのため、インジケータ表示や注意喚起音という比較的簡易な報知のみならず、表示装置の撮像画像上に対象物の位置を重畳表示して、対象物の具体的な位置を運転者に知らせる。
【００１６】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、カメラの取り付け位置を説明するための図。
【図３】この発明の原理を説明するための図。
【図４】この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【図５】この発明の一実施例に従う、環境光の推定に用いる遠方領域および近傍領域の一例を示す図。
【図６】この発明の一実施例に従う、歩行者の頭部の形状判定と歩行者の足の動き判定を説明するための図。
【図７】この発明の一実施例に従う、報知形態を示す図。
【発明を実施するための形態】
【００１８】
次に図面を参照してこの発明の実施の形態を説明する。
【００１９】
図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、可視カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。可視カメラ１Ｒおよび１Ｌは、可視光領域で撮像可能なＣＣＤカメラおよびＣＭＯＳカメラ等によって構成されることができ、撮像される物体の照度が高いほど、出力される映像信号のレベルが高くなる（すなわち、撮像画像における輝度値が高くなる）特性を有している。
【００２０】
この実施例では、図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されており、車両の前方を撮像する。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。
【００２１】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。
【００２２】
ここで、図３を参照して、本願発明の原理を説明する。図３（ａ）は、夜間において、車両周辺の環境光が少ない場合に該車両に搭載された可視カメラによって車両前方を撮像した場合の可視画像の一例であり、（ｂ）は、夜間において、車両周辺に環境光が多く存在する場合に該車両に搭載された可視カメラによって車両前方を撮像した場合の可視画像の一例である。（ａ）および（ｂ）の両方とも、車両のヘッドライトはロービームの状態で点灯されている。環境光は、街灯の光、対向車のヘッドライトの光、店の光、看板の光等、車両の周辺環境に存在する光を示す。（ｂ）では、矢印１２１で示すような街灯の光および矢印１２３で示すような対向車のヘッドライトの光の環境光が、（ａ）よりも多く存在する。水平方向のライン１０１より下の画像領域（下部領域とも呼ぶ）は、車両のヘッドライトで照らされる車両近傍の範囲に相当する画像領域である。
【００２３】
（ａ）に示すように、環境光がほとんど存在しない場合、水平方向のライン１０１より上の画像領域（上部領域とも呼ぶ）は、下部領域よりも輝度が低い。符号１０３で囲まれる領域に歩行者１０５が存在しているが、歩行者１０５の足の部分は、下部領域に属しているために認識可能であるが、頭部を含む上半身は、上部領域に属しているために認識することが困難である。このように、下部領域に存在する対象物または対象物部分を検出することはできるが、上部領域に存在する対象物または対象物部分の検出は困難である。
【００２４】
しかしながら、このような夜間においても、（ｂ）のように、街灯の光１２１や、対向車のヘッドライトの光１２３等の環境光が存在すると、上部領域においても、対象物を認識することができる。符号１１３で囲まれる領域には歩行者１１５が存在しているが、歩行者１１５の頭部を含む上半身は、上部領域に属しているにかかわらず、認識可能であり、よって歩行者の上半身を検出することができる。
【００２５】
この発明は、上記のような知見に基づいてなされたものであり、（ａ）のように環境光が少なく、または存在しない場合には、少なくとも車両のライトで照射される領域すなわち撮像画像の下部領域に基づいて、対象物を検出する。他方、（ｂ）のように環境光が多い場合には、少なくとも該環境光で照らされる領域すなわち撮像画像の上部領域に基づいて、対象物を検出する。以下の実施例では、検出すべき対象物は歩行者であり、よって、（ａ）の場合には、歩行者の足の部分を、少なくとも下部領域に基づいて検出し、（ｂ）の場合には、歩行者の頭部を、少なくとも上部領域に基づいて検出する。
【００２６】
なお、対象物の上部（上半身）は、その下部（下半身）に比べ、他の対象物と区別される特徴を有することが多いため、該上部を検出することにより対象物を判定することが通常行われる。対象物が歩行者の場合、特に頭部（顔を含む）は、歩行者全般に共通の円または楕円の形状を持つよう撮像されるため、この形状を検出することにより、人工構造物等の他の対象物と区別することができる。より精度を高めるために、頭部から肩にかけての形状を検出したり、顔のパターン（目、口などの部位のパターン）を検出することも行われている。（ｂ）の場合には歩行者の上半身を検出することができるので、このような形状判定を用いて歩行者を検出する。
【００２７】
しかしながら、（ａ）の場合には、歩行者の上半身の検出は困難である。また、（ａ）のような撮像画像に対して形状判定を行うと、本来は認識不可能な歩行者頭部に対応する楕円形状を探索することとなり、これは、誤検出につながるおそれがある。そこで、（ａ）の場合には、歩行者の足の部分を検出する。足は、二本の縦方向に長い四角形を持つよう撮像されるため、足の形状判定だけでは、人工構造物等と区別できないおそれがある。他方、歩行者による足の動きは、二本の足が交互に動くという特徴を有しており、これは、人工構造物等には存在しない特徴である。そこで、足の動きを判定することにより、歩行者を検出する。なお、遠距離に存在する歩行者については、その歩行距離（１歩の距離）が撮像画像上では微少であるので、動きによって該歩行者を検出することは困難であるが、（ａ）の場合には、車両のヘッドライトで照射される車両近傍に存在する歩行者を検出するので、動きによって該歩行者を検出することができる。
【００２８】
このように、（ａ）の場合と（ｂ）の場合とで、対象物の検出手法を切り替えることにより、夜間においても、可視画像から対象物を検出することができる。
【００２９】
次に、図４を参照して、具体的な処理内容を説明する。図４は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００３０】
ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像された可視画像のデータ）を入力として受け取り、これをＡ／Ｄ変換し、それを画像メモリに格納する。ここで得られる画像データは、輝度情報を含んだグレースケール画像である。以下の処理では、カメラ１Ｒで撮像された右画像（代替的、左画像でもよい）のグレースケール画像に基づいて処理を行う。
【００３１】
ステップＳ１４において、環境光を推定し、車両の周辺（この実施例では、前方）が明るく照らされているかどうかを判断する。
【００３２】
環境光の推定には、いくつかの手法が考えられる。第１の手法によると、可視画像（グレースケール画像）において、路面からの高さが所定値以上であって、所定値以上の輝度値を持つ画素によって環境光を推定し、該画素数が所定値以上存在するとき、該環境光が多く、よって車両の周辺が明るく照らされていると判断する。そうでない場合には、車両の周辺が明るく照らされていないと判断する。
【００３３】
ここで、輝度値についての閾値である上記所定値は、シミュレーション等を介して、可視画像において街灯や看板のライト等の環境光の輝度値を調べ、該所定値以上の輝度値の画像領域がこれらの環境光を表すように予め設定される。また、路面からの高さについての閾値である上記所定値は、街灯や看板のライト等が含まれるような値に予め設定され、たとえば約１．８メートルである。なお、撮像されている対象物の実際の高さは、周知のごとく、対象物までの距離およびカメラの焦点距離に基づいて算出されることができる。対象物までの距離は、一対のカメラ１Ｒおよび１Ｌの間の距離と、これらのカメラにより得られた一対の画像から得られる視差とに基づく周知の三角測量法等によって、検出されることができる。
【００３４】
また、画素数についての閾値である上記所定値は、シミュレーション等を介して、可視画像において、図３（ｂ）に示すように歩行者の上半身が認識可能なように予め設定される。
【００３５】
第２の手法では、車両に対して遠方の路面の輝度値によって環境光を推定し、該遠方の路面の輝度値と、車両近傍の路面の輝度値との差が所定値以下であるとき、路面を照らす環境光が多く、よって車両の周辺が明るく照らされていると判断する。そうでない場合には、車両の周辺は明るく照らされていないと判断する。
【００３６】
これは、図３（ａ）および（ｂ）を比較して明らかなように、車両の前方に伸長する路面が、街灯や対向車のヘッドライト等によって照らされると、車両から遠距離の所も、車両近傍と同様に明るくなっているが、車両の前方に伸長する路面が、街灯や対向車のヘッドライト等によって照らされないと、車両の近傍は車両のヘッドライトで照射されるために明るいが、遠距離の所は、該ヘッドライトの照射が届かないので、暗いままである。
【００３７】
車両の遠方および近傍に相当する画像領域の位置は、可視画像上に予め決めておくことができる。たとえば、図５には、図３（ｂ）と同じ可視画像が示されているが、画像の底辺中央付近に位置する符号１３１で囲まれる領域は遠方領域であり、この領域に含まれる画素の輝度値の平均を算出する。画像の上辺中央付近に位置する符号１３３で囲まれる領域は近傍領域であり、同様に、該領域に含まれる画素の輝度値の平均を算出する。両者の平均値の差（絶対値）が所定値以下ならば、車両の周辺は明るく照らされていると判断する。輝度値の平均に代えて、領域に含まれる画素の輝度値の和を用いてもよい。
【００３８】
第３の手法では、車両の周辺の明るさを検知する既知の照度センサを該車両に設け、該照度センサの検出値によって環境光を推定してもよい。照度センサの検出値が所定値以上ならば、環境光が多く、車両の周辺は明るく照らされていると判断し、そうでなければ、明るく照らされていないと判断する。ここでの所定値は、図３（ｂ）に示すように、画像の上部領域において対象物を認識可能なような値に、シミュレーション等を介して予め設定される。
【００３９】
さらに、他の第４の手法では、画像全体の輝度値の平均または和によって環境光を推定してもよい。該平均値または和が所定値以上ならば、環境光が多く、車両周辺は明るく照らされていると判断する。さらに、図３（ａ）および（ｂ）は、画像の下部領域が車両のヘッドライトによって照射されている点で同じであるので、画像全体に代えて、画像の上部領域の輝度値の平均または和によって環境光を推定してもよい。該平均値または和が所定値以上ならば、環境光が多く、車両周辺は明るく照らされていると判断する。ここで、水平ライン１０１は、車両のヘッドライトによって照射される範囲に相当する画像領域をシミュレーション等によって調べることにより予め決定されることができる。
【００４０】
さらに、第４の手法においては、画像全体の輝度値の平均または和を用いる代わりに、画像全体の輝度値の分散（代替的に、標準偏差でもよい）を用いてもよい。図３（ｂ）のように環境光が多い場合には、画像全体が、光によって照らされており、一様に明るい。したがって、該分散の値が所定値以下ならば、車両周辺は明るく照らされていると判断し、該分散の値が該所定値より大きければ、車両周辺は明るく照らされていないと判断することができる。
【００４１】
第１〜第４の手法のうち任意のものを組み合わせて判断してもよい。たとえば、第１と第２の手法を組み合わせ、両方の条件が満たされた場合、もしくはいずれかの条件が満たされた場合に、明るいと判断するようにしてもよい。
【００４２】
図４に戻り、ステップＳ１５において、ステップＳ１４の判断結果を調べ、明るいと判断されたかどうかを判断する。明るいと判断されたならば、図３（ｂ）を参照して説明したように、車両の周辺は環境光に照らされて明るいため、歩行者の上半身を認識することができると判定する。したがって、ステップＳ２１において、形状判定を用いて歩行者を検出する。前述したように、歩行者の頭部（顔を含む）は、特徴ある形状を有しているので、頭部の形状を判定することにより、歩行者の検出を行う。歩行者の頭部は、画像の水平ライン１０１よりも上の上部領域において撮像されるので、該上部領域から検出されることとなる。したがって、画像全体に対して歩行者検出処理を行う代わりに、画像の上部領域に対してのみ歩行者検出処理を行ってもよい。
【００４３】
他方、ステップＳ１５において明るいと判断されなければ、図３（ａ）を参照して説明したように、歩行者の上半身を認識することは困難であると判定する。したがって、上半身の形状判定による歩行者検出は困難であるので、ステップＳ２３では、動きによって歩行者を検出する。前述したように、歩行者の足の動きは、他の対象物に比べて特徴的であるので、足の動きを判定することにより、歩行者を検出する。歩行者の足は、車両のヘッドライトで照射されている範囲すなわち画像の水平ライン１０１より下の下部領域において撮像されるので、該下部領域から検出されることとなる。したがって、画像全体に対して歩行者検出処理を行う代わりに、画像の下部領域に対してのみ歩行者検出処理を行ってもよい。
【００４４】
ステップＳ２１で実施される、形状を用いた歩行者検出には、任意の手法を用いることができる。前述したように、歩行者の頭部（顔を含む）は、一般に楕円（円を含む）形状であるため検出しやすく、また他の対象物との区別もつきやすいため、図６の（ａ）に示すように、楕円形状をした頭部１４１を検出することにより歩行者検出を行うのが好ましい。頭部の形状を検出する手法は、様々なものが提案されており、任意の適切なものを用いることができる。
【００４５】
典型的には、可視画像に、たとえば微分フィルタなどを適用してエッジを抽出し、エッジ画像を生成する。これにより、歩行者の頭部の輪郭が抽出される。他方、頭部をモデル化したパターン（テンプレート）を予めメモリに記憶する。周知のパターンマッチング（テンプレートマッチング）を該エッジ画像に用い、該メモリに記憶されたパターンと類似度（相関）の高いエッジを抽出することにより、頭部を抽出する。このようなテンプレートを用いて頭部の形状を判定する手法は、たとえば、特開２００１−２２２７１９号公報、特開２００５−１４９１４４号公報、特開２００５−２５５６８号公報に記載されている。また、より検出精度を上げるため、頭部から両肩の形状までを、テンプレートを用いて判定してもよく、このような手法は、たとえば特開２００５−１４９１４５号公報などに示されている。
【００４６】
または、ニューラルネットワークを用いて、頭部を検出するようにしてもよい。たとえば、特開２００５―１９０４００号公報や特開２００５−１２２３５１号公報には、ニューラルネットワークを用いて顔の画像領域を検索する手法が示されている。
【００４７】
さらに、顔のパターンを検出することにより、歩行者検出を行うようにしてもよい。顔のパターンの検出手法は、様々なものが提案されており、たとえば、抽出された顔（頭部）領域に対して、グレースケールのテンプレートマッチングを行い、両眉と口の位置関係が適切であるかどうかを判断することにより、顔かどうかを判断することができる（たとえば、特開平８−２８７２１６）。また、画像のエッジ成分を抽出したエッジ画像に基づいて、顔の目や口などの部位を認識する手法も提案されている（たとえば、特開２００４−７８６３７号公報）。
【００４８】
ステップＳ２３で実施される、動きを用いた歩行者検出には、任意の手法を用いることができる。前述したように、歩行者の足の動きは、左右の足が交互に動かされるという特徴を持ち、他の対象物との区別もつきやすいため、足の動きを検出することにより歩行者検出を行うのが好ましい。足の動きを検出する手法は、様々なものが提案されており、任意の適切なものを用いることができる。
【００４９】
たとえば、図６（ｂ）に示すように、可視画像から、両足の部分１４３を検出し、両足の開度Ｗを時間的に追跡することにより、足の動きを検出することができる。より具体的には、可視画像に対して、周知のフィルタ等を用いてエッジ抽出処理を行い、歩行者の足の輪郭を含むエッジ画像を生成する。他方、人の足をモデル化したパターン（テンプレート）を予めメモリに記憶する。エッジ画像に対して周知のパターンマッチング（テンプレートマッチング）を行い、エッジ画像から、左右の足を表すエッジ（輪郭）を抽出し、左右の足部の開度Ｗを検出する。時間的に連続した可視画像に対してこの処理を行うことにより、該開度を時間的に追跡する。時間的に開度が所定値以上変化していれば、左右の足を動かしながら歩行している歩行者であると判定することができる。このような手法は、たとえば特開２００７−２６４７７８号公報に記載されている。また、両足が開脚した状態を、開脚した両足をモデル化したパターンを用いて検出すると共に、両足が閉脚した状態を、閉脚した両足をモデル化したパターンを用いて検出し、開脚状態と閉脚状態とを交互に検出することによって、歩行者を判定することができ、このような手法は、たとえば特開２００８−２８８６８４号公報に記載されている。
【００５０】
こうして、車両の周辺が明るいと判断された場合には、形状判定により歩行者を判定することにより、車両の周辺が明るくないと判断された場合には、動き判定により歩行者を判定することにより、夜間においても、可視画像から歩行者を検出することができる。
【００５１】
図４に戻り、形状判定によって歩行者が検出されたならば、ステップＳ２５において、運転者にその情報を報知する。この実施例では、報知は、“ＢＲＡＫＥ”というインジケータの表示と注意喚起音とにより実現される。インジケータの表示内容は、任意のものでよく、また、注意喚起音は、任意の種類の音でよく、人間の音声を用いてもよい。
【００５２】
さらに、車両の周辺が明るい場合には、図３（ｂ）を参照したように、車両から遠距離に存在する対象物が認識可能な状態で撮像される。また、形状判定を用いると、車両から比較的遠距離に存在する歩行者を検出することができる。したがって、運転者は、対象物を認識するのに時間的な余裕を持つことができる。したがって、形状判定により歩行者が検出された場合には、上記のようなインジケータの表示と注意喚起音とに加え、歩行者の位置を算出して、それを運転者に報知するのが好ましい。
【００５３】
具体的には、ステップＳ２１において歩行者の頭部が検出されたことに応じて、該頭部までの距離と、成人の平均身長とに基づいて、画像上の歩行者の身長を推定し、垂直方向に該推定した身長に相当する長さを有し、水平方向に所定幅（これは、成人の一般的な胴幅に基づいて設定されることができる）を有する四角形の領域を設定し、該領域を示すような標示を、撮像画像上に重畳標示する。たとえば、成人の平均身長をＨａとし、高さ方向の画像の画素間隔すなわち１画素あたりの長さ（ｃｍ）をｐｃｈとし、カメラ１Ｒに搭載されたレンズの焦点距離をｈとし、検出された頭部までの距離をＺとすると、（Ｈａ／ｐｃｈ）×ｆ／Ｚにより、画像上の歩行者の身長ｈを算出することができる。
【００５４】
ここで図７の（ａ）を参照すると、ステップＳ２５の報知形態を表しており、上部には、ＨＵＤ４の表示画面４ａ上に表示される撮像画像の一例が示されており、枠２０１が重畳表示されている。枠２０１は、検出された歩行者について上記のように設定された四角領域を示す。
【００５５】
また、符号２０３で示される“ＢＲＡＫＥ”という表示２０３は、インジケータの表示の一例であり、これは、運転者が視認可能なような形態であれば、ＨＵＤ４に表示される撮像画像上に重畳して表示してもよいし、インスツルメントパネル上の所定のディスプレイ等に表示するようにしてもよい。前述したように、インジケータの表示内容は任意のものでよい。符号２０５はスピーカを表しており、注意喚起音が発せられることを示している。
【００５６】
こうして、運転者は、インジケータや注意喚起音によって、注意すべき対象物の存在を知らされるだけでなく、表示画面上で具体的な対象物の位置を認識することができる。なお、運転者を混乱させないように、インジケータ２０３および注意喚起音２０５の出力は、上記のように対象物の位置が算出されて撮像画像上に強調表示２０１を行うと同時に行うのが好ましい。
【００５７】
他方、図４に戻り、動き判定によって歩行者が検出されたならば、ステップＳ２７において、運転者にその情報を報知する。この実施例では、報知は、上で述べたように、インジケータの表示と注意喚起音とにより実現される。インジケータの表示内容は、任意のものでよく、また、注意喚起音は、任意の種類の音でよく、人間の音声を用いてもよい。
【００５８】
車両の周辺が明るくない場合には、図３（ａ）を参照したように、車両から近距離に存在する対象物が検出されることとなる。したがって、運転者には、対象物を認識するまでの時間的な余裕は少なく、より早期に、対象物の存在を認識するのが望ましい。他方、ステップＳ２５を参照して述べたような対象物の位置を算出して強調表示を行うと、運転者が表示画面を視認する時間を必要とするため、運転者の対象物に対する回避や制動の動作が遅れるおそれがある。したがって、ステップＳ２７では、運転者の早期の認識を促すため、このような対象物の位置算出を行うことなく、インジケータ表示と注意喚起音のみの報知を速やかに行う。
【００５９】
ここで、図７（ｂ）を参照すると、ステップＳ２７の報知形態を示しており、ＨＵＤ４の画面４ａ上には、撮像された可視画像が表示されているものの、（ａ）の枠２０１で示すような対象物の強調表示は行われていない。符号２０３および２０５にそれぞれ示されるように、インジケータ表示と注意喚起音の出力は行われる。こうして、運転者は、視覚的および聴覚的に、注意すべき対象物の存在を知ることができる。また、表示された撮像画像上に対象物が強調表示されないことにより、近距離に対象物が存在していることを認識することもできる。
【００６０】
なお、ステップＳ２５およびＳ２７において、インジケータ表示と注意喚起音のうち、いずれか一方のみを用いて報知を行ってもよい。
【００６１】
また、ステップＳ２５の場合には、比較的近距離に存在する歩行者（水平ライン１０１をまたがって位置し、上半身は上部領域に存在し、下半身は下部領域に存在するような歩行者）も形状判定で検出される可能性があるため、検出された歩行者の距離値を求め（前述したように、周知の三角測量法等によって求められる）、該距離値に応じて報知形態を変更するようにしてもよい。たとえば、距離値が所定値より遠ければ、図７（ａ）のような対象物の強調表示を行い、距離値が該所定値以下ならば、図７（ｂ）のように、インジケータ表示および（または）注意喚起音に基づく報知を行う。
【００６２】
上記実施形態では、明るさの判断結果に応じて、いずれかの対象物検出手法を選択しているが、この変形形態として、様々なものがありうる。
【００６３】
たとえば、水平ライン１０１より下の画像領域は、ヘッドライトの照射領域であるので、常に対象物が検出可能な領域である。したがって、明るいと判断された場合も明るくないと判断された場合も、常に、動き検出を行うようにしてもよい。形状判定については、明るいと判断された場合にのみ行う。
【００６４】
さらに、車速に応じて、対象物の検出手法を切り替えてもよい。車速が高いほど、遠くに存在する対象物を検出するのが望ましく、車速が低いほど、近くに存在する対象物を検出するのが望ましい。したがって、車速が所定値以上であるときに、車両周辺が明るいと判断されたならば形状判定を行い、車両周辺が明るいと判断されなければ動き検出を行うと共に、車速が該所定値より低いとき、車両周辺が明るいと判断されたならば、形状判定だけでなく動き判定を行い、車両周辺が暗いと判断されたならば、動き判定を行う。こうして、車速が低い場合には、動き判定を常に実施して、早期に報知することができる。
【００６５】
さらに、環境光の推定によって判断された明るさの度合いに応じて、形状判定と動き判定のいずれか、もしくは両方を実行するようにしてもよい。たとえば、前述したように、第１の手法では画素数に応じて、第２の手法では遠方領域と近傍領域の輝度値の平均値（または和）の差の大きさに応じて、第３の手法では照度センサの検出値の大きさに応じて、第４の手法では輝度値の平均値（または和）の大きさに応じて、車両周辺の明るさを判断しているが、この明るさを、３段階で判断する。最も明るい段階と判断されたならば、形状判定を実行し、最も暗い段階と判断されたならば、動き判定を実行し、中間の段階と判断されたならば、形状判定と動き判定の両方を実行する。両方を実行した場合、いずれかの判定で対象物が検出されたならば、それに応じて、ステップＳ２５またはＳ２７の報知を行うことができる。
【００６６】
なお、車両周辺が明るくないと判断された場合に形状判定を行うと、本来は視認不可能な歩行者の頭部に対応する形状（楕円）を探索することとなり、これは、誤検出につながるおそれがある。したがって、車両周辺が明るくないと判断された場合には、動き検出のみを実行するのが好ましい。
【００６７】
上記の実施形態では、検出すべき対象物が歩行者である。しかしながら、この発明は、たとえば動物にも適用可能である。鹿や熊のような大型の動物の場合には、環境光が少ないと、図３（ａ）を参照して述べたように、足の部分しか認識可能なように撮像されない可能性がある。また、四足を動かして移動しているかどうかを判定することにより、動物かどうかを判断することができる。環境光が多い場合には、動物の頭部や胴体を、形状に基づくパターンマッチング等で検出することができる。したがって、図４のようなプロセスを、動物にも適用することができる。
【００６８】
さらに、上記の実施形態では、車両の前方を撮像するカメラが取り付けられた形態を例に説明したが、車両の他の部分たとえば後方を撮像するカメラが取り付けられた形態にも本願発明は適用可能である。この場合、上記のヘッドライトにより照射される範囲に代えて、テールランプ（後退灯）により照射される範囲が用いられる。
【００６９】
本願発明は、環境光の推定により車両周辺の明るさを判断して、その判断結果に応じて処理を切り替えるものであるが、この技術は、他の任意のシステムにも適用可能である。たとえば、車両が走行する車線（白線等）を検出するシステムが様々な形態で提案されている。検出された車線を表示装置上に表示したり、検出された車線を用いて先行車を判定したりすることが行われている。このような検出システムにおいて、環境光が少ないと、車両から遠距離の所の車線検出は困難である。したがって、環境光が少ない場合には、車速を所定の低速に制限されない限り車線検出が困難である旨を運転者に報知したり、車速を低速に制限するよう促したりすることができる。また、環境光が少ないと、強いカーブでの車線検出も困難であるので、環境光が少ない場合であって、走行路の曲率（これは、既知のナビゲーションユニットの道路情報から取得することができる）が所定値以上である場合には、車線検出が困難である旨を運転者に報知したりすることができる。このように、環境光を推定して車両周辺が明るいかどうかに従って、運転支援の方法を切り替えることができる。
【００７０】
なお、上記実施形態では、対象物までの距離を求めるのに、一対の可視カメラを用いているが、この発明は、１台の可視カメラの場合でも適用可能である。この場合、対象物までの距離は、たとえばレーダなどの距離を検出可能な装置を車両に取り付けることによって検出されることができ、または、撮像された画像上の各位置に、シミュレーション等を介して、おおよその距離値を関連づけておくことにより、対象物の撮像画像上の位置から該対象物のおおよその距離値を求めるようにしてもよい。
【００７１】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【００７２】
１Ｒ，１Ｌ  可視カメラ（撮像手段）
２  画像処理ユニット
３  スピーカ
４  ヘッドアップディスプレイ
【図１】
2010188970.tif 000003
【図２】
2010188970.tif 000004
【図４】
2010188970.tif 000005
【図３】
2010188970.tif 000006
【図５】
2010188970.tif 000007
【図６】
2010188970.tif 000008
【図７】
2010188970.tif 000009