(57)【特許請求の範囲】
【請求項１】
車両に搭載され、該車両の周辺の画像を取得する撮像装置と、
プロセッサおよびメモリを有する画像処理ユニットと、
前記撮像装置により取得されたグレースケール画像を多値画像に変換する変換装置と、を備え、
前記画像処理ユニットは、
前記多値画像に第１のエッジ抽出マスクを適用して、該マスク内の領域でエッジ強度が最大の水平エッジを検出することにより前記多値画像内の対象物の頭部上端を検出し、
前記対象物の頭部上端から下方に伸びる第２のエッジ抽出マスクを適用して、前記多値画像において複数の垂直エッジを検出し、
前記複数の垂直エッジの位置に基づいて、前記対象物の頭部下端を検出し、
前記対象物の頭部上端と頭部下端との間隔に基づいて、前記対象物の頭部領域を特定する、よう構成されている、
車両の周辺監視装置。
【請求項２】
前記撮像装置は一つの赤外線カメラからなり、前記画像処理ユニットは、さらに、前記多値画像上の前記対象物のサイズまたは当該サイズの時間変化に基づいて、実空間上での前記車両と前記対象物との距離を算出するよう構成されている、請求項１に記載の周辺監視装置。
【請求項３】
前記画像処理ユニットは、前記算出された前記距離と、前記車両のブレーキ操作量、車速およびヨーレートの中から選択した少なくとも１つとに基づき、前記車両と前記対象物との接触可能性を判定するよう構成されている、請求項２に記載の周辺監視装置。
【請求項４】
前記画像処理ユニットは、
前記特定された頭部領域のグレースケール画像に輝度プロファイルを利用して、前記対象物の頭部領域の情報を生成し、
前記輝度プロファイルから生成された頭部領域の情報から前記頭部領域特定の信頼性を判定する、
よう構成されている、請求項１〜３のいずれか１項に記載の周辺監視装置。
【請求項５】
前記検出された垂直エッジのピクセルの位置関係が所定のパターンと一致するとき、前記頭部の下端を検出する、請求項１に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、特に車両に搭載された撮像手段により得られる画像から、歩行者を含む対象物の頭部領域を検出することに関する。
【背景技術】
【０００２】
特許文献１は、車両の周辺を監視する周辺監視装置を開示する。この周辺監視装置では、車両に搭載された撮像手段により得られる画像に、エッジフィルタを適用して得られる水平エッジの位置から監視する対象物（例えば歩行者）の部分（例えば頭部）を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１２８５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）により取得した左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、その距離情報を用いて画像上の監視する対象物が含まれる領域（マスク領域）を設定している。【０００５】
したがって、単一の赤外線カメラを用いる場合は正確な距離情報を得ることができず、画像上のマスク領域を適切に設定できない場合がある。【０００６】
また、２台のカメラを搭載することによるコストアップ、さらには両カメラの光軸調整等が必要となる。【０００７】
さらに、近年、車両周辺の大人子供判定等のために歩行者の頭部サイズを距離算出前の処理にて利用するアルゴリズムも考えられており、距離情報を用いない歩行者の頭部サイズ算出手法が求められている。【０００８】
そこで、本発明は、この従来技術の問題を軽減あるいは解消すること、すなわち、車両と監視する対象物（例えば歩行者）との距離情報を用いることなく、画像上の対象物の頭部領域を精度よく検出して、対象物の検知精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、車両の周辺監視装置を提供する。その周辺監視装置は、車両に搭載され、該車両の周辺の画像を取得する撮像手段と、撮像手段により取得されたグレースケール画像を多値化する多値化手段と、多値化された画像において対象物の候補を含む領域に第１のエッジ抽出マスクを適用して、該マスク内の画像での複数の水平エッジを検出する水平エッジ検出手段と、第１のエッジ抽出マスク内の画像において、複数の水平エッジの中でエッジ強度が最大な水平エッジの位置を対象物の頭部上端の位置として検出する頭部上端検出手段と、多値化された画像において、対象物の頭部上端の位置から下方に伸びる第２のエッジ抽出マスクを適用して、当該第２のエッジ抽出マスク内の画像での複数の垂直エッジを検出する垂直エッジ検出手段と、第２のエッジ抽出マスク内の画像において、複数の垂直エッジの位置変化に基づいて、対象物の頭部下端の位置を検出する頭部下端検出手段と、対象物の頭部上端の位置と頭部下端の位置との間隔に基づいて、多値化された画像において対象物の頭部領域を特定する頭部領域特定手段と、少なくとも対象物の頭部領域を含む多値化された画像に基づいて、対象物が監視対象の所定対象物であるか否かを判定する対象物判定手段と、を備える。【００１０】
本発明によれば、車両と監視する対象物（例えば歩行者）との距離情報を用いることなく、画像上の対象物の頭部領域を精度よく検出して、対象物の識別精度を向上させることが可能となる。【００１１】
本発明の一形態によると、撮像手段は単一の赤外線カメラからなり、さらに、多値化画像上の監視対象の所定対象物のサイズまたは当該サイズの時間変化に基づいて、実空間上での車両と監視対象の対象物との距離を算出する距離算出手段を備える。【００１２】
本発明の一形態によれば、単一の赤外線カメラを用いた場合においても、画像上の対象物の頭部領域を精度よく検出することができ、さらに実空間上での車両と監視対象の対象物との距離を算出することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の一実施例に従う、赤外線カメラの取り付け位置を説明するための図である。
【図３】本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。
【図４】本発明の一実施例に従う、対象物の頭部を抽出する処理フローを示す図である。
【図５】本発明の一実施例に従う、水平（第１）エッジ抽出マスクの適用を説明するための図である。
【図６】本発明の一実施例に従う、垂直（第２）エッジ抽出マスクの適用を説明するための図である。
【図７】本発明の一実施例に従う、頭部の高さ、幅、中心位置の算出を説明するための図である。
【発明を実施するための形態】
【００１４】
図面を参照しながら本発明の実施の形態を説明する。図１は、本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、赤外線カメラ１０によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１２と、画像処理ユニット１２による検出結果に基づいて音または音声で警報を発生するスピーカ１４と、赤外線カメラ１０の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行う表示装置１６とを備える。
【００１５】
なお、ナビゲーション装置を備える車両においては、スピーカ１４および表示装置１６として、ナビゲーション装置が備える該当機能を利用してもよい。また、赤外線カメラ１０の数は１つに限られず２つ以上設けてもよい。さらに、赤外線カメラ１０の代わりに他の波長帯（可視光等）を利用するカメラ（ＣＣＤカメラ等）を用いてもよい。
【００１６】
図１の画像処理ユニット１２は、その構成（機能）としてブロック１２１〜１２９で示される機能を有する。すなわち、画像処理ユニット１２は、赤外線カメラ１０により取得されたグレースケール画像を多値化する多値化手段１２１と、多値化された画像において対象物の候補を含む領域を抽出する領域抽出手段１２２と、その領域に第１のエッジ抽出マスクを適用して、該マスク内の画像での複数の水平エッジを検出する水平エッジ検出手段１２３と、第１のエッジ抽出マスク内の画像において、複数の水平エッジの中でエッジ強度が最大な水平エッジの位置を対象物の頭部上端の位置として検出する頭部上端検出手段１２４と、多値化された画像において、対象物の頭部上端の位置から下方に伸びる第２のエッジ抽出マスクを適用して、当該第２のエッジ抽出マスク内の画像での複数の垂直エッジを検出する垂直エッジ検出手段１２５と、第２のエッジ抽出マスク内の画像において、複数の垂直エッジの位置変化に基づいて、対象物の頭部下端の位置を検出する頭部下端検出手段１２６として機能する。
【００１７】
画像処理ユニット１２は、さらに、対象物の頭部上端の位置と頭部下端の位置との間隔に基づいて、多値化された画像において対象物の頭部領域を特定する頭部領域特定手段１２７と、少なくとも対象物の頭部領域を含む多値化された画像に基づいて、対象物が監視対象の所定対象物であるか否かを判定する対象物判定手段１２８と、多値化された画像上の監視対象の所定対象物のサイズまたは当該サイズの時間変化に基づいて、実空間上での車両と監視対象の対象物との距離を算出する距離算出手段１２９として機能する。
【００１８】
画像処理ユニット１２は、さらに、自車両の速度（車速）を検出する車速センサ、ブレーキセンサ、ヨーレート（旋回方向への回転角の変化速度）を検出するヨーレートセンサ等からの検出信号を受けて必要な処理をおこなう機能を有する。
【００１９】
各ブロックの機能は、画像処理ユニット１２が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１２の構成は、ナビゲーション装置の中に組み込んでもよい。
【００２０】
画像処理ユニット１２は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１４に対する駆動信号および表示装置１６に対する表示信号などを出力する出力回路を備えている。赤外線カメラ１０の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００２１】
図２は、本発明の一実施例に従う、図１に示した赤外線カメラ１０の取り付け位置を説明するための図である。赤外線カメラ１０は、図２に示すように車両２０の前部バンパー部上、車幅方向の中心部に配置される。赤外線カメラ１０は、物体の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。図２の符号１６ａは、表示装置１６としてヘッドアップディスプレイ（以下「ＨＵＤ」という）を用いた場合の例を示している。ＨＵＤ１６ａは、図に示すように、車両２０のフロントウインドシールドの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられる。
【００２２】
図３は、本発明の一実施例に従う、画像処理ユニット１２によって実行される処理フローである。この処理フローは、画像処理ユニット１２のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。なお、以下の説明では、取得したグレースケール画像を２値化して白黒画像を得る場合を例にとり説明しているが、３値以上の多値化をしてもよい。その場合は、設定するしきい値の数は増えるが、基本的に２値化の場合と同様な処理をすることにより多値化画像を得ることができる。
【００２３】
ステップＳ１０において、赤外線カメラ１０によりフレーム毎に撮影されたフレーム毎の出力信号である赤外線画像のアナログ信号を入力し、該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像をメモリに格納する。
【００２４】
ステップＳ１１において、得られたグレースケール画像に２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って、撮影したフレーム毎にグレースケール画像に対応する２値化画像としてメモリに格納する。
【００２５】
ステップＳ１２において、２値化画像の「１」（白）をＸ方向（水平方向）の走査ライン毎にランレングスデータに変換し、Ｙ方向に重なる部分のあるラインを１つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付け、対象物候補領域とするラベリング処理を行う。
【００２６】
次のステップＳ１３において、ステップＳ１２で得られた対象物候補領域の画像について、対象物の頭部を抽出するルーチンを実行する。図４は、対象物の頭部を抽出するルーチン（処理フロー）を示す図である。
【００２７】
図４のステップＳ１３１において、対象物候補領域を含む画像上に水平エッジを検出するためのエッジ抽出マスクを適用する。図５は、エッジ抽出マスクの適用を説明するための図である。図５の（ａ）は、対象物候補領域２２を含む２値化画像である。対象物候補領域２２内に対象物として人体（歩行者）らしき像があり、頭部２３と胴体部２４の２つの部分に分かれている。イメージとしてエッジ抽出マスクを符号２５で示すように適用する。具体的には、エッジ抽出マスク２５内の画像（画素）に、例えばＳｏｂｅｌ、Ｐｒｅｗｉｔｔ等のノイズ除去機能のあるエッジフィルタを適用する。
【００２８】
ステップＳ１３２において、エッジ抽出マスク２５内の画像における水平エッジ２６を検出する。水平エッジの検出は、従来方法を利用して、例えばエッジフィルタの出力値が所定の閾値より大きいか否かでおこなう。ステップＳ１３３において、水平エッジ２６の中で最もエッジ強度の高い画素位置を頭部の上端の位置として検出する。図５の例では、（ｂ）の点ＰＴの位置が頭部２３の上端の位置となる。このように、本発明の一実施形態によれば、エッジ抽出マスク内で検出された水平エッジ（そのエッジ強度）から対象物の頭部上端の位置を特定することができる。
【００２９】
ステップＳ１３４において、対象物候補領域の画像上に垂直エッジを検出するためのエッジ抽出マスクを適用する。図６は、エッジ抽出マスクの適用を説明するための図である。図６の（ａ）は、図５（ａ）と同様に対象物候補領域２２を含む２値化画像である。エッジ抽出マスクを符号２８で示すように、ステップＳ１３３において検出した頭部２３の上端の位置ＰＴから下に伸びるマスクとして適用する。具体的には、エッジ抽出マスク２８内の画像（画素）に、例えば所定諧調以上の輝度の差分を抽出するフィルタを適用する。その際、必要に応じてノイズ成分の除去をおこなう。
【００３０】
ステップＳ１３５において、エッジ抽出マスク２８内の画像における垂直エッジ２９を検出する。垂直エッジの検出は、従来方法を利用して、例えばエッジフィルタの出力値が所定の閾値より大きいか否かでおこなう。ステップＳ１３６において、垂直エッジ２９を検出した画素の位置変化が所定のパターンに合致した場合に、その画素位置を頭部２３の下端の位置として検出する。図６の例では、頭部２３の下部における画素の位置変化が例えば（ｂ）に示すパターン、すなわち両側共に２画素以上広がるパターンに合致した場合に、その画素位置が頭部２３の下端の位置ＰＢとして検出される。なお、図６（ｂ）において、符号３０で指示される１つの領域（四角）が1つの画素を表わしている。また、この（ｂ）パターンはあくまで例示であって、所定のパターンとして、頭部２３の下端の位置を抽出可能な任意のパターンを採用することができる。このように、本発明の一実施形態によれば、エッジ抽出マスク内で検出された垂直エッジを含む画素の位置変化（パターン）から対象物の頭部下端（肩部）の位置を特定することができる。
【００３１】
ステップＳ１３７において、頭部２３の高さ、幅、中心位置を算出する。図７は、頭部２３の高さ、幅、中心位置の算出を説明するための図である。図７において、最初に既に検出された頭部２３の上端ＰＴと下端ＰＢで特定される領域にマスク領域３０を設定する。頭部２３の高さは、マスク領域３０の高さ、すなわち頭部２３の上端ＰＴと下端ＰＢの間隔ｈとして算出される。
【００３２】
次に、設定されたマスク領域３０において、垂直エッジ２９を抽出する。その際、連続性のないエッジ画素はノイズとして除去される。そして、Ｘライン毎に連続したエッジ゛抽出画素数を算出し、所定の閾値よりも大きい画素位置の両端を頭部両端として頭部幅を算出する。より具体的には、マスク領域３０を左右２つの領域に分けて、各領域において、外側から内側に向かって探索して最初にエッジポイントの合計値が存在した画素位置で所定の条件に合致した場合に頭部両端の位置とする。図７の例では、（ｂ）の位置Ｘａ、Ｘｂが頭部２３の両端の位置となり、両位置の間隔から頭部幅Ｗが算出される。頭部２３の中心位置は、算出された頭部幅Ｗでの中心画素位置として算出される。図７の例では、符号ＰＣの位置が中心位置となる。
【００３３】
このように、本発明の一実施形態によれば、車両と対象物（例えば歩行者）との距離情報を利用することなく、対象物の頭部領域のサイズ（上端、下端、高さ、幅）を精度よく検出することが可能となる。
【００３４】
図３に戻って、ステップＳ１４において対象物の領域を特定する。図５〜図７における対象物候補の場合を例にとれば、最初にステップＳ１３において検出された頭部上端の位置ＰＴから下に伸びるマスク領域を設定する。次に、そのマスク領域内の頭部下端の位置ＰＢから下側にかつ左側から右側に向かって順次画素値を走査しながら探索していく。そして、暗い領域の「０」画素が連続して続いた場合、その走査部分が画像中の対象物候補２３、２４と路面との境界と判定し、その境界位置を対象物の下端ＰＦとする。なお、対象物の上端は先の頭部上端の位置ＰＴである。この位置ＰＴとＰＦ間の領域が対象物領域として特定される。
【００３５】
ステップＳ１５において、対象物の種別判定をする。例えば対象物候補が歩行者等の特定の対象物に該当するか否かを判定する。その具体的な判定方法は、従来から行われているように、例えば歩行者を対象とする場合は、対象物候補が歩行者の特徴（頭部、脚部等）に該当するか否か、あるいは周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度から歩行者であるか否かを判定する。
【００３６】
ステップＳ１６において、対象物のサイズを推定する。歩行者を例にとると、まず、取得した２値化画像中の歩行者候補の身長Ｈと頭部幅Ｗの比率Ｒｉ（Ｒｉ＝Ｈ／Ｗ）を算出する。なお、画素が正方向でない場合には、予め規格化しておく。次に、予めメモリに保管してある比率Ｒのテーブル、すなわち比率Ｒと実空間上の身長および頭部幅との関係を示すテーブルを参照し、比率Ｒが算出した比率Ｒｉである（Ｒ＝Ｒｉ）ときの、実空間上の身長ＨＴ（実空間上での人体の身長であるサイズ）を推定（算出）する。
【００３７】
ステップＳ１７において、車両と対象物との距離を算出する。具体的には、歩行者の場合を例にとると、ステップＳ１６で推定した実空間の身長ＨＴと画像上の身長Ｈ（長さ＝画素数×画素長）と焦点距離Ｆとから、実空間上の歩行者候補までの距離Ｚを次の（１）式により算出する。なお、（１）式は歩行者の平均身長を約１７０ｃｍと仮定した場合の算出式である。
Ｚ＝ＨＴ×Ｆ／Ｈ        （１）
【００３８】
ステップＳ１８において、経時的にフレーム毎に得られるグレースケール画像及び２値化画像から、歩行者等の温度の高い部分の動体（動いているもの）を対象物として検出し、動体の移動ベクトル（速度と方向）を検出する。また、このステップＳ１８において、ブレーキセンサ、車速センサ、及びヨーレートセンサの各出力であるブレーキ操作量、車速、ヨーレートと、ステップＳ１７で算出した対象物までの距離Ｚとに基づき、車両が対象物（歩行者）に接触の可能性があるか否かを判定する。接触の可能性があると判定した場合には、ステップＳ１９において、運転者に報知する。具体的には、歩行者のグレースケール画像を表示装置１６（ＨＵＤ１６ａ）に表示するとともに、スピーカ１４を通じて警報を発生して運転者に報知し、車両の運転者に接触の回避操作を促す。
【００３９】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
【００４０】
例えば、従来から行われているグレースケール画像上の輝度プロファイルを利用して対象物の頭部の情報（幅、中心等）を算出して、上述した本発明の実施形態による２値化画像上のエッジを利用して検出される頭部の情報と比較して、後者の情報の信頼性を確認した上で、車両と対象物との距離の算出および両者の接触の可能性の判断をするようにしてもよい。これにより、車両周辺の対象物の監視精度、運転者への報知精度をより向上させることが可能となる。
【符号の説明】
【００４１】
１０  赤外線カメラ
１２  画像処理ユニット
１４  スピーカ
１６  表示装置
１６ａ  ＨＵＤ
２０  車両
【図１】
0005642785.tif 000002
【図２】
0005642785.tif 000003
【図３】
0005642785.tif 000004
【図４】
0005642785.tif 000005
【図５】
0005642785.tif 000006
【図６】
0005642785.tif 000007
【図７】
0005642785.tif 000008