(57)【要約】    【課題】  車両周囲監視装置において輝度値の異なる複数の検出対象物が存在しても各検出対象物を良好に検出する。    【解決手段】  カメラ３は車両前方の道路およびその周囲を撮像する。カメラ３で撮影した画像に対して次の画像処理を行う。複数の閾値で画成された各輝度範囲ごとに、各輝度範囲内の画素を抽出する。各輝度範囲ごとに抽出された画素に基づき、画像から歩行者領域を検出する。歩行者領域検出手段により歩行者領域が検出された場合、ディスプレイ７の該当領域を強調表示する。【選択図】  図１
2005318408.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられ、車両周囲を撮像する撮像手段と、
複数の閾値で画成された各輝度範囲ごとに、前記撮像手段によって撮像された画像から各輝度範囲内の画素を抽出する画素抽出手段と、
前記画素抽出手段によって各輝度範囲ごとに抽出された画素に基づき、前記画像から歩行者領域を検出する歩行者領域検出手段と、
前記歩行者領域検出手段により歩行者領域が検出されたときに検出信号を出力する出力手段とを備える車両周囲監視装置。
【請求項２】
請求項１に記載の車両周囲監視装置において、
前記画像を表示する表示手段を更に備え、
前記表示手段は、前記検出信号に基づいて、前記歩行者領域検出手段により検出された歩行者領域を強調表示させる車両周囲監視装置。
【請求項３】
請求項１または請求項２に記載の車両周囲監視装置において、
前記撮像手段は、近赤外領域の画像を撮像する車両周囲監視装置。
【請求項４】
請求項１または請求項２に記載の車両周囲監視装置において、
前記撮像手段は、遠赤外領域の画像を撮像する車両周囲監視装置。
【請求項５】
請求項１乃至請求項４の何れか一項に記載の車両周囲監視装置において、
前記輝度範囲は、各々他の輝度範囲との間に重複部分を有する車両周囲監視装置。
【請求項６】
請求項１乃至請求項５の何れか一項に記載の車両周囲監視装置において、
前記歩行者領域検出手段は、前記画素抽出手段によって抽出された画素のまとまりを検出し、当該検出されたまとまりの外接矩形を作成し、この外接矩形に基づいて歩行者領域を検出する車両周囲監視装置。
【請求項７】
請求項１乃至請求項５の何れか一項に記載の車両周囲監視装置において、
前記歩行者領域検出手段は、前記画素抽出手段によって抽出された画素のまとまりを検出し、当該検出されたまとまりの縦横比を算出し、この縦横比に基づいて歩行者領域を検出する車両周囲監視装置。
【請求項８】
請求項１乃至請求項７の何れか一項に記載の車両周囲監視装置において、
車速を検出する車速センサを更に備え、
前記出力手段は、前記車速センサによって車速が所定値以上であることを検出した場合に前記検出信号を出力する車両周囲監視装置。
【請求項９】
車両に設けられた撮像手段により、車両周囲を撮像する撮像ステップと、
複数の閾値で画成された各輝度範囲ごとに、前記撮像ステップによって撮像された画像から各輝度範囲内の画素を抽出する画素抽出ステップと、
前記画素抽出ステップによって前記各輝度範囲ごとに抽出された画素に基づき、前記画像から歩行者領域を検出する歩行者領域検出ステップと、
前記歩行者領域検出ステップにより歩行者領域が検出されたときに検出信号を出力する出力ステップとを備える車両周囲監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両周囲を監視する装置および方法に関し、特に車両前方などの歩行者を検出する装置および方法に関する。
【背景技術】
【０００２】
車両周囲の赤外線画像を２値化して歩行者の検出・警報を行うことが、特開２００３−２１６９４９号公報に提案されている。この公報記載の技術では、抽出する検出対象物の占有面積が適正化されるように２値化のための輝度閾値を決定している。これにより、画像の輝度値ヒストグラムが変化しても検出対象物を背景から区別することができる。
【特許文献１】特開２００３−２１６９４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記公報記載の技術では、例えば画像内に輝度の異なる複数の検出対象物が存在する場合には、２値化のための輝度閾値の設定を適切に行うことができない。従って、複数の検出対象物を良好に検出することが困難である。
【課題を解決するための手段】
【０００４】
本発明による車両周囲監視装置は、撮像手段と、画素抽出手段と、歩行者領域検出手段と、出力手段とを備えている。撮像手段は、車両に設けられ、車両周囲を撮像する。複数の閾値で輝度範囲が画成され、画素抽出手段は、各輝度範囲ごとに、撮像手段によって撮像された画像から各輝度範囲内の画素を抽出する。歩行者領域検出手段は、画素抽出手段によって抽出された画素に基づき、撮像された画像から歩行者領域を検出する。そして出力手段は、歩行者領域検出手段により歩行者領域が検出された場合に検出信号を出力する。
【発明の効果】
【０００５】
本発明によれば、複数の閾値で輝度範囲が画成されているので、複数の基準で２値化処理を行うことができ、輝度値の異なる複数の検出対象物が存在しても各検出対象物を良好に検出することのできる車両周囲監視装置および方法を提供することができる。
【発明を実施するための最良の形態】
【０００６】
＜１−１．第１実施形態の構成（図１、２）＞
図１は、本発明の１実施形態による車両周囲監視装置が実現される車載装置の構成を示し、図２は、車両１に搭載された機器を示すものである。
車両１は、車両１の前方に照射光を投射するヘッドライト２と、ヘッドライト２によって照射された車両前方の道路周辺の濃淡画像を生成するカメラ３と、車両周囲監視装置全体の制御を行うコントロール装置４と、カメラ３の映像を運転者に情報として提供するためのディスプレイ７と、本装置を起動、停止させるためのシステムスイッチ６と、車両１の走行速度に比例したパルス信号を出力する車速センサ５と、車両１の現在位置を電子的な地図画面上に表示する機能と目的地までの経路誘導機能などを備えたいわゆるナビゲーション装置８と、運転者に歩行者情報を報知するためのブザー９とを搭載している。
【０００７】
ヘッドライト２は車両の前端に設置されている。ヘッドライト２の設置位置はこれに限定されるものでなく、車両前方に照明光を照射できる場所であればどこに設置しても良い。カメラ３は車両１の室内のルームミラー裏に設置されている。しかしこれもヘッドライト２の照明光が照射される場所を撮影可能な設置位置であれば本実施形態に限定されるものではない。コントロール装置４は車両１の後方室内に設置されているがこれも本実施形態に限定されるものではない。ディスプレイ７は、一般的なセンターコンソールに設置したディスプレイや、フロントガラス前方に画像を結像するヘッドアップディスプレイなど形式は問わない。
【０００８】
コントロール装置４は、カメラ３の映像信号から車両１に接近する歩行者を検出するための画像処理機能と、車速センサ５の信号から自車の走行車速を計測する機能と、システムスイッチ６の信号によりナビゲーション装置８の画像からカメラ３の映像に切り替えてディスプレイ７に出力する画像選択機能とを備える。このコントロール装置４は、本機能全体の制御を行うＣＰＵ、処理プログラムを格納するメモリ（ＲＯＭ）、アナログのカメラ映像信号をデジタル画像データに変換するＡＤ変換機、画像処理のためにデジタルデータを格納するメモリ（ＲＡＭ）、デジタル画像に対して算術演算・論理演算・エッジ抽出処理・２値化処理などの濃淡画像処理など各種の画像処理を高速に実行する画像処理プロセッサ、画像データをデジタルからアナログ映像信号に戻すＤＡ変換機、外部との信号入力を行うインターフェイス回路などから構成される（これは図示していない）。
【０００９】
＜１−２．第１実施形態の作用（図３〜１７）＞
図３は、車両１のカメラ３で撮影した濃淡画像の例を示している。道路上方と側方に設置された道路標識１５、１６や看板１７、および車道の白線１８、１９は反射率が高く、濃淡画像中で明るく表示されている。また複数の歩行者１１〜１４が、それぞれ反射率の違う服を着用しており、反射率の高い衣服を着用した歩行者１４等は明るく、反射率の低い衣服を着用した歩行者１１等は暗く撮影されている。その他の部分を背景部分１０とする。
【００１０】
図４、図５は、上記第１実施形態による車両周囲監視装置のコントロール装置４の内部の動作を示したフローチャートである。図４はメインフローチャートであり、図５は、図４中の歩行者領域検出サブルーチンのフローチャートである。以下、このフローチャートに基づき動作実施例を説明する。
【００１１】
＜１−２−１．画像入力まで（ステップ１０１〜１０５）＞
車両１のイグニッションスイッチがＯＮになった段階では（このステップは図示していない）、ディスプレイ７にはナビゲーション装置８からの画像をステップ１０１にて表示する。次にステップ１０２に進み、システムスイッチ６の状態を読込んでその状態を判定する。ＯＦＦと判定されるとステップ１０１のナビゲーション画面の表示に戻り、ＯＮと判定されるとステップ１０３に進む。ステップ１０３では、車速センサ５からのパルス信号を元にコントロール装置４で車速を計算し、車速が所定車速以上であるかを判定する。本実施形態では所定車速を３０ｋｍ／ｈとする。
【００１２】
ステップ１０３において車速が３０ｋｍ／ｈ以上であればステップ１０４に進み、３０ｋｍ／ｈ未満であればステップ１０１のナビゲーション画面の表示に戻り、システムスイッチ６と車速の状態監視を繰り返す。これは低速時にあっては遠距離の被写体に注意を向ける必要が少なく、目視で中近距離の被写体を認知することが可能なため、遠方を撮像するカメラ３の不要な消費電力を防止することを目的とする。もちろん、本装置が動作する車速値は３０ｋｍ／ｈに限定されるものでなく任意に設定できる。
【００１３】
ステップ１０３で車速が３０ｋｍ／ｈ以上であることが判定されるとステップ１０４に進む。ステップ１０４では、運転者によりヘッドライト２をＯＮにしているかどうかを判定する。ＯＦＦと判定されるとステップ１０１に戻ってナビゲーション画面の表示を行い、ＯＮと判定されると次のステップ１０５に進む。ステップ１０５にてコントロール装置４はカメラ３で撮像された濃淡画像を入力して画像メモリに格納する。濃淡画像はＡ／Ｄ変換によりデジタル画像化され、本実施形態では８ｂｉｔすなわち２５６階調に変換されるものとして説明する。なお、０値は最も暗い値、２５５値は最も明るい値とする。
【００１４】
＜１−２−２．画像抽出処理（ステップ１０６〜１１３）＞
次に入力された画像に２値化抽出処理を行う。通常の２値化処理はある閾値を境に閾値以上の値をもった画素は１（白画素）、閾値以下の輝度値を持った画素は０（黒画素）に変換するという処理を行う。白画素は２値化処理によって抽出される画素を示している。本実施形態の２値化処理は通常の２値化処理のように１つの閾値で区切って対象画素を抽出するのではなく、複数の閾値で抽出輝度範囲を設定し、抽出輝度範囲毎に２値化処理を行い、対象画素を抽出する。
【００１５】
図６は、抽出輝度範囲設定の具体例を示す図である。図６に示すように、本実施形態では２５６階調を４等分して抽出輝度範囲をあらかじめ設定しておく。Ｒａｎｇｅ１の抽出輝度範囲では輝度値０〜６３の輝度を持つ画素を白画素に変換して抽出し、それ以外の領域は非抽出画素として黒画素に変換する。同様にＲａｎｇｅ２の抽出輝度範囲では輝度値６４〜１２７の領域を抽出し、Ｒａｎｇｅ３の抽出輝度範囲では輝度値１２８〜１９１の領域を抽出し、Ｒａｎｇｅ４の抽出輝度範囲では輝度値１９２〜２５５の領域を抽出するというように、抽出輝度範囲をあらかじめ設定しておく。本実施形態では２５６階調を４等分して抽出輝度範囲を設定したが、４分割に限定されるものではなく、閾値が複数であれば３分割その他任意の分割数でよい。また分割方法も等間隔でなく不等間隔で分割する方法なども考えられる。
【００１６】
また図６の最下段には、図３で撮像された対象物の輝度値の例も同時に示した。ここでは、画像の背景部分１０はＲａｎｇｅ１の抽出輝度範囲にあり、歩行者１１はＲａｎｇｅ２の抽出輝度範囲にあり、歩行者１２および歩行者１３の下半身１３ａはＲａｎｇｅ３の抽出輝度範囲にあり、歩行者１３の上半身１３ｂ、歩行者１４および道路標識１５、１６等はＲａｎｇｅ４の抽出輝度範囲にある。
【００１７】
＜１−２−２−１．Ｒａｎｇｅ１：図７、８＞
こうした２値化抽出処理を行なうため、ステップ１０６にて現在の抽出輝度範囲をカウントするためのレンジカウンタのカウント値をｎ＝１にセットする。そして、ステップ１０７にてカメラ３からの画像である図３のデータから、（ｎ＝１であるので）Ｒａｎｇｅ１の抽出輝度範囲である０〜６３の輝度値を持つ画素を抽出して白画素とし、その他の画素を黒画素とする。
図７に、図３の画像からＲａｎｇｅ１によって画素を抽出した結果画像を示す。背景部分１０が白画素に変換され、その他の部分が黒画素に変換されている。
【００１８】
次に、抽出された画像のうち白画素につき、隣り合った白画素同士を１つのグループとして認識するグルーピング処理（ステップ１０８）を行う。図７に対しグルーピングを行った結果は、背景１０全体を１つのグループとみなす。なお、ここではグルーピングの基準として、隣り合った白画素同士を同一のグループに属するものとしたが、これに限らず、ある一定数以下の黒画素を挟んだ白画素同士なら同一のグループに属するものとしてもよい。すなわち、互いに近接した白画素のまとまりが１つのグループとして認識されればよく、その基準は任意である。次に、生成されたグループ毎に固有のＩＤを付帯させるラベリング処理（ステップ１０９）を行う。図７では白画素同士で隣り合った画素のグループが１グループしか存在していないので、背景１０全体のグループにラベルＩＤ：１を付帯する。次にステップ１１０にて歩行者領域を検出するために図５の歩行者領域検出サブルーチンに移行する。
【００１９】
歩行者領域検出サブルーチンに移行するとステップ２０１にて抽出ラベル数Ｍをセットする。抽出ラベル数Ｍとはメインルーチンのステップ１０９で検出されたグループの総数とする。ここではステップ１０９の結果からＭ＝１にセットする。次にステップ２０２にてラベルカウンタのカウント値をｍ＝１にセットする。次にステップ２０３では、上記グルーピングおよびラベリングされたラベルＩＤ：１に対し、外接矩形を作成する。
【００２０】
図８は、図７に対し上記グルーピング処理、ラベリング処理を行い、外接矩形を破線で描画した結果を示す画像である。図示の外接矩形の破線は説明上見やすいようにラベルＩＤ：１には外接していないが、実際の処理では外接するように矩形を作成する。次にステップ２０４に進み、描画した外接矩形の縦横比が所定値の範囲内に収まるかを判定する。歩行者と判定する縦横比は、例えば、縦：横＝ａ：ｂ＝３：１〜２：１の範囲とする。本実施形態では歩行者と判定する縦横比をこの値としたが、この値に限定されるものでなく適宜調整を行うことが可能である。図８のラベルＩＤ：１は、縦横比が本実施形態で設定した歩行者と判定する比に収まらないため、歩行者領域として検出されない。
【００２１】
次にラベルＩＤ：１が歩行者領域として検出されないためステップ２０６に進み、ステップ１０９にてラベリングされたグループ全てに対して縦横比判定を終了しているかどうかを判定する。図８はラベルＩＤが１つしか存在しないので、現在のｍの値とステップ２０１にて設定されたＭの値がｍ＝１＝Ｍとなるためリターンしてメインルーチンに戻る。上記の結果から図３をＲａｎｇｅ１で２値化した場合に歩行者領域は検出されない。
【００２２】
メインルーチンに戻りステップ１１１にて検出結果を描画するが、Ｒａｎｇｅ１では歩行者領域が検出されていないので結果画像には描画を行わない。次にステップ１１２に進み、ｎ＝Ｎか判定する。変数Ｎはあらかじめ設定した抽出輝度範囲の数であり、本実施形態では４レンジの抽出輝度範囲を設定したのでＮ＝４である。現在レンジカウンタｎ＝１なのでステップ１１２は否定されてステップ１１３に進む。ステップ１１３では次の抽出輝度範囲で図３の画像を２値化するためにｎの値をインクリメントし、ｎ＝２としてステップ１０７に戻る。
【００２３】
＜１−２−２−２．Ｒａｎｇｅ２：図９〜１１＞
Ｒａｎｇｅ１の処理が終了すると、ステップ１０７で図３の画像からＲａｎｇｅ２の抽出輝度範囲である６４〜１２７の輝度値を持つ画素を抽出する。
図９に、図３の画像からＲａｎｇｅ２によって画素を抽出した結果画像を示す。歩行者１１の部分が白画素に、その他の部分が黒画素に変換されている。
【００２４】
次に、ｎ＝１の時と同様にステップ１０８にてグルーピング処理、ステップ１０９にてラベリング処理を行い、ステップ１１０にて歩行者領域検出サブルーチンに移行する。歩行者領域検出サブルーチンのステップ２０１でステップ１０９の結果からＭ＝１にセットし、ステップ２０２にてｍ＝１をセットする。次にステップ２０３にて、ステップ１０９で歩行者１１の部分に付されたラベルＩＤ：１に対し外接矩形を作成する。ステップ２０３にて外接矩形を破線で描画した結果画像を図１０に示す。
【００２５】
次にステップ２０４にて、描画された外接矩形の縦横比が、歩行者領域の縦横比として設定した範囲内に入るかを判定する。図１０のラベルＩＤ：１の外接矩形の縦横比はａ：ｂ＝３：１〜２：１の範囲内に入っているのでステップ２０５に進み、図１０のラベルＩＤ：１を歩行者領域として検出する。次に全てのラベルＩＤに対して縦横比判定を終了しているので、ステップ２０６で歩行者領域検出を終了と判定しメインルーチンに戻る。メインルーチンに戻りステップ１１１にて検出結果を描画する。Ｒａｎｇｅ２ではステップ２０５にて図１０のラベルＩＤ：１が歩行者領域として検出されたので検出結果を描画する。検出結果を描画するには、図３の原画像のデータをコントロール装置４のメモリ（ＲＡＭ）に複製し、歩行者領域として検出された図１０のラベルＩＤ：１のステップ２０３にて作成された外接矩形と同じ大きさの強調表示枠を、上記複製した画像に重ねて描画する。
【００２６】
図１１は、こうして強調表示枠１１ｓを重ねて作成した結果画像である。こうしてＲａｎｇｅ２の抽出輝度範囲において歩行者領域が検出される。次にステップ１１２の終了判定は、ｎ＝２で有り否定されるので、ステップ１１３にてレンジカウンタｎの値をインクリメントしてｎ＝３とし、ステップ１０７に戻る。
【００２７】
＜１−２−２−３．Ｒａｎｇｅ３：図１２〜１４＞
図１２は、ステップ１０７で図３の画像からＲａｎｇｅ３の抽出輝度範囲である１２８〜１９１の輝度値を持つ画素を抽出した結果画像である。歩行者１２の部分と歩行者１３の下半身１３ａの部分が抽出されている。
次にステップ１０８にてグルーピング処理、ステップ１０９にてラベリング処理を行う。具体的には、図１２の画像から歩行者１２の部分に形成されるグループと歩行者１３の下半身１３ａの部分に形成されるグループの２グループが形成される。そして、ラベリング処理によりこれらのグループにそれぞれラベルＩＤ：１とラベルＩＤ：２を付加する。次にステップ１１０にて歩行者領域検出サブルーチンに移行し、ステップ２０１でステップ１０９のラベリング処理の結果からＭ＝２にセットし、ステップ２０２にてｍ＝１をセットする。
【００２８】
次に、ステップ２０３にて、歩行者１２の部分に付されたラベルＩＤ：１に対し外接矩形を破線で描画する。図１３に、ラベルＩＤ：１に対する外接矩形が示されている。ステップ２０４にて図１３のラベルＩＤ：１の外接矩形の縦横比を判定する。図１３のラベルＩＤ：１は判定条件を満たすので、ステップ２０５にて図１３のラベルＩＤ：１を歩行者領域として検出する。次にステップ２０１でＭ＝２に設定されているので、ステップ２０６は否定され、繰返し処理を行うためにステップ２０７に進む。ステップ２０７にてｍの値をインクリメントし、ｍ＝２としてステップ２０３に進む。
【００２９】
ステップ２０３では、歩行者１３の下半身１３ａの部分に付されたラベルＩＤ：２に対し外接矩形を作成する。図１３にその結果が示されている。次に、ステップ２０４にて図１３のラベルＩＤ：２の外接矩形の縦横比を判定する。図１３のラベルＩＤ：２の外接矩形の縦横比は歩行者の縦横比条件を満足しないため、歩行者領域として検出されない。ステップ２０６は、ｍ＝２＝Ｍであり肯定されるのでメインルーチンに戻る。
【００３０】
メインルーチンのステップ１１１にて、Ｒａｎｇｅ３ではステップ２０５にて図１３のラベルＩＤ：１が歩行者領域として検出されたので、Ｒａｎｇｅ２で作成した結果画像である図１１に対して、Ｒａｎｇｅ３で歩行者領域として検出された図１３のラベルＩＤ：１の外接矩形を強調表示枠１２ｓとして重ねて描画する。こうして描画した結果画像を図１４に示す。
次に、ステップ１１２にて終了条件が判定され、ｎ＝３でｎ≠Ｎなのでステップ１１３でｎをインクリメントし、ｎ＝４として、ステップ１０７に戻る。
【００３１】
＜１−２−２−４．Ｒａｎｇｅ４：図１５〜１７＞
図１５は、ステップ１０７で図３の画像からＲａｎｇｅ４の抽出輝度範囲である１９２〜２５５の輝度値を持つ画素を抽出した結果画像である。これまでと同様にステップ１０８からステップ１１０まで行って歩行者領域検出サブルーチンのステップ２０１に移行し、ステップ１０９の結果からＭ＝６にセットする。ステップ２０３で外接矩形を作成し、それをＭの値である６回、繰り返す。
【００３２】
図１６は、図１５に対して上記のグルーピング処理およびラベリング処理を行い、これに外接矩形の作成を６回繰り返した結果画像を示す図である。６回繰り返す中でステップ２０５にて歩行者領域として検出されるラベルＩＤは、歩行者１４の部分に付されたラベルＩＤ：１である。ステップ２０６にて歩行者領域検出サブルーチンの終了条件が満たされるとメインルーチンに戻る。ステップ１１１にてラベルＩＤ：１の結果描画を行う。Ｒａｎｇｅ２およびＲａｎｇｅ３の結果画像である図１４に対し、Ｒａｎｇｅ４の抽出輝度範囲において歩行者領域として検出された外接矩形を強調表示枠１４ｓとして重ねて描画した結果画像を図１７に示す。
ステップ１１２にて終了条件が判定され、ｎ＝４＝Ｎとなるので終了条件を満たしステップ１１４に進む。
【００３３】
＜１−２−３．報知処理（ステップ１１４〜１１６）＞
ステップ１１４では結果画像の表示を行う。コントロール装置４のメモリ上の結果画像である図１７をディスプレイ７に出力する。次にステップ１１５に進み、ステップ１０５にて最新のカメラ画像が入力されてから歩行者領域が検出されているかを判定し、歩行者領域が検出されていれば運転者に報知するためにステップ１１６に進み、ブザー音を出力する。また歩行者領域が検出されていなければ繰返し上記と同じ動作をするためにステップ１０２に戻る。本実施形態ではディスプレイへの表示とブザー音の両者によって運転者へ報知したが、これに限定されるものでなく、ディスプレイへの表示またはブザー音の何れか一方のみでも良いし、その他ＬＥＤの点滅により報知する方法でも良い。
【００３４】
＜１−２−４．繰り返し＞
一連の動作を終了後、ステップ１０２に戻る。ステップ１０２にてシステムスイッチ条件、ステップ１０３で車速条件、ステップ１０４でヘッドライト条件を判定し、満たされていなければステップ１０１に戻りナビゲーションを表示し、システムスイッチ、車速、ヘッドライトの監視を続ける。ステップ１０２、ステップ１０３、ステップ１０４が満たされていればステップ１０５に進む。ステップ１０５にてカメラ３からの新たな画像をコントロール装置４に入力し原画像として、上記に示した歩行者領域検出動作を繰り返す。
【００３５】
以上説明した車両周囲監視装置では次のようなステップ（Ａ）〜（Ｄ）により車両周囲を監視して表示する。
（Ａ）  車両に設けられたカメラ３により、車両周囲を撮像する撮像ステップと、
（Ｂ）  複数の閾値で画成された各輝度範囲ごとに、撮像ステップによって撮像された画像から各輝度範囲内の画素を抽出する画素抽出ステップと、
（Ｃ）  画素抽出ステップによって各輝度範囲ごとに抽出された画素に基づき、画像から歩行者領域を検出する歩行者領域検出ステップと、
（Ｄ）  歩行者領域検出ステップにより歩行者領域が検出されたときに検出信号を出力する出力ステップと、
（Ｅ）  検出信号に基づいて、ディスプレイ７に歩行者領域を強調表示する表示ステップとを備える。
【００３６】
＜１−３．第１実施形態の効果＞
このような車両周囲監視装置および方法によれば次のような作用効果を奏する。
（１）従来例の単一の閾値を用いた２値化手法では、複数の歩行者が各々違った輝度で画面内に存在する場合、背景輝度値に近い輝度の歩行者などは２値化処理により背景に埋もれてしまい抽出することができず、運転者に正確に歩行者の位置を報知することができない。これに対し本実施形態の手法では、車両周囲を撮像するカメラ３を設け、複数の閾値で画成された各輝度範囲ごとに、カメラ３によって撮像された画像から各輝度範囲内の画素を抽出し、各輝度範囲ごとに抽出された画素に基づいて原画像から歩行者領域を検出し、歩行者領域が検出された場合に運転者に報知する。複数の閾値を用いた抽出輝度範囲によって２値化抽出処理を行うため、画面内の背景輝度値に近い歩行者や複数の歩行者を良好に検出でき、車両１の運転者に正確に歩行者の位置を報知することが可能となる。
【００３７】
（２）検出された歩行者領域をディスプレイ７に強調表示させる。画像での強調表示により歩行者領域の検出を報知するので、運転者が歩行者の確認を容易にすることができる。
（３）歩行者領域の検出は、抽出された画素のまとまりを検出し、当該検出されたまとまりの外接矩形を作成し、この外接矩形に基づいて歩行者領域を検出する。外接矩形の作成およびこれに基づくパターン認識を行うので、情報処理を迅速に行うことができる。
【００３８】
（４）歩行者領域の検出は、抽出された画素のまとまりを検出し、当該検出されたまとまりの縦横比ａ：ｂを算出し、この縦横比ａ：ｂに基づいて歩行者領域を検出する。縦横比を用いるので情報処理を迅速に行うことができる。
（５）車速を検出する車速センサ５を更に備え、車速センサ５によって車速が所定値以上であることを検出した場合に上記報知を行う。低速時にあっては、遠距離の被写体に注意を向ける必要が少なく目視で中近距離の被写体を認知することが可能なため、遠方を撮像するカメラ３の不要な消費電力を防止することができる。
【００３９】
＜２−１．第２実施形態の構成（図１８）＞
第２実施形態は第１実施形態と類似しているため、以下の説明は相違点について行なう。
図１８は本発明の第２実施形態による車両周囲監視装置が実現される車載装置の構成を示すブロック図である。
【００４０】
第１実施形態との相違点は、第１実施形態ではヘッドライトを撮像用照明として使用していたが、第２実施形態では近赤外投光器２２を搭載する点である。これにより近赤外領域の光を前方の所定の範囲へ照射し、車両前方の被写体を照明する。また第１実施形態のカメラ３の替わりに第２実施形態では近赤外カメラ２３を搭載する。これにより上記近赤外投光器２２によって照らされた道路周辺の被写体表面からの近赤外領域の反射光を受光して、濃淡画像を生成する。
【００４１】
近赤外投光器２２と近赤外カメラ２３の車両搭載位置は、図２に示した第１実施形態のヘッドライト２、カメラ３の搭載位置に従う。近赤外投光器２２、近赤外カメラ２３共に第１実施形態で示したヘッドライト２、カメラ３の設置条件を満たせるものであれば本実施形態の搭載位置に限定されるものではない。
車両１に搭載された近赤外投光器２２からは近赤外照明光が車両１の前方に照射され、車両前方の被写体はそれぞれの反射率に応じて反射光を反射する。近赤外カメラ２３はこれらの反射光を受けて濃淡画像を生成する。
【００４２】
＜２−２．第２実施形態の作用（図１９）＞
図１９は、上記第２実施形態による車両周囲監視装置のコントロール装置４の実際の処理動作を示したフローチャートである。第１実施形態ではステップ１０２、ステップ１０３の条件を満たした後に、ヘッドライト２がＯＮであるかを判定していたが、そのステップ１０４の代りに第２実施形態では、ステップ１２４で近赤外投光器２２をＯＮにする。近赤外照明光は人間が目視できる領域の光線ではないため、ステップ１０２、ステップ１０３の条件を満たした場合にのみ近赤外光線を投光するのが消費電力を節約する観点から好ましい。次にステップ１２５にて近赤外カメラ２３からの画像を取得してこれを原画像とし、以下の動作は第１実施形態に準ずる。
【００４３】
本実施形態によれば、近赤外光を投光し、近赤外カメラ２３によって撮像された画像を使用することにより、運転者が目視できない近赤外領域で対象物が撮像でき、歩行者の検出がより精度良く行える。また近赤外照明光の照射角度を上げても可視光と異なり対向車や歩行者には眩しくないし、近赤外照明光は可視光より直線性が高いので、可視光領域の照明より遠くまで照射し、より遠くの照射範囲を近赤外カメラ２３で撮像することができる。これにより、車両運行者の目視できる範囲より遠くの範囲の歩行者検出が行なえるようになる。
【００４４】
＜３−１．第３実施形態の構成（図２０、２１）＞
本実施形態は第１実施形態と類似しているため、以下の説明は相違点について行なう。
図２０は、本発明の第３実施形態による車両周囲監視装置が実現される車載装置の構成を示すブロック図である。
【００４５】
第１実施形態との相違点は、第１実施形態ではヘッドライト２を照明として使用していたが、第３実施形態では撮像用には照明類を使用しない。また第１実施形態のカメラ３の替わりに、第３実施形態では遠赤外カメラ３３を搭載する。これにより道路周辺の被写体表面温度の高低を画素輝度値の高低に変換し、濃淡画像を生成する。
【００４６】
図２１は、第３実施形態の車両に搭載した機器を示すものである。遠赤外カメラ３３の車両搭載位置は図２１に示したとおり第１実施形態のカメラの搭載位置に従う。遠赤外カメラ３３は車両１の前方を撮影できる設置位置であれば本実施形態に限定されるものではない。
【００４７】
＜３−２．第３実施形態の作用（図２２）＞
図２２は、上記第３実施形態による車両周囲監視装置のコントロール装置４の実際の処理動作を示したフローチャートである。第１実施形態ではステップ１０２、ステップ１０３の条件を満たした後に、ヘッドライト２がＯＮであるかを判定していたが、本実施形態では照明類を使用しないので、ステップ１０４を省略する。次にステップ１３５にて遠赤外カメラ３３からの画像を取得して原画像とし、以下の動作は第１実施形態に準ずる。
【００４８】
遠赤外カメラ３３は被写体の持つ温度を画面輝度に変換する特性がある。このため本実施形態によれば、温度を持った物体である歩行者が画面内で検出しやすくなり、可視光も近赤外光も吸収してしまうような黒い服等を着用した歩行者（例えば喪服などを着用した歩行者）も遠赤外カメラ３３を使用すれば検出が可能である。
【００４９】
＜４．第４実施形態（図２３〜２６）＞
本発明の第４実施形態は、上記第１〜第３実施形態と同一の車載装置により実現されるので、車載装置の構成についての詳細な説明を省略する。
【００５０】
図２３は、第４実施形態における抽出輝度範囲の設定例を示す図である。複数の抽出輝度範囲を設定する際に、上記第１実施形態では図６のように２５６階調を４等分して抽出輝度範囲を設定していたが、本実施形態では、隣り合った抽出輝度範囲同士がオーバーラップする領域を持つようにあらかじめ設定する。具体的には図２３に示すように、Ｒａｎｇｅ１は輝度値０〜８０、Ｒａｎｇｅ２は輝度値４８〜１４４、Ｒａｎｇｅ３は輝度値１１２〜２０８、Ｒａｎｇｅ２は輝度値１７６〜２５５の領域を抽出するように抽出輝度範囲をあらかじめ設定する。隣り合った抽出輝度範囲同士がオーバーラップする領域を持つように設定する方法は本実施形態で例示した値に限定されることなく適宜調整することが可能である。また図３で撮像された対象物の輝度値も同時に図２３の最下段に示した。抽出輝度範囲を変更した後の図４のステップ１０１からの処理は第１実施形態と同様に行う。図２３で設定したＲａｎｇｅ１〜Ｒａｎｇｅ３の処理は第１実施形態と同様の結果となる。
【００５１】
ここで図３右下の歩行者１３の上半身１３ｂと下半身１３ａの輝度が違うため、抽出輝度範囲にオーバーラップ領域を持たせない第１実施形態では上半身と下半身が別々の抽出輝度範囲で抽出されてしまい、図１２と図１５から分かるように上半身と下半身別々に抽出されてしまう。これに対し、本実施形態により抽出輝度範囲にオーバーラップ領域を持たせた場合、図３右下の歩行者１３の上半身１３ｂと下半身１３ａが同じ図２３のＲａｎｇｅ４に入るため、Ｒａｎｇｅ４の図４のステップ１０７の結果、図３右下の歩行者１３を一体で検出できる。
【００５２】
図２４に、Ｒａｎｇｅ４における図４のステップ１０７での検出結果を示した。以後の処理は上記と同様に行う。
図２５に、歩行者領域検出サブルーチンのステップ２０３での全てのラベルＩＤの外接矩形を描画した結果を示した。図２５のラベルＩＤ：６は抽出輝度範囲にオーバーラップ領域を持たせたことにより歩行者１３の上半身の部分と下半身の部分が一体で抽出されているので、図５でのステップ２０５で外接矩形の縦横比が所定値内と判定されて歩行者領域として検出される。
【００５３】
図２６は、ステップ１１１にてＲａｎｇｅ１、Ｒａｎｇｅ２、Ｒａｎｇｅ３の結果画像にＲａｎｇｅ４の歩行者領域を重ねて描画して作成される画像である。以降の動作は第１実施形態と同様である。
【００５４】
このように歩行者の上半身と下半身で輝度が違う場合や歩行者の輝度値にばらつきがある場合などで、画面内の歩行者の全身が１つの抽出輝度範囲に入らないと歩行者の全身を一体で抽出することができない場合がある。しかし抽出輝度範囲にオーバーラップ領域を持たせることによって、上半身と下半身で輝度が違う場合や、歩行者の輝度値にある程度ばらつきがある場合でも１つの抽出輝度範囲に入れることができる。これにより、結果画像において歩行者の全身を一体で検出することが可能となり、より正確な歩行者検知が行える。
【００５５】
なお抽出輝度領域にオーバーラップを持たせる手法は第１実施形態だけでなく、近赤外カメラを用いた第２実施形態、遠赤外カメラを用いた第３実施形態にも適用可能である。
【００５６】
なお、以上の各実施形態におけるカメラ３は本発明の撮像手段に、ディスプレイ７は表示手段に、コントローラ装置４は画素抽出手段、歩行者領域検出手段、出力手段にそれぞれ相当する。
【図面の簡単な説明】
【００５７】
【図１】第１実施形態の車載装置構成を示すブロック図である。
【図２】第１、第２、第４実施形態の車両に搭載された機器を示す図である。
【図３】カメラからの原画像例である。
【図４】第１、第４実施形態の動作を示すメインフローチャートである。
【図５】第１、第４実施形態の歩行者領域を検出するサブルーチンのフローチャートである。
【図６】第１、第２、第３実施形態の抽出輝度範囲設定を示す図である。
【図７】図３の画像から図６に示したＲａｎｇｅ１により画素を抽出した結果を示す図である。
【図８】図７に対しグルーピング処理、ラベリング処理を行い、外接矩形を描画した図である。
【図９】図３の画像から図６に示したＲａｎｇｅ２により画素を抽出した結果を示す図である。
【図１０】図９に対しグルーピング処理、ラベリング処理を行い、外接矩形を描画した図である。
【図１１】Ｒａｎｇｅ２による歩行者領域検出結果を描画した図である。
【図１２】図３の画像から図６に示したＲａｎｇｅ３により画素を抽出した結果を示す図である。
【図１３】図１２に対しグルーピング処理、ラベリング処理を行い、外接矩形を描画した図である。
【図１４】図１１にＲａｎｇｅ３による歩行者領域検出結果を重ねて描画した図である。
【図１５】図３の画像から図６に示したＲａｎｇｅ４により画素を抽出した結果を示す図である。
【図１６】図１５に対しグルーピング処理、ラベリング処理を行い、外接矩形を描画した図である。
【図１７】図１４にＲａｎｇｅ４による歩行者領域検出結果を重ねて描画した図である。
【図１８】第２実施形態の車載装置構成を示すブロック図である。
【図１９】第２実施形態の動作を示すメインフローチャートである。
【図２０】第３実施形態の車載装置構成を示すブロック図である。
【図２１】第３実施形態の車両に搭載された機器を示す図である。
【図２２】第３実施形態の動作を示すメインフローチャートである。
【図２３】第４実施形態の抽出輝度範囲設定を示す図である。
【図２４】図３の画像から図２３に示したＲａｎｇｅ４により画素を抽出した結果を示す図である。
【図２５】図２４に対しグルーピング処理、ラベリング処理を行い、外接矩形を描画した図である。
【図２６】図２３に示した全Ｒａｎｇｅによる歩行者領域抽出を行った結果を示す図である。
【符号の説明】
【００５８】
１…車両  ２…ヘッドライト  ３…カメラ（撮像手段）  ４…コントロール装置  ５…車速センサ  １０…背景  １１，１２，１３，１４…歩行者  １３ａ…下半身  １３ｂ…上半身  １１ｓ，１２ｓ，１３ｓ，１４ｓ…強調表示枠  １５，１６…道路標識  １７…看板  １８，１９…白線  ２２…近赤外投光機  ２３…近赤外カメラ  ３３…遠赤外カメラ  
【図１】
2005318408.tif 000003
【図２】
2005318408.tif 000004
【図３】
2005318408.tif 000005
【図４】
2005318408.tif 000006
【図５】
2005318408.tif 000007
【図６】
2005318408.tif 000008
【図７】
2005318408.tif 000009
【図８】
2005318408.tif 000010
【図９】
2005318408.tif 000011
【図１０】
2005318408.tif 000012
【図１１】
2005318408.tif 000013
【図１２】
2005318408.tif 000014
【図１３】
2005318408.tif 000015
【図１４】
2005318408.tif 000016
【図１５】
2005318408.tif 000017
【図１６】
2005318408.tif 000018
【図１７】
2005318408.tif 000019
【図１８】
2005318408.tif 000020
【図１９】
2005318408.tif 000021
【図２０】
2005318408.tif 000022
【図２１】
2005318408.tif 000023
【図２２】
2005318408.tif 000024
【図２３】
2005318408.tif 000025
【図２４】
2005318408.tif 000026
【図２５】
2005318408.tif 000027
【図２６】
2005318408.tif 000028