(57)【要約】【課題】撮影手段からの画像情報に対して迅速で信頼性の高い判定処理を行うことのできる物体検出装置を提供する。【解決手段】車輌７の前方風景を撮影する赤外線カメラ２と、人体Ｂの形状に基づく所定の画像サイズからなる画像情報群Ｇを格納する記憶手段４と、赤外線カメラから得られる入力画像情報を拡大処理または縮小処理することによって画像情報群と同様の画像サイズに合わせ、前記拡大処理または縮小処理された入力画像情報と画像情報群とを比較判定することにより所定の物体を検出する画像処理手段３と、を備えてなる。【選択図】　図１
2004093167.tif 000002
【特許請求の範囲】
【請求項１】
車輌の前方風景を撮影する撮影手段と、所定の物体の形状に基づく所定の画像サイズからなる画像情報群を格納する記憶手段と、前記撮影手段から得られる入力画像情報を拡大処理または縮小処理することによって前記画像情報群と同様の画像サイズに合わせ、前記拡大処理または縮小処理された入力画像情報と前記画像情報群とを比較判定することにより所定の物体を検出する制御手段と、を備えてなることを特徴とする物体検出装置。
【請求項２】
前記制御手段は、前記撮影手段による撮影画像から所定の物体の候補となる前記入力画像情報を、前記画像情報群の所定の画像サイズと相似する画像サイズにて切り出して得ることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記撮影手段による撮影画像を表示する表示手段を備え、前記制御手段は、前記比較判定に基づいて検出された前記所定の物体を前記表示手段に強調表示させてなることを特徴とする請求項１または請求項２に記載の物体検出装置。
【請求項４】
前記撮影手段は赤外線波長域の撮影画像を出力するものであり、前記制御手段は前記撮影画像から発熱物体の高温部分を抽出し、前記高温部分の大きさが所定の大きさであるものに対して切り出し処理し、切り出された領域内の情報を前記入力画像情報として得ることを特徴とする請求項１から請求項３のいずれかに記載の物体検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車輌等に搭載される撮影手段によって所定の物体を検出する物体検出装置に関し、例えば、赤外線式の撮影手段を用いて、人や動物等の発熱物体を精度良く検出する物体検出装置に関するものである。
【０００２】
【従来の技術】
物体検出装置としては、車輌前方の人（人体）を検出し、運転者に注意を促す人体検出装置が挙げられ、特開平９−３２６０９６号公報に開示されるものがある。
【０００３】
この人体検出装置は、赤外線カメラを備え、前記赤外線カメラから入力される赤外線画像において、輝度値が特定の範囲内の画素を残すとともに連結する画素群を求め、この画素群の形状（連結した画素群）が円形で、かつその形状が特定の大きさのものを人と判断するものである。
【０００４】
【発明が解決しようとする課題】
このような人体検出装置において、人の温度や大きさに近い人以外の発熱物体についても人と判定してしまう虞があり、信頼性の高い人体判定ができず人体検出装置としての商品価値を低下させてしまうといった問題を有していた。
【０００５】
また、判定対象の距離に応じて同じ発熱物体であっても大きさが異なるため、距離に応じた判定を行わなくてはならず、撮影範囲が広い程、これらの人体検出における判定処理が煩雑になり、処理速度が低下してしまう問題を生じていた。
【０００６】
そこで、本発明は、前述した問題点に着目し、撮影手段を用いた物体検出装置において、撮影手段からの画像情報に対して迅速で信頼性の高い判定処理を行うことのできる物体検出装置を提供するものである。
【０００７】
【課題を解決するための手段】
本発明の物体検出装置は、前記課題を解決するため、請求項１に記載したように、車輌の前方風景を撮影する撮影手段と、所定の物体の形状に基づく所定の画像サイズからなる画像情報群を格納する記憶手段と、前記撮影手段から得られる入力画像情報を拡大処理または縮小処理することによって前記画像情報群と同様の画像サイズに合わせ、前記拡大処理または縮小処理された入力画像情報と前記画像情報群とを比較判定することにより所定の物体を検出する制御手段と、を備えてなることを特徴とするものである。
【０００８】
また、請求項２に記載したように、請求項１に記載の物体検出装置において、前記制御手段は、前記撮影手段による撮影画像から所定の物体の候補となる前記入力画像情報を、前記画像情報群の所定の画像サイズと相似する画像サイズにて切り出して得ることを特徴とするものである。
【０００９】
また、請求項３に記載したように、請求項１または請求項２に記載の物体検出装置において、前記撮影手段による撮影画像を表示する表示手段を備え、前記制御手段は、前記比較判定に基づいて検出された所定の物体を前記表示手段に強調表示させてなることを特徴とするものである。
【００１０】
また、請求項４に記載したように、請求項１から請求項３のいずれかに記載の物体検出装置において、前記撮影手段は赤外線波長域の撮影画像を出力するものであり、前記制御手段は前記撮影画像から発熱物体の高温部分を抽出し、前記高温部分の大きさが所定の大きさであるものに対して切り出し処理し、切り出された領域内の情報を前記入力画像情報として得ることを特徴とするものである。
【００１１】
【発明の実施の形態】
以下、本発明の物体検出装置の実施の形態を、車輌に搭載され発熱物体である人体（所定の物体）を検出するための人体検出装置に適用したものを例に挙げ、添付図面を用いて説明する。
【００１２】
図１において、人体検出装置１は、赤外線カメラ（撮影手段）２と、画像処理手段（制御手段）３と、記憶手段４と、画像表示手段（表示手段）５と、警報手段６とから構成されている。
【００１３】
赤外線カメラ２は、赤外線波長域の光を検出することができ、車輌（例えば、自動車）７内のフロントグリルやフロントバンパー等に配設される。赤外線カメラ２は、図２に示すように、例えば２４０画素×３２０画素からなる撮影画像Ａを出力する。
【００１４】
画像処理手段３は、車輌７に搭載された赤外線カメラ２による撮影画像Ａに基づく情報（入力画像情報）から後述する処理によって人体Ｂである発熱物体を検出するためのものであり、マイクロコンピュータによって構成されている。
【００１５】
記憶手段４は、人体Ｂを撮影した場合の画像データ，位置データ，大きさ等の表示形状に基づいた情報（人体認識用の情報）を格納するものであり、ＲＯＭ等からなる記憶媒体から構成されている。また、記憶手段４は、前記情報を画像情報群として複数パターン用意している。なお、前記画像情報群は、それぞれが１６画素×３２画素の画像サイズに対応した情報である。
【００１６】
画像表示手段５は、例えば、バックライト付き液晶表示装置から構成され、前記液晶表示装置からの表示光となる人体Ｂの映像をフロントガラス８に投影する、所謂ヘッドアップディスプレイであり、車輌７内の運転者９は、前記映像を前方風景から視線を逸らさなくとも視認できるものである。
【００１７】
警報手段６は、ランプやＬＥＤ，ブザー等によって構成されるものである。また、警報手段６は、画像処理手段３によって、赤外線カメラ２からの撮影画像Ａ内に人体Ｂが存在すると判断された際に、画像処理手段３から出力される所定の駆動信号に基づいて動作するものである。
【００１８】
以上の各部によって人体検出装置１が構成される。
【００１９】
次に、図３から図８を用いて、人体検出装置１の画像処理手段３における処理手順を説明する。
【００２０】
画像処理手段３は、赤外線カメラ２からの撮影画像Ａに基づく画像情報を入力する（ステップＳ１）。
【００２１】
画像処理手段３は、赤外線カメラ２によって検出される所定範囲の画像情報について２値化処理を実行し、周囲温度よりも高温となる発熱領域である高温部分Ｃと、非発熱領域となる低温部分Ｄとに分類する（ステップＳ２）。なお、高温部分Ｃは、人体の候補として認識され、低温部分Ｄは、背景として認識される。
【００２２】
次に画像処理手段３は、高温部分Ｃの大きさの判定を行うべく、画素単位で連結する高温部分Ｃをグループ分けし、このグループ分けされた高温部分Ｃの輪郭に接触する外接長方形形状の包囲領域Ｅを生成する（ステップＳ３）。なお、画像処理手段３の抽出結果を図４に示す。
【００２３】
画像処理手段３は、ステップＳ３で得られた包囲領域Ｅの長辺の幅Ｘおよび高さＹが４画素より大きく、且つ幅Ｘと高さＹの比率が１対２に近い包囲領域だけを人体Ｂの候補として選定するもので、この条件に含まれないものはノイズとして除去される（ステップＳ４）。すなわち、前記発熱部分の大きさや比率の判定によって、包囲領域Ｅの発熱部分Ｃにおいて、周囲温度よりも高温となる物体の内、明らかに判定対象（人体Ｂ）以外の大きさ，または比率を有する包囲領域Ｅを除去することができる。なお、ノイズの除去に関するしきい値の設定（この場合、画素数の設定）は、赤外線カメラ２から人体Ｂまでの距離や、赤外線カメラ２の画素構成等によって異なる。
【００２４】
次に画像処理手段３は、ステップＳ２において、除去されずに残った包囲領域Ｅに対して、発熱部分Ｃの連結成分における重心を算出し、この重心を中心とした、例えば、図５に示すように、「幅」対「高さ」が１対２の比率となるような包囲領域Ｅを含む画像サイズを切り出し領域Ｆとして生成することにより、被判定情報となる入力画像情報Ｆ１を設定する切り出し処理を行う（ステップＳ５）。なお、入力画像情報Ｆ１は、２値化処理する以前の多階調の画像から得られる情報である。
【００２５】
次に画像処理手段３は、ステップＳ５にて切り出された切り出し領域Ｆ内から得られる入力画像情報Ｆ１を展開または圧縮することによって、予め記憶手段４に格納された画像情報群Ｇの画像サイズ（１６画素×３２画素）と同じ画像サイズになるように、拡大処理または縮小処理する（ステップＳ６）。
【００２６】
画像処理手段３は、ステップＳ６で処理された入力画像情報Ｆ２と予め記憶手段４に複数パターン格納された画像情報群Ｇとを固有空間法の基づいてそれぞれ比較し、前記画像情報群Ｇのうち入力画像情報Ｆ２に類似するものがあるか否かを判定処理する（ステップＳ７）。なお、ステップＳ６およびステップＳ７の処理は、ステップＳ５で得られた、切り出し領域Ｆの全てに対して行われる。
【００２７】
画像処理手段３は、ステップＳ７の判定処理によって、画像情報群Ｇのうち入力画像情報Ｆ２に類似するものがあると判定した場合、図７で示すように、背景であるとした低温部分Ｄを除去するとともに、入力画像情報Ｆ１に対応する部分、すなわち人体Ｂ部分のみを表示するとともに、警報手段６を制御することによって撮影画像Ａ内の人体Ｂの有無を運転者９に積極的に知らせることができる（ステップＳ８）。
【００２８】
画像処理手段３は、所定の周期により入力される撮影画像Ａの画像情報を前述した各処理（ステップＳ１〜Ｓ８）を繰り返し実行することで、車輌７の前方に存在する人体Ｂを検出することが可能となる。
【００２９】
次に上述した、ステップＳ７の判定処理について、図６及び図８を用いて説明する。なお、図８に基づく以下の説明は、固有空間を２次元的に表したものである。
【００３０】
画像処理手段３は、第１の入力画像情報Ｆ２が、記憶手段４に予め記憶された画像情報群Ｇに類似しているか否かを判定するものである。すなわち、画像処理手段３は、入力画像情報Ｆ２を画像情報群Ｇの固有空間Ｐに投影した際のベクトルＰ１大きさ（図７においては長さとなる）を所定の演算によって求め、このベクトルＰ１の大きさを比較することによって、入力画像情報Ｆ２が人体認識用の固有空間Ｐに近い画像情報であるかを求め、人体Ｂに類似する形状であるかを判定するものである。なお、画像処理手段３に予め記憶されている固有空間Ｐは、１６画素×３２画素の画像サイズ内に撮影された人体Ｂを想定した固有空間である。また、記憶手段３には、同様の固有空間が画像情報群Ｇとして複数パターン格納され、それぞれのベクトルが入力画像情報Ｆ２と比較される。
【００３１】
この判定処理によって、画像情報群Ｇのうち入力画像情報Ｆ２に類似するものがあるか否かを判定することができる。すなわち、切り出し領域Ｆ内に人体Ｂが存在するか否かを判定することができる。
【００３２】
かかる人体検出装置１は、車輌７の前方風景を撮影する赤外線カメラ２と、人体Ｂの形状に基づく所定の画像サイズからなる画像情報群Ｇを格納する記憶手段４と、赤外線カメラから得られる入力画像情報Ｆ１を拡大処理または縮小処理することによって画像情報群Ｇと同様の画像サイズに合わせ、前記拡大処理または縮小処理された入力画像情報Ｆ２と画像情報群Ｇとを比較判定することにより所定の物体を検出する画像処理手段３と、を備えてなることによって、人体Ｂと赤外線カメラ２との距離に応じてそれぞれ異なる画像サイズを有する入力画像情報に対応して画像情報群Ｇを用意し、それぞれを比較判定することなく人体検出を行うことができる。また、撮影手段からの入力画像情報に対して迅速で信頼性の高い判定処理を行うことのできる人体検出装置を提供することができる。
【００３３】
また、赤外線カメラ２による撮影画像Ａを表示する画像表示手段５を備え、画像処理手段３は、判定処理Ｓ７に基づいて検出された人体Ｂを画像表示手段５に強調表示させたり、ＬＥＤやランプ，ブザー等の警報手段６を設けることによって、運転者９が車輌７の前方に存在する人体Ｂを容易に判断できる人体検出装置１となる。
【００３４】
赤外線カメラ２は赤外線波長域の撮影画像を出力するものであり、画像処理手段３は前記撮影画像から発熱物体の高温部分Ｃを抽出し、高温部分Ｃの大きさが所定の大きさであるものに対して切り出し処理Ｓ５することによって、入力画像情報Ｆ１を限定することができ、限定された入力画像情報Ｆ１に対してのみ判定処理Ｓ７を行うことによって、画像処理手段３における処理速度を向上させることが可能となる。
【００３５】
なお、上述した本発明の実施の形態では、画像処理手段３が、赤外線カメラ２による撮影画像から人体の候補となる入力画像情報Ｆ１を、画像情報群Ｇの画像サイズと相似する画像サイズにて切り出して得るようにしたものを示したが、本発明はこれに限定されるものではなく、例えば、人体の候補となる入力画像情報をすべて同じ画像サイズ（３２画素×６４画素）の範囲にて切り出し処理を行い、これを画像情報群Ｇと同じ画像サイズ（１６画素×３２画素）に縮小（圧縮）することによって、画像情報群との比較対象となる入力画像情報を得ることができる。
【００３６】
また、本発明の実施の形態では、人体８を検出する人体検出装置１を用いて説明したが、犬や猫等の動物の特徴を表す画像情報（固有空間のデータ）群を予め記憶手段に格納しておけば、人体Ｂ以外の発熱物体をも検出することが可能な物体検出装置として用いることができる。
【００３７】
また、本発明の実施の形態では、図８の説明において入力画像情報Ｆ１と、１つの人体認識用の固有空間Ｐとを比較するようにしているが、人体Ｂにおいても横向きの状態や座っている状態等の様々な状態が想定されるため、複数の人体認識用の固有空間を格納する必要があることは言うまでもない。
【００３８】
また、本発明の実施の形態では、撮影画像Ａの全領域における画像情報について前述した処理判定を行うようにしているが、本発明は、所定距離離れた発熱物体を最も捉えることが可能な領域において所定の区画領域を生成し、この区画領域について、上述した判定処理を行うことで、画像処理手段３における処理速度を向上させることが可能となる。
【００３９】
また、本発明の実施の形態では、撮影手段として赤外線カメラ２を用いたものを示したが、本発明はこれに限定されるものではなく、例えば、ＣＣＤ素子搭載の撮影手段であってもよい。
【００４０】
また、本発明の実施の形態では、表示手段としてヘッドアップディスプレイを例に挙げたが、例えば液晶表示モニターであっても良く、本発明における表示手段は本発明の実施の形態に限定されるものではない。
【００４１】
また、本発明の実施の形態では、画像表示手段５により検出された人体Ｂ部分のみを表示するようにしたが、本発明はこれに限定されるものではなく、例えば、画像表示手段５により背景を含む画像で撮影画像Ａ内を表示し、人体Ｂ部分を赤色等に着色表示することによって人体Ｂ部分を強調することができる。また、ステップＳ５で処理された切り出し領域Ｆ内の発熱部分（人体の候補）Ｃを黄色等に着色表示して示すことで、人体検出における、さらに強調された警告表示を可能とする。
【００４２】
【発明の効果】
本発明は、車輌等に搭載される物体検出装置に関し、撮影手段からの画像情報に対して迅速で信頼性の高い判定処理を行うことのできる物体検出装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示す人体検出装置のブロック図。
【図２】同上実施の形態の撮影手段により撮影される画像を示す図。
【図３】同上実施の形態の画像処理手段による処理手順を示す図。
【図４】同上実施の形態の２値化処理によって処理された画像を示す図。
【図５】同上実施の形態の入力画像情報を示す図。
【図６】同上実施の形態の判定処理における被判定情報を画像にて示す図。
【図７】同上実施の形態の画像表示手段の表示状態を示す図。
【図８】同上実施の形態の判定処理を示す図。
【符号の説明】
１　　人体検出装置（物体検出装置）
２　　赤外線カメラ（撮影手段）
３　　画像処理手段（制御手段）
４　　記憶手段
５　　画像表示手段（表示手段）
７　　車輌
Ｂ　　人体（所定の物体）
【図１】
2004093167.tif 000003
【図２】
2004093167.tif 000004
【図３】
2004093167.tif 000005
【図４】
2004093167.tif 000006
【図５】
2004093167.tif 000007
【図６】
2004093167.tif 000008
【図７】
2004093167.tif 000009
【図８】
2004093167.tif 000010