(57)【要約】【課題】検出された物体情報に対して信頼性の高い判定処理を行うことのできる物体検出装置を提供する。【解決手段】車輌７の前方風景を撮影する赤外線カメラ２と、人体の形状に基づく第１の画像情報群と前記第１の画像情報群をそれぞれエッジ抽出して得られる第２の画像情報群とを格納する記憶手段４と、赤外線カメラ２による撮影画像から得られる第１の入力画像情報と前記第１の画像情報群とを固有空間法に基づいて比較する第１の判定処理と前記第１の入力画像情報をエッジ抽出して得られる第２の入力画像情報と前記第２の画像情報群とを固有空間法に基づいて比較する第２の判定処理とに基づいて人体を検出する画像処理手段３と、を備えてなる。【選択図】　図１
2004061304.tif 000002
【特許請求の範囲】
【請求項１】
車輌の前方風景を撮影する撮影手段と、所定の物体の形状に基づく第１の画像情報群と前記第１の画像情報群をそれぞれエッジ抽出して得られる第２の画像情報群とを格納する記憶手段と、前記撮影手段による撮影画像から得られる第１の入力画像情報と前記第１の画像情報群とを固有空間法に基づいて比較する第１の判定処理と前記第１の入力画像情報をエッジ抽出して得られる第２の入力画像情報と前記第２の画像情報群とを固有空間法に基づいて比較する第２の判定処理とに基づいて前記所定の物体を検出する制御手段と、を備えてなることを特徴とする物体検出装置。
【請求項２】
前記制御手段は、前記第１の判定処理によって前記第１の入力画像情報が前記所定の物体の形状であると判定し、かつ、前記第２の判定処理によって前記第２の入力画像情報が前記所定の物体の形状であると判定した場合のみ、前記所定の物体を検出したと判定することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記撮影手段による撮影画像を表示する表示手段を備え、前記制御手段は、前記第１，第２の判定処理に基づいて検出された前記所定の物体を前記表示手段に強調表示させてなることを特徴とする請求項１または請求項２に記載の物体検出装置。
【請求項４】
前記撮影手段は赤外線波長域の撮影画像を出力するものであり、前記制御手段は前記撮影画像から発熱物体の高温部分を抽出し、前記高温部分の大きさが所定の大きさであるものに対して切り出し処理し、切り出された領域内の情報を前記第１，第２の判定処理してなることを特徴とする請求項１から請求項３のいずれかに記載の物体検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車輌等に搭載される撮影手段によって所定の物体を検出する物体検出装置に関し、例えば、赤外線式の撮影手段を用いて、人や動物等の発熱物体を精度良く検出する物体検出装置に関するものである。
【０００２】
【従来の技術】
物体検出装置としては、車輌前方の人（人体）を検出し、運転者に注意を促す人体検出装置が挙げられ、特開平９−３２６０９６号公報に開示されるものがある。
【０００３】
この人体検出装置は、赤外線カメラを備え、前記赤外線カメラから入力される赤外線画像において、輝度値が特定の範囲内の画素を残すとともに連結する画素群を求め、この画素群の形状（連結した画素群）が円形で、かつその形状が特定の大きさのものを人と判断するものである。
【０００４】
【発明が解決しようとする課題】
このような人体検出装置において、人の温度や大きさに近い人以外の発熱物体についても人と判定してしまう虞があり、信頼性の高い人体判定ができず人体検出装置としての商品価値を低下させてしまうといった問題を有していた。
【０００５】
そこで、本発明は、前述した問題点に着目し、赤外線式撮影手段を用いた物体検出装置において、撮影手段からの画像情報に対して信頼性の高い判定処理を行うことのできる物体検出装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明の物体検出装置は、前記課題を解決するため、請求項１に記載のように、車輌の前方風景を撮影する撮影手段と、所定の物体の形状に基づく第１の画像情報群と前記第１の画像情報群をそれぞれエッジ抽出して得られる第２の画像情報群とを格納する記憶手段と、前記撮影手段による撮影画像から得られる第１の入力画像情報と前記第１の画像情報群とを固有空間法に基づいて比較する第１の判定処理と前記第１の入力画像情報をエッジ抽出して得られる第２の入力画像情報と前記第２の画像情報群とを固有空間法に基づいて比較する第２の判定処理とに基づいて前記所定の物体を検出する制御手段と、を備えてなることを特徴とするものである。
【０００７】
また、請求項２に記載したように、請求項１に記載の物体検出装置において、前記制御手段は、前記第１の判定処理によって前記第１の入力画像情報が前記所定の物体の形状であると判定し、かつ、前記第２の判定処理によって前記第２の入力画像情報が前記所定の物体の形状であると判定した場合のみ、前記所定の物体を検出したと判定することを特徴とするものである。
【０００８】
また、請求項３に記載したように、請求項１または請求項２に記載の物体検出装置において、前記撮影手段による撮影画像を表示する表示手段を備え、前記制御手段は、前記第１，第２の判定処理に基づいて検出された前記所定の物体を前記表示手段に強調表示させてなることを特徴とするものである。
【０００９】
また、請求項４に記載したように、請求項１から請求項３のいずれかに記載の物体検出装置において、前記撮影手段は赤外線波長域の撮影画像を出力するものであり、前記制御手段は前記撮影画像から発熱物体の高温部分を抽出し、前記高温部分の大きさが所定の大きさであるものに対して切り出し処理し、切り出された領域内の情報を前記第１，第２の判定処理してなることを特徴とするものである。
【００１０】
【発明の実施の形態】
以下、本発明の物体検出装置の実施の形態を、車輌に搭載され発熱物体である人体（所定の物体）を検出するための人体検出装置に適用したものを例に挙げ、添付図面を用いて説明する。
【００１１】
図１において、人体検出装置１は、赤外線カメラ（撮影手段）２と、画像処理手段（制御手段）３と、記憶手段４、画像表示手段（表示手段）５と、警報手段６とから構成されている。
【００１２】
赤外線カメラ２は、赤外線波長域の光を検出することができ、車輌（例えば、自動車）７内のフロントグリルやフロントバンパー等に配設される。赤外線カメラ２は、図２に示すように、例えば２４０画素×３２０画素からなる撮影画像Ａを出力する。
【００１３】
画像処理手段３は、車輌７から所定距離離れた位置の人体Ｂを検出するものであって、赤外線カメラ２による撮影画像Ａに基づく情報（第１，第２の入力画像情報）から後述する処理によって人体Ｂである発熱物体を検出するための制御手段からなり、マイクロコンピュータによって構成されている
【００１４】
記憶手段４は、人体Ｂを撮影した場合の画像データ，位置データ，大きさ等の表示形状に基づいた情報（人体認識用の情報）を格納するものであり、ＲＯＭ等からなる記憶媒体から構成されている。また、記憶手段４は、前記情報を第１の画像情報群として複数パターン用意している。また、記憶手段４は、それぞれの前記第１の画像情報群をエッジ抽出して得られる撮影画像に基づいた情報（画像データ，位置データ，大きさ等の人体Ｂの輪郭形状に基づいた情報）を第２の画像情報群として複数パターン格納している。
【００１５】
画像表示手段５は、例えば、バックライト付き液晶表示装置から構成され、前記液晶表示装置からの表示光となる人体Ｂの映像をフロントガラス８に投影する、所謂ヘッドアップディスプレイであり、車輌７内の運転者９は、前記映像を前方風景から視線を逸らさなくとも視認できるものである。
【００１６】
警報手段６は、ランプやＬＥＤ，ブザー等によって構成されるものである。また、警報手段６は、画像処理手段３によって、赤外線カメラ２からの撮影画像Ａ内に人体Ｂが存在すると判断された際に、画像処理手段３から出力される所定の駆動信号に基づいて動作するものである。
【００１７】
以上の各部によって人体検出装置１が構成される。
【００１８】
次に、図３から図８を用いて、人体検出装置１の画像処理手段３における処理手順を説明する。
【００１９】
画像処理手段３は、赤外線カメラ２からの撮影画像Ａに基づく画像情報を入力する（ステップＳ１）。
【００２０】
画像処理手段３は、赤外線カメラ２によって検出される所定範囲の画像情報について２値化処理を実行し、周囲温度よりも高温となる発熱領域である高温部分Ｃと、非発熱領域となる低温部分Ｄとに分類する（ステップＳ２）。なお、高温部分Ｃは、人体の候補として認識され、低温部分Ｄは、背景として認識される。
【００２１】
次に画像処理手段３は、高温部分Ｃの大きさの判定を行うべく、画素単位で連結する高温部分Ｃをグループ分けし、このグループ分けされた高温部分Ｃの輪郭に接触する外接長方形形状の包囲領域Ｅを生成する（ステップＳ３）。なお、画像処理手段３の抽出結果を図４に示す。
【００２２】
画像処理手段３は、ステップＳ３で得られた包囲領域Ｅの長辺の長さＸが、４画素より大きく３２画素より小さい値（４＜Ｘ＜３２）となる包囲領域Ｅだけを人体Ｂの候補として選定するもので、この範囲に含まれない包囲領域Ｅはノイズとして除去される（ステップＳ４）。すなわち、前記発熱部分Ｃの大きさの判定によって、包囲領域Ｅの発熱部分Ｃにおいて、周囲温度よりも高温となる物体の内、明らかに判定対象（人体Ｂ）以外の大きさを有する包囲領域Ｅを除去することができる。なお、ノイズの除去に関する画素数の設定（この場合、４画素より大きく３２画素より小さい値）は、赤外線カメラ２から人体Ｂまでの距離や、赤外線カメラ２の画素構成等によって異なる。
【００２３】
次に画像処理手段３は、ステップＳ２において、除去されずに残った包囲領域Ｅにおいて、発熱部分Ｃの連結成分における重心を算出し、この重心を中心とした、例えば、図５に示すように、３２画素×３２画素の切り出し領域Ｆを生成することにより被判定情報となる第１の入力画像情報を設定する切り出し処理を行う（ステップＳ５）。なお、前記第１の入力画像情報は、２値化処理する以前の多階調の画像から得られる情報である。
【００２４】
次に画像処理手段３は、ステップＳ５で設定された第１の入力画像情報Ｆ１と予め記憶手段４に複数パターン格納された第１の画像情報群Ｇ１とを固有空間法の基づいてそれぞれ比較し、前記第１の画像情報群Ｇ１のうち第１の入力画像情報Ｆ１に類似するものがあるか否かを判定する第１の判定処理を行う（ステップＳ６）。
【００２５】
画像処理手段３は、ステップＳ６の第１の判定処理において、第１の画像情報群Ｇ１のうち第１の入力画像情報Ｆ１に類似する情報があると判定した場合、第１の入力画像情報Ｆ１をエッジ抽出して発熱部分Ｃの輪郭部分の情報を第２の入力画像情報Ｆ１として設定するエッジ抽出処理を行う（ステップＳ７）。
【００２６】
次に画像処理手段３は、ステップＳ７のエッジ抽出処理によって得られる第２の入力画像情報Ｆ２と予め記憶手段４に複数パターン格納された第２の画像情報群Ｇ２とを固有空間法に基づいて比較し、第２の画像情報群Ｇ２のうち第２の入力画像情報Ｆ１に類似するものがあるか否かを判定する第２の判定処理を行う（ステップＳ８）。なおステップＳ６からステップＳ８までの処理は、ステップＳ５で得られた、切り出し領域Ｆの全てに対して行われる。
【００２７】
画像処理手段３は、ステップＳ８の第２の判定処理によって、第２の画像情報群Ｇ２のうち第２の入力画像情報Ｆ２に類似するものがあると判定した場合、図７で示すように、
背景であるとした低温部分Ｄを除去するとともに、第２の入力画像情報Ｆ２に対応する部分、すなわち人体Ｂ部分のみを表示するとともに、警報手段６を制御することによって撮影画像Ａ内の人体Ｂの有無を運転者９に積極的に知らせることができる（ステップＳ９）。
【００２８】
画像処理手段３は、所定の周期により入力される撮影画像Ａの画像情報を前述した各処理（ステップＳ１〜Ｓ９）を繰り返し実行することで、車輌７の前方に存在する人体Ｂを検出することが可能となる。
【００２９】
次に上述した、ステップＳ６の第１の判定処理について、図６及び図８を用いて説明する。なお、図８に基づく以下の説明は、固有空間を２次元的に表したものである。
【００３０】
画像処理手段３は、第１の入力画像情報Ｆ１が、記憶手段４に予め記憶された第１の画像情報群Ｇ１に類似しているか否かを判定するものである。すなわち、画像処理手段３は、第１の入力画像情報Ｆ１を第１の画像情報群Ｇ２の固有空間Ｐに投影した際のベクトルＰ１大きさ（図７においては長さとなる）を所定の演算によって求め、このベクトルＰ１の大きさを比較することによって、第１の入力画像情報Ｆ１が人体認識用の固有空間Ｐに近い画像情報であるかを求め、人体Ｂに類似する形状であるかを判定するものである。なお、画像処理手段３に予め記憶されている固有空間Ｐは、車輌７と人体Ｂとの距離が所定距離（例えば、８０ｍ）離れた位置における人体Ｂを想定した固有空間である。また、記憶手段３には、同様の固有空間が第１の画像情報群Ｇ１として複数パターン格納され、それぞれのベクトルが第１の入力画像情報Ｆ１と比較される。
【００３１】
これらの第１の判定処理によって、第１の画像情報群Ｇ１のうち第１の入力画像情報Ｆ１に類似するものがあるか否かを判定する。また、ステップＳ８の第２の判定処理においても同様の処理を行うことによって、第２の入力画像情報Ｆ２と第２の画像情報群Ｇ２とを固有空間法に基づいて比較し、第２の画像情報群Ｇ２のうち第２の入力画像情報Ｆ１に類似するものがあるか否かを判定することができる。
【００３２】
かかる人体検出装置１は、車輌７の前方風景を撮影する赤外線カメラ２と、人体の形状に基づく第１の画像情報群Ｇ１と第１の画像情報群Ｇ１をそれぞれエッジ抽出して得られる第２の画像情報群Ｇ２とを格納する記憶手段４と、赤外線カメラ２による撮影画像Ａから得られる第１の入力画像情報Ｆ１と第１の画像情報群Ｇ１とを固有空間法に基づいて比較する第１の判定処理Ｓ６と第１の入力画像情報Ｆ１をエッジ抽出して得られる第２の入力画像情報Ｆ２と第２の画像情報群Ｇ２とを固有空間法に基づいて比較する第２の判定処理Ｓ８とに基づいて人体Ｂを検出する画像処理手段３と、を備えてなり、画像処理手段３は、第１の判定処理Ｓ６によって第１の入力画像情報Ｇ１が人体Ｂの形状であると判定し、かつ、第２の判定処理Ｓ８によって第２の入力画像情報Ｆ２が人体Ｂの形状であると判定した場合のみ、人体Ｂを検出したと判定することにより、誤判定を防ぐことができるため、検出された物体情報に対して信頼性の高い判定処理を行うことのできる物体検出装置を提供するものである。
【００３３】
また、赤外線カメラ２による撮影画像Ａを表示する画像表示手段５を備え、画像処理手段３は、第１，第２の判定処理Ｓ６，Ｓ８に基づいて検出された人体Ｂを画像表示手段５に強調表示させたり、ＬＥＤやランプ，ブザー等の警報手段６を設けることによって、運転者９が車輌７の前方に存在する人体Ｂを容易に判断できる人体検出装置１となる。
【００３４】
赤外線カメラ２は赤外線波長域の撮影画像を出力するものであり、画像処理手段３は前記撮影画像から発熱物体の高温部分Ｃを抽出し、高温部分Ｃの大きさが所定の大きさであるものに対して切り出し処理Ｓ５することによって、第１の入力画像情報Ｆ１を限定することができ、限定された第１の入力画像情報Ｆ１に対してのみ第１，第２の判定処理Ｓ６，Ｓ８を行うことによって、画像処理手段３における処理速度を向上させることが可能となる。
【００３５】
なお、本発明の実施の形態では、人体８を検出する人体検出装置１を用いて説明したが、犬や猫等の動物の特徴を表す第２の画像情報（固有空間のデータ）群を予め記憶手段に格納しておけば、人体Ｂ以外の発熱物体をも検出することが可能な物体検出装置として用いることができる。
【００３６】
また、本発明の実施の形態では、図８の説明において第１の入力画像情報Ｆ１と、１つの人体認識用の固有空間Ｐとを比較するようにしているが、人体Ｂにおいても横向きの状態や座っている状態等の様々な状態が想定されるため、複数の人体認識用の固有空間を格納する必要があることは言うまでもない。
【００３７】
また、本発明の実施の形態では、撮影画像Ａの全領域における画像情報について前述した処理判定を行うようにしているが、本発明は、所定距離離れた発熱物体を最も捉えることが可能な領域において所定の区画領域を生成し、この区画領域について、上述した判定処理を行うことで、画像処理手段３における処理速度を向上させることが可能となる。
【００３８】
また、本発明の実施の形態では、表示手段としてヘッドアップディスプレイを例に挙げたが、例えば液晶表示モニターであっても良く、本発明における表示手段は本発明の実施の形態に限定されるものではない。
【００３９】
また、本発明の実施の形態では、画像表示手段５により検出された人体Ｂ部分のみを表示するようにしたが、本発明はこれに限定されるものではなく、例えば、画像表示手段５により背景を含む画像で撮影画像Ａ内を表示し、人体Ｂ部分を赤色等に着色表示することによって人体Ｂ部分を強調することができる。また、ステップＳ５で処理された切り出し領域Ｆ内の発熱部分（人体の候補）Ｃを黄色等に着色表示して示すことで、人体検出における、さらに強調された警告表示を可能とする。
【００４０】
【発明の効果】
本発明は、車輌等に搭載される物体検出装置に関し、検出された物体情報に対して信頼性の高い判定処理を行うことのできる物体検出装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示す人体検出装置のブロック図。
【図２】同上実施の形態の撮影手段により撮影される画像を示す図。
【図３】同上実施の形態の画像処理手段による処理手順を示す図。
【図４】同上実施の形態の２値化処理によって処理された画像を示す図。
【図５】同上実施の形態の第１の入力画像情報を示す図。
【図６】同上実施の形態の第１の判定処理における被判定情報を画像にて示す図。
【図７】同上実施の形態の画像表示手段の表示状態を示す図。
【図８】同上実施の形態の第１の判定処理を示す図。
【符号の説明】
１　　人体検出装置（物体検出装置）
２　　赤外線カメラ（撮影手段）
３　　画像処理手段（制御手段）
４　　記憶手段
５　　画像表示手段（表示手段）
７　　車輌
Ｂ　　人体（所定の物体）
Ｓ６　第１の判定処理
Ｓ７　エッジ抽出処理
Ｓ８　第２の判定処理
Ｆ１　　第１の入力画像情報
Ｆ２　　第２の入力画像情報
Ｇ１　　第１の画像情報群
Ｇ２　　第２の画像情報群
Ｐ　　人体認識用の固有空間（第１の物体情報群）
【図１】
2004061304.tif 000003
【図２】
2004061304.tif 000004
【図３】
2004061304.tif 000005
【図４】
2004061304.tif 000006
【図５】
2004061304.tif 000007
【図６】
2004061304.tif 000008
【図７】
2004061304.tif 000009
【図８】
2004061304.tif 000010