(57)【要約】【課題】画像の背景と物体とを容易に分離して検出することができる物体検出装置を提供する。【解決手段】画像領域（検出領域）Ｄ１のエッジ情報を取得する物体候補抽出部２２と、検出領域Ｄ１のエッジの画素の分布状況に基づいて物体の大きさを取得し、取得した物体候補の大きさの時間的な変動量を取得する変動量取得部２３と、取得した変動量に基づいて物体を検知する物体検出部２４とを備えることにより、検出領域Ｄ１からエッジ情報を取得し、取得したエッジ情報における画素の分布状況に基づいて物体の幅の変動量を取得し、その変動量が大きいものを物体として検知することにより、容易に物体と背景とを分離して検出することができる。【選択図】図１
2009169534.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置であって、
前記画像から物体候補を抽出する物体候補抽出手段と、
前記物体候補の大きさの変動量を取得する変動量取得手段と、
前記変動量が所定値以上の場合には前記物体として検出する物体検出手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
車両から物体候補までの距離情報を取得する距離情報取得手段を備え、
前記物体検出手段は、前記所定値を前記距離情報に応じて設定すること、
を特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記変動量取得手段は、前記物体候補の大きさの変動量として、幅方向の大きさの変動量を取得する請求項１又は２に記載の物体検出装置。
【請求項４】
前記変動量取得手段は、前記物体候補の大きさの変動量として、高さ方向の大きさの変動量を取得する請求項１又は２に記載の物体検出装置。
【請求項５】
前記物体候補抽出手段は、前記画像のエッジ情報を取得し、取得したエッジ情報に基づいて前記物体候補を抽出することを特徴とする請求項１〜４の何れか一項に記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を検出する物体検出装置に関するものである。
【背景技術】
【０００２】
従来、物体を検出する装置として、例えば、撮像した画像情報に基づいて物体を検知するものが知られている（例えば、特許文献１参照）。この装置は、画像中の各点の動きを表す動きベクトル（オプティカルフロー）に基づく特徴量を利用して、背景とは独立して移動する移動物体と背景とを分離する装置である。
【特許文献１】特開２００４−２２００５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の物体検出装置にあっては、オプティカルフローの計算を行うので、例えば、物体であるのか背景であるのかを認識するために必要な計算量が過大化するおそれがある。
【０００４】
そこで、本発明はこのような技術課題を解決するためになされたものであって、画像の背景と物体とを容易に分離して検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち、本発明に係る物体検出装置は、車両周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置であって、前記画像から物体候補を抽出する物体候補抽出手段と、前記物体候補の大きさの変動量を取得する変動量取得手段と、前記変動量が所定値以上の場合には前記物体として検出する物体検出手段とを備えて構成される。
【０００６】
この発明によれば、撮像した画像から物体候補を抽出し、抽出した物体候補の大きさの変動量に基づいて物体を検出する。背景を示す物体候補の大きさは、遠い地点に存在するため画像上での変動量が小さい傾向となり、他方、物体を示す物体候補の大きさは、近い地点に存在するため画像上での変動量が大きい傾向にある。このため、物体候補の大きさの変動量に基づいて、容易に物体と背景とを分離して検出することができる。
【０００７】
また、物体検出装置は、車両から物体候補までの距離情報を取得する距離情報取得手段を備え、前記物体検出手段は、前記所定値を前記距離情報に応じて設定することが好適である。
【０００８】
このように構成することで、例えば距離が遠いと判定された物体候補に対しては変動量が小さいため所定値を小さく設定し、距離が近いと判定された物体候補に対しては変動量が大きいため所定値を大きく設定することができるので、より正確に物体と背景とを分離することが可能となる。
【０００９】
また、物体検出装置において、前記変動量取得手段は、前記物体候補の大きさの変動量として、幅方向の大きさの変動量を取得してもよいし、あるいは、高さ方向の大きさの変動量を取得してもよい。
【００１０】
さらに、物体検出装置において、前記物体候補抽出手段は、前記画像のエッジ情報を取得し、取得したエッジ情報に基づいて前記物体候補を抽出することが好適である。このように構成することで、一層少ない計算量で物体と背景とを分離して検出することができる。
【発明の効果】
【００１１】
本発明によれば、画像の背景と物体とを容易に分離して検出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
（第１実施形態）
【００１３】
本実施形態に係る物体検出装置は、車両周辺の物体を検出する装置であって、例えば、プリクラッシュセーフティシステムやＡＣＣ（Adaptive Cruise Control）等、走行の安全性を向上させる運転支援システムを搭載した車両に好適に採用されるものである。
【００１４】
最初に、本実施形態に係る物体検出装置の構成を説明する。図１は本発明の実施形態に係る物体検出装置を備えた車両の構成を示すブロック図である。
【００１５】
車両４は、画像センサ３０、測距センサ（距離情報取得手段）３１、ＥＣＵ（Electronic Control Unit）２及び運転支援システム４０を備えている。ここで、ＥＣＵとは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（CentralProcessing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び入出力インターフェイスなどを備えて構成されている。
【００１６】
画像センサ３０は、車両４の周辺の画像を取得する機能を有している。画像センサ３０として、例えば単眼カメラが用いられる。画像センサ３０は、取得した画像の画像情報をＥＣＵ２へ出力する機能を有している。
【００１７】
測距センサ３１は、車両４の周辺に存在する物体候補までの距離を取得する機能を有している。例えば、車両４の周辺に電磁波を発信し反射波を受信して、車両４周辺の物体候補の有無を検知し、検知した物体候補までの距離情報、物体候補の幅情報、車両４と物体候補との相対速度等を取得する機能を有している。測距センサ３１として、例えばミリ波センサが用いられる。そして、測距センサ３１は、取得した情報をＥＣＵ２へ出力する機能を有している。
【００１８】
ＥＣＵ２は、領域抽出部２１、物体候補抽出部（物体候補抽出手段）２２、変動量取得部（変動量取得手段）２３及び物体検出部（物体検出手段）２４を備えており、物体候補抽出部２２、変動量取得部２３及び物体検出部２４によって物体検出装置１が構成されている。
【００１９】
領域抽出部２１は、画像センサ３０により出力された画像から検出領域を抽出する機能を有している。領域抽出部２１は、例えば、測距センサ３１により出力された物体候補情報に基づいて、測距センサ３１により検知された物体候補が画像のどの領域に位置するのかを特定し、特定した検出領域を画像から抽出する機能を有している。この検出領域は、画像センサ３０により出力された画像全体又はその一部の領域である。そして、領域抽出部２１は、抽出した検出領域の画像を物体候補抽出部２２へ出力する機能を有している。
【００２０】
物体候補抽出部２２は、領域抽出部２１により出力された検出領域の画像情報に基づいて、物体候補を取得する機能を有している。物体候補抽出部２２は、物体候補を取得するために、例えば、検出領域に基づいたエッジ情報を取得する機能を有している。具体的には、物体候補抽出部２２は、検出領域（輝度画像）の画像情報に対して、例えばエッジ抽出処理等を行うことでエッジ画像を生成する機能を有している。そして、物体候補抽出部２２は、生成したエッジ画像の各画素の輝度情報が所定値より大きいか否かを判定し、判定した結果に基づいてエッジヒストグラムを生成する機能を有している。エッジヒストグラムは、エッジの画素の分布状況を示すグラフである。さらに、物体候補抽出部２２は、取得したエッジヒストグラムを変動量取得部２３へ出力する機能を有している。
【００２１】
変動量取得部２３は、物体候補抽出部２２が出力したエッジヒストグラムに基づいて物体候補の大きさを検出し、時間的な変化（変動量）を取得する機能を有している。例えば、変動量取得部２３は、物体候補の大きさをトラッキングして変動量を取得する機能を有している。そして、変動量取得部２３は、物体候補の大きさの変動量を物体検出部２４へ出力する機能を有している。
【００２２】
物体検出部２４は、変動量取得部２３により出力された物体候補の大きさの変動量に基づいて物体を検出する機能を有している。例えば、物体検出部２４は、物体候補の大きさの変動量が所定値よりも大きい場合には、背景ではなく物体であるとして検知する機能を有している。他方、物体候補の大きさの変動量が所定値よりも大きくない場合には、物体ではなく背景であるとして検知する機能を有している。さらに、物体検出部２４は、測距センサ３１が出力した物体候補までの距離に基づいて、上述した物体候補の変動量を判定する所定値を設定する機能を有している。そして、物体検出部２４は、検出結果を運転支援システム４０へ出力する機能を有している。
【００２３】
運転支援システム４０は、例えば警報装置、車両制御装置、乗員保護装置等を備えている。運転支援システム４０は、物体検出部２４が出力した物体検知情報に基づいて、例えば車両制御や警報等を行う運転支援機能を有している。
【００２４】
次に、本実施形態に係る物体検出装置１の動作について説明する。図２は、本実施形態に係る物体検出装置１の動作を示すフローチャートである。また、図３，４は、本実施形態に係る物体検出装置１の動作を説明するための概要図である。なお、以下では、説明理解の容易性を考慮し、現在時刻をｔ１、前回処理時刻をｔ０とした場合を説明する。
【００２５】
図２に示す制御処理は、例えばイグニッションオンされてから所定のタイミングで繰り返し実行される。図２に示す制御処理が開始されると、物体検出装置１は、情報入力処理を開始する（Ｓ１０）。Ｓ１０の処理は、領域抽出部２１が実行し、例えば、画像センサ３０により出力された図３に示す画像を入力すると共に、測距センサ３１が出力した物体候補に関する情報を入力する処理である。Ｓ１０の処理が終了すると、領域抽出処理へ移行する（Ｓ１２）。
【００２６】
Ｓ１２の処理は、領域抽出部２１が実行し、Ｓ１０の処理で入力した画像情報から処理対象となる画像領域（検出領域）を抽出する処理である。領域抽出部２１は、例えば、Ｓ１０の処理で入力した物体候補に関する情報に基づいて、測距センサ３１により物体候補が存在すると判定された領域周辺を検出領域として抽出する。例えば、図３に示す画像内において、測距センサ３１により物体候補Ｐ，Ｑ１，Ｑ２が存在すると判定された場合には、図３に示すように、物体候補Ｐ，Ｑ１，Ｑ２の周辺の検出領域Ｄ１を抽出する。ここで、領域抽出部２１が抽出する検出領域Ｄ１の大きさは、予め定めた大きさの領域であってもよいし、測距センサ３１が出力した物体候補Ｐ，Ｑ１，Ｑ２の幅に応じて設定してもよい。Ｓ１２の処理が終了すると、エッジ画像生成処理へ移行する（Ｓ１４）。
【００２７】
Ｓ１４の処理は、物体候補抽出部２２が実行し、Ｓ１２の処理で抽出した検出領域Ｄ１に基づいてエッジ画像を生成する処理である。物体候補抽出部２２は、例えばフィルタ処理等を行うことでＳ１２の処理で抽出した検出領域Ｄ１全体のエッジ画像を生成する。Ｓ１４の処理が終了すると、エッジヒストグラム生成処理へ移行する（Ｓ１６）。
【００２８】
Ｓ１６の処理は、物体候補抽出部２２が実行し、Ｓ１４の処理で生成したエッジ画像からエッジヒストグラムを生成する処理である。物体候補抽出部２２は、例えば、検出領域Ｄ１のエッジ画像の画像輝度情報が所定値を超えているか否かを画素ごとに判定し、所定値を超えている場合にはその画素の判定値を１とする。そして、検出領域Ｄ１のエッジ画像の全ての画素について判定した後、ｙ方向（高さ方向）に並ぶ画素について判定値を積算することにより、横エッジのエッジヒストグラムを生成する。この処理により、例えば、時刻ｔ１における検出領域Ｄ１（図４の（ｃ））に係るエッジヒストグラム（図４の（ｄ））を生成することができる。生成されたエッジヒストグラムは、横軸が位置、縦軸が判定値を示すものである。Ｓ１６の処理が終了すると、変動量取得処理へ移行する（Ｓ１８）。
【００２９】
Ｓ１８の処理は、変動量取得部２３が実行し、Ｓ１６の処理で生成したエッジヒストグラムに基づいて物体候補Ｐ，Ｑ１，Ｑ２の大きさを検知し、物体候補の時間的な変動量を取得する処理である。例えば、変動量取得部２３は、図４の（ｄ）に示すエッジヒストグラムの画素の分布状態から線Ａ１，Ａ２を境界とする物体候補Ｐと、線Ａ３，Ａ４を境界とする物体候補Ｑ１と、線Ａ５，Ａ６を境界とする物体候補Ｑ２とを検知して、それらの幅ＬＰ，ＬＱ１，ＬＱ２を取得する。そして、変動量取得部２３は、前回の処理（例えば時刻ｔ０の時の処理）で取得した物体候補の大きさと、今回の処理で取得した物体候補の大きさとを比較して、物体候補の変動量を取得する。例えば、変動量取得部２３は、前回時刻ｔ０における図４の検出領域（ａ）に基づいて、（ｂ）に示すエッジヒストグラムを生成し、その分布状態から線Ｂ１，Ｂ２を境界とする物体候補Ｐと、線Ｂ３，Ｂ４を境界とする物体候補Ｑ１と、線Ｂ５，Ｂ６を境界とする物体候補Ｑ２とを検知して、それらの幅ＦＰ，ＦＱ１，ＦＱ２を取得していたものする。この場合、変動量取得部２３は、時刻ｔ０の物体候補の幅と時刻ｔ１の物体候補の幅とを用いて、物体候補Ｐの変動量｜ＬＰ−ＦＰ｜、物体候補Ｑ１の変動量｜ＬＱ１−ＦＱ１｜、Ｑ２の変動量｜ＬＱ１−ＦＱ１｜を取得する。Ｓ１８の処理が終了すると、物体検出処理へ移行する（Ｓ２０）。
【００３０】
Ｓ２０の処理は、物体検出部２４が実行し、Ｓ１８の処理で取得した物体候補の幅の変動量に基づいて物体を検知する処理である。撮像された物体候補は、車両からの距離が遠い場合にはエッジヒストグラムが示す幅変動が小さく、反対に、車両からの距離が近い場合にはエッジヒストグラムが示す幅変動が大きくなる。よって、物体検出部２４は、物体候補のエッジヒストグラムが示す幅変動が小さいものは背景として検知し、物体候補のエッジヒストグラムが示す幅変動が大きいものは物体として検知する。例えば、物体検出部２４は、物体候補Ｐの幅の変動量｜ＬＰ−ＦＰ｜が所定値よりも大きいか否かを判定し、所定値よりも大きい場合には物体候補Ｐは物体であるとして検出する。同様に、物体候補Ｑ１，Ｑ２についても物体であるか否かを判定する。
【００３１】
なお、物体であるか否かを判定する所定値は、例えば、測距センサ３１から入力した各物体候補の距離情報に基づいて設定される。例えば、車両からの距離が近い物体候補の場合には、変動量が大きく変位することが想定されるので、所定値として比較的大きな値を設定する。反対に、車両からの距離が遠い物体候補の場合には、変動量の変位が小さいことが想定されるので、所定値として比較的小さな値を設定する。Ｓ２０の処理が終了すると、物体検出装置１は、図２に示す制御処理を終了する。
【００３２】
以上で物体検出装置１の動作の説明を終了する。図２に示す制御処理を繰り返し行うことで、物体検出装置１は、物体候補の大きさの変動量に着目して物体を検知することができるので、画像の背景と物体とを容易に分離して検出することができる。例えば、図４に示す物体候補Ｐの幅の変動量｜ＬＰ−ＦＰ｜が所定値より大きく、物体候補Ｑ１，Ｑ２の変動量｜ＬＱ１−ＦＱ１｜，｜ＬＱ１−ＦＱ１｜がそれぞれ所定値よりも大きくない場合には、物体候補Ｐは物体として検知されると共に、物体候補Ｑ１，Ｑ２は背景として扱われ物体として検知されない。このように、物体の正確な検知と、物体の横幅を高精度で検出することができる。よって、正確な物体検出情報に基づいて運転支援システム４０が運転支援することにより、より走行の安全性を向上させることができる。
【００３３】
上述した通り、本実施形態の物体検出装置１によれば、画像から物体候補を抽出する物体候補抽出部２２と、物体候補の大きさの変動量を取得する変動量取得部２３と、変動量が所定値以上の場合には物体として検出する物体検出部２４とを備えて構成されているので、物体候補を抽出し、抽出した物体候補の大きさの変動量に基づいて物体を検出することができる。背景を示す物体候補の大きさは、遠い地点に存在するため画像上での変動量が小さい傾向となり、他方、物体を示す物体候補の大きさは、近い地点に存在するため画像上での変動量が大きい傾向にある。このため、物体候補の大きさの変動量に基づいて、容易に物体と背景とを分離して検出することができる。
【００３４】
また、物体検出装置１は、車両４から物体候補までの距離情報を取得する測距センサ３１を備え、物体検出手部は、所定値を距離情報に応じて設定することで、例えば距離が遠いと判定された物体候補に対しては変動量が小さいため所定値を小さく設定し、距離が近いと判定された物体候補に対しては変動量が大きいため所定値を大きく設定することができるので、距離に応じた所定値を用いて、より正確に物体と背景とを分離することが可能となる。
【００３５】
また、本実施形態の物体検出装置１によれば、物体をエッジ情報に基づいて検知しているため、オプティカルフローを用いて物体を検知する場合に比べ計算負荷を軽減することができる。
【００３６】
さらに、本実施形態の物体検出装置１によれば、測距センサ３１により検出した物体の幅情報について、画像センサ３０により取得した画像に基づいて正確に把握することができる。このため、例えば、測距センサ３１の情報の信頼度を判定することができる。
【００３７】
なお、上述した実施形態は本発明に係る物体検出装置の一例を示すものである。本発明に係る物体検出装置は、この実施形態に係る物体検出装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。
【００３８】
例えば、上記実施形態において、物体候補抽出部２２がエッジヒストグラムを取得し、変動量取得部２３が物体候補の大きさの変動量を取得し、変動量に基づいて物体検出部２４が物体を検出する例を説明したが、画像センサ３０が出力した画像に基づいて、物体検出部２４がパターン認識手法により物体候補の大きさを検出し、検出した物体候補の大きさの変動量に基づいて物体を検出する構成としてもよい。このように構成しても、容易に物体と背景とを分離して検出することができる。
【００３９】
また、上記各施形態において、物体検出部２４は、横エッジに係るエッジヒストグラムを用いて横幅を検知する構成としているが、縦エッジに係るエッジヒストグラムを用いて高さ方向を検知してもよい。このように構成しても、容易に物体と背景とを分離して検出することができる。
【図面の簡単な説明】
【００４０】
【図１】本実施形態に係る物体検出装置を備えた車両の構成概要を示すブロック図である。
【図２】図１の物体検出装置の動作を示すフローチャートである。
【図３】図１の物体検出装置の動作を説明する概要図である。
【図４】図１の物体検出装置の動作を説明する概要図である。
【符号の説明】
【００４１】
１…物体検出装置、２…ＥＣＵ、２１…領域抽出部（領域抽出手段）、２２…物体候補抽出部（物体情報取得手段）、２３…変動量取得部（変動量取得手段）、２４…物体検出部（物体検出手段）、３０…画像センサ、３１…測距センサ、４…車両、４０…運転支援システム。
【図１】
2009169534.tif 000003
【図２】
2009169534.tif 000004
【図３】
2009169534.tif 000005
【図４】
2009169534.tif 000006