(57)【要約】【課題】対象物の変化の検出精度を向上させることが可能な対象物変化検出装置、警報装置、対象物変化検出方法及び警報方法を提供する。【解決手段】対象物変化検出部２８はカメラ１２による撮像画像中の対象物Ｏの変化を検出し、対象物変化検出閾値計算部２６は、撮像画像中の対象物Ｏの振動が大きいほど、対象物変化検出部２８が対象物Ｏの変化を検出する条件を検出され難い側に変更する。対象物Ｏの上下方向の振動に伴って、撮像画像内において対象物Ｏを囲むように設定された枠内の検知領域Ａの対象物Ｏ以外の背景の変動が大きくなる場合でも、背景の変化に基づいて飛び出し等が誤って検出されることが抑制される。この結果、対象物Ｏの変化の検出精度を向上させることが可能となる。【選択図】図２
2014232516.tif 000002
【特許請求の範囲】
【請求項１】
車両周囲を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像の中で検出された対象物の変化を検出する検出手段と、
前記撮像画像の中の前記対象物の振動が大きいほど、前記検出手段が前記対象物の変化を検出する条件を検出され難い側に変更する変更手段と、
を備える、対象物変化検出装置。
【請求項２】
前記検出手段は、前記撮像画像内の対象物を囲むように設定された枠内における画像情報に基づいて前記対象物の変化を検出する、請求項１に記載の対象物変化検出装置。
【請求項３】
前記変更手段は、前記撮像画像の中の前記対象物の振動が大きいほど、前記検出手段が前記対象物の変化を検出する条件である閾値を高く設定し、
前記検出手段は、前記枠内における画像情報を表す特徴量分布の変化が前記変更手段により設定された前記閾値を超えているときに、前記対象物の変化を検出する、請求項２に記載の対象物変化検出装置。
【請求項４】
請求項１〜３のいずれか１項に記載の対象物変化検出装置の前記検出手段により前記対象物の変化が検出されたときに、警報を報知する警報報知手段を備えた警報装置。
【請求項５】
車両周囲を撮像する撮像工程と、
前記撮像工程によって撮像された撮像画像の中で検出された対象物の変化を検出する検出工程と、
前記撮像画像の中の前記対象物の振動が大きいほど、前記検出工程で前記対象物の変化を検出する条件を検出され難い側に変更する変更工程と、
を備える、対象物変化検出方法。
【請求項６】
前記検出工程は、前記撮像画像内の対象物を囲むように設定された枠内における画像情報に基づいて前記対象物の変化を検出する、請求項５に記載の対象物変化検出方法。
【請求項７】
前記変更工程は、前記撮像画像の中の前記対象物の振動が大きいほど、前記検出工程が前記対象物の変化を検出する条件である閾値を高く設定し、
前記検出工程は、前記枠内における画像情報を表す特徴量分布の変化が前記変更工程により設定された前記閾値を超えているときに、前記対象物の変化を検出する、請求項６に記載の対象物変化検出方法。
【請求項８】
請求項５〜７のいずれか１項に記載の対象物変化検出方法の前記検出工程により前記対象物の変化が検出されたときに、警報を報知する警報報知工程を備えた警報方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の変化を検出する対象物変化検出装置、警報装置、対象物変化検出方法及び警報方法に関する。
【背景技術】
【０００２】
撮像された画像情報に基づいて歩行者を検出する技術が提案されている。例えば、特許文献１には、一対の遠赤外線カメラ４で撮影した撮像画像に対し、撮像画像内で歩行者を囲むように設定された枠内において、予め用意しておいた複数のモデル画像を用いてパターンマッチング処理することにより歩行者の検出を行う装置が開示されている。特許文献１の装置は、降雨有り、或いは、外気温が閾値以下と判定された場合はパターンＡのモデル画像にマッチングするのであれば歩行者であると判定する。また、特許文献１の装置は、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、現在時刻が設定時間帯以外の場合は、パターンＡ、Ｃ、Ｅの何れかとマッチングするのであれば歩行者であると判定する。更に、特許文献１の装置は、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、設定時間帯以内の場合は、パターンＢ、Ｄ、Ｆの何れかとマッチングするのであれば歩行者であると判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−５８８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような技術において、例えば、対象物としての歩行者が歩いている場合と走っている場合とでは、当該歩行者の重心の上下方向における変化量が大きく異なる。それに伴い、当該歩行者を囲むように設定された枠の上下方向における振動も大きくなることになる。このような場合においては、当該枠内における歩行者以外の領域すなわち背景の変動も大きくなるため、状況によっては、歩行者の挙動の検出精度に影響を与える可能性がある。
【０００５】
本発明は上記課題を考慮してなされたものであり、対象物の変化の検出精度を向上させることが可能な対象物変化検出装置、警報装置、対象物変化検出方法及び警報方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、車両周囲を撮像する撮像手段と、撮像手段によって撮像された撮像画像の中で検出された対象物の変化を検出する検出手段と、撮像画像の中の対象物の振動が大きいほど、検出手段が対象物の変化を検出する条件を検出され難い側に変更する変更手段とを備える対象物変化検出装置である。
【０００７】
この構成によれば、撮像手段は車両周囲を撮像し、検出手段は撮像手段によって撮像された撮像画像の中で検出された対象物の変化を検出し、変更手段は、撮像画像の中の対象物の振動が大きいほど、検出手段が対象物の変化を検出する条件を検出され難い側に変更する。これにより、撮像画像の中における対象物の上下方向の振動に伴って、撮像画像内において対象物を検出するために対象物を囲むように設定された枠内の対象物以外の背景の変動が大きくなるような場合であっても、背景の変化に基づいて飛び出し等が誤って検出されることが抑制されることとなる。この結果、対象物の変化の検出精度を向上させることが可能となる。
【０００８】
この場合、検出手段は、撮像画像内の対象物を囲むように設定された枠内における画像情報に基づいて対象物の変化を検出することが好適である。
【０００９】
この構成によれば、検出手段は、撮像画像内の対象物を囲むように設定された枠内における画像情報に基づいて対象物の変化を検出する。このため、撮像画像の中における対象物の上下方向の振動に伴い、この枠内の対象物以外の背景の変動も大きくなる。しかし、このような場合でも、変更手段は、撮像画像の中の対象物の振動が大きいほど、検出手段が対象物の変化を検出する条件を検出され難い側に変更するため、枠内の背景の変化による誤検出を抑制し、対象物の変化の検出精度を向上させることが可能となる。
【００１０】
この場合、変更手段は、撮像画像の中の対象物の振動が大きいほど、検出手段が対象物の変化を検出する条件である閾値を高く設定し、検出手段は、枠内における画像情報を表す特徴量分布の変化が変更手段により設定された閾値を超えているときに、対象物の変化を検出することが好適である。
【００１１】
この構成によれば、変更手段は、撮像画像の中の対象物の振動が大きいほど、検出手段が対象物の変化を検出する条件である閾値を高く設定し、検出手段は、枠内における画像情報を表す特徴量分布の変化が変更手段により設定された閾値を超えているときに、対象物の変化を検出する。このため、撮像画像の中における対象物の上下方向の振動に伴って、枠内の対象物以外の背景の変動が大きくなるような場合であっても、高く設定された閾値により背景の変化に基づいて飛び出し等が誤って検出されることが抑制されることとなる。この結果、対象物の変化の検出精度を向上させることが可能となる。
【００１２】
また、本発明は、上記本発明の対象物変化検出装置の検出手段により対象物の変化が検出されたときに、警報を報知する警報報知手段を備えた警報装置である。
【００１３】
この構成によれば、本発明の対象物変化検出装置の検出手段により対象物の変化が検出されたときに、警報を報知する警報報知手段を備える。このため、対象物の振動による誤検出により警報が誤って報知されることを抑制しつつ、対象物の変化をより高い精度で報知することができる。
【００１４】
また、本発明は、車両周囲を撮像する撮像工程と、撮像工程によって撮像された撮像画像の中で検出された対象物の変化を検出する検出工程と、撮像画像の中の対象物の振動が大きいほど、検出工程で対象物の変化を検出する条件を検出され難い側に変更する変更工程とを備える対象物変化検出方法である。
【００１５】
この場合、検出工程は、撮像画像内の対象物を囲むように設定された枠内における画像情報に基づいて対象物の変化を検出することが好適である。
【００１６】
この場合、変更工程は、撮像画像の中の対象物の振動が大きいほど、検出工程が対象物の変化を検出する条件である閾値を高く設定し、検出工程は、枠内における画像情報を表す特徴量分布の変化が変更工程により設定された閾値を超えているときに、対象物の変化を検出することが好適である。
【００１７】
また、本発明は、上記本発明の対象物変化検出方法の検出工程により対象物の変化が検出されたときに、警報を報知する警報報知工程を備えた警報方法である。
【発明の効果】
【００１８】
本発明の対象物変化検出装置、警報装置、対象物変化検出方法及び警報方法によれば、背景の変化に基づいて飛び出し等が誤って検出されることが抑制され、対象物の変化の検出精度を向上させることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】実施形態の飛び出し検出装置を示すブロック図である。
【図２】実施形態の飛び出し検出装置の動作を示すフローチャートである。
【図３】検出された対象物の画像中の中心座標を示す図である。
【図４】図３の１フレーム後の対象物の画像中の中心座標を示す図である。
【図５】変化検出用グラフの一例を示す図である。
【発明を実施するための形態】
【００２０】
図面を参照して、本発明の実施形態に係る対象物変化検出装置、警報装置、対象物変化検出方法及び警報方法について説明する。本実施形態の対象物変化検出装置は、車両に搭載され、主に歩行者を対象物とし、歩行者の車両の進路に対する飛び出し（急接近）を検出する。図１に示すように、本実施形態の対象物変化検出装置１は、汎用ＰＣ（Personal  Computer）２０にカメラ１２、ディスプレイ３２及びスピーカ３４が通信可能に接続されて構成されている。汎用ＰＣ２０は、例えば、車両に搭載された自動車制御用コンピュータや、携帯用電子計算機を適用することができる。
【００２１】
カメラ１２は、各フレームごとに車両周辺を撮影し、車両周辺が写し出されている画像データを生成する。カメラ１２は、例えば可視光領域又は赤外線領域において撮像可能なＣＣＤカメラ又はＣＭＯＳカメラ等である。カメラ１２は、主に車両の前方を撮影可能なように配置されるが、車両の側方又は後方を撮影可能なように配置されていても良い。
【００２２】
汎用ＰＣ２０は、所定のプログラムによって実現される機能ブロックとして、対象物検出・追跡部２２、対象物振動情報取得部２４、対象物変化検出閾値計算部２６及び対象物変化検出部２８を有している。対象物検出・追跡部２２は、カメラ１２により取得された撮像画像に含まれるデータを用いて、歩行者等の対象物の認識を行う。対象物検出・追跡部２２は、歩行者等の対象物である可能性がある物体を長方形の枠で囲むことにより得られた検知領域について、予め記憶された歩行者等の対象物の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより、対象物を検出する。対象物検出・追跡部２２は、歩行者等の対象物の移動に従って、枠で囲まれた検知領域を撮像画像内で移動させることにより、対象物を追跡する。対象物検出・追跡部２２は、得られた情報を対象物部分画像信号として、対象物振動情報取得部２４及び対象物変化検出部２８に送信する。
【００２３】
対象物振動情報取得部２４は、対象物検出・追跡部２２により得られた歩行者等の対象物の中心座標のフレームごとの変位に基づいて、対象物の振動の程度に関する情報を取得する。対象物振動情報取得部２４は、対象物の振動の程度に関する情報を対象物振動信号として、対象物変化検出閾値計算部２６に送信する。
【００２４】
対象物変化検出閾値計算部２６は、対象物振動情報取得部２４により取得された対象物の振動の程度に関する情報に基づいて、対象物変化検出部２８により、歩行者等の対象物の車両の進行方向に対する飛び出し等を検出するための閾値Ｔを計算する。対象物変化検出閾値計算部２６は、閾値Ｔを変化検出閾値信号として、対象物変化検出部２８として送信する。
【００２５】
対象物変化検出部２８は、対象物検出・追跡部２２により取得された検知領域における画像情報を表す特徴量分布のフレームごとの変化に基づいて、歩行者等の対象物の変化の程度を示す対象物変化程度Ｒを算出する。また、対象物変化検出部２８は、算出された対象物変化程度Ｒが、対象物変化検出閾値計算部２６が計算した閾値Ｔを超えているか否かにより、歩行者等の対象物に車両の進行方向への飛び出し等の変化があるか否かを検出する。
【００２６】
ディスプレイ３２は、対象物変化検出部２８が歩行者等の対象物に車両の進行方向への飛び出し等の変化があることを検出したときに、車両の運転者に歩行者の飛び出し等を画像により表示する。スピーカ３４は、対象物変化検出部２８が歩行者等の対象物に車両の進行方向への飛び出し等の変化があることを検出したときに、車両の運転者に歩行者の飛び出し等を音声又は警報音等により報知する。
【００２７】
以下、本実施形態の対象物変化検出装置１の動作について説明する。なお、以下の処理において、車両周辺に存在する対象物として歩行者を一例として説明するが、これに限定されない。また、対象物の形状を示す特徴量として、ＳＩＦＴ特徴量を一例に説明するが、これに限定されない。また、フレームごとの確率分布の差異を図る尺度として、ＫＬ情報量を一例に説明するが、これに限定されない。
【００２８】
図２に示すように、カメラ１２により車両周囲の撮像画像がフレームごとに得られ、画像データを含む画像信号が対象物検出・追跡部２２に入力される（Ｓ１１）。対象物検出・追跡部２２は、カメラ１２より取得したデータを用いて、歩行者等の対象物の検出及び追跡を行う（Ｓ１２）。図３及び図４に示すように、対象物検出・追跡部２２は、各フレームの時刻ｔ−１，ｔ等において、歩行者等の対象物Ｏである可能性のある物体を長方形の枠で囲むことにより検知領域Ａを設定する。対象物検出・追跡部２２は、検知領域Ａについて、予め記憶された歩行者等の対象物Ｏの形状の概要を示すデータを用いて、パターンマッチング等を行うことにより、対象物Ｏを検出する。図３及び図４に示すように、例えば、時刻ｔ−１から時刻ｔにかけて、対象物の中心座標ｃが（ｘｔ−１，ｙｔ−１）から（ｘｔ，ｙｔ）に移動した場合は、対象物検出・追跡部２２は、それに伴い検知領域Ａを移動させることにより、対象物Ｏを追跡する。
【００２９】
対象物振動情報取得部２４は、対象物検出・追跡部２２により得られた歩行者等の対象物Ｏの中心座標ｃのフレームごとの変位に基づいて、対象物Ｏの振動の程度に関する情報を取得する（Ｓ１３）。対象物Ｏの振動の程度は、例えば、下式（１）に示すように、撮像画像内の対象物Ｏの中心座標ｃの共分散行列Ｓを求めることにより取得することができる。中心座標ｃの平均値については、例えば、任意のｎフレーム前から現在のフレームまでの平均値とすることができる。
【数１】
2014232516.tif 000003
【００３０】
対象物変化検出閾値計算部２６は、対象物振動情報取得部２４が求めた共分散行列Ｓの関数として、閾値Ｔを計算する（Ｓ１４）。ここで、対象物変化検出閾値計算部２６は、ｄｅｔ（Ｓ）＞ｓ０であれば、Ｔ＝Ｔ１とし、ｄｅｔ（Ｓ）≦ｓ０であれば、Ｔ２とする。ｓ０は任意の定数とする。ここで、対象物Ｏの振動が大きい時に閾値Ｔを大きくしたいため、Ｔ１＞Ｔ２とする。
【００３１】
対象物変化検出部２８は、対象物検出・追跡部２２により取得された検知領域Ａにおける画像情報を表す特徴量分布のフレームごとの変化に基づいて、歩行者等の対象物の変化の程度を示す対象物変化程度Ｒを算出する（Ｓ１５）。対象物変化検出部２８は、検知領域Ａ内の対象物Ｏの形状情報を表す特徴量分布を取得する。対象物変化検出部２８は、対象物Ｏの形状情報を表す特徴量分布としてＳＩＦＴ特徴量の計算を行う。ＳＩＦＴ特徴量は、形状を表す特徴量として画像認識分野等において周知である。また、ＳＩＦＴ特徴量は、対象物Ｏを含む画像データのどの部分にどの向きのエッジが分布しているかをヒストグラムで表せるため、確率分布として表すことができる。
【００３２】
対象物変化検出部２８は、下式（２）に示すように、特徴量分布を正規化して、特徴量（確率分布）ｐ（ｔ）を取得する。
【数２】
2014232516.tif 000004
【００３３】
対象物変化検出部２８は、フレームごとに特徴量ｐ（ｔ）を汎用ＰＣ２０内に蓄積する。対象物変化検出部２８は、下式（３）に示すように、蓄積した特徴量ｐ（ｔ）から、任意のｎフレーム前の特徴量と、現在の特徴量との差である対象物変化程度Ｒ（ｔ，ｎ）の計算を行う。対象物変化検出部２８は、下式（４）に示すように、ＫＬ情報量を用いて、対象物変化程度Ｒ（ｔ，ｎ）の計算を行う。例えば、図５において、縦軸はＫＬ情報量を示し、横軸は時刻ごとのフレームを示している。図５の例では、グラフの最終のフレーム付近において、歩行者である対象物Ｏが急に動きを変えた状態を示している。
【数３】
2014232516.tif 000005
【数４】
2014232516.tif 000006
【００３４】
対象物変化検出部２８は、対象物変化検出部２８は、算出された対象物変化程度Ｒが、対象物変化検出閾値計算部２６が計算した閾値Ｔを超えているか否かを判定する（Ｓ１６）。対象物変化程度Ｒが閾値Ｔを超えているときは（Ｓ１６）、対象物変化検出部２８は、対象物Ｏに車両の進路への飛び出し等の変化があると検出する（Ｓ１７）。対象物変化程度Ｒが閾値Ｔを超えていないときは（Ｓ１６）、汎用ＰＣ２０の各部はＳ１１〜Ｓ１６の処理を以後のフレームについて続行する。対象物変化検出部２８が対象物Ｏに変化があったと検出したときは（Ｓ１６，Ｓ１７）、ディスプレイ３２及びスピーカ３４はそれぞれ画像、音声又は警報により、車両の運転者に歩行者の飛び出し等の対象物Ｏの変化について注意を喚起する（Ｓ１８）。
【００３５】
本実施形態によれば、カメラ１２は車両周囲を撮像し、対象物変化検出部２８はカメラ１２によって撮像された撮像画像の中で検出された対象物Ｏの変化を検出し、対象物変化検出閾値計算部２６は、撮像画像の中の対象物Ｏの振動が大きいほど、対象物変化検出部２８が対象物Ｏの変化を検出する条件を検出され難い側に変更する。これにより、撮像画像の中における対象物Ｏの上下方向の振動に伴って、撮像画像内において対象物Ｏを検出するために対象物Ｏを囲むように設定された枠内の検知領域Ａの対象物Ｏ以外の背景の変動が大きくなるような場合であっても、背景の変化に基づいて飛び出し等が誤って検出されることが抑制されることとなる。この結果、対象物Ｏの変化の検出精度を向上させることが可能となる。
【００３６】
また、対象物変化検出部２８は、撮像画像内の対象物Ｏを囲むように設定された枠内の検知領域Ａにおける画像情報に基づいて対象物Ｏの変化を検出する。このため、撮像画像の中における対象物Ｏの上下方向の振動に伴い、この枠内の検知領域Ａの対象物Ｏ以外の背景の変動も大きくなる。しかし、このような場合でも、対象物変化検出閾値計算部２６は、撮像画像の中の対象物Ｏの振動が大きいほど、対象物変化検出部２８が対象物Ｏの変化を検出する条件を検出され難い側に変更するため、枠内の背景の変化による誤検出を抑制し、対象物Ｏの変化の検出精度を向上させることが可能となる。
【００３７】
また、対象物変化検出閾値計算部２６は、撮像画像の中の対象物Ｏの振動が大きいほど、対象物変化検出部２８が対象物Ｏの変化を検出する条件である閾値Ｔを高く設定し、対象物変化検出部２８は、枠内の検知領域Ａにおける画像情報を表す特徴量分布の変化が対象物変化検出閾値計算部２６により設定された閾値Ｔを超えているときに、対象物Ｏの変化を検出する。このため、撮像画像の中における対象物Ｏの上下方向の振動に伴って、枠内の対象物Ｏ以外の背景の変動が大きくなるような場合であっても、高く設定された閾値Ｔにより背景の変化に基づいて飛び出し等が誤って検出されることが抑制されることとなる。この結果、対象物の変化の検出精度を向上させることが可能となる。
【００３８】
また、本実施形態の対象物変化検出装置１は、対象物変化検出部２８により対象物Ｏの変化が検出されたときに、警報を報知するディスプレイ３２やスピーカ３４を備える。このため、対象物Ｏの振動による誤検出により警報が誤って報知されることを抑制しつつ、対象物Ｏの変化をより高い精度で報知することができる。
【００３９】
なお、本発明は上記実施形態に限定されず、様々な変形態様が可能である。本実施形態の対象物変化検出装置は、歩行者や、人間以外の他の自動車や二輪車等の対象物についても、道路環境が平坦路か砂利道等の凹凸が大きい道かに応じて、上記の閾値Ｔを道の凹凸が大きいほど高く設定することにより、適用することが可能である。
【符号の説明】
【００４０】
１…対象物変化検出装置、１２…カメラ、２０…汎用ＰＣ、２２…対象物検出・追跡部、２４…対象物振動情報取得部、２６…対象物変化検出閾値計算部、２８…対象物変化検出部、３２…ディスプレイ、３４…スピーカ、Ｏ…対象物、Ａ…検知領域、ｃ…座標中心。
【図１】
2014232516.tif 000007
【図２】
2014232516.tif 000008
【図３】
2014232516.tif 000009
【図４】
2014232516.tif 000010
【図５】
2014232516.tif 000011