(57)【要約】【課題】対象物を含む画像領域に基づいて対象物の動きを検出する場合に対象物の動きの変化を高精度に検出できる対象物検出装置を提供することを課題とする。【解決手段】複数の画像から対象物の動きを検出する対象物検出装置１であって、画像から対象物を検出した場合に対象物を含む第１画像領域を取得する対象物検出手段１０と、第１画像領域の第１特徴量を取得する第１特徴量取得手段１１と、第１画像領域内に設定される第２画像領域の第２特徴量を取得する第２特徴量取得手段１２と、第１画像領域外かつ第２画像領域近傍に設定される第３画像領域の第３特徴量を取得する第３特徴量取得手段１２と、複数の画像間での対象物の動きを判定する判定手段１５を備え、判定手段１５は複数の画像間で第１特徴量の変化が検出されている場合でも複数の画像間での第２特徴量の変化度合いと第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くする。【選択図】図１
2014137689.tif 000002
【特許請求の範囲】
【請求項１】
異なる時間に撮像された複数の画像から対象物の動きを検出する対象物検出装置であって、
各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出手段と、
前記対象物検出手段で対象物が検出されている場合、前記第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得手段と、
前記対象物検出手段で対象物が検出されている場合、前記第１画像領域の外側かつ前記第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得手段と、
前記対象物検出手段で対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定手段と、
を備え、
前記判定手段は、前記対象物検出手段で対象物が検出されている複数の画像間における前記第２特徴量の変化度合いと前記複数の画像間における前記第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする対象物検出装置。
【請求項２】
前記第１画像領域の形状情報の特徴量である第１特徴量を取得する第１特徴量取得手段を備え、
前記判定手段は、前記複数の画像間において前記第１特徴量の変化が検出されている場合でも、前記複数の画像間における前記第２特徴量の変化度合いと前記複数の画像間における前記第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする請求項１に記載の対象物検出装置。
【請求項３】
前記第２画像領域は、前記第１画像領域の内側の端部に設定され、
前記第３画像領域は、前記第１画像領域の外側の端部に設定されることを特徴とする請求項１又は請求項２に記載の対象物検出装置。
【請求項４】
前記判定手段は、前記複数の画像間における前記第２特徴量の変化が検出されかつ前記複数の画像間における前記第３特徴量の変化が検出されている場合には対象物の動きが変化していると判定し難くすることを特徴とする請求項１〜請求項３のいずれか１項に記載の対象物検出装置。
【請求項５】
前記判定手段は、前記複数の画像間における前記第２特徴量の変化が検出されかつ前記複数の画像間における前記第３特徴量の変化が検出されている場合には対象物の動きが変化していると判定しないことを特徴とする請求項４に記載の対象物検出装置。
【請求項６】
異なる時間に撮像された複数の画像から対象物の動きを検出する対象物検出方法であって、
各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出ステップと、
前記対象物検出ステップで対象物が検出されている場合、前記第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得ステップと、
前記対象物検出ステップで対象物が検出されている場合、前記第１画像領域の外側かつ前記第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得ステップと、
前記対象物検出ステップで対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定ステップと、
を含み、
前記判定ステップでは、前記対象物検出ステップで対象物が検出されている複数の画像間における前記第２特徴量の変化度合いと前記複数の画像間における前記第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする対象物検出方法。
【請求項７】
異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて警報を行う警報装置であって、
各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出手段と、
前記対象物検出手段で対象物が検出されている場合、前記第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得手段と、
前記対象物検出手段で対象物が検出されている場合、前記第１画像領域の外側かつ前記第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得手段と、
前記対象物検出手段で対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定手段と、
前記判定手段で対象物の動きに変化があると判定された場合には警報の発動を促進する警報手段と、
を備え、
前記判定手段は、前記対象物検出手段で対象物が検出されている複数の画像間における前記第２特徴量の変化度合いと前記複数の画像間における前記第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする警報装置。
【請求項８】
異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて警報を行う警報方法であって、
各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出ステップと、
前記対象物検出ステップで対象物が検出されている場合、前記第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得ステップと、
前記対象物検出ステップで対象物が検出されている場合、前記第１画像領域の外側かつ前記第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得ステップと、
前記対象物検出ステップで対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定ステップと、
前記判定ステップで対象物の動きに変化があると判定された場合には警報の発動を促進する警報ステップと、
を含み、
前記判定ステップでは、前記対象物検出ステップで対象物が検出されている複数の画像間における前記第２特徴量の変化度合いと前記複数の画像間における前記第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする警報方法。
【請求項９】
異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて運転支援を行う運転支援装置であって、
各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出手段と、
前記対象物検出手段で対象物が検出されている場合、前記第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得手段と、
前記対象物検出手段で対象物が検出されている場合、前記第１画像領域の外側かつ前記第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得手段と、
前記対象物検出手段で対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定手段と、
前記判定手段で対象物の動きに変化があると判定された場合には運転支援の発動を促進する運転支援手段と、
を備え、
前記判定手段は、前記対象物検出手段で対象物が検出されている複数の画像間における前記第２特徴量の変化度合いと前記複数の画像間における前記第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする運転支援装置。
【請求項１０】
異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて運転支援を行う運転支援方法であって、
各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出ステップと、
前記対象物検出ステップで対象物が検出されている場合、前記第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得ステップと、
前記対象物検出ステップで対象物が検出されている場合、前記第１画像領域の外側かつ前記第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得ステップと、
前記対象物検出ステップで対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定ステップと、
前記判定ステップで対象物の動きに変化があると判定された場合には運転支援の発動を促進する運転支援ステップと、
を含み、
前記判定ステップでは、前記対象物検出ステップで対象物が検出されている複数の画像間における前記第２特徴量の変化度合いと前記複数の画像間における前記第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする運転支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる時間に撮像された複数の画像から対象物の動きを検出する対象物検出装置及び対象物検出方法、その対象物検出結果を用いて警報を発動する警報装置及び警報方法、その対象物検出結果を用いて運転支援を発動する運転支援装置及び運転支援方法に関する。
【背景技術】
【０００２】
車両において対象物との衝突回避等の運転支援や警報を行う場合、歩行者や他車両等の対象物を検出することが重要となる。特に、歩行者の動きが急に変わって道路に飛び出してくる場合、並走の他車両が急に車線変更して自車線に割り込んでくる場合、前方の他車両が急にＵターンを開始する場合や道路脇の店等に入るために急に右左折を開始する場合、駐車中の他車両が急にドアを開ける場合等、対象物の動きの急な変化を検出することが重要となる。
【０００３】
例えば、特許文献１に記載の歩行者飛び出し予測装置では、車外のカメラで撮像された画像から自車両の前方に存在する歩行者の位置及び移動速度の時系列変化を取得するとともに車両に搭載のカメラで撮像された画像から周辺情報を取得し、取得した歩行者の位置及び移動速度の時系列変化と歩行者が車道に飛び出すときの予め求められた位置及び移動速度の時系列変化とを比較するとともに、取得した周辺情報と歩行者が車道に飛び出すときの予め求められた周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１０２４３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
対象物の動きを検出する場合、画像から歩行者等の対象物を検出すると画像から対象物を含む矩形形状等の画像領域を抽出して、異なる時間の画像領域間の画像データの変化から対象物の動きに変化があるかを検出している。このような矩形形状等の画像領域には、対象物以外に背景も含まれる。そのため、対象物が変化していないときでも背景が変化すると、画像領域の画像データが変化する。この背景の変化の影響により、対象物の動きの変化の検出精度が低下する可能性があった。
【０００６】
そこで、本発明は、対象物を含む画像領域に基づいて対象物の動きを検出する場合に対象物の動きの変化を高精度に検出できる対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明に係る対象物検出装置は、異なる時間に撮像された複数の画像から対象物の動きを検出する対象物検出装置であって、各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出手段と、対象物検出手段で対象物が検出されている場合、第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得手段と、対象物検出手段で対象物が検出されている場合、第１画像領域の外側かつ第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得手段と、対象物検出手段で対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定手段とを備え、判定手段は、対象物検出手段で対象物が検出されている複数の画像間における第２特徴量の変化度合いと複数の画像間における第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする。
【０００８】
この対象物検出装置では、所定時間毎に撮像された画像を用いて対象物検出を行い、対象物を検出した場合にはその対象物を含む第１画像領域を取得する。この第１画像領域は、所定の形状を有しており、対象物以外の背景も含んでいる。対象物が複数の画像間で検出されている場合、対象物検出装置では、異なる時間の複数の第１画像領域から対象物の動きに変化があるか否かを判定する。特に、対象物が検出されて第１画像領域が取得されている場合、対象物検出装置では、第１画像領域の内側に第２画像領域を設定し、その第２画像領域の形状情報の特徴量である第２特徴量を取得する。第２画像領域は、第１画像領域内に設定される第１画像領域よりも小さい領域であり、主に背景を含む領域である（対象物の動きによっては対象物の一部を含む場合がある）。特に、第２画像領域は、背景の中でも変化があるような箇所を含むことが望ましい。また、対象物検出装置では、第１画像領域の外側かつ第２画像領域の近傍に第３画像領域を設定し、その第３画像領域の形状情報の特徴量である第３特徴量を取得する。第３画像領域は、第１画像領域外かつ第２画像領域の近傍に設定される第１画像領域よりも小さい領域であり、背景だけを含む（対象物を確実に含まない）領域である。特に、第３画像領域は、第２画像領域と同じ背景の変化がある箇所を含むことが望ましい。したがって、複数の画像間で第２画像領域において背景の変化によって第２特徴量が変化すると、第２画像領域近傍の第３画像領域においてもその背景の変化よって第３特徴量が変化し、第２特徴量と第３特徴量とが同じような変化をする。対象物の動きに変化があるか否かを判定する際に、対象物検出装置では、複数の画像間における第２特徴量の変化度合いと同じ複数の画像間における第３特徴量の変化度合いとが近いほど、対象物の動きが変化していると判定し難くする。つまり、第１画像領域外の第３画像領域には対象物が含まれないので、複数の画像間で第３特徴量が変化しているときには、それは背景の変化に応じたものである。第２画像領域は第３画像領域の近傍なので、複数の画像間で第３特徴量が変化しているときに同じように第２特徴量も変化している場合には、第２特徴量と第３特徴量とは同じ背景の変化に応じた変化の可能性が高い。したがって、複数の画像間で第２特徴量の変化度合いと第３特徴量の変化度合いとが近い場合には、第２画像領域（ひいては、第１画像領域）の特徴量の変化は背景の変化によるもと推測できる。そこで、第２特徴量の変化度合いと第３特徴量の変化度合いとが近いほど、第１画像領域内の対象物の動きが変化している可能性が低いので、対象物の動きが変化していると判定し難くする。このように、この対象物検出装置は、対象物を含む第１画像領域の内側の第２画像領域と外側かつ第２画像領域近傍の第３画像領域との特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることにより、第１画像領域内の背景の変化を対象物の変化として検出することを抑制でき、対象物の動きの変化を高精度に検出できる。
【０００９】
なお、第１画像領域、第２画像領域、第３画像領域は、複数の画像間においてその位置が変化してもよく、例えば、第１画像領域の位置は画像中の対象物の検出位置（対象物の重心位置等）に合わせて時間を追って変化し、その第１画像領域の位置の変化に応じて第２画像領域及び第３画像領域の各位置も変化する。第１画像領域、第２画像領域、第３画像領域の各形状は、任意の形状を適用でき、例えば、矩形形状（４角形形状）、６角形形状、８角形形状等の多角形形状、楕円形状等の曲線形状がある。また、第１画像領域、第２画像領域、第３画像領域の各形状は、領域ごとに別の形状であってもよい。
【００１０】
本発明の上記対象物検出装置では、第１画像領域の形状情報の特徴量である第１特徴量を取得する第１特徴量取得手段を備え、判定手段は、複数の画像間において第１特徴量の変化が検出されている場合でも、複数の画像間における第２特徴量の変化度合いと複数の画像間における第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすると好適である。
【００１１】
この対象物検出装置では、対象物が検出された場合、その対象物を含む第１画像領域を取得し、第１画像領域の形状情報の特徴量である第１特徴量を取得する。複数の画像間における第１特徴量の変化は、対象物の変化によって変化する場合（但し、対象物が変化すると背景も変化する）もあれば、背景の変化によって変化する場合もある。上記したように複数の画像間で第２特徴量の変化度合いと第３特徴量の変化度合いとが近い場合には背景の変化と推測できるので、複数の画像間で第２特徴量の変化度合いと第３特徴量の変化度合いとが近いときに、第１特徴量が変化していてもそれは背景の変化によるものと推測できる。そこで、対象物検出装置では、複数の画像間で第１特徴量の変化が検出されていても、複数の画像間における第２特徴量の変化度合いと複数の画像間における第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くする。このように、対象物検出装置は、対象物を含む第１画像領域の第１特徴量の変化が検出されていても第１画像領域の内側の第２画像領域と外側かつ第２画像領域近傍の第３画像領域との特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることにより、第１画像領域内の背景の変化による第１特徴量の変化を対象物の変化として検出することを抑制でき、対象物の動きの変化を高精度に検出できる。
【００１２】
本発明の上記対象物検出装置では、第２画像領域は、第１画像領域の内側の端部に設定され、第３画像領域は、第１画像領域の外側の端部に設定される構成としてもよい。第１画像領域の内側の端部の領域は、第１画像領域内で背景を主に含む可能性が高い領域であり、第２画像領域としては好適である。また、第１画像領域の外側の端部の領域は、第１画像領域内の端部の第２画像領域と隣接する領域であり、第３画像領域としては好適である。
【００１３】
本発明の上記対象物検出装置では、判定手段は、複数の画像間における第２特徴量の変化が検出されかつ複数の画像間における第３特徴量の変化が検出されている場合には対象物の動きが変化していると判定し難くする構成としてもよい。さらに、本発明の上記対象物検出装置では、判定手段は、複数の画像間における第２特徴量の変化が検出されかつ複数の画像間における第３特徴量の変化が検出されている場合には対象物の動きが変化していると判定しない構成としてもよい。複数の画像間で第２特徴量と第３特徴量が共に変化が検出されている場合には、それは背景の変化によるもと推測できる。そこで、第２特徴量の変化が検出されかつ第３特徴量の変化が検出されている場合には、第１画像領域内の対象物の動きが変化している可能性が非常に低いので、対象物の動きが変化していると判定し難くする（特に、変化していると判定しない）。
【００１４】
本発明に係る対象物検出方法は、異なる時間に撮像された複数の画像から対象物の動きを検出する対象物検出方法であって、各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出ステップと、対象物検出ステップで対象物が検出されている場合、第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得ステップと、対象物検出ステップで対象物が検出されている場合、第１画像領域の外側かつ第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得ステップと、対象物検出ステップで対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定ステップとを含み、判定ステップでは、対象物検出ステップで対象物が検出されている複数の画像間における第２特徴量の変化度合いと複数の画像間における第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする。この対象物検出方法は、上記の対象物検出装置と同様の作用効果を有している。
【００１５】
本発明に係る警報装置は、異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて警報を行う警報装置であって、各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出手段と、対象物検出手段で対象物が検出されている場合、第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得手段と、対象物検出手段で対象物が検出されている場合、第１画像領域の外側かつ第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得手段と、対象物検出手段で対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定手段と、判定手段で対象物の動きに変化があると判定された場合には警報の発動を促進する警報手段とを備え、判定手段は、対象物検出手段で対象物が検出されている複数の画像間における第２特徴量の変化度合いと複数の画像間における第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする。
【００１６】
この警報装置は、上記した対象物検出装置の対象物検出手段、第２特徴量取得手段、第３特徴量取得手段、判定手段を備えているので、対象物の動きにおける変化を高精度に検出することができる。したがって、この警報装置では、対象物の動きに変化があることが高精度に検出された場合には、その変化に対する警報の発動を促進することができる。
【００１７】
本発明に係る警報方法は、異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて警報を行う警報方法であって、各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出ステップと、対象物検出ステップで対象物が検出されている場合、第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得ステップと、対象物検出ステップで対象物が検出されている場合、第１画像領域の外側かつ第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得ステップと、対象物検出ステップで対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定ステップと、判定ステップで対象物の動きに変化があると判定された場合には警報の発動を促進する警報ステップとを含み、判定ステップでは、対象物検出ステップで対象物が検出されている複数の画像間における第２特徴量の変化度合いと複数の画像間における第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする。
【００１８】
この警報方法は、上記した対象物検出方法の対象物検出ステップ、第２特徴量取得ステップ、第３特徴量取得ステップ、判定ステップを含む方法なので、対象物の動きにおける変化を高精度に検出することができる。したがって、この警報方法では、対象物の動きに変化があることが高精度に検出された場合には、その変化に対する警報の発動を促進することができる。
【００１９】
本発明に係る運転支援装置は、異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて運転支援を行う運転支援装置であって、各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出手段と、対象物検出手段で対象物が検出されている場合、第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得手段と、対象物検出手段で対象物が検出されている場合、第１画像領域の外側かつ第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得手段と、対象物検出手段で対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定手段と、判定手段で対象物の動きに変化があると判定された場合には運転支援の発動を促進する運転支援手段とを備え、判定手段は、対象物検出手段で対象物が検出されている複数の画像間における第２特徴量の変化度合いと複数の画像間における第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする。
【００２０】
この運転支援装置は、上記した対象物検出装置の対象物検出手段、第２特徴量取得手段、第３特徴量取得手段、判定手段を備えているので、対象物の動きにおける変化を高精度に検出することができる。したがって、この運転支援装置では、対象物の動きに変化があることが高精度に検出された場合には、その変化に対する運転支援の発動を促進することができる。
【００２１】
本発明に係る運転支援方法は、異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて運転支援を行う運転支援方法であって、各時間の画像に基づいて対象物検出を行い、対象物を検出した場合には画像から対象物を含む第１画像領域を取得する対象物検出ステップと、対象物検出ステップで対象物が検出されている場合、第１画像領域の内側に設定される第２画像領域の形状情報の特徴量である第２特徴量を取得する第２特徴量取得ステップと、対象物検出ステップで対象物が検出されている場合、第１画像領域の外側かつ第２画像領域の近傍に設定される第３画像領域の形状情報の特徴量である第３特徴量を取得する第３特徴量取得ステップと、対象物検出ステップで対象物が複数の画像間で検出されている場合、対象物の動きを判定する判定ステップと、判定ステップで対象物の動きに変化があると判定された場合には運転支援の発動を促進する運転支援ステップとを含み、判定ステップでは、対象物検出ステップで対象物が検出されている複数の画像間における第２特徴量の変化度合いと複数の画像間における第３特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることを特徴とする。
【００２２】
この運転支援方法は、上記した対象物検出方法の対象物検出ステップ、第２特徴量取得ステップ、第３特徴量取得ステップ、判定ステップを含む方法なので、対象物の動きにおける変化を高精度に検出することができる。したがって、この運転支援方法では、対象物の動きに変化があることが高精度に検出された場合には、その変化に対する運転支援の発動を促進することができる。
【００２３】
なお、運転支援は、例えば、対象物の動きに変化があると判定された場合にその対象物との衝突回避のための運転支援、車両挙動を安定させるための運転支援の少なくとも１つを含む。衝突回避は、例えば、制動介入による衝突回避、操舵介入による衝突回避、及び、ドライバへの注意喚起の少なくとも１つを含む。これら以外の周知技術であってもよい。制動介入は、例えば、自動ブレーキ、制動力サポート、表示、音声、振動等の物理刺激によるドライバへの制動操作の促しの少なくとも１つを含む。これら以外の周知技術であってもよい。また、操舵介入は、例えば、自動操舵、操舵力サポート、物理刺激によるドライバへの操舵操作の促しの少なくとも１つを含む。これら以外の周知技術であってもよい。運転支援／警報の発動の促進は、運転支援／警報を発動することによって促進する場合のみならず、支援対象としての対象物が変化していると判定され易くする（検出範囲を広げる、検出精度を上げるなど）ことによって促進する場合、運転支援／警報の発動の条件を緩和する（閾値を下げるなど）ことによって促進する場合、運転支援／警報の内容のレベルを引き上げる（ＨＭＩによる表示／警報から介入制御に移行など）ことによって促進する場合を含む。
【発明の効果】
【００２４】
本発明によれば、対象物を含む第１画像領域の内側の第２画像領域と外側かつ第２画像領域近傍の第３画像領域との特徴量の変化度合いが近いほど対象物の動きが変化していると判定し難くすることにより、第１画像領域内の背景の変化を対象物の変化として検出することを抑制でき、対象物の動きの変化を高精度に検出できる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態に係る対象物検出装置の構成図である。
【図２】本実施の形態に係る全矩形領域、内小矩形領域、外小矩形領域の一例である。
【図３】図１の対象物検出装置における処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
【００２７】
本実施の形態では、本発明を、車両に搭載される対象物検出装置に適用する。本実施の形態に係る対象物検出装置は、一定時間毎に撮像される複数のフレームの画像から車両の走行に影響を与えるような対象物の動きの変化（特に、非周期的変化）を検出する。そして、本実施の形態に係る対象物検出装置は、その対象物変化検出結果を運転支援装置や警報装置（ＨＭＩ[Human Machine Interface]装置）等に提供する。
【００２８】
なお、対象物としては、自車両周辺に存在する動く物体であり、例えば、歩行者、自転車、車両（自動四輪車）、自動二輪車等の移動物体、車両のドア等の可動物体がある。検出対象の対象物の動きの変化は、交通環境における対象物の危険な変化であり、対象物の運動変化開始時における形状の変化を含む。対象物の動きの変化としては、例えば、歩行者や自転車が急に動きを変えて道路に飛び出してくる変化、並走している車両や自動二輪車が急に車線変更して自車線に割り込んでくる変化、前方を走行している車両や自動二輪車が急にＵターンを開始する変化、前方を走行している車両や自動二輪車が道路脇の店等に入るために急に右左折する変化、駐車している車両がドアを急に開ける変化がある。なお、この検出対象の対象物の動きの変化は、非周期的な変化であり、周期的な変化は含まれない。周期的な変化としては、例えば、歩行者が歩いているときに腕や脚を周期的に動かす変化がある。
【００２９】
図１及び図２を参照して、本実施の形態に係る対象物検出装置１について説明する。図１は、本実施の形態に係る対象物検出装置の構成図である。図２は、本実施の形態に係る全矩形領域、内小矩形領域、外小矩形領域の一例である。
【００３０】
対象物検出装置１は、各フレームの画像から対象物を含む画像領域（矩形領域）を取得し、その画像領域から形状情報（特徴量）を取得し、複数のフレーム間の形状情報の変化に基づいて対象物の動きに変化があるか否かを判定する。特に、対象物検出装置１は、矩形領域内に含まれる背景の変化による影響で対象物に変化があると判定することを抑制するために、対象物を含む全矩形領域（第１画像領域に相当）の内側に内小矩形領域（第２画像領域に相当）と外側かつ内小矩形領域に隣接する外小矩形領域（第３画像領域に相当）を設定し、その内小矩形領域及び外小矩形領域から形状情報をそれぞれ取得し、複数のフレーム間の全矩形領域の形状情報の変化に加えて内小矩形領域及び外小矩形領域の形状情報の各変化に基づいて対象物の動きに変化があるか否かを判定する。
【００３１】
そのために、対象物検出装置１は、対象物検出部１０、対象物全矩形形状情報取得部１１、対象物内外小矩形形状情報取得部１２、対象物全矩形変化検出部１３、対象物内外小矩形変化検出部１４、対象物変化検出部１５を備えている。また、対象物検出装置１は、カメラ２と通信可能に接続されており、一定時間毎にカメラ２から各フレームの画像信号を受信する。なお、本実施の形態では、対象物検出部１０が特許請求の範囲に記載する対象物検出手段に相当し、対象物全矩形形状情報取得部１１が特許請求の範囲に記載する第１特徴量取得手段に相当し、対象物内外小矩形形状情報取得部１２が特許請求の範囲に記載する第２特徴量取得手段及び第３特徴量取得手段に相当し、対象物変化検出部１５が特許請求の範囲に記載する判定手段に相当する。
【００３２】
カメラ２は、自車両周辺を撮像するカメラである。カメラ２は、例えば、可視光領域又は赤外光領域にて撮像可能なＣＣＤ[Charge Coupled Device]カメラ、ＣＭＯＳ[Complementary Metal Oxide Semiconductor]カメラである。また、カメラ２は、ステレオカメラでもよいしあるいは単眼カメラでもよい、また、カラーカメラでもよいしあるいは白黒カメラでもよい。カメラ２は、自車両の前方、側方、後方等における自車両周辺を撮像可能な所定の位置に取り付けられる。カメラ２は、自車両周辺の所定の方向を撮像すると、その撮像したカラー画像（例えば、ＲＧＢ[Red Green Blue]による画像）あるいは輝度画像等を取得する。カメラ２では、一定時間毎に（例えば、１／３０秒毎に）、自車両周辺を撮像し、そのフレームの撮像画像のデータを画像信号として対象物検出装置１に送信する。画像信号には、１ずつ増加するフレーム番号が付与される。
【００３３】
対象物検出装置１は、専用のＥＣＵ[Electronic Control Unit]でもよいし、あるいは、パソコン等の汎用コンピュータに構成されてもよい。対象物検出装置１は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなり、組み込まれている対象物検出用のアプリケーションプログラムをロードして実行することによって対象物検出部１０、対象物全矩形形状情報取得部１１、対象物内外小矩形形状情報取得部１２、対象物全矩形変化検出部１３、対象物内外小矩形変化検出部１４、対象物変化検出部１５の各処理を行う。
【００３４】
対象物検出部１０では、カメラ２から現在フレームｔの画像信号を受信する毎に、現在フレームｔの画像データから周知の画像処理により対象物を認識する。この周知の画像処理としては、どのような画像処理を適用してもよく、例えば、歩行者等の各対象物のテンプレート（矩形形状）を予め用意しておき、テンプレート毎に画像からテンプレートに対応する矩形領域を順次抽出し、抽出した矩形領域の画像データとテンプレートとのパターンマッチングを順次行う。対象物検出部１０では、対象物を認識（検出）できた場合、画像から対象物を含む全矩形領域（第１画像領域）を抽出する。この全矩形領域は、対象物の動きの変化を検出する処理で有効となる対象物を含む領域であり、矩形領域である。全矩形領域としては、対象物全体を含む矩形領域でもよいし（例えば、パターンマッチングのときに抽出した矩形領域）、あるいは、対象物の動きが顕著に現れる対象物の一部を含む矩形領域でもよい（例えば、歩行者の場合には歩行者の下半身のみを含む矩形領域）。そして、対象物検出部１０では、対象物を検出できた場合、その対象物の全矩形領域の画像データからなる対象物部分画像信号を対象物全矩形形状情報取得部１１及び対象物内外小矩形形状情報取得部１２に出力する。
【００３５】
なお、１フレームの画像から複数の対象物を検出できた場合、対象物部分画像信号には対象物毎の全矩形領域の画像データが含まれる。検出されている各対象物には識別番号が付与され、異なるフレーム間で同じ対象物が検出されている場合には同じ識別番号が付与され、対象物部分画像信号には対象物毎に識別番号情報も付加され、異なるフレーム間でも同じ対象物のデータとして処理することができる。また、テンプレートによるパターンマッチング等によって検出された対象物は種別（歩行者、自転車、車両、自動二輪車等）を特定できるので、対象物部分画像信号には対象物毎に種別情報も付加される。ちなみに、同じ対象物の全矩形領域の位置は、自車両の移動や対象物の移動に応じて、画像内での対象物の位置（重心位置等）に合わせて時間を追って変化する。
【００３６】
全矩形領域は、対象物を含む領域であるが、矩形領域なので背景も含んでいる。したがって、全矩形領域は、対象物の画像データ以外にも、背景の画像データも含んでいる。そのため、背景のみが変化した場合も、全矩形領域の画像データが変化する。ちなみに、複数のフレーム間の全矩形領域の形状情報の変化だけで対象物の動きに変化があるか否かを判定した場合、全矩形領域に含まれる背景だけが変化しているときも、対象物の動きに変化があると判定してしまう可能性がある。
【００３７】
対象物全矩形形状情報取得部１１では、対象物部分画像信号を入力する毎に、現在フレームｔで検出されている各対象物について、所定の特徴量を用いて全矩形領域の画像データから形状情報を表す特徴量ｖ（ｔ）を取得する。形状情報は、矩形領域内に含まれるものの形状の特徴量を示す情報である。全矩形領域の場合、対象物の形状だけでなく、背景となるものの各形状もある。所定の特徴量は、例えば、確率分布として表せる特徴量である。所定の特徴量としては、例えば、画像データの輝度自体を使用する第１特徴量、画像データのエッジを使用する第２特徴量、画像データの色を使用する第３特徴量がある。第１特徴量としては、例えば、輝度、輝度のＰＣＡ、Ｈｕｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ、ｆｅａｒｔｕｒｅ、ｐｏｓｅｌｅｔがある。第２特徴量としては、例えば、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ、ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、ｅｄｇｅｌｅｔがある。第３特徴量としては、例えば、ＲＧＢ、Ｌａｂがある。本実施の形態では、例えば、第２特徴量のＳＩＦＴ特徴量を用いる。そして、対象物全矩形形状情報取得部１１では、各対象物についての全矩形領域の特徴量ｖ（ｔ）からなる対象物全矩形形状信号を対象物全矩形変化検出部１３に出力する。
【００３８】
対象物内外小矩形形状情報取得部１２では、対象物部分画像信号を入力する毎に、現在フレームｔで検出されている各対象物について、全矩形領域（第１画像領域）の内側に内小矩形領域（第２画像領域）を設定するとともに、全矩形領域の外側に外小矩形領域（第３画像領域）を設定する。
【００３９】
内小矩形領域は、全矩形領域内に設定される全矩形領域よりも小さい矩形領域であり、対象物の背景を主に含む領域である（対象物の動きによっては対象物の一部も含む場合がある）。特に、内小矩形領域は、背景の中でも変化があるような箇所を含む可能性が高い領域である。ちなみに、背景の中でも空等のように変化が殆どないような箇所を内小矩形領域とした場合、背景が変化したために全矩形領域の特徴量（形状情報）ｖ（ｔ）に変化があったか否かを判断できない。そこで、内小矩形領域は、全矩形領域内の下端部（特に、左右端部）に設定される。このように下端部に設定した場合、内小矩形領域内に、縁石、白線、電柱、交通標識等が入る可能性が高く、車両走行中に背景に変化がある可能が高い。また、左右端部に設定した場合、歩行者等の対象物によっては対象物を含む可能性が少なる。内小矩形領域の大きさは、特徴量の変化から背景の変化を検出できる大きさでありかつ対象物が殆ど含まれない大きさであり、実験等によって予め設定される。内小矩形領域は、１つだけ設定されてもよい、複数設定されてもよい。図２に示す例の場合、対象物（歩行者Ｐ）を含む全矩形領域Ｒａ内の左下端部の内小矩形領域Ｒｉと右下端部の内小矩形領域Ｒｉが設定されており、この内小矩形領域Ｒｉ，Ｒｉは歩行者Ｐの足元となるので、歩行者Ｐが含まれる可能性が低く（歩行中に一時的に歩行者Ｐの足の一部が含まれる程度）、縁石等が含まれる可能性が高い。
【００４０】
外小矩形領域は、全矩形領域外かつ内小矩形領域に隣接して設定される全矩形領域よりも小さい矩形領域である。外小矩形領域は、全矩形領域外の領域なので、対象物を確実に含まない領域であり、背景のみを含む領域である。また、外小矩形領域は、内小矩形領域に隣接する領域なので、内小矩形領域と同じ背景の変化がある箇所を含む可能性が高い。外小矩形領域は、内小矩形領域が左下端部に設定された場合にはその左側又は下側に隣接して設定され、内小矩形領域が右下端部に設定された場合にはその右側又は下側に隣接して設定され、内小矩形領域が中間の下端部に設定された場合にはその下側に隣接して設定される。外小矩形領域の大きさは、内小矩形領域と同じ大きさとするが、多少大きさが異なっていてもよい。外小矩形領域は、内小矩形領域と同じ数分設定される。図２に示す例の場合、全矩形領域Ｒａの外側であり、左下端部の内小矩形領域Ｒｉの左隣に外小矩形領域Ｒｏと右下端部の内小矩形領域Ｒｉの右隣に外小矩形領域Ｒｏが設定されており、この外小矩形領域Ｒｏ，Ｒｏは歩行者Ｐが含まれる可能性がなく、内小矩形領域Ｒｉ，Ｒｉと同じ縁石等が含まれる可能性が高い。
【００４１】
なお、対象物検出部１０で対象物を検出したときに、対象物が歩行者、車両、自動二輪車等の種別情報が得られるので、対象物の種別に応じて全矩形領域の内外に内小矩形領域及び外小矩形領域を設定するようにしてもよい。例えば、対象物が歩行者の場合、全矩形領域の中央周辺の下端部に設定すると、歩行者の足が絶えず内小矩形領域に入るので、左右の下端部に設定する。また、車両の場合、全矩形領域の中央周辺に下端部に設定すると、タイヤとタイヤの間で車両が入らないので、中央の下端部に設定する。このような対象物の種別に応じて好適な内小矩形領域及び外小矩形領域の設定位置を予め記憶しておき、対象物検出部１０で特定される対象物の種別情報に応じて全矩形領域の内外に内小矩形領域及び外小矩形領域を設定することもできる。対象物の種別に関係なく、内小矩形領域及び外小矩形領域の各設定位置は固定でもよい。ちなみに、上記したように自車両の移動や対象物の移動に伴って画像内での全矩形領域の位置が時間を追って変化すると、この全矩形領域の位置の変化に応じて内小矩形領域及び外小矩形領域の各位置も変化する。
【００４２】
対象物内外小矩形形状情報取得部１２では、内小矩形領域を設定すると、所定の特徴量を用いて内小矩形領域の画像データから形状情報を表す特徴量ｖｉ（ｔ）を取得する。また、対象物内外小矩形形状情報取得部１２では、外小矩形領域を設定すると、所定の特徴量を用いて外小矩形領域の形状情報を表す特徴量ｖｏ（ｔ）を取得する。この特徴量の取得方法は、対象物全矩形形状情報取得部１１と同様の方法である。そして、対象物内外小矩形形状情報取得部１２では、各対象物についての内小矩形領域の特徴量ｖｉ（ｔ）及び外小矩形領域の特徴量ｖｏ（ｔ）からなる対象物内外小矩形形状信号を対象物内外小矩形変化検出部１４に出力する。
【００４３】
対象物全矩形変化検出部１３では、対象物全矩形形状信号を入力する毎に、現在フレームｔで検出されている各対象物について、現在フレームを含めて過去の複数のフレームについての全矩形領域の特徴量ｖ（ｔ）を用いて全矩形領域での特徴量（形状情報）の変化検出を行い、変化あり／変化なしからなる全矩形変化判定結果Ｃを取得する。そして、対象物全矩形変化検出部１３では、各対象物についての全矩形変化判定結果Ｃからなる対象物全矩形変化判定信号を対象物変化検出部１５に出力する。ちなみに、全矩形領域では、複数のフレーム間で対象物が変化（対象物の変化に伴って背景も変化している）したときに変化ありという結果が得られるが、対象物以外にも背景を含むので、背景だけが変化したときも変化ありという結果が得られる場合がある。
【００４４】
特徴量ｖ（ｔ）を用いた全矩形領域での変化検出手法の一例を説明する。まず、式（１）により特徴量ｖ（ｔ）のＬ１  ｎｏｒｍ（マンハッタン距離）を１に正規化し、正規化した特徴量ｐ（ｔ）を取得する。次に、式（３）で示すＤＫＬ（Ｐ｜｜Ｑ）（カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ  ｄｉｖｅｒｇｅｎｃｅ）を用いて、式（２）により現在フレームの特徴量ｐ（ｔ）とそのｎフレーム前の特徴量ｐ（ｔ−ｎ）との差ｄ（ｔ，ｎ）を計算し、フレーム間の形状変化情報ｄ（ｔ，ｎ）を取得する。
【数１】
2014137689.tif 000003
【００４５】
次に、現在フレームを含めて過去のｌ（エル）フレーム分の形状変化情報ｄ（ｔ，ｎ），ｄ（ｔ−１，ｎ），・・・，ｄ（ｔ−ｌ＋１，ｎ）を用いて、式（４）に示すようにｌ次元のベクトルｕ（ｔ，ｎ，ｌ）を取得する。次に、ノイズを低減するために（周期的変化を抑制するために）、式（５）により、現在フレームを含めて過去のＫ個分のベクトルｕ（ｔ，ｎ，ｌ），ｕ（ｔ−１，ｎ，ｌ），・・・，ｕ（ｔ−Ｋ＋１，ｎ，ｌ）を足し合わせて時間平均を取り、時間平均化した形状変化情報としてベクトルＵ（ｔ，Ｋ，ｎ，ｌ）を取得する。次に、このベクトルＵ（ｔ，Ｋ，ｎ，ｌ）と式（６）のｌ（エル）次元（ｌｄｉｍ）のベクトルＩを用いて、式（７）により、類似度ｃｏｓΘ（ｔ，Ｋ，ｎ，ｌ）を計算する。この類似度ｃｏｓΘは、ｎ次元空間での類似度を分析する際に一般的に用いられるｎ次元ベクトルの類似度である。具体的には、類似度ｃｏｓΘは、コサイン類似度と呼ばれ、ベクトルのなす角Θ（ＩとＵのなす角）の余弦ｃｏｓΘのことを意味し、ベクトルの向きの近さを類似性の指標としたものである。ベクトルの向きが一致している場合は最大値の１となり、ベクトルの向きが直交する場合は０となり、ベクトルの向きが逆になる場合には最小値の−１となる。したがって、全矩形領域に変化がない場合や周期的変化だけがある場合には類似度ｃｏｓΘが１近傍の値になり、全矩形領域に非周期的変化がある場合には類似度ｃｏｓΘが１より明らかに小さい値になる。
【数２】
2014137689.tif 000004
【００４６】
最後に、類似度ｃｏｓΘが閾値Ｔｈｒｅより小さいか否かを判定する。閾値Ｔｈｒｅは、予め設定され、上記したｎフレーム前、ｌフレーム分、時間平均のＫ個等の各値を考慮して適宜設定される。そして、類似度ｃｏｓΘが閾値Ｔｈｒｅより小さい場合（時間平均化区間において類似性が低い場合）には変化があると判定し、類似度ｃｏｓΘが閾値Ｔｈｒｅ以上の場合には変化がないと判定する。
【００４７】
対象物内外小矩形変化検出部１４では、対象物内外小矩形形状信号を入力する毎に、現在フレームｔで検出されている各対象物について、現在フレームを含めて過去の複数のフレームについての内小矩形領域の特徴量ｖｉ（ｔ）を用いて内小矩形領域での特徴量（形状情報）の変化検出を行い、変化あり／変化なしからなる内小矩形変化判定結果Ｃｉを取得する。ちなみに、内小矩形領域では、背景を主に含むが対象物も含む場合があるので、複数のフレーム間で対象物が変化（対象物の変化に伴って背景も変化している）したときに変化ありという結果が得られる場合と背景だけが変化したときに変化ありという結果が得られる場合がある。特徴量ｖｉ（ｔ）を用いた内小矩形領域での変化検出手法としては、例えば、上記で説明した全矩形領域での変化検出手法の一例を適用する。
【００４８】
また、対象物内外小矩形変化検出部１４では、対象物内外小矩形形状信号を入力する毎に、現在フレームｔで検出されている各対象物について、現在フレームを含めて過去の複数のフレームについての外小矩形領域の特徴量ｖｏ（ｔ）を用いて外小矩形領域での特徴量（形状情報）の変化検出を行い、変化あり／変化なしからなる外小矩形変化判定結果Ｃｏを取得する。ちなみに、外小矩形領域では、背景しか含まないので、背景が変化したときに変化ありという結果が得られる。特徴量ｖｏ（ｔ）を用いた外小矩形領域での変化検出手法としては、例えば、上記で説明した全矩形領域での変化検出手法の一例を適用する。
【００４９】
そして、対象物内外小矩形変化検出部１４では、各対象物についての内小矩形変化判定結果Ｃｉ及び外小矩形変化判定結果Ｃｏからなる対象物内外小矩形変化判定信号を対象物変化検出部１５に出力する。
【００５０】
対象物変化検出部１５では、対象物全矩形変化判定信号及び対象物内外小矩形変化判定信号を入力する毎に、現在フレームｔで検出されている各対象物について、全矩形変化判定結果Ｃで変化ありか否かを判定する。複数のフレーム間で全矩形領域の特徴量ｖ（ｔ）（形状情報）に変化がある場合、対象物が変化している場合の他にも、背景が変化している場合（特に、背景だけが変化している場合）がある。全矩形変化判定結果Ｃで変化なしの場合（全矩形領域内の対象物及び背景が変化していない場合（但し、周期的変化している場合はある））、対象物変化検出部１５では、対象物の動きに変化がないと判定する。
【００５１】
全矩形変化判定結果Ｃで変化ありの場合（全矩形領域内の対象物及び背景の少なくとも一方が変化している場合）、対象物変化検出部１５では、内小矩形変化判定結果Ｃｉで変化なしか又は外小矩形変化判定結果Ｃｏで変化なしかを判定する。複数のフレーム間で内小矩形領域の特徴量ｖｉ（ｔ）に変化がある場合、対象物が変化している場合、背景が変化している場合（特に、背景だけが変化している場合）がある。また、複数のフレーム間で外小矩形領域の特徴量ｖｏ（ｔ）に変化がある場合、背景だけが変化している。
【００５２】
全矩形変化判定結果Ｃで変化ありの場合に、内小矩形変化判定結果Ｃｉで変化ありかつ外小矩形変化判定結果Ｃｏで変化ありの場合、対象物変化検出部１５では、対象物の動きに変化なしと判定する。この場合、全矩形領域の特徴量ｖ（ｔ）に変化があるが、内小矩形領域の特徴量ｖｉ（ｔ）と外小矩形領域の特徴量ｖｏ（ｔ）が共に変化しているので（隣接する内小矩形領域と外小矩形領域において同じ背景の変化で特徴量ｖｉ（ｔ）とｖｏ（ｔ）が共に変化しているので）、全矩形領域の特徴量ｖ（ｔ）の変化は背景の変化によるものと推測でき、対象物は変化していないと判断できる。つまり、全矩形領域外の外小矩形領域には対象物が含まれないので、複数のフレーム間で外小矩形領域の特徴量ｖｏ（ｔ）が変化しているときには、それは背景の変化によるものである。内小矩形領域は外小矩形領域に隣接しているで、複数のフレーム間で外小矩形領域の特徴量ｖｏ（ｔ）が変化しているときに内小矩形領域の特徴量ｖｉ（ｔ）も変化している場合には、特徴量ｖｉ（ｔ）と特徴量ｖｏ（ｔ）とは同じ背景の変化に応じた変化の可能性が高い。したがって、複数のフレーム間で内小矩形領域の特徴量ｖｉ（ｔ）に変化がありかつ外小矩形領域の特徴量ｖｏ（ｔ）に変化がある場合には、内小矩形領域の特徴量ｖｉ（ｔ）（ひいては、全矩形領域の特徴量ｖ（ｔ））の変化は背景の変化によるもと推測できる。そこで、内小矩形変化判定結果Ｃｉで変化ありかつ外小矩形変化判定結果Ｃｏで変化ありの場合、全矩形変化判定結果Ｃで変化ありでも、全矩形領域内の対象物の動きが変化している可能性が非常に低いので、対象物の動きに変化なしと判断している。
【００５３】
全矩形変化判定結果Ｃで変化ありの場合に、内小矩形変化判定結果Ｃｉで変化なし又は外小矩形変化判定結果Ｃｏで変化なしの場合、対象物変化検出部１５では、対象物の動きに変化あると判定する。内小矩形領域の特徴量ｖｉ（ｔ）と外小矩形領域の特徴量ｖｏ（ｔ）の少なくとも一方が変化していないので（隣接する内小矩形領域と外小矩形領域において特徴量ｖｉ（ｔ）とｖｏ（ｔ）が共に変化していないので）、全矩形領域の特徴量ｖ（ｔ）の変化は背景の変化によるものでないと推測でき、対象物は変化していると判断できる。
【００５４】
そして、対象物変化検出部１５では、各対象物についての判定結果を対象物変化検出結果Ｒとし、対象物変化検出結果Ｒからなる対象物変化検出結果信号を運転支援装置や警報装置等に送信する。
【００５５】
なお、１個の全矩形領域に内外の小矩形領域が複数個ずつ設定されており、内外の小矩形変化判定結果Ｃｉ，Ｃｏが複数個ずつある場合、複数個の内外の小矩形変化判定結果Ｃｉ，Ｃｏを用いて上記判定を行う。例えば、複数個の小矩形変化判定結果Ｃｉ，Ｃｏを用いた場合、ある設定位置で内小矩形変化判定結果Ｃｉで変化なし又は外小矩形変化判定結果Ｃｏで変化なしの場合でも、他の設定位置で内小矩形変化判定結果Ｃｉで変化ありかつ外小矩形変化判定結果Ｃｏで変化ありの場合、全矩形領域の特徴量ｖ（ｔ）の変化は背景の変化によるものと推測できるので、全矩形変化判定結果Ｃで変化ありでも対象物は変化していないと判断できる。このように、異なる設定位置の複数個の内外の小矩形変化判定結果Ｃｉ，Ｃｏを用いた場合、全矩形領域の複数の箇所で背景の変化を確認することができるので、判定精度がより向上する。
【００５６】
ちなみに、対象物変化検出結果Ｒを用いて運転支援を行う場合、その運転支援には、例えば、対象物の動きが変化あると判定されている場合にその対象物との衝突回避のための運転支援、車両挙動を安定させるための運転支援の少なくとも１つを含む。衝突回避は、例えば、制動介入による衝突回避、操舵介入による衝突回避、及び、衝突を回避するためのドライバへの注意喚起の少なくとも１つを含む。衝突回避は、これら以外の周知技術であってもよい。制動介入は、例えば、自動ブレーキ、制動力サポート、表示、音声、振動等の物理刺激によるドライバへの制動操作の促しの少なくとも１つを含む。また、操舵介入は、例えば、自動操舵、操舵力サポート、物理刺激によるドライバへの操舵操作の促しの少なくとも１つを含む。制動介入や操舵介入は、これら以外の周知技術であってもよい。運転支援装置／警報装置では、対象物の動きに変化があると判定されている場合には運転支援／警報の発動を促進する。運転支援／警報の発動の促進としては、運転支援／警報を発動することによって促進する場合のみならず、支援対象としての対象物が変化していると判定され易くする（検出範囲を広げる、検出精度を上げるなど）ことによって促進する場合、運転支援／警報の発動の条件を緩和する（閾値を下げるなど）ことによって促進する場合、運転支援／警報の内容のレベルを引き上げる（ＨＭＩによる表示／警報から介入制御に移行など）ことによって促進する場合を含む。
【００５７】
図１を参照して、対象物検出装置１おける処理の流れを図３のフローチャートに沿って説明する。図３は、図１の対象物検出装置における処理の流れを示すフローチャートである。
【００５８】
カメラ２では、一定時間毎に、自車両周辺を撮像し、そのフレームの画像データからなる画像信号を対象物検出装置１に送信する。対象物検出装置１では、その画像信号を受信し、現在フレームの画像データを入力する（Ｓ１）。そして、対象物検出装置１では、現在フレームの画像データを用いて対象物検出を行い、対象物を検出した場合にはその対象物を含む全矩形領域を抽出する（Ｓ２）。なお、本実施の形態では、このＳ２での処理が特許請求の範囲に記載する対象物検出ステップに相当する。
【００５９】
検出できた対象物毎に、対象物検出装置１では、全矩形領域の画像データを用いて形状情報を表す特徴量ｖ（ｔ）を取得する（Ｓ３）。さらに、対象物検出装置１では、全矩形領域の特徴量ｖ（ｔ）を用いて全矩形領域での変化検出を行い、全矩形変化判定結果Ｃを取得する（Ｓ４）。
【００６０】
また、対象物検出装置１では、全矩形領域の内側に内小矩形領域を設定し、その内小矩形領域の画像データを用いて形状情報を表す特徴量ｖｉ（ｔ）を取得する（Ｓ５）。さらに、対象物検出装置１では、内小矩形領域の特徴量ｖｉ（ｔ）を用いて内小矩形領域での変化検出を行い、内小矩形変化判定結果Ｃｉを取得する（Ｓ６）。また、対象物検出装置１では、全矩形領域の外側かつ内小矩形領域に隣接して外小矩形領域を設定し、その外小矩形領域の画像データを用いて形状情報を表す特徴量ｖｏ（ｔ）を取得する（Ｓ５）。さらに、対象物検出装置１では、外小矩形領域の特徴量ｖｏ（ｔ）を用いて外小矩形領域での変化検出を行い、外小矩形変化判定結果Ｃｏを取得する（Ｓ６）。なお、本実施の形態では、このＳ５での処理が特許請求の範囲に記載する第２特徴量取得ステップ及び第３特徴量取得ステップに相当する。
【００６１】
そして、対象物検出装置１では、全矩形変化判定結果Ｃで変化ありかつ（内小矩形変化判定結果Ｃｉで変化なし又は外小矩形変化判定結果Ｃｏで変化なし）か否かを判定する（Ｓ７）。Ｓ７の判定にて全矩形変化判定結果Ｃで変化ありかつ（内小矩形変化判定結果Ｃｉで変化なし又は外小矩形変化判定結果Ｃｏで変化なし）と判定した場合、対象物検出装置１では、対象物の動きに変化があると判定する（Ｓ８）。一方、Ｓ７の判定にて全矩形変化判定結果Ｃで変化なし、あるいは、全矩形変化判定結果Ｃで変化ありかつ（内小矩形変化判定結果Ｃｉで変化ありかつ外小矩形変化判定結果Ｃｏで変化あり）と判定した場合、対象物検出装置１では、対象物の動きに変化がないと判定する。そして、検出できた全ての対象物についての判定が終了すると、対象物検出装置１では、その全ての判定結果を含む対象物変化検出結果Ｒからなる対象物変化検出結果信号を運転支援装置や警報装置等に送信し。現在フレームでの処理を終了する。現在フレームでの処理が終了すると、対象物検出装置１では、Ｓ１の処理に戻り、カメラ２から送信される次フレームの画像信号を待つ。なお、本実施の形態では、このＳ７での処理が特許請求の範囲に記載する判定ステップに相当する。
【００６２】
この対象物検出装置１によれば、対象物を含む全矩形領域の特徴量ｖ（ｔ）に変化がある場合でも全矩形領域の内側の内小矩形領域の特徴量ｖｉ（ｔ）と全矩形領域の外側かつ内小矩形領域に隣接する外小矩形領域の特徴量ｖｏ（ｔ）が共に変化がある場合には対象物の動きに変化がないと判定することにより、全矩形領域内の背景の変化による特徴量ｖ（ｔ）の変化を対象物の変化として検出することを抑制でき（背景の変化の影響を抑制でき）、対象物の動きの変化を高精度に検出できる。
【００６３】
また、対象物検出装置１によれば、全矩形領域の内側の端部に内矩形領域を設定し、それに隣接して全矩形領域の外側の端部に外矩形領域を設定することにより、内矩形領域を全矩形領域の中で主に背景が入る箇所に設定でき、外矩形領域を背景のみが入り箇所に設定できる。特に、全矩形領域の内側の下端部に内矩形領域を設定し、それに隣接して全矩形領域の外側の端部に外矩形領域を設定することにより、内矩形領域及び外矩形領域を背景の中でも変化がある可能性の高い箇所に設定できる。
【００６４】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００６５】
例えば、本実施の形態では対象物検出装置に適用したが、この対象物検出装置の対象物検出機能を有し、対象物検出機能で得られる対象物変化判定結果に基づいて運転支援を行う運転支援装置や対象物変化判定結果に基づいて警報（ＨＭＩ）を行う警報装置（ＨＭＩ装置）等に適用してもよい。運転支援装置の場合、対象物変化判定結果において対象物の動きに変化ありの判定結果がある場合には各種運転支援手段による運転支援の発動を促進する。警報装置の場合、対象物変化判定結果において対象物の動きに変化ありの判定結果がある場合には各種警報手段による警報の発動を促進する。
【００６６】
また、本実施の形態ではカメラ（撮像手段）が車両に予め搭載されたカメラとしたが、ドライバ等が車両に持ち込んだスマートフォン等の通信端末に搭載されたカメラでもよいし、あるいは、車外の交通環境や建物に設置されたカメラや他車両や歩行者のカメラで撮像された画像データを用いてもよい。これらの車載以外のカメラの画像データを用いる場合、無線通信等の通信手段によって画像データを取得する。
【００６７】
また、本実施の形態では車両に予め搭載される対象物検出装置（運転支援装置、警報装置）としたが、カメラの画像データを無線通信等で取得できる装置であれば、ドライバ等が車両に持ち込んだスマートフォン等の通信端末やノートパソコンやタブレット型パソコン等のパソコンに対象物検出用のアプリケーションプログラムを組み込みことによって構成された対象物検出装置でもよいし、あるいは、車両と通信可能な車外のセンタ等に構成される対象物検出装置でもよい。
【００６８】
また、本実施の形態では全矩形領域（第１画像領域）、内小矩形領域（第２画像領域）、外小矩形領域（第３画像領域）の各特徴量を用いた変化検出手法の一例を示したが、画像領域の特徴量を用いた変化検出手法については周知の他の様々な手法を適用可能である。
【００６９】
また、本実施の形態では全矩形領域（第１画像領域）、内小矩形領域（第２画像領域）、外小矩形領域（第３画像領域）における変化を変化あり／変化なしで判定し、３つの画像領域での判定結果Ｃ，Ｃｉ，Ｃｏでの変化あり／変化なしに基づいて対象物の動きに変化あり／変化なしを判定する構成とし、全矩形変化判定結果Ｃで変化ありの場合でも内小矩形変化判定結果Ｃｉと外小矩形変化判定結果Ｃｏで共に変化ありの場合には対象物の動きに変化なしと判定したが、変化を変化あり／変化なしの２値で表す以外にも、変化度合いを示すパラメータ（例えば、変化度合いを３段階以上の離散値で示すパラメータ、連続値で示すパラメータ）で各画像領域の変化結果を示し、第１〜第３の画像領域の各パラメータの変化度合いに基づいて対象物の動きを判定する構成としてもよい。例えば、第１画像領域のパラメータの変化度合いが閾値より高いと対象物の動きに変化あると判定する場合に、第２画像領域のパラメータの変化度合いと第３画像領域のパラメータとの変化度合いが近いほど、その閾値の値を大きくし、第１画像領域のパラメータの変化度合いが大きくても対象物の動きに変化があると判定され難くする。
【００７０】
また、本実施の形態では全矩形領域（第１画像領域）、内小矩形領域（第２画像領域）、外小矩形領域（第３画像領域）を全て矩形形状（４角形形状）としたが、他の形状でもよく、例えば、６角形形状、８角形形状等の多角形形状、楕円形状等の曲線形状でもよい。また、第１画像領域、第２画像領域、第３画像領域の各形状は、画像領域ごとに別の形状であってもよい。
【００７１】
また、本実施の形態では全矩形領域（第１画像領域）の内外の端部に内小矩形領域（第２画像領域）及び外小矩形領域（第３画像領域）を設定する構成としたが、内外の小矩形領域の条件を満たしていれば、全矩形領域の端部でなくてもよい。また、内小矩形領域と外小矩形領域とを隣接して設定する構成としたが、同じ背景の変化が入る可能性が高ければ、少しなら離れて設定されてもよい。
【符号の説明】
【００７２】
１…対象物検出装置、２…カメラ、１０…対象物検出部、１１…対象物全矩形形状情報取得部、１２…対象物内外小矩形形状情報取得部、１３…対象物全矩形変化検出部、１４…対象物内外小矩形変化検出部、１５…対象物変化検出部。
【図１】
2014137689.tif 000005
【図２】
2014137689.tif 000006
【図３】
2014137689.tif 000007