(57)【要約】【課題】対象物をロストする可能性を低減させて対象物を好適に追跡可能な対象物認識装置を提供することを課題とする。【解決手段】本発明の対象物認識装置は、自車両の周辺を撮像した画像から対象物を検出し、対象物の特徴点を抽出し、時系列的に前後する複数の画像を対象物画像について比較することで、抽出された特徴点の移動量及び移動方向の変化が大きいほど低い値となる追跡スコアを算出し、追跡スコアと追跡用の追跡閾値とを比較することで、追跡スコアが追跡閾値以上である対象物を追跡し、追跡できた対象物の対象物画像を蓄積し、蓄積された対象物画像に基づいて対象物の変化度を計算し、計算された変化度が所定値以上である場合は追跡閾値の値が低くなるように変更し、変化度が所定値未満である場合は追跡閾値の値を維持する閾値更新処理を実行する。【選択図】図１
2016015043.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周辺を撮像した画像を取得する画像取得部と、
前記画像取得部により取得された前記画像から前記自車両の周辺に存在する対象物を検出する対象物検出部と、
前記対象物検出部により検出された前記対象物の特徴点を抽出する特徴点抽出部と、
前記画像取得部により順次取得された時系列的に前後する複数の画像を、前記対象物検出部により検出された前記対象物を含む部分領域として画像内に設定される対象物画像について比較することで、前記特徴点抽出部により抽出された前記特徴点の移動量及び移動方向の変化が大きいほど低い値となる追跡スコアを算出する追跡スコア算出部と、
前記追跡スコア算出部により算出された前記追跡スコアと追跡用の追跡閾値とを比較することで、当該追跡スコアが当該追跡閾値以上である対象物を追跡する対象物追跡部と、
前記対象物追跡部により追跡できた前記対象物の対象物画像を蓄積する画像蓄積部と、
前記画像蓄積部に蓄積された前記対象物画像に基づいて前記対象物の変化度を計算する変化度計算部と、
前記変化度計算部により計算された前記変化度が所定値以上である場合は前記追跡閾値の値が低くなるように変更し、前記変化度が所定値未満である場合は前記追跡閾値の値を維持する閾値更新処理を実行する追跡閾値更新部と、
を備えることを特徴とする対象物認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物認識装置に関する。
【背景技術】
【０００２】
従来の対象物認識装置としては、例えば、特許文献１に記載の技術が報告されている。特許文献１に記載の技術では、移動体の種類や移動体の位置関係に関わらず、撮影画像内において移動体が写っている領域を追跡している。具体的には、特許文献１に記載の技術では、撮像された画像を複数の領域に区分し、区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する。そして、特許文献１に記載の技術では、所定時間の間隔で撮像された少なくとも２枚の画像に基づいて、追跡可能領域の画像上の移動量を検出し、追跡可能領域の移動量と、所定時間における自車両移動量とに基づいて、追跡可能領域内の追跡対象の実空間上の位置を算出する。そして、特許文献１に記載の技術では、算出された追跡対象の位置と自車両移動量に基づいて、追跡可能領域が静止物領域か移動体領域かを判定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３６２３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の対象物認識装置（特許文献１等）においては、移動体を追跡する際に用いる追跡閾値が予め設定された固定値であるため、当該追跡閾値が想定していない急な対象物の移動量及び移動方向における変化があると、対象物の追跡を失敗しやすくなり、追跡対象として認識していた対象物をロストしてしまう可能性がある。
【０００５】
本発明は、上記の事情に鑑みてなされたものであって、追跡対象として認識していた対象物に対して急な移動量及び移動方向における変化があった場合であっても、対象物をロストする可能性を低減させて対象物を好適に追跡可能な対象物認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の対象物認識装置は、自車両の周辺を撮像した画像を取得する画像取得部と、前記画像取得部により取得された前記画像から前記自車両の周辺に存在する対象物を検出する対象物検出部と、前記対象物検出部により検出された前記対象物の特徴点を抽出する特徴点抽出部と、前記画像取得部により順次取得された時系列的に前後する複数の画像を、前記対象物検出部により検出された前記対象物を含む部分領域として画像内に設定される対象物画像について比較することで、前記特徴点抽出部により抽出された前記特徴点の移動量及び移動方向の変化が大きいほど低い値となる追跡スコアを算出する追跡スコア算出部と、前記追跡スコア算出部により算出された前記追跡スコアと追跡用の追跡閾値とを比較することで、当該追跡スコアが当該追跡閾値以上である対象物を追跡する対象物追跡部と、前記対象物追跡部により追跡できた前記対象物の対象物画像を蓄積する画像蓄積部と、前記画像蓄積部に蓄積された前記対象物画像に基づいて前記対象物の変化度を計算する変化度計算部と、前記変化度計算部により計算された前記変化度が所定値以上である場合は前記追跡閾値の値が低くなるように変更し、前記変化度が所定値未満である場合は前記追跡閾値の値を維持する閾値更新処理を実行する追跡閾値更新部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明にかかる対象物認識装置は、追跡対象として認識していた対象物に対して急な移動量及び移動方向における変化があった場合であっても、対象物をロストする可能性を低減させて対象物を好適に追跡できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態にかかる対象物認識装置の構成の一例を示す図である。
【図２】図２は、特徴点が抽出された対象物の一例を示す図である。
【図３】図３は、特徴点が抽出された対象物の一例を示す図である。
【図４】図４は、追跡閾値の設定例を示す図である。
【図５】図５は、実施形態にかかる対象物認識装置の処理の一例を示す図である。
【図６】図６は、実施形態にかかる対象物認識装置の処理の一例を示す図である
【発明を実施するための形態】
【０００９】
以下に、本発明にかかる対象物認識装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。
【００１０】
［実施形態］
本実施形態にかかる対象物の構成について図１乃至図４を参照しながら説明する。図１は、実施形態にかかる対象物認識装置の構成の一例を示すブロック図である。図２及び図３は、特徴点が抽出された対象物の一例を示す図である。図４は、追跡閾値の設定例を示す図である。
【００１１】
図１に示すように、カメラ１は、自車両周辺を撮影し、自車両周辺が映し出されている画像データを生成する機器である。カメラ１は、例えば可視光領域または赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等である。カメラ１は、車両の前方、側方、後方等の車両周辺を撮像可能な任意の位置に設置される。
【００１２】
対象物認識装置２は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ１と、車室内の運転者等に対して音声を出力するスピーカ３と、車両の挙動を制御するアクチュエータ４と、通信可能に接続されている。
【００１３】
対象物認識装置２は、画像取得部２ａと、対象物検出部２ｂと、特徴点抽出部２ｃと、追跡スコア算出部２ｄと、対象物追跡部２ｅと、画像蓄積部２ｆと、変化度計算部２ｇと、追跡閾値更新部２ｈと、飛出し判定部２ｉと、注意喚起部２ｊと、車両制御部２ｋと、を少なくとも備える。
【００１４】
画像取得部２ａは、自車両の周辺を撮像した画像を取得する画像取得手段である。画像取得部２ａは、カメラ１から入力される画像データを、自車両の周辺を撮像した画像として取得する。画像取得部２ａは、カメラ１から入力される画像データを順次取得することで、異なる時刻で自車両の周辺を撮像した複数の画像を取得する。
【００１５】
対象物検出部２ｂは、画像取得部２ａにより取得された画像から自車両の周辺に存在する対象物を検出する対象物検出手段である。本実施形態において、対象物とは、後述する飛出し検出を行うために追跡対象とする移動体を意味する。移動体としては、例えば、自車両の周辺に存在する歩行者、自転車、相手車両等を含む。なお、対象物検出手法としては、パターンマッチング等の当該分野で公知の手法が用いられる。対象物検出部２ｂは、検出した対象物の２次元位置（縦座標、横座標）、好ましくは３次元位置（縦座標、横座標、高さ）を取得する。
【００１６】
特徴点抽出部２ｃは、対象物検出部２ｂにより検出された対象物の特徴点を抽出する特徴点抽出手段である。本実施形態において、対象物の特徴点とは、追跡対象とする対象物と、背景や障害物等とを明確に区別可能な特徴量を有する画像上の画素領域を意味する。特徴量は、例えば、色、形状、テクスチャ等の特徴を示す量である。なお、特徴点抽出手法としては、ＳＩＦＴやＳＵＲＦ等の当該分野で既知の手法が用いられる。
【００１７】
ここで、図２を参照して、特徴点抽出部２ｃにより抽出された特徴点の一例について説明する。図２において、対象物は歩行者であり、当該歩行者を含む部分領域として画像内に対象物画像が設定されている。このような場合、例えば、特徴点抽出部２ｃは、対象物画像に含まれる歩行者に関して、追跡対象とする歩行者と、背景や障害物等とを明確に区別可能な特徴量を有する画像上の画素領域として、５つの特徴点１〜５を抽出する。なお、特徴点抽出部２ｃにより抽出される特徴点の数は、図２のように５つに限定されず、後述の追跡スコア算出部２ｄにより適切な追跡スコアを算出可能な数であればよい。また、本実施形態において、対象物画像は、図２に示すように、対象物検出部２ｂにより検出された対象物の輪郭を含み、且つ、特徴点抽出部２ｃにより抽出された特徴点を含むように、画像取得部２ａにより取得された画像から切り出される部分領域であればよく、対象物画像の大きさ及び形状については特に限定されない。
【００１８】
図１に戻り、追跡スコア算出部２ｄは、画像取得部２ａにより順次取得された時系列的に前後する複数の画像を、対象物検出部２ｂにより検出された対象物を含む部分領域として画像内に設定される対象物画像について比較することで、特徴点抽出部２ｃにより抽出された特徴点の移動量及び移動方向の変化が大きいほど低い値となる追跡スコアを算出する追跡スコア算出手段である。本実施形態において、例えば、画像取得部２ａにより第１の時刻で取得された画像を第１の画像とし、第１の時刻よりも後の時刻である第２の時刻で取得される画像を第２の画像とした場合、これら第１の画像と第２の画像が、時系列的に前後する複数の画像となる。より具体的には、第１の画像は、現在から所定時間前の画像であり、第２の画像は、現在の画像となる。なお、当該時系列的に前後する複数の画像の一部又は全部は、後述する画像蓄積部２ｆに蓄積された対象物画像であってもよい。
【００１９】
具体的には、追跡スコア算出部２ｄは、時系列的に前後する複数の対象物画像における特徴点の移動量及び移動方向の変化量を数値化して追跡スコアを算出する。ここで、追跡スコア算出部２ｄは、特徴点の移動量及び移動方向の変化量が大きいほど、時系列的に前後する複数の対象物画像間において対象物の特徴点を追跡できる可能性が低くなると予測して、追跡スコアが低い値となるように算出する。一方、追跡スコア算出部２ｄは、特徴点の移動量及び移動方向の変化量が小さいほど、時系列的に前後する複数の対象物画像間において対象物の特徴点を追跡できる可能性が高くなると予測して、追跡スコアが高い値となるように算出する。追跡スコア算出部２ｄにより算出された追跡スコアは、後述の対象物追跡部２ｅにより対象物を追跡できたか否かを判定する際に用いられる。
【００２０】
対象物追跡部２ｅは、追跡スコア算出部２ｄにより算出された追跡スコアと追跡用の追跡閾値とを比較することで、追跡スコアが追跡閾値以上である対象物を追跡する対象物追跡手段である。具体的には、対象物追跡部２ｅは、追跡スコアが追跡閾値以上である対象物については追跡できたと判定し、一方、追跡スコアが追跡閾値未満である対象物については追跡できずにロストした判定する。本実施形態において、追跡閾値の初期値には、予め実験等により決定された適切な値が設定されるものとする。なお、追跡閾値の初期値については、後述の追跡閾値更新部２ｈによって対象物の変化度に応じて更新される。
【００２１】
ここで、図２及び図３を参照し、一例として、図２に示す画像を第１の画像とし、図３に示す画像を第２の画像として、追跡スコア算出部２ｄ及び対象物追跡部２ｅの処理を説明する。図２と同様に、図３において、対象物として検出された歩行者を含む部分領域として画像内に対象物画像が設定されており、当該歩行者に対して特徴点抽出部２ｃにより５つの特徴点１〜５が抽出されているものとする。このような場合、図２及び図３に示すように、追跡スコア算出部２ｄは、画像取得部２ａにより順次取得された時系列的に前後する第１の画像（図２参照）中の対象物画像と第２の画像（図３参照）中の対象物画像について比較する。
【００２２】
具体的には、追跡スコア算出部２ｄは、第１の画像中の対象物画像と第２の画像中の対象物画像とを比較する際に、第１の画像と第２の画像間において共通する同一の特徴点について着目し、この特徴点に関する移動量及び移動方向の変化量を数値化して追跡スコアを算出する。例えば、第１の画像と第２の画像間において共通する同一の特徴点のうち第１の特徴点について着目した場合、追跡スコア算出部２ｄは、第１の画像における特徴点１を基準として、第２の画像における特徴点１までの移動量及び移動方向の変化量を数値化して追跡スコアを算出する。同様に、追跡スコア算出部２ｄは、特徴点１以外の他の特徴点２〜５についても、同一の特徴点ごとに追跡スコアを算出する。追跡スコア算出部２ｄは、特徴点１〜５についてそれぞれ算出された追跡スコアを集計して平均値をとり、当該平均値を第１の画像と第２の画像とを比較した場合の最終的な追跡スコアとして算出する。そして、対象物追跡部２ｅは、追跡スコア算出部２ｄにより算出された特徴点１〜５に関する追跡スコアの平均値と、追跡用の追跡閾値とを比較する。このとき、対象物追跡部２ｅは、追跡スコアの平均値が追跡閾値以上である場合は、追跡対象としていた対象物について追跡できていると判定し、一方、追跡スコアの平均値が追跡閾値未満である場合は、追跡対象としていた対象物を追跡できずにロストしたと判定する。
【００２３】
図１に戻り、画像蓄積部２ｆは、対象物追跡部２ｅにより追跡できた対象物の対象物画像を蓄積する画像蓄積手段である。画像蓄積部２ｆは、対象物追跡部２ｅにより追跡できた対象物を含むように画像から切り出された対象物画像を、当該対象物を含む画像が取得された時刻に対応付けて、自動車制御用コンピュータのメモリ内に格納して、追跡対象物画像データベースを構築する。画像蓄積部２ｆに蓄積された対象物画像は、後述する変化度計算部２ｇにより対象物の変化度を計算する際や、上述の追跡スコア算出部２ｄにより時系列的に前後する複数の対象物画像を比較する際等に用いられる。
【００２４】
変化度計算部２ｇは、画像蓄積部２ｆに蓄積された対象物画像に基づいて対象物の変化度を計算する変化度計算手段である。本実施形態において、変化度計算部２ｇは、画像蓄積部２ｆに蓄積された時系列的に前後する複数の対象物画像を比較して、これらの対象物画像間における対象物の形状情報の変化から、対象物の姿勢等の見かけ上の変化を示す変化度を計算する。変化度計算部２ｇは、比較対象の対象物画像間において、形状情報の差異が大きいほど、対象物の見かけ上の変化が大きくなると予測して、対象物の変化度の値が大きくなるように計算する。一方、変化度計算部２ｇは、比較対象の対象物画像間において、形状情報の差異が小さいほど、対象物の見かけ上の変化が小さくなると予測して、対象物の変化度の値が小さくなるように計算する。変化度計算部２ｇにより計算された対象物の変化度は、後述の追跡閾値更新部２ｈにより対象物の変化度に応じて追跡閾値を更新する際に用いられる。
【００２５】
追跡閾値更新部２ｈは、変化度計算部２ｇにより計算された対象物の変化度が所定値以上である場合は追跡閾値の値が低くなるように変更し、対象物の変化度が所定値未満である場合は追跡閾値の値を維持する閾値更新処理を実行する追跡閾値更新手段である。追跡閾値更新部２ｈは、対象物の変化度が所定値以上である場合は、少なくとも前フレームで対象物を追跡する際に使用した追跡閾値の値と比べて低くなるように変更する。追跡閾値更新部２ｈは、対象物の変化度の大きさが大きくなるほど、追跡閾値の値が低くなるように変更する。本実施形態において、対象物の変化度に関する所定値には、予め実験等により決定された適切な値が設定されるものとする。
【００２６】
ここで、図４を参照して、追跡閾値更新部２ｈにより対象物の変化度に応じて更新された追跡閾値の一例について説明する。図４のグラフでは、追跡スコア算出部２ｄにより所定フレームごとに算出された追跡スコアの平均値がプロットされている。図４において、追跡閾値の初期値は、第１フレーム及び第２フレームにおいて対象物追跡部２ｅにより追跡スコアと比較する際に用いられているが、第３フレーム以降では、追跡閾値更新部２ｈにより更新された追跡閾値が用いられている。以下、図４の例において、第１フレームから第５フレームまでに実行される各種処理について説明する。
【００２７】
図４に示すように、第１フレームでは、対象物検出部２ｂにより検出された対象物を含む部分領域としての対象物画像が画像蓄積部２ｆにより蓄積される。また、第１フレームでは、特徴点抽出部２ｃにより抽出された特徴点の情報量に応じて追跡スコア算出部２ｄにより第１フレームの追跡スコアが算出される。そして、算出された第１フレームの追跡スコアの値を基準として、当該追跡スコアの値よりも高い値を有する追跡閾値の初期値が設定されるものとする。
【００２８】
ここで、図４において、対象物追跡部２ｅは、第１フレーム及び第２フレーム間で対象物が追跡できているか否かを判定する際には、追跡閾値の初期値と第２フレームの追跡スコアとを比較する。ここでは、第２フレームの追跡スコアは追跡閾値の初期値以上となるため、対象物追跡部２ｅは、第１フレーム及び第２フレーム間で対象物を追跡できていると判定する。そして、第２フレームで追跡できた対象物画像は、画像蓄積部２ｆにより蓄積される。また、第２フレームでは、第３フレーム用の追跡閾値を設定するため、対象物の変化度を計算し、当該変化度に応じて追跡閾値に対して閾値更新処理が実行される。ここでは、変化度計算部２ｇにより、画像蓄積部２ｆに蓄積された第１フレームの対象物画像と第２フレームの対象物画像とを比較した結果、第１フレーム及び第２フレームの対象物画像間において、形状情報の差異が比較的大きく、対象物の見かけ上の変化が比較的大きくなると予測されたものとする。この場合、対象物の変化度の値は比較的大きな値が算出されるため、追跡閾値更新部２ｈは、算出した対象物の変化度が所定値以上であると判定して、第２フレームで用いた追跡閾値の初期値よりも低い値を有するように、第３フレーム用の追跡閾値を変更する。
【００２９】
また、図４において、対象物追跡部２ｅは、第２フレーム及び第３フレーム間で対象物が追跡できているか否かを判定する際には、第２フレームにおいて追跡閾値更新部２ｈにより対象物の変化度に応じて設定した第３フレーム用の追跡閾値と、第３フレームの追跡スコアとを比較する。ここでは、第３フレームの追跡スコアは第３フレーム用の追跡閾値以上となるため、対象物追跡部２ｅは、第２フレーム及び第３フレーム間で対象物を追跡できていると判定する。そして、第３フレームで追跡できた対象物画像は、画像蓄積部２ｆにより蓄積される。また、第３フレームでは、第４フレーム用の追跡閾値を設定するため、対象物の変化度を計算し、当該変化度に応じて追跡閾値に対して閾値更新処理が実行される。ここでは、変化度計算部２ｇにより、画像蓄積部２ｆに蓄積された第２フレームの対象物画像と第３フレームの対象物画像とを比較した結果、第２フレーム及び第３フレームの対象物画像間において、形状情報の差異が比較的大きく、対象物の見かけ上の変化が比較的大きくなると予測されたものとする。この場合、対象物の変化度の値は比較的大きな値が算出されるため、追跡閾値更新部２ｈは、算出した対象物の変化度が所定値以上であると判定して、第３フレームで用いた追跡閾値よりも低い値を有するように、第４フレーム用の追跡閾値を変更する。
【００３０】
また、図４において、対象物追跡部２ｅは、第３フレーム及び第４フレーム間で対象物が追跡できているか否かを判定する際には、第３フレームにおいて追跡閾値更新部２ｈにより対象物の変化度に応じて設定した第４フレーム用の追跡閾値と、第４フレームの追跡スコアとを比較する。ここでは、第４フレームの追跡スコアは第４フレーム用の追跡閾値以上となるため、対象物追跡部２ｅは、第３フレーム及び第４フレーム間で対象物を追跡できていると判定する。そして、第４フレームで追跡できた対象物画像は、画像蓄積部２ｆにより蓄積される。また、第４フレームでは、第５フレーム用の追跡閾値を設定するため、対象物の変化度を計算し、当該変化度に応じて追跡閾値に対して閾値更新処理が実行される。ここでは、変化度計算部２ｇにより、画像蓄積部２ｆに蓄積された第３フレームの対象物画像と第４フレームの対象物画像とを比較した結果、第３フレーム及び第４フレームの対象物画像間において、形状情報の差異が比較的小さく、対象物の見かけ上の変化が比較的小さくなると予測されたものとする。この場合、対象物の変化度の値は比較的小さい値が算出されるため、追跡閾値更新部２ｈは、算出した対象物の変化度が所定値未満であると判定して、第４フレームで用いた追跡閾値を変更せずに維持し、第５フレーム用の追跡閾値として設定する。
【００３１】
なお、図４において、対象物追跡部２ｅは、第４フレーム及び第５フレーム間で対象物が追跡できているか否かを判定する際には、第４フレームにおいて追跡閾値更新部２ｈにより対象物の変化度に応じて設定した第５フレーム用の追跡閾値と、第５フレームの追跡スコアとを比較する。ここでは、第５フレームの追跡スコアは第５フレーム用の追跡閾値未満となるため、対象物追跡部２ｅは、第４フレーム及び第５フレーム間で対象物を追跡できずにロストしたと判定する。
【００３２】
図１に戻り、飛出し判定部２ｉは、対象物追跡部２ｅにより追跡できた対象物画像に対して飛出し検出を行い、対象物の飛出しの有無を判定する飛出し判定手段である。例えば、飛出し判定部２ｉは、時系列的に前後する複数の画像（例えば、第１の画像と第２の画像）間で、対象物画像に対して、その対象物画像内に含まれる特徴点の移動量や移動方向などに基づく特徴点の変化量を、当該分野で公知の手法を用いて算出する。そして、飛出し判定部２ｉは、対象物画像について算出した変化量が、所定の飛出し検出用閾値以上である場合に、対象物の飛出しが有ると判定し、所定の飛出し検出用閾値未満である場合に、対象物の飛出しは無いと判定する。なお、本実施形態において、飛出し検出用閾値には、対象物を追跡できているか否かを判定するための追跡用の追跡閾値の値とは明確に区別可能な程度に当該追跡閾値よりも大きな値が設定されているものとする。この飛出し検出用閾値には、予め実験等により決定された適切な値が設定される。
【００３３】
本実施形態において、対象物の飛出しとは、交通環境において危険な対象物の変化を意味する。このような危険な対象物の変化としては、例えば、歩行者や自転車が急に動きを変えて道路に出てくるという変化、併走車両やバイクが急に車線変更して自車線に割り込んでくるという変化、前方車両が急にＵターンを開始するという変化、前方車両が道路脇の店等に入るために急に右左折を開始するという変化等を含むが、これらに限定されない。
【００３４】
注意喚起部２ｊは、飛出し判定部２ｉにより対象物の飛出しが有ると判定された場合、スピーカ３を介して音声を出力することで、自車両の運転者に対して注意喚起を行う注意喚起手段である。例えば、注意喚起部２ｊは、対象物が飛出してくると予測される方向に運転者の注意が向くように促す音声情報やブザー音等を出力する。
【００３５】
車両制御部２ｋは、飛出し判定部２ｉにより対象物の飛出しが有ると判定された場合、アクチュエータ４を介して車両の挙動を制御することで、自車両が対象物を回避するように車両制御を行う車両制御手段である。例えば、車両制御部２ｋは、自車両が対象物を回避できるように、アクチュエータ４を介して操舵制御や減速制御等を行う。
【００３６】
続いて、図５及び図６を参照して、上述した対象物認識装置２において実行される処理について説明する。なお、以下の処理において、車両周辺に存在する対象物として、歩行者を一例に説明するが、これに限定されない。
【００３７】
まず、図５を参照して、対象物認識装置２により実行される追跡閾値の初期値の設定処理の一例について説明する。
【００３８】
図５に示すように、画像取得部２ａは、カメラ１から入力される時刻ｔ＝０の画像データを自車両の周辺を撮像した画像として取得する（ステップＳＴ１１）。
【００３９】
そして、対象物検出部２ｂは、ステップＳ１１で画像取得部２ａにより取得された画像から自車両の周辺に存在する対象物として歩行者を検出する（ステップＳＴ１２）。
【００４０】
そして、特徴点抽出部２ｃは、ステップＳＴ１２で対象物検出部２ｂにより検出された対象物としての歩行者の特徴点を抽出する（ステップＳＴ１３）。例えば、図２に示すような画像が、ステップＳＴ１１で画像取得部２ａにより取得されたとすると、ステップＳＴ１３において、特徴点抽出部２ｃは、図２に示すように、歩行者に関して特徴点１〜５を抽出する。
【００４１】
そして、画像蓄積部２ｆは、ステップＳＴ１２で対象物検出部２ｂにより検出された対象物としての歩行者を含む部分領域を、ステップＳＴ１１で画像取得部２ａにより取得された画像から切り出し、対象物画像として蓄積する（ステップＳＴ１４）。例えば、図２に示すような画像が、ステップＳＴ１１で画像取得部２ａにより取得されたとすると、ステップＳＴ１４において、画像蓄積部２ｆは、図２の画像内の対象物画像を、ステップＳＴ１１で画像取得部２ａが画像を取得した時刻に対応付けて蓄積する。
【００４２】
そして、対象物認識装置２は、ステップＳＴ１３で特徴点抽出部２ｃにより抽出された特徴点の情報量に応じて時刻ｔ＝０における追跡スコアを算出し、算出された追跡スコアの値を基準として、当該追跡スコアの値よりも高い値を有する追跡閾値の初期値を設定する（ステップＳＴ１５）。その後、本処理を終了する。
【００４３】
次に、図６を参照して、対象物認識装置２により実行される対象物追跡処理や追跡閾値更新処理の一例について説明する。図６に示す処理は、図５に示した追跡閾値の初期値の設定処理を終了後、画像取得部２ａにより画像が順次取得されるたびに繰り返し実行される。
【００４４】
図６に示すように、画像取得部２ａは、カメラ１から入力される次のフレームの画像データを自車両の周辺を撮像した画像として取得する（ステップＳＴ２１）。例えば、第１の時刻に取得された第１の画像とすると、ステップＳＴ２１において、画像取得部２ａは、第１の時刻より後の時刻である第２に時刻に取得される第２の画像を、次のフレームの画像データとして取得する。
【００４５】
そして、対象物検出部２ｂは、ステップＳＴ２１で画像取得部２ａにより取得された画像から自車両の周辺に存在する対象物として歩行者を検出する（ステップＳＴ２２）。
【００４６】
そして、特徴点抽出部２ｃは、ステップＳＴ２２で対象物検出部２ｂにより検出された対象物としての歩行者の特徴点を抽出する（ステップＳＴ２３）。例えば、図３に示すような画像が、ステップＳＴ２２で画像取得部２ａにより取得されたとすると、ステップＳＴ２３において、特徴点抽出部２ｃは、図３に示すように、歩行者に関して特徴点１〜５を抽出する。
【００４７】
そして、追跡スコア算出部２ｄは、画像蓄積部２ｆに保存されている前回の対象物に関する特徴点を読み出して、追跡スコアを算出する（ステップＳＴ２４）。具体的には、ステップＳＴ２４において、追跡スコア算出部２ｄは、画像蓄積部２ｆに蓄積された対象物画像から、ステップＳＴ２１で次フレームの画像を取得した際の時刻より前の時刻に保存した対象物画像を検索し、当該対象物画像に含まれる特徴点を読み出す。そして、追跡スコア算出部２ｄは、この画像蓄積部２ｆに保存されている前回の対象物に関する特徴点と、ステップＳＴ２３で特徴点抽出部２ｃにより抽出された特徴点と、を比較して、特徴点の移動量及び移動方向の変化が大きいほど低い値となる追跡スコアを算出する。
【００４８】
例えば、図２に示す画像を第１の画像とし、図３に示す画像を第２の画像とすると、ステップＳＴ２４において、追跡スコア算出部２ｄは、上述の図５のステップＳＴ１４で蓄積した図２の対象物画像における特徴点１〜５と、ステップＳＴ２３で抽出した図３の対象物画像における特徴点１〜５と、を同一の特徴点ごとに比較し、各特徴点に関する追跡スコアを算出する。そして、追跡スコア算出部２ｄは、算出した各特徴点に関する追跡スコアの平均値を、次の処理で用いる最終的な追跡スコアとして出力する。
【００４９】
そして、対象物追跡部２ｅは、ステップＳＴ２４で追跡スコア算出部２ｄにより算出された追跡スコアと、上述の図５のステップＳＴ１５で設定された追跡用の追跡閾値（例えば、図４に示すような追跡閾値の初期値）とを比較することで、追跡閾値に基づいて、ステップＳＴ２２で対象物検出部２ｂにより検出された対象物が、前回と同一の対象物であるか否かを判定する（ステップＳＴ２５）。具体的には、ステップＳＴ２５において、対象物追跡部２ｅは、追跡スコアが追跡閾値以上である場合は（ステップＳＴ２５：Ｙｅｓ）、前回と同一の対象物であると予測し、追跡対象として認識していた対象物を追跡できたと判定する。この場合、次のステップＳＴ２６の処理へ移行する。一方、ステップＳＴ２５において、対象物追跡部２ｅは、追跡スコアが追跡閾値未満である場合は（ステップＳＴ２５：Ｎｏ）、前回と同一の対象物ではないと予測し、追跡対象として認識していた対象物を追跡できずにロストしたと判定する。この場合、本処理を終了する。
【００５０】
そして、ステップＳＴ２５において、前回と同一の対象物であると予測された場合（ステップＳＴ２５：Ｙｅｓ）、画像蓄積部２ｆは、追跡できている対象物としての歩行者を含む部分領域を、ステップＳＴ２１で画像取得部２ａにより取得された画像から切り出し、対象物画像として蓄積する（ステップＳＴ２６）。例えば、図３に示すような画像が、ステップＳＴ２１で画像取得部２ａにより取得されたとすると、ステップＳＴ２６において、画像蓄積部２ｆは、図３の画像内の対象物画像を、ステップＳＴ２１で画像取得部２ａが画像を取得した時刻に対応付けて蓄積する。
【００５１】
そして、変化度計算部２ｇは、画像蓄積部２ｆに蓄積された対象物画像に基づいて対象物の変化度を計算する（ステップＳＴ２７）。例えば、画像蓄積部２ｆに蓄積された対象物画像が、図２の対象物画像及び図３の対象物画像とすると、ステップＳＴ２７において変化度計算部２ｇは、図２の対象物画像内の対象物の形状情報と、図３の対象物画像内の対象物の形状情報と、を比較して、これらの対象物画像間における対象物の形状情報の変化から、対象物の姿勢等の見かけ上の変化を示す変化度を計算する。変化度計算部２ｇは、比較対象の対象物画像間において、形状情報の差異が大きいほど、対象物の見かけ上の変化が大きくなると予測して、対象物の変化度の値が大きくなるように計算する。一方、変化度計算部２ｇは、比較対象の対象物画像間において、形状情報の差異が小さいほど、対象物の見かけ上の変化が小さくなると予測して、対象物の変化度の値が小さくなるように計算する。
【００５２】
そして、追跡閾値更新部２ｈは、ステップＳＴ２７で変化度計算部２ｇにより計算された対象物の変化度が所定値以上である場合は追跡閾値の値が低くなるように変更し、対象物の変化度が所定値未満である場合は追跡閾値の値を維持する閾値更新処理を実行する（ステップＳＴ２８）。追跡閾値更新部２ｈは、上述の図４に示すように、対象物の変化度が所定値以上である場合は、少なくとも前フレームで対象物を追跡する際に使用した追跡閾値の値と比べて低くなるように変更する。追跡閾値更新部２ｈは、対象物の変化度の大きさが大きくなるほど、追跡閾値の値が低くなるように変更する。
【００５３】
ステップＳＴ２８において設定された追跡閾値は、次フレーム以降用の追跡閾値としてステップＳＴ２５において対象物追跡処理を行う際に使用される。例えば次のフレームのステップＳＴ２５において、対象物追跡部２ｅは、ステップＳＴ２４で追跡スコア算出部２ｄにより次のフレームの画像の特徴点に基づいて算出された追跡スコアと、前のフレームでステップＳＴ２８において変更または維持された追跡用の追跡閾値（例えば、図４に示すような、対象物の変化度に応じて更新された追跡閾値）とを比較することで、追跡閾値に基づいて、ステップＳＴ２２で対象物検出部２ｂにより検出された対象物が、前回と同一の対象物であるか否かを判定する。
【００５４】
以上説明したように、本実施形態に係る対象物認識装置２によれば、従来技術では固定値であった対象物の追跡用の追跡閾値を、フレームごとに対象物の変化度に応じて適切な値となるように更新することができる。これにより、本実施形態に係る対象物認識装置２によれば、予め設定された固定値を有する追跡閾値が想定していない急な対象物の移動量及び移動方向における変化があると、対象物の追跡を失敗しやすくなるという状況が発生することを低減させることが可能となる。その結果、本実施形態に係る対象物認識装置２によれば、追跡対象として認識していた対象物に対して急な移動量及び移動方向における変化があった場合であっても、対象物をロストする可能性を低減させて対象物を好適に追跡できる。
【００５５】
なお、本実施形態において、ステップＳＴ２８の処理の後、飛出し判定部２ｉは、ステップＳＴ２５で対象物追跡部２ｅにより追跡できた対象物画像に対して飛出し検出を行い、対象物の飛出しの有無を判定してもよい。また、この飛出し判定の処理の後、注意喚起部２ｊは、飛出し判定部２ｉにより対象物の飛出しが有ると判定された場合、スピーカ３を介して音声を出力することで、自車両の運転者に対して注意喚起を行ってもよい。また、この飛出し判定の処理の後、車両制御部２ｋは、飛出し判定部２ｉにより対象物の飛出しが有ると判定された場合、アクチュエータ４を介して車両の挙動を制御することで、自車両が対象物を回避するように車両制御を行ってもよい。
【符号の説明】
【００５６】
１  カメラ
２  対象物認識装置
２ａ  画像取得部
２ｂ  対象物検出部
２ｃ  特徴点抽出部
２ｄ  追跡スコア算出部
２ｅ  対象物追跡部
２ｆ  画像蓄積部
２ｇ  変化度計算部
２ｈ  追跡閾値更新部
２ｉ  飛出し判定部
２ｊ  注意喚起部
２ｋ  車両制御部
３  スピーカ
４  アクチュエータ
【図１】
2016015043.tif 000003
【図２】
2016015043.tif 000004
【図３】
2016015043.tif 000005
【図４】
2016015043.tif 000006
【図５】
2016015043.tif 000007
【図６】
2016015043.tif 000008