(57)【要約】【課題】物体が存在するであろう領域に絞って優先的に処理を行うにあたって、領域を絞る際に過剰に領域を除外してしまうことを抑制することができる物体認識装置、物体認識方法、および物体認識プログラムを提供することを目的の一つとする。【解決手段】物体認識装置は、車両周辺の物標を検出する検出部と、検出された物標に基づいて物体を認識する認識部と、検出された物標のうち、車両進行方向に沿って検出された一又は複数の物標を含む物標グループの物標の数が所定数以上である場合、物標グループの物標を認識対象から除外する処理対象設定部とを備え、処理対象設定部は、物標グループの物標の数が所定数以上である場合、更に物標グループの物標のばらつきの度合が閾値未満である場合、物標グループの物標を認識対象から除外せずに認識対象とする。【選択図】図１
2018041396.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺の物標を検出する検出部と、
前記検出部により検出された物標に基づいて物体を認識する認識部と、
前記検出部により検出された物標のうち、前記車両の進行方向に沿って検出された一又は複数の物標を含む物標グループにおける物標の数が所定数以上である場合に、前記物標グループに含まれる物標を前記認識部による認識対象から除外する処理対象設定部と、を備え、
前記処理対象設定部は、
前記物標グループにおける物標の数が所定数以上である場合に、更に前記物標グループにおける物標のばらつきの度合が閾値未満である場合、前記物標グループに含まれる物標を、前記認識部による認識対象から除外せずに認識対象とする、
物体認識装置。
【請求項２】
前記処理対象設定部は、前記物標グループにおける物標のばらつきの度合が閾値以下である場合に、前記物標グループに含まれる物標の位置を前記車両が通過するまでの期間、前記物標グループに含まれる物標を前記認識部による認識対象とし続ける、
請求項１に記載の物体認識装置。
【請求項３】
車両の前方を撮像するカメラと、
前記カメラにより撮像された画像から、物体として認識され得る特徴箇所を抽出する抽出部と、
前記抽出部により抽出された特徴箇所に基づいて前記画像上で物体を認識する認識部と、
前記抽出部により前記画像の奥行き方向に沿って抽出された一または複数の特徴箇所を含む特徴箇所グループに含まれる特徴箇所の数が所定数以上である場合に、前記特徴箇所グループに含まれる特徴箇所を前記認識部による認識対象から除外する処理対象設定部と、を備え、
前記処理対象設定部は、
前記特徴箇所グループに含まれる特徴箇所の数が所定数以上である場合に、更に前記特徴箇所グループに含まれる特徴箇所のばらつきの度合が閾値未満である場合、前記特徴箇所グループに含まれる特徴箇所を、前記認識部による認識対象から除外せずに認識対象とする、
物体認識装置。
【請求項４】
車載コンピュータが、
車両の周辺の物標を検出し、
前記検出した物標を物体として認識し、
前記検出した物標のうち、前記車両の進行方向に沿って検出された一又は複数の物標を含む物標グループにおける物標の数が所定数以上である場合に、前記物標グループに含まれる物標を認識対象から除外し、
前記物標グループにおける物標の数が所定数以上である場合に、更に前記物標グループにおける物標のばらつきの度合が閾値未満である場合、前記物標グループに含まれる物標を、認識対象から除外せずに認識対象とする、
物体認識方法。
【請求項５】
車載コンピュータに、
車両の周辺の物標を検出させ、
前記検出させた物標を物体として認識させ、
前記検出させた物標のうち、前記車両の進行方向に沿って検出された一又は複数の物標を含む物標グループにおける物標の数が所定数以上である場合に、前記物標グループに含まれる物標を認識対象から除外させ、
前記物標グループにおける物標の数が所定数以上である場合に、更に前記物標グループにおける物標のばらつきの度合が閾値未満である場合、前記物標グループに含まれる物標を、認識対象から除外させずに認識対象とさせる、
物体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体認識装置、物体認識方法、および物体認識プログラムに関する。
【背景技術】
【０００２】
従来、画像処理において、カメラによって撮像された画像から、物体を特定するためにエッジ（特徴箇所）を抽出することが行われている。このような画像処理において、抽出された歩行者が存在する可能性のある候補画像部分の数に基づいて画像から物体認識を行う領域を除くことにより、物体認識に要する時間を短縮する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１２３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、本来なら認識すべき物体が存在する領域を、画像から一時的に取り除いてしまう場合があった。この結果、物体に対する車両制御が遅れ、商品性が悪化する場合があった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、物体が存在するであろう領域に絞って優先的に処理を行うにあたって、領域を絞る際に過剰に領域を除外してしまうことを抑制することができる物体認識装置、物体認識方法、および物体認識プログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、車両の周辺の物標を検出する検出部と、前記検出部により検出された物標に基づいて物体を認識する認識部と、前記検出部により検出された物標のうち、前記車両の進行方向に沿って検出された一又は複数の物標を含む物標グループにおける物標の数が所定数以上である場合に、前記物標グループに含まれる物標を前記認識部による認識対象から除外する処理対象設定部と、を備え、前記処理対象設定部は、前記物標グループにおける物標の数が所定数以上である場合に、更に前記物標グループにおける物標のばらつきの度合が閾値未満である場合、前記物標グループに含まれる物標を、前記認識部による認識対象から除外せずに認識対象とする、物体認識装置である。
【０００７】
請求項２記載の発明は、請求項１に記載の物体認識装置において、前記処理対象設定部は、前記物標グループにおける物標のばらつきの度合が閾値以下である場合に、前記物標グループに含まれる物標の位置を前記車両が通過するまでの期間、前記物標グループに含まれる物標を前記認識部による認識対象とし続けるものである。
【０００８】
請求項３記載の発明は、車両の前方を撮像するカメラと、前記カメラにより撮像された画像から、物体として認識され得る特徴箇所を抽出する抽出部と、前記抽出部により抽出された特徴箇所に基づいて前記画像上で物体を認識する認識部と、前記抽出部により前記画像の奥行き方向に沿って抽出された一または複数の特徴箇所を含む特徴箇所グループにおける特徴箇所の数が所定数以上である場合に、前記特徴箇所グループに含まれる特徴箇所を前記認識部による認識対象から除外する処理対象設定部と、を備え、前記処理対象設定部は、前記特徴箇所グループに含まれる特徴箇所の数が所定数以上である場合に、更に前記特徴箇所グループに含まれる特徴箇所のばらつきの度合が閾値未満である場合、前記特徴箇所グループに含まれる特徴箇所を、前記認識部による認識対象から除外せずに認識対象とする、物体認識装置である。
【０００９】
請求項４記載の発明は、車載コンピュータが、車両の周辺の物標を検出し、前記検出した物標を物体として認識し、前記検出した物標のうち、前記車両の進行方向に沿って検出された一又は複数の物標を含む物標グループにおける物標の数が所定数以上である場合に、前記物標グループに含まれる物標を認識対象から除外し、前記物標グループにおける物標の数が所定数以上である場合に、更に前記物標グループにおける物標のばらつきの度合が閾値未満である場合、前記物標グループに含まれる物標を、認識対象から除外せずに認識対象とする、物体認識方法である。
【００１０】
請求項５記載の発明は、車載コンピュータに、車両の周辺の物標を検出させ、前記検出させた物標を物体として認識させ、前記検出させた物標のうち、前記車両の進行方向に沿って検出された一又は複数の物標を含む物標グループにおける物標の数が所定数以上である場合に、前記物標グループに含まれる物標を認識対象から除外させ、前記物標グループにおける物標の数が所定数以上である場合に、更に前記物標グループにおける物標のばらつきの度合が閾値未満である場合、前記物標グループに含まれる物標を、認識対象から除外させずに認識対象とさせる、物体認識プログラムである。
【発明の効果】
【００１１】
請求項１、３、４、５記載の発明によれば、車両の進行方向に沿って検出された一又は複数の物標を含む物標グループにおける物標の数が所定数以上である場合に、更に物標グループにおける物標のばらつきの度合が閾値未満である場合、物標グループに含まれる物標を、認識部による認識対象から除外せずに認識対象とすることにより、限られた処理時間の中で、物体（例えば歩行者等）が存在するであろう領域に絞って優先的に処理を行うにあたって、領域を絞る際に過剰に領域を除外してしまうことを抑制することができる。
【００１２】
請求項２記載の発明によれば、物標グループにおける物標のばらつきの度合が閾値以下である場合に、物標グループに含まれる物標の位置を車両が通過するまでの期間、物標グループに含まれる物標を物体認識時の認識対象とし続けることにより、物体の認識における精度を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態における物体認識装置１００の構成の一例を示す図である。
【図２】制御部１１０による処理の流れの一例を示すフローチャートである。
【図３】撮像画像１３２から候補画像部分１３４が抽出される様子を模式的に示す図である。
【図４】図３に示す撮像画像１３２から抽出された候補画像部分１３４の位置がマッピングされた座標系の一例を示す図である。
【図５】判定領域ＲのＹ軸方向における候補画像部分１３４の分布の一例を示す図である。
【図６】２条の轍の間に存在する歩行者が候補画像部分１３４として抽出される様子を模式的に示す図である。
【図７】図６に示す撮像画像１３２から抽出された候補画像部分１３４の位置がマッピングされた座標系の一例を示す図である。
【図８】判定領域ＲのＹ軸方向における候補画像部分１３４の分布の他の例を示す図である。
【図９】制限時間設定用情報１４０の一例を示す図である。
【図１０】候補画像部分１３４の分散に応じて候補画像部分１３４を処理対象から除外する様子を模式的に示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照し、本発明の物体認識装置、物体認識方法、および物体認識プログラムの実施形態について説明する。
【００１５】
図１は、実施形態における物体認識装置１００の構成の一例を示す図である。本実施形態における物体認識装置１００は車両（以下、自車両Ｍと称する）に搭載される。物体認識装置１００は、例えば、カメラ１０２と、制御部１１０と、記憶部１３０とを備える。物体認識装置１００は、例えば、一以上のプロセッサまたは同等の機能を有するハードウェアにより実現される。物体認識装置１００は、ＣＰＵ（Central Processing Unit）などのプロセッサ、記憶装置、および通信インターフェースが内部バスによって接続されたＥＣＵ（Electronic Control Unit）、或いはＭＰＵ（Micro-Processing Unit）などが組み合わされた構成であってよい。また、物体認識装置１００は、複数のコンピュータ装置によって分散化されたものであってもよい。
【００１６】
カメラ１０２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０２は、例えば、車室内のフロントウインドシールド上部やルームミラー裏面等に設けられる。カメラ１０２は、例えば、周期的に繰り返し自車両Ｍの前方を撮像する。カメラ１０２は、複数のカメラを含むステレオカメラであってもよい。
【００１７】
制御部１１０は、例えば、画像取得部１１２と、候補画像部分抽出部１１４と、距離算出部１１６と、処理対象設定部１１８と、候補画像部分判定部１２０と、歩行者画像識別部１２２と、歩行者向き判別部１２４と、回避判定部１２６と、警報出力部１２８とを備える。これらの構成要素は、プロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。
【００１８】
記憶部１３０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。プロセッサが実行するプログラムは、予め記憶部１３０に格納されていてもよいし、車載インターネット設備等を介して外部装置からダウンロードされてもよい。また、プログラムは、そのプログラムを格納した可搬型記憶媒体が図示しないドライブ装置に装着されることで記憶部１３０にインストールされてもよい。記憶部１３０には、例えば、撮像画像１３２や候補画像部分１３４、簡易マッチングデータ１３６、歩行者用マッチングデータ１３８、制限時間設定用情報１４０などの情報が格納される。
【００１９】
以下、フローチャートを用いて制御部１１０が備える各構成について説明する。図２は、制御部１１０による処理の流れの一例を示すフローチャートである。
【００２０】
まず、画像取得部１１２は、カメラ１０２から画像を取得し（ステップＳ１００）、記憶部１３０に撮像画像１３２として記憶させる。カメラ１０２から取得される画像は、例えば、カラー画像であってもよいし、グレースケールの画像（輝度画像）であってもよい。
【００２１】
なお、画像取得部１１２は、自車両Ｍに搭載されたカメラ１０２から撮像画像１３２を取得する代わりに、道路脇や道路上方に設置された外部カメラと無線通信することにより、外部カメラにより撮像された画像を撮像画像１３２として取得してもよい。無線通信は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用することで行われてよい。この場合、特許請求の範囲におけるカメラは、自車両Ｍに搭載されたカメラ１０２に加えて（或いは代えて）、道路脇や道路上方に設置された外部カメラを含んでもよい。
【００２２】
次に、候補画像部分抽出部１１４は、撮像画像１３２の全部または一部の領域から特徴箇所を抽出し、抽出した特徴箇所と、予め記憶部１３０に記憶させておいた簡易マッチングデータ１３６と比較することで、歩行者が存在する可能性のある領域（簡易マッチングデータ１３６に合致する特徴箇所の集まりを包含する領域）を候補画像部分１３４として抽出する（ステップＳ１０２）。候補画像部分１３４は、「物標」の一例である。また、カメラ１０２、画像取得部１１２および候補画像部分抽出部１１４は、「検出部」の一例である。
【００２３】
「特徴箇所」とは、エッジすなわち周辺画素との輝度差や色彩パラメータの差が基準よりも大きい特徴点、あるいは、同等の性質を有する画素群である。
【００２４】
簡易マッチングデータ１３６は、歩行者用マッチングデータ１３８よりも緩やかな基準で作成されたデータである。「緩やかな基準」とは、例えば、後述する形状モデルデータが歩行者用マッチングデータ１３８に含まれる形状モデルデータと比べて少ない特徴箇所で表されていることを意味する。また、「緩やかな基準」は、ステップＳ１０２の処理において、「合致する」ことの要求レベルが、後述するステップＳ１２４の処理よりも低いことを意味してもよい。例えば、ステップＳ１０２の処理は、合致することが要求される形状モデルの数がステップＳ１２４よりも低いものであってよい。
【００２５】
歩行者用マッチングデータ１３８は、例えば、歩行者の身体の一部（例えば、頭、肩、手、足、目、鼻、口など）または全部の輪郭あるいは稜線などを示す形状モデルデータである。歩行者用マッチングデータ１３８は、歩行者の身体の複数の箇所（パーツ）に対応する複数の形状モデルデータを含んでよい。これに対し、簡易マッチングデータ１３６は、歩行者用マッチングデータ１３８に含まれる形状モデルデータよりも簡易な形状モデルデータであり、比較対象の特徴箇所群と合致すると判定されやすいデータである。
【００２６】
候補画像部分抽出部１１４は、抽出した特徴箇所が、簡易マッチングデータ１３６に含まれる形状モデルデータと合致する形状を示す領域を、候補画像部分１３４として抽出し、記憶部１３０に記憶させる。本処理では、形状の特徴を示す特徴箇所同士を比較するものであるため、歩行者（人間）以外の物体を映した部分が候補画像部分１３４として抽出される場合がある。
【００２７】
図３は、撮像画像１３２から候補画像部分１３４が抽出される様子を模式的に示す図である。図示の例では、雪道に車輪の轍が２条形成された後に轍の部分だけ雪が融けて２条の轍の間に雪の塊が残り、この雪の塊が候補画像部分１３４として抽出されてしまっている。
【００２８】
距離算出部１１６は、候補画像部分抽出部１１４により抽出された各候補画像部分１３４について、自車両Ｍからの距離を算出する（ステップＳ１０４）。例えば、距離算出部１１６は、撮像画像１３２において無限遠点である道路の消失点を導出し、消失点と候補画像部分１３４との画素間の距離を導出する。そして、距離算出部１１６は、カメラ１０２の焦点距離と、消失点および候補画像部分１３４の画素間の距離とに基づいて無限遠点に対する角度（仰角）を算出し、当該角度とカメラ１０２が設置された位置の高さとに基づいて、撮像画像１３２における候補画像部分１３４の位置に対応した実空間上の位置を求めることで、各候補画像部分１３４と自車両Ｍとの画像奥行き方向に関する距離を算出する。
【００２９】
候補画像部分判定部１２０は、距離算出部１１６によって距離が算出された候補画像部分１３４の位置を、実空間を示す座標系にマッピングする。実空間を示す座標系は、例えば、上方から自車両Ｍを見た場合の二次元空間で表されてよい。
【００３０】
図４は、図３に示す撮像画像１３２から抽出された候補画像部分１３４の位置がマッピングされた座標系の一例を示す図である。図中Ｘ軸は水平方向を表し、Ｙ軸は奥行き方向を表している。また、図中Ｏは、例えば、自車両Ｍの前端位置（例えばフロントバンパー等の位置）からの位置を表している。図中ＲＣは、自車両Ｍが走行する走行車線に対して設定された判定領域を表し、ＲＬＡ、ＲＬＢは、自車両Ｍの進行方向に対して左側の車線（或いは道路外の領域）に設定された判定領域を表している。また、ＲＲＡ、ＲＲＢは、自車両Ｍの進行方向に対して右側の車線（或いは道路外の領域）に設定された判定領域を表している。
【００３１】
例えば、候補画像部分判定部１２０は、自車両Ｍから候補画像部分１３４までの距離をＹ軸における座標に変換すると共に、撮像画像１３２における候補画像部分１３４の水平方向成分の位置をＸ軸における座標に変換することで、各候補画像部分１３４の位置をＸ-Ｙ座標系にマッピングする。
【００３２】
次に、候補画像部分判定部１２０は、実空間を示す座標系（Ｘ-Ｙ座標系）において、自車両Ｍの進行方向（Ｙ軸方向）に直交する水平方向（Ｘ軸方向）の幅が所定幅の範囲内である判定領域Ｒを設定する。例えば、候補画像部分判定部１２０は、図４中のＲＣ、ＲＬＡ、ＲＬＢ、ＲＲＡ、ＲＲＢなどのように、複数の判定領域Ｒを設定する。そして、候補画像部分判定部１２０は、設定した複数の判定領域Ｒから、着目する一つの判定領域を選択する（ステップＳ１０６）。複数の判定領域Ｒを設定する場合、各判定領域Ｒの水平方向の所定幅は、同じであってもよいし異なっていてもよい。また、各判定領域Ｒは、隣り合う判定領域とその一部が重なってもよい。
【００３３】
次に、候補画像部分判定部１２０は、マッピングした候補画像部分１３４のうち、Ｓ１０６において選択した判定領域Ｒに属する候補画像部分１３４の数ｎをカウントする。図４の例において、複数の判定領域Ｒから判定領域ＲＣが選択されている場合、候補画像部分１３４ａは、判定領域ＲＣに属さない候補画像部分となり、候補画像部分１３４ｂは、判定領域ＲＣに属する候補画像部分となる。そして、候補画像部分判定部１２０は、判定領域Ｒに属する候補画像部分１３４（図中１３４ｂ）の数ｎが所定数ｋ以上であるか否かを判定する（ステップＳ１０８）。判定領域Ｒに属する候補画像部分は、「物標グループ」または「特徴箇所グループ」の一例である。
【００３４】
処理対象設定部１１８は、候補画像部分判定部１２０によって判定領域Ｒに属する候補画像部分１３４の数ｎが所定数ｋ未満であると判定された場合、候補画像部分判定部１２０により選択された判定領域Ｒに属する全ての候補画像部分１３４を、後述する歩行者画像識別部１２２の処理対象に設定する（ステップＳ１１０）。
【００３５】
一方、処理対象設定部１１８は、候補画像部分判定部１２０によって判定領域Ｒに属する候補画像部分１３４の数ｎが所定数ｋ以上であると判定された場合、候補画像部分判定部１２０により選択された判定領域Ｒに属する候補画像部分１３４の分散を導出する。候補画像部分１３４の分散は、「物標のばらつきの度合」または「特徴箇所のばらつきの度合」の一例である。そして、処理対象設定部１１８は、導出した分散が閾値未満であるか否かを判定する（ステップＳ１１２）。
【００３６】
図５は、判定領域ＲのＹ軸方向における候補画像部分１３４の分布の一例を示す図である。図中縦軸は候補画像部分１３４の数（候補数ｎ）を表し、横軸は判定領域ＲのＹ軸方向を表している。例えば、２条の轍の間に存在する雪の塊などは車道に沿って遍在しやすいため、図５に示すように、候補画像部分１３４は、Ｙ軸方向においてある程度分散した状態でマッピングされる傾向がある。この場合、候補画像部分１３４の分散は大きくなりやすい。すなわち、候補画像部分１３４の分散が閾値を超えやすくなる。
【００３７】
処理対象設定部１１８は、候補画像部分１３４の分散が閾値以上となる場合、経過時間閾値Ｔｔｈを所定時間Ｔに設定する（ステップＳ１１４）。経過時間閾値Ｔｔｈとは、その閾値分の時間が経過するまでの間、後述するＳ１２０の処理を禁止するため（移行しないため）の時間である。
【００３８】
一方、２条の轍の間に歩行者がいる場合、撮像画像１３２において融け残った雪と共に歩行者が候補画像部分１３４として抽出されることが想定される。図６は、２条の轍の間に存在する歩行者が候補画像部分１３４として抽出される様子を模式的に示す図である。図６のように、他の物体の特徴箇所と比べて歩行者の特徴箇所は、簡易マッチングデータ１３６に含まれる形状データとより合致しやすくなるため、歩行者が存在する地点においてより多くの候補画像部分１３４が抽出される傾向がある。すなわち、候補画像部分１３４の密度（Ｙ軸方向の所定区間あたりの候補画像部分１３４の数ｎ）が閾値を超える地点は、歩行者が存在する可能性が高いと評価することができる。
【００３９】
図７は、図６に示す撮像画像１３２から抽出された候補画像部分１３４の位置がマッピングされた座標系の一例を示す図である。例えば、撮像画像１３２において歩行者が存在する地点に対応する座標Ａ付近には、他の座標に比して候補画像部分１３４が多く抽出される。
【００４０】
図８は、判定領域ＲのＹ軸方向における候補画像部分１３４の分布の他の例を示す図である。図８に示す分布は、図７においてマッピングされた候補画像部分１３４に対応する。図示のように、選択した判定領域Ｒ内に歩行者が存在する場合、候補画像部分１３４の数がＹ軸方向のある地点において突出する傾向があり、候補画像部分１３４の分散が小さくなりやすい。すなわち、判定領域Ｒ内に歩行者が存在する場合、候補画像部分１３４の分散が閾値未満となりやすい。
【００４１】
処理対象設定部１１８は、Ｓ１１２の処理において、候補画像部分１３４の分散が閾値未満であると判定した場合、経過時間閾値Ｔｔｈを、所定時間Ｔを拡張した時間Ｔ＋αに設定する（ステップＳ１１６）。拡張分の時間αは、経過時間閾値Ｔｔｈを、候補画像部分１３４の分散が閾値を超える地点（候補画像部分１３４が密集している地点）を自車両Ｍが通過可能な程度の時間に拡張する。拡張分の時間αは、例えば、予め定められた時間であってもよいし、ある基準時間から自車両Ｍの車速が増加するのに応じて減少し、自車両Ｍの車速が減少するのに応じて増加するような時間であってもよい。
【００４２】
例えば、候補画像部分１３４の分散が閾値未満である場合、判定領域Ｒ内に歩行者が存在している可能性が高いと判断することができため、後述する歩行者画像識別部１２２による認識処理によって、候補画像部分１３４の数ｎが突出している地点（すなわち歩行者が存在する可能性が高い地点）に歩行者が存在しているか否かが認識されるまでは、判定領域Ｒ内の候補画像部分１３４を処理対象から一律に除外せずに、その地点まで継続して候補画像部分１３４が歩行者であるのかどうかを認識し続けることが好ましい。従って、所定時間Ｔ、あるいは所定時間Ｔを拡張した時間Ｔ＋αが経過するまでの間は、判定領域Ｒ内の候補画像部分１３４を処理対象から除外せずに、候補画像部分１３４が歩行者であるのかどうかを認識し続けることが必要となる。
【００４３】
例えば、処理対象設定部１１８は、記憶部１３０に格納された制限時間設定用情報１４０を参照して、自車両Ｍの速度Ｖに応じて経過時間閾値Ｔｔｈを設定し、時間のカウントを開始する。図９は、制限時間設定用情報１４０の一例を示す図である。制限時間設定用情報１４０は、経過時間閾値Ｔｔｈと自車両Ｍの速度Ｖとの関係を示した情報であり、例えば、テーブルやマップ、数式などによって表される。図示のように、経過時間閾値Ｔｔｈは、自車両Ｍの速度Ｖが増加するのに応じて減少する傾向を有している。従って、処理対象設定部１１８は、自車両Ｍの速度Ｖが大きいほど経過時間閾値Ｔｔｈを短く設定する。
【００４４】
次に、処理対象設定部１１８は、経過時間ｔが、ＴまたはＴ＋αに設定した経過時間閾値Ｔｔｈ以上となるか否かを判定する（ステップＳ１１８）。経過時間ｔは、例えば、本フローチャートの処理が開始された時刻から現時刻までに経過した時間である。
【００４５】
処理対象設定部１１８は、経過時間ｔが経過時間閾値Ｔｔｈ以上となる場合、判定領域Ｒ内において抽出されている候補画像部分１３４が、歩行者が存在する領域である可能性が低いと判断して、候補画像部分判定部１２０により選択された判定領域Ｒ内の候補画像部分１３４を処理対象から除外する（ステップＳ１２０）。これによって、候補画像部分判定部１２０により選択された判定領域Ｒに含まれる候補画像部分１３４は、後述する歩行者画像識別部１２２の処理対象から除外されることになる。なお、処理対象設定部１１８は、判定領域Ｒ内に含まれる全ての候補画像部分１３４を処理対象から除外してもよいし、一部の候補画像部分１３４を処理対象から除外してもよい。一部の候補画像部分１３４は、例えば、判定領域Ｒにおいて、自車両Ｍに近い候補画像部分１３４である。これによって、例えば、除外対象の候補画像部分１３４であっても、自車両Ｍからの距離が遠く、処理時間に余裕がある場合には、歩行者画像識別部１２２の処理対象に含めることができる。
【００４６】
一方、処理対象設定部１１８は、経過時間ｔが経過時間閾値Ｔｔｈ未満となる場合、上述したＳ１１０の処理に移り、候補画像部分判定部１２０により選択された判定領域Ｒに属する全ての候補画像部分１３４を、歩行者画像識別部１２２の処理対象に設定する。これによって、経過時間閾値Ｔｔｈが経過するまでの間は、判定領域Ｒ内の候補画像部分１３４を処理対象から除外せずに、候補画像部分１３４が歩行者であるのかどうかを認識し続けることになる。
【００４７】
なお、上述した処理において、経過時間閾値Ｔｔｈとして、所定時間Ｔと、所定時間Ｔを拡張した時間Ｔ＋αとを用いることとしたが、この限りではなく、拡張分の時間＋αを用いずに所定時間Ｔのみを用いることとしても良い。具体的にはＳ１１２の処理で候補画像部分１３４の分散が閾値未満となる場合はＳ１１４とＳ１１８との処理をスキップしてＳ１２０の処理を行い、候補画像部分１３４の分散が閾値以上となる場合はＳ１１６にて経過時間閾値Ｔｔｈを所定時間Ｔに設定してＳ１１８の処理にて経過時間閾値Ｔｔｈが経過したかどうかを判定することとしても良い。
【００４８】
次に、処理対象設定部１１８は、設定した全ての判定領域Ｒについて、その判定領域Ｒに属する候補画像部分１３４を処理対象から除外する、または処理対象とする処理を行ったかどうかを判定する（ステップＳ１２２）。処理対象設定部１１８は、全ての判定領域Ｒについて、その判定領域Ｒに属する候補画像部分１３４を処理対象から除外、または処理対象とする処理を行っていない場合、上述したＳ１０６に処理を移し、未だ選択していない判定領域Ｒを着目する判定領域として選択する。
【００４９】
一方、全ての判定領域Ｒについて処理が行われた場合、歩行者画像識別部１２２は、歩行者用マッチングデータ１３８を用いることで、処理対象設定部１１８により設定された処理対象の候補画像部分１３４について、歩行者の画像部分を含むか否かを識別する歩行者識別処理を行う（ステップＳ１２４）。歩行者の画像部分とは、その画像部分に含まれる特徴箇所に基づいて推定可能な物体が歩行者を表していると定めることが可能な画像上の領域である。
【００５０】
例えば、歩行者画像識別部１２２は、処理対象の候補画像部分１３４から、歩行者用マッチングデータ１３８に含まれる形状データに合致する特徴箇所を有する候補画像部分１３４を選択する。すなわち、歩行者画像識別部１２２は、候補画像部分抽出部１１４の処理において参照される簡易マッチングデータ１３６よりも更に詳細な（例えばマッチングをとる特徴箇所の数が数倍多い）歩行者用マッチングデータ１３８を用いることで、処理対象の候補画像部分１３４の中から、歩行者の画像部分を含む候補画像部分１３４を選択する。歩行者画像識別部１２２および歩行者向き判別部１２４は、「認識部」の一例である。
【００５１】
歩行者向き判別部１２４は、歩行者画像識別部１２２により選択された各候補画像部分１３４について、歩行者の向きを判別する（ステップＳ１２６）。例えば、歩行者向き判別部１２４は、歩行者の画像部分から、歩行者の姿勢、または頭部や四肢の向きを導出し、その姿勢や身体の部位の向きに基づいて、歩行者の向きを判別する。なお、処理対象の複数の候補画像部分１３４のうち、歩行者画像識別部１２２により歩行者の画像部分を含む候補画像部分１３４が選択されない場合、本フローチャートの処理は終了する。
【００５２】
回避判定部１２６は、歩行者向き判別部１２４により判別された歩行者の向きに応じて、歩行者が回避すべき回避対象物であるか否かを判定する（ステップＳ１２８）。例えば、回避判定部１２６は、歩行者の向きが自車両Ｍに近づく方向である場合、或いは、自車両Ｍが走行する走行車線の中央などで歩行者が静止している場合、歩行者を回避対象物と判定する。
【００５３】
警報出力部１２８は、回避判定部１２６により歩行者が回避対象物であると判定された場合、車内のスピーカや表示装置を用いて、運転者に回避を促す警報を出力する（ステップＳ１３０）。これによって、本フローチャートの処理が終了する。
【００５４】
図１０は、候補画像部分１３４の分散に応じて候補画像部分１３４を処理対象から除外する様子を模式的に示す図である。図中（ａ）は、候補画像部分１３４の分散が閾値以上である場面を表しており、（ｂ）は、候補画像部分１３４の分散が閾値未満である場面を表している。例えば、（ａ）の場面では、判定領域Ｒに属する候補画像部分１３４の数ｎが所定数ｋ以上であると判定されてから経過時間閾値Ｔｔｈ以上の時間が経過した地点Ｐ１以降において、判定領域Ｒに属する候補画像部分１３４が処理対象から除外されることになる。この結果、歩行者の認識処理の対象となる候補画像部分１３４が少なくなるため、歩行者認識に要する時間を短縮することができる。また、（ｂ）の場面では、歩行者が存在する可能性が高い地点Ａをある程度通過した地点Ｐ２まで歩行者認識を継続するため、自車両Ｍをより安全に走行させることができる。
【００５５】
尚、（ａ）（ｂ）ではすべての除外領域で地点Ｐ１、Ｐ２以降を除外としているが、実際は除外領域毎に所定数ｋを超えてからの経過時間が経過時間閾値Ｔｔｈを超えたか判定していることから、除外タイミングは各所帯領域毎に異なる。
【００５６】
また、（ｂ）では地点Ａ以降を除外としているが、Ｐ１からＡまでの領域も除外するようにしても良い。この場合、経過時間閾値Ｔｔｈを用いた処理ではなく、判定領域Ｒを距離方向に複数に分割し、候補画像部分１３４が密集している部分に当たる領域のみ制御対象とするといった制御を行うことになる。尚、この処理はＰ１からＡまでの領域も除外するために用いるに限らず、経過時間閾値Ｔｔｈを用いた処理に替えて採用可能である。
【００５７】
以上説明した実施形態における物体認識装置１００によれば、判定領域Ｒに属する候補画像部分１３４の数ｎが所定数ｋ未満である場合に、判定領域Ｒに属する候補画像部分１３４を処理対象とし、判定領域Ｒに属する候補画像部分１３４の数ｎが所定数ｋ以上である場合に、判定領域Ｒに属する候補画像部分１３４の分散が閾値以上である場合、判定領域Ｒに属する候補画像部分１３４を処理対象から除外し、判定領域Ｒに属する候補画像部分１３４の分散が閾値未満である場合、判定領域Ｒに属する候補画像部分１３４を処理対象から除外せずに認識対象とすることにより、物体が存在するであろう領域に絞って優先的に処理を行うにあたって、領域を絞る際に過剰に領域を除外してしまうことを抑制することができる。
【００５８】
また、上述した実施形態における物体認識装置１００によれば、判定領域Ｒに属する候補画像部分１３４の分散が閾値未満である場合に、歩行者が存在する可能性が高い地点を自車両Ｍが通過するまでの期間、判定領域Ｒに属する候補画像部分１３４を処理対象とし続けることにより、物体の認識における精度を向上させることができ、自車両Ｍをより安全に走行させることができる。
【００５９】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【００６０】
１００…物体認識装置、１０２…カメラ、１１０…制御部、１１２…画像取得部、１１４…候補画像部分抽出部、１１６…距離算出部、１１８…処理対象設定部、１２０…候補画像部分判定部、１２２…歩行者画像識別部、１２４…歩行者向き判別部、１２６…回避判定部、１２８…警報出力部、１３０…記憶部、１３２…撮像画像、１３４…候補画像部分、１３６…簡易マッチングデータ、１３８…歩行者用マッチングデータ、１４０…制限時間設定用情報
【図１】
2018041396.tif 000003
【図２】
2018041396.tif 000004
【図３】
2018041396.tif 000005
【図４】
2018041396.tif 000006
【図５】
2018041396.tif 000007
【図６】
2018041396.tif 000008
【図７】
2018041396.tif 000009
【図８】
2018041396.tif 000010
【図９】
2018041396.tif 000011
【図１０】
2018041396.tif 000012