(57)【要約】【課題】撮像画像中の物体に関する情報の出力タイミングを早める。【解決手段】物体認識装置（１）は、ステレオカメラで撮像された複数の画像を取得する取得手段（２１）と、複数の画像から物標情報を生成する第１生成手段（２２）と、第１手段と並行して物標情報の少なくとも一部を生成する第２生成手段（２３）とを備える。第２生成手段は、現フレームにおける物標位置を予測する予測手段（３１）と、予測された物標位置の周辺に複数の探索ウインドウ設定する設定手段（３２）と、視差点の分布数を計測する計測手段（３３）と、視差点の分布数が所定値以上の探索ウインドウが存在するか否かを判定する判定手段（３４）と、視差点の分布数が最も多い探索ウインドウの位置を物標位置として推定する推定手段（３５）と、物標情報の少なくとも一部を生成する生成手段（３６）とを有する。【選択図】図１
2017072914.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたステレオカメラで撮像された複数の画像を取得する取得手段と、
前記複数の画像から算出される視差に基づいて物標情報を生成する第１生成手段と、
前記第１手段と並行して、前記複数の画像の前フレーム及び現フレームに基づいて前記物標情報の少なくとも一部を生成する第２生成手段と
を備え、
前記第２生成手段は、
前記前フレームにおける物標位置及び前記車両の速度から、前記現フレームにおける物標位置を予測する予測手段と、
前記予測手段により予測された前記現フレームにおける物標位置の周辺に複数の探索ウインドウ設定する設定手段と、
前記複数の探索ウインドウの各々において、前記現フレームにおける物標との予測距離に相当する視差点の分布数を計測する計測手段と、
前記計測手段で計測された前記視差点の分布数が所定値以上の前記探索ウインドウが存在するか否かを判定する判定手段と、
前記視差点の分布数が所定値以上の前記探索ウインドウが存在する場合に、前記計測手段で計測された前記視差点の分布数が最も多い前記探索ウインドウの位置を、前記現フレームにおける物標位置として推定する推定手段と、
前記前フレームにおける物標位置と、前記推定手段で推定された前記現フレームにおける物標位置との差分から、前記物標情報の少なくとも一部を生成する生成手段と
を有することを特徴とする物体認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば自動車等の車両に搭載されたステレオカメラの撮像画像を用いる物体認識装置の技術分野に関する。
【背景技術】
【０００２】
この種の技術として、複数フレームの画像を処理することで、移動する物体を検出する技術が知られている。例えば特許文献１では、静止している物体が見かけ上移動する座標を予測しておき、予測された画像座標の輝度値と実際に撮像された画像の輝度値との差分に基づいて移動物体を検出するという技術が提案されている。
【０００３】
他方で、所定サイズの領域でパターンマッチングを行うことで、好適に物体を抽出しようとする技術も知られている。例えば特許文献２及び特許文献３では、物体までの距離に応じた大きさの探索ウィンドウ又は標準テンプレートを用いることで、パターンマッチングを効率的に行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５８６４０号公報
【特許文献２】特開２０１２−１８５６８４号公報
【特許文献３】特開２０１３−１６１２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ステレオ視差を利用して物体を認識しようとする場合、通常の画像処理（即ち、視差を有しない画像の処理）と比べて処理が重いため、処理周期が遅くなる傾向にある。これに対し、上述した特許文献１から３を含む既存の技術を用いれば、物体の移動状態（即ち、静止しているか移動しているか）や、物体の属性情報（例えば、歩行者、車両等を識別するための情報）等については比較的高速に処理することが可能であると考えられる。
【０００６】
しかしながら、ステレオ視差を利用した画像処理自体が重い処理である以上、処理速度を多少高速化できたとしても処理周期の大幅な短縮は望めない。このため、既存の技術では、物体に関する情報の出力がリアルタイムで要求されるような場合に、出力タイミングの遅れに起因して不都合が発生してしまうという技術的問題点が生ずる。
【０００７】
本発明は、上記問題点に鑑みてなされたものであり、撮像画像中の物体に関する情報の出力タイミングを早めることが可能な物体認識装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明の物体認識装置は、車両に搭載されたステレオカメラで撮像された複数の画像を取得する取得手段と、前記複数の画像から算出される視差に基づいて物標情報を生成する第１生成手段と、前記第１手段と並行して、前記複数の画像の前フレーム及び現フレームに基づいて前記物標情報の少なくとも一部を生成する第２生成手段とを備え、前記第２生成手段は、前記前フレームにおける物標位置及び前記車両の速度から、前記現フレームにおける物標位置を予測する予測手段と、前記予測手段により予測された前記現フレームにおける物標位置の周辺に複数の探索ウインドウ設定する設定手段と、前記複数の探索ウインドウの各々において、前記現フレームにおける物標との予測距離に相当する視差点の分布数を計測する計測手段と、前記計測手段で計測された前記視差点の分布数が所定値以上の前記探索ウインドウが存在するか否かを判定する判定手段と、前記視差点の分布数が所定値以上の前記探索ウインドウが存在する場合に、前記計測手段で計測された前記視差点の分布数が最も多い前記探索ウインドウの位置を、前記現フレームにおける物標位置として推定する推定手段と、前記前フレームにおける物標位置と、前記推定手段で推定された前記現フレームにおける物標位置との差分から、前記物標情報の少なくとも一部を生成する生成手段とを有する。
【０００９】
本発明の物体認識装置では、第１生成手段によって物標情報が生成されるのと並行して、第２生成手段によって物標情報の少なくとも一部が生成される。第２生成手段では特に、前フレームの物標位置から現フレームの物標位置を予測して物標情報を生成している。即ち、第２生成手段は、前フレームに対する処理結果を利用して、効率的に現フレームの物標情報を生成している。よって、第２生成手段は、第１生成手段よりも処理周期が短くなる。この結果、本発明の物体認識装置によれば、物標情報の出力タイミングを早めることができる。
【００１０】
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る物体認識装置の要部を示すブロック図である。
【図２】実施形態に係る物標生成処理の流れを示すフローチャートである。
【図３】実施形態に係る物標検証処理の流れを示すフローチャートである。
【図４】前フレームの物標生成結果を利用した現フレームにおける物標位置予測方法を示す概念図である。
【図５】予測移動量を利用した複数の探索ウィンドウの設定例を示す図である。
【図６】物標検証処理の結果の一例を示す図表（その１）である。
【図７】物標検証処理の結果の一例を示す図表（その２）である。
【図８】物標生成処理及び物標検出処理の結果出力タイミングを示すタイムチャートである。
【発明を実施するための形態】
【００１２】
本発明の物体認識装置に係る実施形態を、図面に基づいて説明する。
【００１３】
（物体認識装置の構成）
先ず、本実施形態に係る物体認識装置の構成について、図１を参照して説明する。図１は、実施形態に係る物体認識装置の要部を示すブロック図である。
【００１４】
図１において、物体認識装置１は、自動車等の車両に搭載されており、該車両周辺に存在する物体を認識する（言い換えれば、検出する）装置として構成されている。物体認識装置１は、後述するように撮像画像の視差を利用して物体認識を行うものであるが、パターンマッチングによる物体認識を併用可能に構成されてもよい。物体認識装置１は、ステレオカメラ１０、及びステレオ画像認識装置２０を備えて構成されている。
【００１５】
ステレオカメラ１０は、レンズ１１ａ及び撮像素子１１ｂを有する左カメラ１１と、レンズ１２ａ及び撮像素子１２ｂを有する右カメラ１２と、カメラＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１３と、画像出力部１４とを備えて構成されている。
【００１６】
撮像素子１１ｂ及び１２ｂは、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等により構成されている。カメラＣＰＵ１３は、左カメラ１１及び右カメラ１２各々の露出等の制御を行う。また、カメラＣＰＵ１３は、出力インターフェースである画像出力部１４を介して、撮像素子１１ｂ及び１２ｂによる撮像画像を画像信号としてステレオ画像認識装置２０に送信する。
【００１７】
ここで、ステレオカメラ１０を構成する左カメラ１１及び右カメラ１２は、物体認識装置１により物体を認識しようとする領域を撮像可能な位置に配置されている。例えば、ステレオカメラ１０は、フロントガラス越しに車両の前方領域（即ち、運転者の視界に相当する領域）を撮像可能な位置に配置される。なお、車両の側方や後方の物体を認識しようとする場合には、それらの領域を撮像可能な位置にステレオカメラ１０を配置すればよい。また、ステレオカメラ１０を複数配置すれば、複数の領域について物体認識を行うこともできる。
【００１８】
ステレオ画像認識装置２０は、画像取得部２１、物標生成部２２、及び物標検証部２３を備えて構成されている。画像取得部２１、物標生成部２２、及び物標検証部２３は、ステレオ画像認識装置２０に備えられたＣＰＵ（図示せず）がＲＯＭ（図示せず）に記憶されたコンピュータプログラムを実行することにより実現される機能である。なお、画像取得部２１、物標生成部２２、及び物標検証部２３、それぞれ「取得手段」、「第１生成手段」、及び「第２生成手段」の一具体例である。
【００１９】
物標検証部２３は、物標位置予測部３１、探索ウィンドウ設定部３２、視差点分布計測部３３、物標存在判定部３４、物標位置推定部３５、及び物標情報生成部３６を備えて構成されている。なお、物標位置予測部３１、探索ウィンドウ設定部３２、視差点分布計測部３３、物標存在判定部３４、物標位置推定部３５、及び物標情報生成部３６は、それぞれ「予測手段」、「設定手段」、「計測手段」、「判定手段」、「推定手段」、「生成手段」の一具体例である。
【００２０】
ステレオ画像認識装置２０は、物標生成部２２において実行される物標生成処理の処理結果、及び物標検証部２３において実行される物標検証処理の処理結果をそれぞれ出力することが可能に構成されている。物標生成処理及び物標検証処理については、以下で詳細に説明する。
【００２１】
（物標生成処理）
物標生成部２２において実行される物標生成処理について、図２を参照して具体的に説明する。図２は、実施形態に係る物標生成処理の流れを示すフローチャートである。なお、図２に示す物標生成処理のルーチンは、車両のイグニッションスイッチがオンの間、所定周期毎に繰り返し実行される。
【００２２】
図２において、物標生成処理が開始されると、先ず撮像画像の取得が行われる（ステップＳ１０１）。具体的には、ステレオカメラ１０の右カメラ１１及び左カメラ１２で撮像された画像が、カメラＣＰＵ１３及び画像出力部１４を介して、画像データとしてステレオ画像認識装置２０の画像取得部２１に入力される。画像取得部２１では、一対の画像データ（即ち、右カメラ１１の画像データ及び左カメラ１２の画像データ）が所定周期毎に取得される。画像取得部２１は、取得した一対の画像データを物標生成部２２に出力する。
【００２３】
物標生成部２２では、一対の画像データから視差が算出される（ステップＳ１０２）。視差は、一対の画像データの相関から、対応する画素又は画素ブロック毎の視差値として算出される。視差値は、一対の画像データ間のずれ量として算出されるものであり、撮像画像中の物体までの距離によって変動する値である。具体的には、物体までの距離が近い場合には、視差値は比較的大きい値として算出される。一方、物体までの距離が遠い場合には、視差値は比較的小さい値として算出される。なお、視差値の算出には、既存のステレオ視差算出手法を用いればよい。以降の処理では、一対の画像データにから得られた、１つの視差画像データ（即ち、視差情報を有する画像データ）が用いられる。
【００２４】
視差が算出されると、物標生成部２２では更に、セグメントの抽出が行われる（ステップＳ１０３）。セグメントは、視差値が所定範囲内となる画素又は画素ブロックの集合であり、画像横方向の一定幅毎に抽出される。なお、ここでの「所定範囲」とは、視差がほぼ同一とみなせる程度に近い状態であるか否かを判定するために予め設定される範囲である。また、「一定幅」は、抽出されるセグメントの幅として予め設定される値であり、具体的には撮像画像の画素数や検出しようとする物体の大きさ等の各種条件に基づいて設定される。
【００２５】
セグメントの抽出には、撮像画像を横方向に一定幅毎に細長く区切った箱（セグメントの抽出単位に相当する仮想的な領域）を用いる。この箱には、当該箱に対応する領域内に存在しており、視差値が所定範囲内且つ画像横位置が近い視差集合（即ち、視差情報を有する画素の集合）が投票されていく。なお、各箱に投票される視差集合は画像の高さ方向に関する位置情報を有しており、投票後も高さ方向に関する位置情報を保持し続ける。投票が終了すると、各箱が縦方向（即ち、高さ方向）に走査され、各箱内で高さ方向に連結している視差集合がセグメントとして抽出される。
【００２６】
上述した投票処理によれば、各箱に対応する画素のうち、視差値が所定範囲内にあり且つ横方向に連結している視差集合が複数（例えば、Ｍ個）抽出され、それら抽出した複数の視差集合のうち縦方向にも連結している複数（例えば、Ｎ個）の視差集合がセグメントとして抽出される。なお、１つの箱からは複数のセグメントが抽出され得る。
【００２７】
続いて物標生成部２２では、画像横方向及び奥行方向（即ち、距離方向）に連結しているセグメントが、撮像画像中の物体に相当する物標として生成される（ステップＳ１０４）。なお、ここでの「奥行方向」とは、算出された視差によって定義される方向である。画像データ自体は、縦方向及び横方向の情報しか持たないもの（即ち、２次元のデータ）であるが、視差を算出することにより、新たに奥行方向の情報も有するものとなる。
【００２８】
最後に、物標生成部２２から生成された物標に関する情報（以下、適宜「物標情報」と称する）が処理結果として出力される（ステップＳ１０５）。物標生成部２２から出力された物標情報は、例えば車両の運転者に提示されたり、車両の走行制御に利用されたりする。また、本実施形態では特に、物標生成部２２から物標情報が物標検証部２３にも出力される。物標検証部２３では、物標生成部２２において生成された物標情報が、物標検証処理に用いられる。
【００２９】
（物標検証処理）
次に、物標検証部２３において実行される物標検証処理について、図３を参照して具体的に説明する。図３は、実施形態に係る物標検証処理の流れを示すフローチャートである。なお、図３に示す物標検証処理のルーチンは、車両のイグニッションスイッチがオンの間、所定周期毎に繰り返し実行される。また、本実施形態に係る物標検証処理は特に、既に説明した物標生成処理と並行して実行される。
【００３０】
図３において、物標検証部２３による物標検証処理では、先ず上述した物標生成処理の出力結果が、前フレームの物標情報として取得される（ステップＳ２０１）。なお、ここでの「フレーム」とは、撮像画像を撮像タイミング別に時系列で扱うための概念であり、物標検証部２３で処理しようとしている画像を「現フレーム」とすると、この現フレームの直前の撮像タイミングで撮像された画像が「前フレーム」となる。
【００３１】
続いて、物標検証部２３では、現フレームの画像が取得される（ステップＳ２０２）。現フレームの画像は、物標生成処理の場合と同様に（図２のＳ１０１を参照）、ステレオカメラ１０から画像取得部２１を介して取得される。なお、ステップＳ２０１の処理と、ステップＳ２０２の処理とは相前後して実行されてもよい。即ち、現フレームの画像が取得された後に、前フレームの物標情報が取得されてもよい。
【００３２】
前フレームの物標情報及び現フレームの画像が取得されると、物標検証部２３の物標位置予測部３１において、現フレームにおける物標の位置が予測される（ステップＳ２０３）。物標位置予測部３１は、前フレームで生成された物標の速度（自車両に対する相対速度）と、前フレームにおける物標の位置から、現フレームにおける物標の位置を予測する。より具体的には、前フレームの物標生成処理によって前フレームにおける物標の位置及び物標の速度が判明していれば、ステレオカメラ１０の撮像周期から１フレーム間での物標の移動量（以下、適宜「予測移動量Ｌ」と称する）を予測して、現フレームにおける物標の位置を予測することができる。
【００３３】
以下では、図４を参照して、現フレームにおける物標の位置予測について具体的に説明する。図４は、前フレームの物標生成結果を利用した現フレームにおける物標位置予測方法を示す概念図である。なお、図４では、前フレームにおいて物標が検出された領域を前フレーム物標検出領域Ａ０として示し、現フレームにおける物標の位置として予測される領域を現フレーム物標予測領域Ａ１として示している。
【００３４】
図４に示すように、前フレームの物標生成処理の結果、画像の右下に歩行者５００が物標として検出され、画像左方向に８ｋｍ／ｈで移動しているという情報が取得されているとする。この場合、ステレオカメラ１０の撮像周期が１００ｍｓｅｃであるとすると、物標である歩行者５００の予測移動量Ｌは、画像左方向に０．２２ｍとなる。よって、現フレームにおける物標の位置は、前フレームの物標の位置から画像左方向に０．２２ｍずれた位置であると予測できる。ちなみに、予測移動量Ｌは、前フレーム物標検出領域Ａ０の中心と、現フレーム物標予測領域Ａ１の中心と間の距離に対応している。
【００３５】
図３に戻り、現フレームにおける物標の位置が予測されると、物標検証部２３の探索ウィンドウ設定部３２において、現フレームにおける物標を探索するための探索ウィンドウが設定される（ステップＳ２０４）。探索ウィンドウは、現フレームにおける物標の予測位置（言い換えれば、予測移動量Ｌ）に基づいて、複数設定される。
【００３６】
以下では、図５を参照して、探索ウィンドウの設定について具体的に説明する。図５は、予測移動量Ｌを利用した複数の探索ウィンドウの設定例を示す図である。
【００３７】
図５において、探索ウィンドウＢは予測移動量Ｌに所定の係数を乗ずることで設定される。なお、「所定の係数」は、現フレームにおける物標の予測位置と、実際の位置とのずれを調整するために予め設定される複数の値である。例えば、所定の係数が、「１．００」、「０．７５」、「０．５０」、「０．２５」の４つの値として設定されている場合には、図に示すように各係数に応じた４つの探索ウィンドウＢ１〜Ｂ４が設定される。
【００３８】
具体的には、探索ウィンドウＢ１〜Ｂ４は、予測移動量Ｌに各係数を乗じた値だけ、前フレームの物標の位置からずれた位置に設定される。例えば図４で説明した例（即ち、歩行者５００が画像左方向に８ｋｍ／ｈで移動している場合）では、係数「１．００」に対応する探索ウィンドウＢ１は、前フレーム物標検出領域Ａ０から画像左方向に０．２２（＝０．２２×１．００）ｍずれた位置に設定される（図５ａ参照）。なお、探索ウィンドウＢ１は、図４の現フレーム物標予測領域Ａ１と重複する領域である。その他、係数「０．７５」に対応する探索ウィンドウＢ２は、前フレーム物標検出領域Ａ０から画像左方向に０．１６５（＝０．２２×０．７５）ｍずれた位置に設定される（図５ｂ参照）。係数「０．５０」に対応する探索ウィンドウＢ３は、前フレーム物標検出領域Ａ０から画像左方向に０．１１（＝０．２２×０．５０）ｍずれた位置に設定される（図５ｃ参照）。係数「０．２５」に対応する探索ウィンドウＢ４は、前フレーム物標検出領域Ａ０から画像左方向に０．０５５（＝０．２２×０．２５）ｍずれた位置に設定される（図５ｄ参照）。
【００３９】
なお、ここでは探索ウィンドウＢが４つ設定される場合について説明したが、探索ウィンドウＢの数は特に限定されるものではない。探索ウィンドウＢを多めに設定すれば、物標の実際の位置が予測位置に対して大きくずれている場合にも対応可能となる。一方で、探索ウィンドウＢを少なめに設定すれば、後述する探索ウィンドウを用いた処理の負荷を軽減させることができる。
【００４０】
再び図３に戻り、探索ウィンドウＢが設定されると、物標検証部２３の視差点分布計測部３３において、探索ウィンドウＢ１〜Ｂ４の各々における視差点（即ち、視差算出結果として得られる点）の分布が計測される（ステップＳ２０５）。視差点分布計測部３３は、前フレームの物標生成処理により取得された物標の距離に対応する視差点を計測する。なお、物標の移動により物標との距離が変動すると考えられる場合には、変動後の距離を予測して、予測した距離に対応する視差点を計測すればよい。このようにすれば、現フレームにおける物標を示す視差点を好適に計測することができる。
【００４１】
探索ウィンドウＢ１〜Ｂ４の各々における視差点の分布が計測されると、物標検証部２３の物標存在判定部３４において、計測された視差点数が所定値より多くなった探索ウィンドウＢが存在するか否かが判定される（ステップＳ２０６）。なお、ここでの「所定値」は、物標が探索ウィンドウＢ内に存在する（或いは、物標の一部が探索ウィンドウと重なっている）可能性が高いことを判定するための閾値である。所定値は、例えば物標を構成する視差点の総数に対して係数を乗じた値（例えば、前フレームでの総視差点数×０．５）として設定することができる。
【００４２】
物標存在判定部３４によれば、所定値を利用して探索ウィンドウB内の物標の存否を好適に判定することができる。計測された視差点数が所定値より多くなった探索ウィンドウＢが存在すると判定された場合には（ステップＳ２０６：ＹＥＳ）、探索ウィンドウＢ内に物標が存在していると判断され、ステップＳ２０７以降の処理が実行される。一方で、計測された視差点数が所定値より多くなった探索ウィンドウＢが存在しないと判定された場合には（ステップＳ２０６：ＮＯ）、いずれの探索ウィンドウＢ内にも物標が存在していないと判断され、物標ロストとして結果が出力される（ステップＳ２１０）。この場合、後述する物標情報の早出しは行われない。
【００４３】
探索ウィンドウＢ内に物標が存在していると判断されると、物標検証部２３の物標位置推定部３５において、現フレームにおける物標の位置が推定される（ステップＳ２０７）。物標位置推定部３５は、探索ウィンドウＢ１〜Ｂ４のうち、計測された視差点数が最も多いものに対応する位置を、現フレームにおける物標の位置として推定する。なお、計測された視差点数が同数或いは極めて近い複数の探索ウインドウＢが存在する場合には、それらの中間点等を物標の位置として推定してもよい。
【００４４】
以下では、図６及び図７を参照して、視差点数の計測及び物標の位置推定について具体的に説明する。図６は物標検証処理の結果の一例を示す図表（その１）である。また図７は、物標検証処理の結果の一例を示す図表（その２）である。なお、図６及び図７は、図４及び図５で説明した例のように、歩行者５００が物標として検出されている場合を想定したものである。
【００４５】
図６に示す例では、探索ウィンドウＢ１において１０個の視差点数が計測されており、探索ウィンドウＢ２において２０個の視差点数が計測されている。また、探索ウィンドウＢ３において１５個の視差点数が計測されており、探索ウィンドウＢ４において９個の視差点数が計測されている。なお、探索ウィンドウＢの枠と重なる視差点については、探索ウィンドウＢ内の視差点として計測していない。
【００４６】
上記探索ウィンドウＢ１〜Ｂ４のうち、最も多くの視差点が計測されたのは探索ウィンドウＢ２（視差点数２０）である。よって、ここでは探索ウィンドウＢ２が、現フレームにおける物標の位置として採用されている。
【００４７】
図７に示す例では、探索ウィンドウＢ１において２個の視差点数が計測されており、探索ウィンドウＢ２において５個の視差点数が計測されている。また、探索ウィンドウＢ３において３個の視差点数が計測されており、探索ウィンドウＢ４において３個の視差点数が計測されている。
【００４８】
上記探索ウィンドウＢ１〜Ｂ４のうち、最も多くの視差点が計測されたのは探索ウィンドウＢ２（視差点数５）である。しかしながら、探索ウィンドウＢ２で計測された視差点数は、所定の閾値（ここでは、前フレームでの総視差点数×０．５）に達していない。このため、探索ウィンドウＢ１〜Ｂ４のいずれも現フレームにおける物標の位置として採用されず、物標ロストが処理結果として出力される。
【００４９】
なお、本実施形態では、計測された視差点数に応じて、採用（即ち、現フレームの物標位置として推定）、及び非採用（即ち、物標ロスト）の２択判定を行っているが、（前フレームでの総視差点数）／（視差点数が最大となった探索ウィンドウＢの視差点数）として算出される信頼度を付与して、物標の位置情報を出力するようにしてもよい。
【００５０】
再び図３に戻り、現フレームにおける物標の位置が推定されると、物標検証部２３の物標情報生成部３６において、現フレームにおける物標情報が生成される（ステップＳ２０８）。物標情報生成部３６で生成される物標情報は、物標位置推定部３５で推定された現フレームにおける物標の位置の他、現フレームにおける物標の速度を含んでいる。現フレームにおける物標の速度は、前フレームにおける物標の位置と現フレームにおける物標の位置との差分、及びステレオカメラ１０の撮像周期から算出することができる。
【００５１】
物標情報生成部３６で生成された物標情報は、物標検証処理の結果として出力される（ステップＳ２０９）。以上で、物標検証処理に係る一連の処理は終了する。
【００５２】
（発明の効果）
本実施形態に係る物体認識装置１によれば、上述した物標生成処理及び物標検証処理を並行して行うことにより、物標情報の一部を早出しすることが可能である。以下では、図８を参照して、物標情報の出力タイミングについて具体的に説明する。図８は、物標生成処理及び物標検出処理の結果出力タイミングを示すタイムチャートである。
【００５３】
図８に示すように、物標生成処理及び物標検証処理は、撮像周期（ここでは１００ｍｓｅｃ）毎に繰り返し実行される。物標生成処理は、図２等で説明したように、セグメントの抽出処理等の比較的負荷の大きい処理を含んでいる。このため、物標生成処理の結果が出力されるタイミングは、撮像タイミングから１００〜１３０ｍｓｅｃ遅れる。これに対し、物標検証処理は、図３等で説明したように、前フレームの物標生成処理の結果を利用して効率的に物標情報を生成している。よって、物標検証処理の結果が出力されるタイミングは、撮像タイミングから５０〜８０ｍｓｅｃ遅れるにとどまっている。この結果、物標検証処理を並行して行えば、物標生成処理のみを行う場合と比較して物標情報を５０ｍｓｅｃ早出しできることになる。
【００５４】
なお、物標検証処理の結果として出力される物標情報は、物標生成処理の結果として出力される物標情報と比べると情報量が限られている。しかしながら、少ない物標情報であっても、早いタイミングで出力することで有益な効果は得られる。また、不足している物標情報についても、物標生成処理によって補完されるため、最終的に情報が欠如することもない。このように、本実施形態に係る物体認識装置１によれば、物標情報の一部の出力タイミングを早め、効率的に物標情報を出力することができる。
【００５５】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う物体認識装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００５６】
１  物体認識装置
１０  ステレオカメラ
１１  左カメラ
１２  右カメラ
１１ａ，１２ａ  レンズ
１１ｂ，１２ｂ  撮像素子
１３  カメラＣＰＵ
１４  画像出力部
２０  ステレオ画像認識装置
２１  画像取得部
２２  物標生成部
２３  物標検証部
３１  物標位置予測部
３２  探索ウィンドウ設定部
３３  視差点分布計測部
３４  物標存在判定部
３５  物標位置推定部
３６  物標情報生成部
５００  歩行者
Ａ０  前フレーム物標検出領域
Ａ１  現フレーム物標予測領域
Ｂ  探索ウィンドウ
Ｌ  予測移動量
【図１】
2017072914.tif 000003
【図２】
2017072914.tif 000004
【図３】
2017072914.tif 000005
【図４】
2017072914.tif 000006
【図５】
2017072914.tif 000007
【図６】
2017072914.tif 000008
【図７】
2017072914.tif 000009
【図８】
2017072914.tif 000010