(57)【要約】  物体の少なくとも横方向距離及び奥行方向距離を関連付けた、前記物体の２次元分布情報を生成する生成部と、２次元分布情報において奥行方向に連続性のある連続領域を検出する検出部と、連続領域が検出対象物を示しているか否かを判定する判定部と、を有する。これにより、連続する立体物を容易に検出可能な画像処理装置を提供できる。
2017115732.tif 000002
【特許請求の範囲】
【請求項１】
物体の少なくとも横方向距離及び奥行方向距離を関連付けた、前記物体の２次元分布情報を生成する生成部と、
前記２次元分布情報において奥行方向に連続性のある連続領域を検出する検出部と、
前記連続領域が検出対象物を示しているか否かを判定する判定部と
を有する画像処理装置。
【請求項２】
前記２次元分布情報の前記奥行方向に連続する複数の情報にラベルを付すラベリング部と、
同じ前記ラベルが付された情報のうち、所定の閾値以上奥行方向に連続する情報を選別する選別部と、
選別された前記情報のうち、横方向の範囲又は奥行方向の範囲が所定の範囲である複数の情報のラベルを、同じラベルに統合する統合部と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記統合部は、前記選別部により選別され互いに異なるラベルが付された情報が奥行方向について所定の範囲である場合、当該互いに異なるラベルが付された情報の間の情報に同じラベルを付して統合すること
を特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記生成部は、
前記検出対象物を検出するための低解像度の２次元分布情報、及び、前記検出対象物とは異なる物体を検出するための高解像度の２次元分布情報を生成し、
前記検出部は、前記低解像度の２次元分布情報に基づいて前記連続領域を検出すること
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の画像処理装置。
【請求項５】
前記生成部は、
水平方向の実距離及び視差それぞれに基づく値を座標軸とする直交座標系に前記２次元分布情報を生成し、
前記検出部は、
前記２次元分布情報の視差に基づく値の軸方向に優先度を持った連続領域を検出し、
前記判定部は、
前記２次元分布情報の視差に基づく値の軸方向の前記連続領域の長さに基づいて、前記連続領域が前記検出対象物を示しているか否かを判定すること
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の画像処理装置。
【請求項６】
前記検出部は、
前記２次元分布情報の視差に基づく値の軸方向に前記画素が連続する領域を前記連続領域として検出し、
前記判定部は、
前記連続領域の連続する画素数が予め定められた基準以上である場合に、前記連続領域が前記検出対象物を示していると判定すること
を特徴とする請求項１から請求項５のうち、いずれか一項に記載の画像処理装置。
【請求項７】
前記検出部は、
前記２次元分布情報の視差に基づく値の軸方向に複数の前記画素が予め定められた許容画素数以下の間隔で離れている場合、当該複数の前記画素は連続しているとみなすこと
を特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記判定部は、
前記２次元分布情報の視差に基づく値の軸方向の位置に応じて、前記基準を異ならせること
を特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記２次元分布情報に基づいて物体を検出する物体検出部と、
前記検出対象物を示していると前記判定部が判定した前記連続領域に基づいて、前記２次元分布情報の物体の検出を行う物体検出対象領域を決定する領域決定部と、
をさらに有し、
前記物体検出部は、
前記領域決定部が決定した物体検出対象領域内の物体を検出すること
を特徴とする請求項１から請求項８のうち、いずれか一項に記載の画像処理装置。
【請求項１０】
前記領域決定部は、
前記検出対象物として前記判定部が判定した前記連続領域が囲む領域内を物体検出対象領域として決定すること
を特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記生成部は、
前記検出部が前記連続領域を検出する場合、前記物体検出部が物体を検出する場合よりも解像度が低くなるように前記２次元分布情報を生成すること
を特徴とする請求項９又は請求項１０に記載の画像処理装置。
【請求項１２】
ステレオカメラと、
請求項１〜請求項１１のうち、いずれか一項に記載の画像処理装置と、
を有する物体認識装置。
【請求項１３】
請求項１〜請求項１１のうち、いずれか一項に記載の画像処理装置により、前記検出対象物を示していると判定された前記連続領域に基づいて機器を制御する制御部
を有する機器制御システム。
【請求項１４】
物体の少なくとも横方向距離及び奥行方向距離を関連付けた、前記物体の２次元分布情報を生成する工程と、
前記２次元分布情報において前記奥行方向に連続性のある連続領域を検出する工程と、
前記連続領域が検出対象物を示しているか否かを判定する工程と、
を含む画像処理方法。
【請求項１５】
物体の少なくとも横方向距離及び奥行方向距離を関連付けた、前記物体の２次元分布情報を生成するステップと、
前記２次元分布情報において前記奥行方向に連続性のある連続領域を検出するステップと、
前記連続領域が検出対象物を示しているか否かを判定するステップと、
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかという観点から、自動車のボディー構造などの開発が行われてきた。しかし、近年は、情報処理技術や画像処理技術の発達により、視差を用いて高速に人及び自動車等の物体を検出（認識）して衝突を回避する物体認識技術が開発されつつある。【０００３】
また、特許文献１（特開平６−２６６８２８号公報）には、車外の設定範囲の対象に対する位置情報に基づいて、ガードレール、植え込み、パイロン列等の道路の境界となる連続した立体物としての側壁の有無と、この側壁の位置を近似する直線式と、この側壁が存在する範囲とを検出する車輌用車外監視装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来は、道路の側壁、ガードレール、植え込みなどの立体物が存在する範囲を検出するための演算量が多くなる問題があった。【０００５】
本発明は、上記に鑑みてなされたものであって、連続する立体物を容易に検出することができる画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、物体の少なくとも横方向距離及び奥行方向距離を関連付けた、物体の２次元分布情報を生成する生成部と、２次元分布情報において奥行方向に連続性のある連続領域を検出する検出部と、連続領域が検出対象物を示しているか否かを判定する判定部とを有する。
【発明の効果】
【０００７】
本発明によれば、連続する立体物を容易に検出することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の第１の実施の形態にかかる機器制御システムである車両に設けられたステレオカメラの位置を示す図である。
【図２】図２は、車両が有するステレオカメラ及びその周辺の構成を示す図である。
【図３】図３は、ステレオカメラを備えた物体認識装置の構成例を示す図である。
【図４】図４は、物体認識プログラムを実行することで実現される各機能の機能ブロック図である。
【図５】図５は、物体認識プログラムを実行することで実現される各機能の詳細な機能ブロック図である。
【図６】図６は、Ｕマップ生成部で生成されるＵマップを撮影画像と共に示す図である。
【図７】図７は、リアルＵマップ生成部で生成されるリアルＵマップを撮影画像と共に示す図である。
【図８】図８は、検出部、判定部及び領域決定部に相当する壁検出部の処理の概要を示すフローチャートである。
【図９】図９は、壁検出部が行う処理を例示するフローチャートである。
【図１０】図１０は、壁検出部が行うラベリングの具体例を示す図である。
【図１１】図１１は、判定部が行う処理を例示するフローチャートである。
【図１２】図１２は、判定部が検出した壁を示す図である。
【図１３】図１３は、壁検出部が行うラベリングが、判定部による壁検出に有効である例を示す図である。
【図１４】図１４は、判定部の動作を示す図である。
【図１５】図１５は、判定部の動作の変形例を示す図である。
【図１６】図１６は、壁検出部が図１５に示した判定動作を行う場合の処理の流れを示すフローチャートである。
【図１７】図１７は、領域決定部が行う処理を例示するフローチャートである。
【図１８】図１８は、領域決定部が図１７に示した処理を行った結果を例示する図である。
【図１９】図１９は、第２の実施の形態の機器制御システムにおける物体検出処理部の動作の流れを示すフローチャートである。
【図２０】図２０は、一連の壁が複数の壁候補に分割されて検出される様子を示す図である。
【図２１】図２１は、候補基準ルーラに基づいて検出された各壁候補を示す図である。
【図２２】図２２は、各壁候補の統合処理を説明するための図である。
【図２３】図２３は、壁検出部による、各壁候補の統合処理の流れを示すフローチャートである。
【図２４】図２４は、統合処理結果となるラベリング処理後のスモールＵマップを示す図である。
【図２５】図２５は、壁検出部６１８が、統合処理結果となるスモールＵマップに基づいて行う壁の選別処理を説明するための図である。
【図２６】図２６は、各壁検出候補が一連の壁として検出される様子を示す図である。
【図２７】図２７は、壁検出結果に基づいて、壁の領域と、他の物体の検出領域とを区分し、物体検出を行う様子を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施の形態）
以下に添付図面を参照して、実施形態にかかる機器制御システムについて説明する。図１は、本発明の第１の実施の形態にかかる機器制御システムの例である車両１に搭載されたステレオカメラ２の位置を示す図である。例えば、車両１は、進行方向前側の所定の撮像範囲を撮像するステレオカメラ２が前部に設けられた自動車である。ステレオカメラ２は、図３を用いて後述するように２つの画像センサ２２を備え、左目視界と右目視界の２つの画像を撮像する撮像部である。
【００１０】
図２は、車両１が有するステレオカメラ２及びその周辺の構成例を示す図である。ステレオカメラ２は、例えば撮像した２つの画像を車両ＥＣＵ（Engine  Control  Unit）３に対して出力する。車両ＥＣＵ３は、車両１に設置され、車両１のエンジン及び車両１のその他の電気的な制御及び処理を総合的に行う。
【００１１】
図３は、ステレオカメラ２を備えた物体認識装置４の構成例を示す図である。物体認識装置４は、例えばステレオカメラ２及び画像処理装置３０を有する。ステレオカメラ２は、左目用となるカメラ部２ａと、右目用となるカメラ部２ｂが平行（水平）に組みつけられ、撮像対象領域の動画（又は静止画）を撮影する。
【００１２】
カメラ部２ａ、２ｂは、それぞれレンズ２１、画像センサ２２、及びセンサコントローラ２３を備えている。画像センサ２２は、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサ又はＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）イメージセンサである。センサコントローラ２３は、例えば画像センサ２２の露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う。
【００１３】
画像処理装置３０は、例えば図２に示した車両ＥＣＵ３内に設けられる。画像処理装置３０は、例えばデータバスライン３００、シリアルバスライン３０２、ＣＰＵ（Central  Processing  Unit）３０４、ＦＰＧＡ（Field-Programmable  Gate  Array）３０６、ＲＯＭ（Read  Only  Memory）３０８、ＲＡＭ（Random  Access  Memory）３１０、シリアルＩＦ（Interface）３１２、及びデータＩＦ（Interface）３１４を有する。
【００１４】
上述したステレオカメラ２は、データバスライン３００及びシリアルバスライン３０２を介して画像処理装置３０と接続されている。ＣＰＵ３０４は、画像処理装置３０全体の動作を制御し、画像処理及び画像認識処理を実行する。カメラ部２ａ、２ｂそれぞれの画像センサ２２が撮像した撮像画像の輝度画像データは、データバスライン３００を介して画像処理装置３０のＲＡＭ３１０に書き込まれる。ＣＰＵ３０４又はＦＰＧＡ３０６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、及び各種設定データ等は、シリアルバスライン３０２を介して送受信される。
【００１５】
ＦＰＧＡ３０６は、ＲＡＭ３１０に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ３１０に再度書き込む。ＣＰＵ３０４は、ステレオカメラ２の各センサコントローラ２３の制御、及び画像処理装置３０の全体的な制御を行う。また、ＲＯＭ３０８には、状況認識、予測、及び物体認識等を実行するための物体認識プログラムが記憶されている。
【００１６】
物体認識プログラムは、画像処理プログラムの一例である。ＣＰＵ３０４は、データＩＦ３１４を介して、例えば自車両のＣＡＮ（Controller  Area  Network）情報をパラメータ（車速、加速度、舵角、ヨーレート等）として取得する。そして、ＣＰＵ３０４は、ＲＯＭ３０８に記憶されている物体（立体物体）認識プログラムに従って、ＲＡＭ３１０に記憶されている輝度画像データ及び視差画像データを用いて、状況認識等の各種処理を実行し、例えば先行車両等の検出対象の検出（認識）を行う。また、画像データの棄却処理もＣＰＵ３０４が実施する。
【００１７】
検出対象（認識対象）の検出データ（認識データ）は、シリアルＩＦ３１２を介して、例えば車両ＥＣＵ３内に制御機能を設けられた自動ブレーキシステム、又は自動速度制御システム等に対して出力される。自動ブレーキシステムは、認識対象の認識データを用いて車両１のブレーキ制御を行う。また、自動速度制御システムは、認識対象の認識データを用いて車両１の速度制御を行う。
【００１８】
次に、車両１がステレオカメラ２を用いて実行する機器制御について説明する。図４は、ＣＰＵ３０４が物体認識プログラムを実行することで実現される各機能の機能ブロック図である。図５は、図４に示した各機能をさらに詳細に示す機能ブロック図である。
【００１９】
まず、図４において、車両１は、画像による機器制御を実行するために、撮像部（ステレオカメラ）２、物体検出処理部５及び制御部３２を有する。制御部３２は、例えば車両ＥＣＵ３内に設けられ、物体検出処理部５の処理結果に応じて、車両１に設けられたエンジン又はブレーキ等を制御する。
【００２０】
物体検出処理部５は、ＣＰＵ３０４が物体認識プログラムを実行することで実現される機能に相当する。物体検出処理部５は、生成部５０、検出部５２、判定部５４、領域決定部５６及び物体検出部５８を有する。なお、物体検出処理部５は、道路の側壁、ガードレール及び植え込み等の連続する立体物を検出する。また、物体検出処理部５は、例えば自動車又は人等の連続しない立体物を検出する。また、物体検出処理部５は、ソフトウェアによって構成されることに限定されることなく、それぞれ一部又は全部がハードウェアによって構成されてもよい。
【００２１】
図４において、撮像部（ステレオカメラ）２は、それぞれ画像センサ２２を用いて画像を撮像する。撮像された各画像は、一方が基準画像となり、他方が比較画像となる（時系列ステレオ画像）。比較画像は、基準画像とは異なる撮像位置から撮像される。
【００２２】
生成部５０は、ステレオカメラ２により撮像された時系列ステレオ画像から算出された視差値の出現頻度を示す画素を、水平方向の実距離及び視差それぞれに基づく値を座標軸とする直交座標系に示したマップを生成する。
【００２３】
検出部５２は、生成部５０が生成したマップの視差に基づく値の軸方向に優先度を持った画素連続領域を検出する。より具体的には、検出部５２は、生成部５０が生成したマップの視差に基づく値の軸方向に画素が連続する領域を画素連続領域として検出する。言い換えると、検出部５２は、後述するラベリング処理を行うことにより、奥行方向に連続性のある画素連続領域を検出する。
【００２４】
判定部５４は、生成部５０が生成したマップの視差に基づく値の軸方向の画素連続領域の長さに基づいて、連続する立体物を画素連続領域が示しているか否かを判定する。より具体的には、判定部５４は、画素連続領域の連続する画素数が予め定められた基準以上である場合に、ステレオカメラが撮像した連続する立体物を画素連続領域が示していると判定する。つまり、検出部５２が検出した画素連続領域が連続する立体物を示していると判定部５４が判定した場合、連続する立体物が検出されたこととなる。
【００２５】
領域決定部５６は、連続する立体物を示していると判定部５４が判定した画素連続領域に基づいて、時系列ステレオ画像内の物体（連続しない立体物）を検出すべき物体検出対象領域を決定する。
【００２６】
物体検出部５８は、生成部５０が生成したマップに基づいて時系列ステレオ画像内の物体（連続しない立体物）を検出する。具体的には、物体検出部５８は、領域決定部５６が決定した物体検出対象領域内の物体（連続しない立体物）を検出する。
【００２７】
次に、図５を用いて、このような物体検出処理部５の各機能を詳細に説明する。物体検出処理部５は、詳細には、図５に示すように平行化画像生成部６００、視差画像生成部６０２、トラッキング部６０４、視差補間部６０６、Ｖマップ生成部６０８、路面形状検出部６１０、路面高さテーブル算出部６１２、Ｕマップ生成部６１４及びリアルＵマップ生成部６１６を有している。また、物体検出処理部５は、壁検出部６１８、孤立領域検出部６２０、対応領域検出部６２２、オブジェクト領域検出部６２４、分類部６２６、３次元位置決定部６２８、オブジェクトマッチング部６３０及び選択部６３４を有している。
【００２８】
このうち、平行化画像生成部６００、視差画像生成部６０２、トラッキング部６０４、視差補間部６０６、Ｖマップ生成部６０８、路面形状検出部６１０、路面高さテーブル算出部６１２、Ｕマップ生成部６１４及びリアルＵマップ生成部６１６は、生成部５０に相当する。また、壁検出部６１８は、検出部５２、判定部５４及び領域決定部５６に相当する。また、孤立領域検出部６２０、対応領域検出部６２２、オブジェクト領域検出部６２４、分類部６２６及び３次元位置決定部６２８は、物体検出部５８に相当する。
【００２９】
図５において、ステレオカメラ２は、輝度画像データを出力する。平行化画像生成部６００は、平行化画像生成処理を実行する。視差画像生成部６０２は、視差画像データ（視差画像情報）を生成する視差画像生成処理を行う。
【００３０】
視差補間部６０６は、視差画像補間処理を行う。Ｖマップ生成部６０８は、投票領域制限された各画素値に基づいて、Ｖマップを生成する。路面形状検出部６１０及び路面高さテーブル算出部６１２は、視差画像に対応するＶマップの生成が完了するよりも前に、路面の高さを算出しておく。
【００３１】
Ｕマップ生成部６１４は、各画素値と、路面高さテーブル算出部６１２により算出された路面の高さに基づいて、視差画像の水平方向の視差値の頻度分布を示すＵマップを生成する。リアルＵマップ生成部６１６は、Ｕマップ生成部６１４で生成されたＵマップに基づいて、壁等の連続する物体を検出するための、解像度の低いＵマップであるスモールＵマップを生成する。また、リアルＵマップ生成部６１６は、人又は自動車等の、連続しない物体を検出するための、解像度の高いＵマップであるリアルＵマップを生成する。すなわち、リアルＵマップ生成部６１６は、低解像度及び高解像度の、２種類のＵマップを生成する。
【００３２】
壁検出部６１８は、スモールＵマップ上で奥行方向に所定の閾値以上の視差値を有する画素が連続している部分を検出する。また、奥行方向の隙間が所定の画素数以下であれば、隙間を介して近接している壁候補同士を連結することで、一連の壁として検出され易くする。そして、連続している部分が所定の閾値以上の長さの場合、壁として検出する。
【００３３】
低解像度のＵマップであるスモールＵマップを用いることで、視差分散の影響を抑え、奥行方向に連続している物体の検出を可能とすることができる。また、解像度を落とすことで、高速処理を可能とすることができる。また、低解像度のスモールＵマップを用いることで、ラベリングのような少ない演算量の手法で、奥行方向に長い物体を検出可能とすることができる。
【００３４】
つまり、壁検出部６１８では、低解像度のＵマップを用いることにより、視差分散の影響を抑えて、画像処理のラベリングによる検出が可能となる。また、画像サイズが小さくなるので検出が高速になる。壁が検出された場合、壁とその外側のエリア（壁外領域）を決定し、後段の孤立領域検出部６２０では壁外領域を処理しないこととする。
【００３５】
孤立領域検出部６２０は、リアルＵマップ生成部６１６で生成されたリアルＵマップの情報の平滑化を行い、孤立領域の情報を出力する。視差画像の対応領域検出部６２２では、孤立領域検出部６２０から出力される孤立領域の情報に基づき、視差画像で検出すべき範囲を決定する。
【００３６】
オブジェクト領域検出部６２４は、視差画像の探索領域でオブジェクトラインを探索して、オブジェクトラインの最下端、最上端を決定し、視差画像におけるオブジェクトの領域を決定する。オブジェクトタイプの分類部６２６は、計算されたオブジェクト領域に対応するオブジェクトの高さ、幅、奥行の情報から、そのオブジェクトタイプの分類を行う。
【００３７】
３次元位置決定部６２８は、検出されたオブジェクト領域に対応するオブジェクトまでの距離、及び、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離に基づいて、オブジェクトの３次元位置を決定する。オブジェクトマッチング部６３０では、１フレームの撮像画像から検出された各オブジェクト領域について、オブジェクトデータリスト６３２内の、安定化フラグＳの値が０（Ｓ＝０）であって追跡対象となっていないデータリストと比較マッチングを実行する。
【００３８】
過去の画像検出処理で検出されたオブジェクトデータは、オブジェクトデータリスト６３２に保存される。オブジェクトデータリスト６３２は、検出されたオブジェクトデータの最新情報（最新の位置、大きさ、距離、相対速度、視差情報）に加え、オブジェクト予測データ（次の撮像フレームにおいて当該オブジェクトがどの位置にいるかを推測する情報）、オブジェクトトラッキング部６０４又はオブジェクトマッチング部６３０で利用するオブジェクト特徴量、当該オブジェクトが検出されたフレーム数又は連続して検出されなかったフレーム数を示す検出／未検出フレーム数、当該オブジェクトが追跡すべき対象かどうかを示す要追跡確度（安定化フラグ：Ｓ）などを含む。
【００３９】
次に、図４及び図５を用いて示した各機能の処理について、より具体的に説明する。図６は、Ｕマップ生成部６１４で生成するＵマップを撮影画像と共に示す図である。Ｕマップは、横軸に視差画像のｘ、縦軸に視差画像の視差ｄをとり、Ｚ軸に頻度を（濃度又は色で）表した二次元ヒストグラムである。なお、説明の都合上、「マップ」という語句を用いているが、実際に地図又は画像状の情報が形成される訳ではなく、例えば横方向位置と奥行方向位置等が対応付けられた、物体の２次元分布を示す情報群が形成されるものと理解されたい。Ｖマップも同様である。
【００４０】
Ｕマップ生成部６１４は、路面からの高さが所定の高さの範囲（例えば２０ｃｍから３ｍ）にある視差画像の点（ｘ、ｙ、ｄ）を（ｘ、ｄ）の値に基づいて投票する。そして、視差画像の点（ｘ、ｙ、ｄ）を、例えば画像の地面側５／６の領域等、所定の範囲の画素の投票を行い、Ｕマップを作成する。これは、視差画像の上部１／６は、ほとんどの場合、空を写した画像となり、認識すべきオブジェクトが写っていないことが多いためである。
【００４１】
図６（ａ）に示した輝度画像では、左側に壁があり、車が車道に１台あるので、そのＵマップは図６（ｂ）のようになる。図６（ｂ）では、壁は、左から中央上部に伸びる直線上の領域になる。
【００４２】
図７は、リアルＵマップ生成部６１６で生成されるリアルＵマップを撮影画像と共に示す図である。リアルＵマップは、上述したＵマップの横軸を画像の画素単位から、実際の距離（例えば撮影画像の縦方向に延びる直線からの距離）の単位に変換したものである。すなわち、リアルＵマップの横軸は、撮影画像の横方向の距離である。また、リアルＵマップの縦軸は、後述の間引きを行った視差である。視差は奥行方向の距離に相当するため、リアルＵマップは、横方向距離及び奥行方向距離それぞれに対応する値に視差出現頻度を関連付けたマップとなっている。
【００４３】
このリアルＵマップとしては、縦軸と横軸が横方向距離及び奥行方向距離それぞれに対応する値であればよい。例えば、縦軸の視差の代わりに奥行方向の距離を用いてもよく、横軸の横方向距離の代わりに横方向距離を所定の倍率で圧縮した値等を用いてもよい。また、ここでは便宜上、縦軸と横軸を用いて説明しているが、相互に値として関連付けられていればよいのであって、軸上に表現されているか否かは問わない。
【００４４】
また、リアルＵマップは、縦軸もＵマップの視差から距離に応じた間引き率を用いる間引き視差という単位を利用している。遠方では物体が小さく、視差情報が少ないために距離の分解能も小さいので間引きはしない。一方、近距離の場合、物体が大きく写り、また、視差情報が多く距離の分解能も大きいため、縦軸を大きく間引くことが可能になる。
【００４５】
図７（ｂ）に示したリアルＵマップでは、壁は上方に延びる（垂直の）線状の領域で表され、自動車は背面の形状が表されている。リアルＵマップ生成部６１６は、連続する立体物を検出するために、低解像度のリアルＵマップ（スモールＵマップ）を生成する。また、リアルＵマップ生成部６１６は、連続しない立体物を検出するために、高解像度のリアルＵマップも合わせて生成する。すなわち、リアルＵマップ生成部６１６は、低解像度及び高解像度の、２種類のリアルＵマップを生成する。
【００４６】
図８は、検出部５２、判定部５４及び領域決定部５６に相当する壁検出部６１８の処理の概要を示すフローチャートである。図８に示すように、壁検出部６１８は、まず奥行方向に連続する画素に同じラベルを付す（奥行方向に優先度を持った）ラベリングを行う（Ｓ１００）。次に、壁検出部６１８は、ラベリング結果の選別（壁検出）を行う（Ｓ１０２）。そして、壁検出部６１８は、壁外エリアを決定する（Ｓ１０４）。
【００４７】
次に、壁検出部６１８が行う処理を詳細に説明する。図９は、壁検出部６１８が行う処理（図８：Ｓ１００）を例示するフローチャートである。まず、壁検出部６１８は、次の（処理対象となる）Ｕマップの画素データを取得する（Ｓ２００）。
【００４８】
壁検出部６１８は、Ｕマップの画素データに値（投票）が存在するか否かを判定し（Ｓ２０２）、存在する場合（Ｓ２０２：Ｙｅｓ）にはＳ２０４の処理に進み、存在しない場合（Ｓ２０２：Ｎｏ）にはＳ２１０の処理に進む。
【００４９】
壁検出部６１８は、画像上で上方向（縦軸方向）ｎピクセル以内にＩＤ（ラベル）を持ったピクセル（画素）が存在するか否かを判定する（Ｓ２０４）。ここで、ｎは、画素が離れていても連続しているとみなす許容画素数である。壁検出部６１８は、ＩＤを持ったピクセルが存在すると判定した場合（Ｓ２０４：Ｙｅｓ）には現在の画素に同じラベルを付与する（Ｓ２０６）。また、壁検出部６１８は、ＩＤを持ったピクセルが存在しないと判定した場合（Ｓ２０４：Ｎｏ）には現在の画素に新しいラベルを付与する（Ｓ２０８）。
【００５０】
壁検出部６１８は、画像上の最終データであるか否かを判定し（Ｓ２１０）、最終データである場合（Ｓ２１０：Ｙｅｓ）には処理を終了し、最終データでない場合（Ｓ２１０：Ｎｏ）にはＳ２００の処理に戻る。
【００５１】
図１０は、壁検出部６１８が行うラベリングの具体例を示す図である。通常のラベリングでは、ピクセル同士が８近傍や４近傍で隣接しているかどうかを判定してラベリングを行うが、壁検出部６１８は、スモールＵマップの上下方向（縦軸方向）のピクセルでの連結のみを判定することにより、奥行方向に優先度を持ったラベリングを行う。
【００５２】
また、壁検出部６１８は、奥行方向に隙間が空いていても、上述した許容画素数ｎを適用して連結を判定することにより、奥行方向への連結性を向上させる。例えば、検出部５２は、スモールＵマップ上でｎピクセルまでの隙間を連結とみなす。又は、検出部５２は、スモールＵマップ上の隙間を実距離に換算したときに、Ｘｍ以内であれば連続とみなす。
【００５３】
図１０（ａ）に、奥行方向に優先度を持ったラベリングのラベリング例を示す。この図１０（ａ）の例の場合、許容画素数ｎを用いてｎ＝１としている。このため、図１０（ａ）中の左から５列目のデータには、同一のラベルが付与されている。また、左から３列目のデータは２ピクセル離れているため、上下で異なるラベルが付与されている。よって、図１０（ａ）では、スモールＵマップの視差頻度の塊に対して６つの縦長のラベルが付与されている。
【００５４】
図１０（ｂ）には、図７に示した例のような場合のラベリング例が示されている。ここでは、壁のような奥行方向に長い物体は複数の長いラベルで構成され、車は列ごとに異なる短いラベルが振られるような結果となる。
【００５５】
図１１は、壁検出部６１８が行う判定処理（図８：Ｓ１０２）を例示するフローチャートである。まず、壁検出部６１８は、奥行方向に優先度を持ったラベリングの結果を取得する（Ｓ３００）。
【００５６】
壁検出部６１８は、各ラベリングのＩＤの塊を１つ選択し（Ｓ３０２）、選択した塊が縦軸方向に所定の長さ（閾値となる基準長さ）以上であるか否かを判定する（Ｓ３０４）。壁検出部６１８は、選択した塊が所定の長さ以上であると判定した場合（Ｓ３０４：Ｙｅｓ）には塊を壁として登録し（Ｓ３０６）、選択した塊が所定の長さ以上でないと判定した場合（Ｓ３０４：Ｎｏ）にはＳ３０８の処理に進む。つまり、壁検出部６１８は、ＩＤの塊が基準長さ以上であれば、壁であるとして検出する（図１２参照）。
【００５７】
壁検出部６１８は、すべてのＩＤを探索したか否かを判定し（Ｓ３０８）、探索したと判定した場合（Ｓ３０８：Ｙｅｓ）には処理を終了し、探索していないと判定した場合（Ｓ３０８：Ｎｏ）にはＳ３０２の処理に戻る。
【００５８】
図１３は、壁検出部６１８が行うラベリングが、壁検出に有効となる例を示す図である。スモールＵマップは、横軸解像度が低くなっている。このため、図１３に示すように壁の近くに位置する物体が、壁に接触した状態となることがある。この場合でも、壁検出部６１８は、奥行方向に優先度を持ったラベリングを行い、列ごとに異なるラベルを振ると共に、基準長さ（基準ルーラ）を用いて列ごとに判定を行うので、壁を検出することが可能となる。
【００５９】
図１４は、壁検出部６１８の上述した判定動作を示す図である。また、図１５は、判定動作の変形例を示す図である。壁検出部６１８は、スモールＵマップ上で奥行方向に長いデータの連続性を判定しているが、視差の分散により、遠方の物体はスモールＵマップ上で長く伸びる。このため、壁検出部６１８は、スモールＵマップ全体で同じ基準ルーラを用いて壁の判定（図１４）をせず、距離ごとにエリアを設定して、ＩＤの塊の始点がどのエリアに含まれているかによって、異なる基準ルーラを用いて判定（図１５）を行ってもよい。図１５に示した例では、始点が遠方に存在している場合に基準ルーラを長く設定しているので、連続しない立体物（例えば自動車や人など）が壁として検出されることを防止できる。
【００６０】
図１６は、壁検出部６１８が、図１５に示した判定動作を行う場合の処理の流れを示すフローチャートである。図１６に示すように、壁検出部６１８は、奥行方向に優先度を持ったラベリング（壁検出用ラベリング）の結果を取得する（Ｓ４００）。
【００６１】
壁検出部６１８は、各ラベリングのＩＤの塊を１つ選択し（Ｓ４０２）、ＩＤの始点が所定のエリア内であるか否かを判定する（Ｓ４０４）。ここで、所定のエリアとは、基準長さがそれぞれ規定された判定のターゲットとなるエリアを指すとする。壁検出部６１８は、ＩＤの始点が所定のエリア内であると判定した場合（Ｓ４０４：Ｙｅｓ）には、ステップＳ４０６の処理に進み、ＩＤの始点が所定のエリア内でないと判定した場合（Ｓ４０４：Ｎｏ）には、ステップＳ４１０の処理に進む。
【００６２】
壁検出部６１８は、選択した塊がエリアごとに規定された長さ以上であるか否かを判定する（Ｓ４０６）。壁検出部６１８は、選択した塊がエリアごとに規定された長さ以上であると判定した場合（Ｓ４０６：Ｙｅｓ）には塊を壁として登録し（Ｓ４０８）、選択した塊がエリアごとに規定された長さ以上でないと判定した場合（Ｓ４０６：Ｎｏ）には、ステップＳ４１０の処理に進む。つまり、壁検出部６１８は、ＩＤの塊がエリアごとに規定された長さ以上であれば、壁として検出する。
【００６３】
壁検出部６１８は、すべてのＩＤを探索したか否かを判定し（Ｓ４１０）、探索したと判定した場合（Ｓ４１０：Ｙｅｓ）には処理を終了し、探索していないと判定した場合（Ｓ４１０：Ｎｏ）には、ステップＳ４０２の処理に戻る。
【００６４】
図１７は、領域決定部５６が行う領域決定処理（図８：Ｓ１０４）の流れを示すフローチャートである。図１８は、領域決定部５６が、領域決定処理を行った結果を示す図である。領域決定部５６は、判定結果となる各壁を示すデータを記憶する（Ｓ５００）。
【００６５】
領域決定部５６は、検出した壁（ＩＤの塊）が画像（又はリアルＵマップ）の中心から見て左のエリアに存在するか否かを判定する（Ｓ５０２）。ここで、画像（又はリアルＵマップ）の中心とは、縦軸方向に延びる画像（又はリアルＵマップ）の中心線を指す。より具体的には、ステレオカメラ２の中心線に相当する。領域決定部５６は、壁が左のエリアに存在すると判定した場合（Ｓ５０２：Ｙｅｓ）には、ステップＳ５０４の処理に進み、壁が左のエリアに存在しないと判定した場合（Ｓ５０２：Ｎｏ）には、ステップＳ５１２の処理に進む。
【００６６】
領域決定部５６は、壁のＸ位置が左エリア内で最内側であるか否かを判定し（Ｓ５０４）、最内側であると判定した場合（Ｓ５０４：Ｙｅｓ）にはステップＳ５０６の処理に進み、左最内側位置を示すデータを更新する。最内側でないと判定した場合（Ｓ５０４：Ｎｏ）には、ステップＳ５０８の処理に進む。
【００６７】
領域決定部５６は、壁の始点が左エリア内で最手前であるか否かを判定し（Ｓ５０８）、最手前であると判定した場合（Ｓ５０８：Ｙｅｓ）には、ステップＳ５１０の処理に進み、左最手前位置を示すデータを更新する。最手前でないと判定した場合（Ｓ５０８：Ｎｏ）には、ステップＳ５２０の処理に進む。
【００６８】
領域決定部５６は、壁のＸ位置が右エリア内で最内側であるか否かを判定し（Ｓ５１２）、最内側であると判定した場合（Ｓ５１２：Ｙｅｓ）にはステップＳ５１４の処理に進み、右最内側位置を示すデータを更新する。最内側でないと判定した場合（Ｓ５１２：Ｎｏ）には、ステップＳ５１６の処理に進む。
【００６９】
領域決定部５６は、壁の始点が右エリア内で最手前であるか否かを判定し（Ｓ５１６）、最手前であると判定した場合（Ｓ５１６：Ｙｅｓ）には、ステップＳ５１８の処理に進み、右最手前位置を示すデータを更新する。最手前でないと判定した場合（Ｓ５１６：Ｎｏ）には、ステップＳ５２０の処理に進む。
【００７０】
領域決定部５６は、すべての壁を探索したか否かを判定し（Ｓ５２０）、探索したと判定した場合（Ｓ５２０：Ｙｅｓ）には処理を終了し、探索していないと判定した場合（Ｓ５２０：Ｎｏ）には、ステップＳ５００の処理に戻って次の壁に対する処理を開始する。
【００７１】
そして、領域決定部５６は、時系列ステレオ画像内の物体（連続しない立体物）を検出すべき物体検出対象領域を決定する。具体的には、壁のその外側のエリア（壁に外接する矩形）を除いたエリアが物体検出対象領域となる。つまり、領域決定部５６は、連続する立体物を示していると判定した画素連続領域が囲む領域内を物体検出対象領域に決定する。
【００７２】
（第２の実施の形態）
次に、第２の実施の形態の機器制御システムの説明をする。この第２の実施の形態の機器制御システムは、スモールＵマップの奥行方向に優先度を考慮したラベリング処理を行うことで得られたラベリング結果において、ラベリング番号の塊の奥行方向の長さを、基準ルーラで選別する際、最終出力の長さ閾値の基準ルーラよりも短い基準ルーラを用いて、奥行方向に長さを持ったラベリング番号の塊を選別する。そして、この選別により得られた各壁候補同士に、所定の条件に基づいて同じラベリング番号を付すことで統合（連結）して最終検出結果とする。
【００７３】
これにより、スモールＵマップ上に現れている視差値の数が少ないことで、奥行方向に対する長さが短い壁候補同士が、隙間を空けて近接するようにスモールＵマップ上に現れている場合、壁候補同士を連結して、一連の壁として検出可能となる。なお、上述の第１の実施の形態と、以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
【００７４】
図１９のフローチャートに、第２の実施の形態の機器制御システムにおける物体検出処理部５の動作の流れを示す。この図１９に示すように、第２の実施の形態の機器制御システムの場合、壁検出部６１８は、まず、ステップＳ６０１において、第１の実施の形態で説明した奥行方向に優先度を持つラベリング処理を行う。そして、壁検出部６１８は、ステップＳ６０２において、ラベリング結果から壁候補を検出する。
【００７５】
例えば、図２０（ａ）に示すように先行車両Ｃ１が走行する直線道路に沿って、壁Ｗ１が設けられている撮像画像（視差画像）が得られた場合において、壁Ｗ１の視差値が低い場合、図２０（ｃ）に示すように、一連の壁Ｗ１が、複数の壁候補Ｗ１−a〜壁候補Ｗ１−ｃとして断片的に、スモールＵマップ上に投票される。図２０（ｃ）は、このようなスモールＵマップに対して上述のラベリング処理を行った結果（ラベリング結果）である。この図２０（ｃ）からわかるように、上述のラベリング処理を行うことで、一連の壁Ｗ１に対応して、全長が短い壁候補Ｗ１−a、壁候補Ｗ１−ｂ、壁候補Ｗ１−ｃが形成される。壁候補Ｗ１−a、壁候補Ｗ１−ｂ、壁候補Ｗ１−ｃは、一連の壁ｗ１であるが、この時点では断片的なオブジェクトであるため、それぞれ異なるラベリング番号でラベリング処理される（壁候補Ｗ１−a、壁候補Ｗ１−ｂ、壁候補Ｗ１−ｃのラベリング番号は、それぞれ異なる）。
【００７６】
このようなラベリング結果に対して、最終出力用の基準ルーラを用いて、壁候補の検出を行うと、壁候補Ｗ１−a、壁候補Ｗ１−ｂ、壁候補Ｗ１−ｃは、基準ルーラの長さよりも短いため検出されない不都合を生ずる。
【００７７】
このため、第２の実施の形態の機器制御システムの場合、壁検出部６１８が、図２０（ｃ）に示す最終出力用の基準ルーラよりも短いルーラである、「壁候補検出用の候補基準ルーラ」を用いて壁候補の検出を行う。これにより、各壁候補である壁候補Ｗ１−a、壁候補Ｗ１−ｂ、壁候補Ｗ１−ｃの長さは、それぞれ壁候補検出用の候補基準ルーラよりも短いため、図２１に示すように、壁Ｗ１の各壁候補（壁候補Ｗ１−a〜壁候補Ｗ１−ｃ）を検出できる。
【００７８】
このように壁候補検出用の候補基準ルーラを用いて壁候補の検出を行うと、統合部の一例である壁検出部６１８は、ステップＳ６０３において、壁Ｗ１の各断片である壁候補Ｗ１−a〜壁候補Ｗ１−ｃを統合（連結）するか否かの判断（統合判断）を行う。壁検出部６１８は、スモールＵマップ上における各壁候補のうち、横方向の範囲又は奥行方向の範囲が所定の範囲である壁候補のラベリング番号を、同じラベリング番号に統合処理する。図２２に、このような統合処理の判断に用いる条件例を示す。すなわち、壁検出部６１８は、図２２（ａ）に示すように、隣り合う各壁候補の横位置及び重なりに基づいて、各壁候補を統合するか否かを判別する。
【００７９】
「横位置」とは、スモールＵマップ上で横方向に隣り合う各壁候補における、横方向の間隔に相当する画素数（横方向に何画素分離れているか）を示す情報である。また、「重なり」は、スモールＵマップ上で奥行方向に隣り合う各壁候補における、奥行方向の間隔に相当する画素数（横方向に何画素分離れているか）を示す情報である。一例ではあるが、壁検出部６１８は、横位置、又は、重なりが所定の範囲内の場合に各壁候補の統合を行う。
【００８０】
具体的には、図２２（ｂ）は、スモールＵマップ上で横方向に隣り合う各壁候補の横方向の間隔が０画素（隣接）の場合を示している。この場合、壁検出部６１８は、各壁候補に付されている異なるラベリング番号を、同じラベリング番号にすることで、各壁候補を一連の壁Ｗ１として統合する。すなわち、一方の壁候補に「１」のラベリング番号が付されており、他方の壁候補に「２」のラベリング番号が付されている場合、壁検出部６１８は、「２」のラベリング番号が付されている他方の壁候補に対して、一方の壁候補に付されている「１」のラベリング番号を付与し直す。これにより、各壁候補のラベリング番号が「１」のラベリング番号に統合され、各壁候補を一連の壁として検出可能とすることができる。
【００８１】
なお、この例では、横方向に隣り合う各壁候補の間が１画素未満の場合に両者を統合することした。しかし、横方向に隣り合う各壁候補の間が２画素未満の場合に両者を統合する等のように、横方向の間隔の条件は、設計等に応じて任意に変更可能である。
【００８２】
同様に、図２２（ｃ）の例は、奥行方向に隣り合う各壁候補の奥行方向の間隔が３画素の例である。この場合、各壁候補の奥行方向の間隔が５画素未満であるため、壁検出部６１８は、上述のように各壁候補に同じラベリング番号を付し、一つの物体に統合する。
【００８３】
これに対して、図２２（ｄ）の例は、横方向に隣り合う各壁候補の横方向の間隔が１画素の例である。この場合、上述の「各壁候補の横方向の間隔が１画素未満」という条件を満たさないため、壁検出部６１８は、各壁候補は統合せず、それぞれ異なる物体として処理する。同様に、図２２（ｅ）の例は、奥行方向に隣り合う各壁候補の奥行方向の間隔が６画素の例である。この場合、上述の「各壁候補の奥行方向の間隔が５画素未満」という条件を満たさないため、壁検出部６１８は、各壁候補は統合せず、それぞれ異なる物体として処理する。
【００８４】
なお、この例では、奥行方向に隣り合う各壁候補の間が６画素未満の場合に両者を統合することした。しかし、奥行方向に隣り合う各壁候補の間が４画素未満の場合又は７画素未満の場合に両者を統合する等のように、奥行方向の間隔の条件は、設計等に応じて任意に変更可能である。
【００８５】
図２３に、このような壁検出部６１８における統合処理の流れを示す。統合処理を行う場合、壁検出部６１８は、まず、図２３のフローチャートのステップＳ７０１において、横方向又は奥行方向に隣り合う壁候補をスモールＵマップから検出し、ステップＳ７０２に処理を進める。ステップＳ７０２では、壁検出部６１８が、検出した各壁候補は、横方向に隣り合う壁候補であるか否かを判別する。
【００８６】
横方向に隣り合う壁候補である場合（ステップＳ７０２：Ｙｅｓ）、壁検出部６１８は、ステップＳ７０３において、各壁候補の横位置が１画素未満か否かを判別する。各壁候補の横位置が１画素未満の場合（ステップＳ７０３：Ｙｅｓ：図２２（ｂ）参照）、ステップＳ７０５に処理を進める。ステップＳ７０５では、各壁候補の横位置が１画素未満であるため、壁検出部６１８が、各壁候補に対して上述の統合処理を施す。
【００８７】
これに対して、各壁候補の横位置が１画素未満ではない場合（ステップＳ７０３：Ｎｏ：図２２（ｄ）参照）、壁検出部６１８は、各壁候補の統合処理を行うことなく、ステップＳ７０６に処理を進める。ステップＳ７０６では、壁検出部６１８が、スモールＵマップ上の全ての壁候補の探索が終了したか否かを判別する。スモールＵマップ上の全ての壁候補の探索が終了していないと判別した場合（ステップＳ７０６：Ｎｏ）、壁検出部６１８は、次の壁候補を探索すべく、ステップＳ７０１に処理を戻す。これに対して、スモールＵマップ上の全ての壁候補の探索が終了したと判別した場合（ステップＳ７０６：Ｙｅｓ）、壁検出部６１８は、図２３のフローチャートに示す処理を終了する。
【００８８】
一方、ステップＳ７０２において、検出した各壁候補が、横方向に隣り合う壁候補ではないということは（ステップＳ７０２：Ｎｏ）、検出した各壁候補は、奥行方向に隣り合う壁候補であることを意味する。このため、壁検出部６１８は、ステップＳ７０４に処理を進め、各壁候補の重なりが６画素未満であるか否かを判別する。各壁候補の重なりが５画素未満であると判別した場合（ステップＳ７０４：Ｙｅｓ：図２２（ｃ）参照）、壁検出部６１８は、ステップＳ７０５に処理を進め、奥行方向に隣り合う各壁候補に対して上述の統合処理を施す。
【００８９】
これに対して、各壁候補の重なりが５画素以上であると判別した場合（ステップＳ７０４：Ｎｏ：図２２（ｅ）参照）、壁検出部６１８は、各壁候補の統合処理を行うことなく、ステップＳ７０６に処理を進める。ステップＳ７０６では、壁検出部６１８が、スモールＵマップ上の全ての壁候補の探索が終了したか否かを判別する。スモールＵマップ上の全ての壁候補の探索が終了していないと判別した場合（ステップＳ７０６：Ｎｏ）、壁検出部６１８は、次の壁候補を探索すべく、ステップＳ７０１に処理を戻す。これに対して、スモールＵマップ上の全ての壁候補の探索が終了したと判別した場合（ステップＳ７０６：Ｙｅｓ）、壁検出部６１８は、図２３のフローチャートに示す処理を終了する。
【００９０】
図２４に、このような統合処理結果となるラベリング処理後のスモールＵマップを示す。図２４に示す壁Ｗ１は、各壁候補Ｗ１−ａ〜壁候補Ｗ１−ｃを、壁候補Ｗ１−ａのラベリング番号で統合処理したことを示している。これにより、各壁候補Ｗ１−ａ〜壁候補Ｗ１−ｃは、一連の壁として検出可能となる。
【００９１】
また、統合処理を行うことで、各壁候補の間に図２４に示す間隙部ＧＰが生ずる場合、各壁候補の間の画素に（間隙部ＧＰに相当する画素に）、統合処理に用いるラベリング番号と同じラベリング番号を付してもよい。これにより、統合処理に用いたラベリング番号で間隙部ＧＰもラベリング処理することができる。このため、間隙部ＧＰで途切れることのない一連の壁Ｗ１を形成でき、壁として検出させ易くすることができる。
【００９２】
図１９のフローチャートのステップＳ６０４では、壁検出部６１８が、このような統合処理結果となるスモールＵマップに基づいて、壁の選別を行う。例えば、図２５（ａ）に示すように、奥行側で道路側に少し曲がった形状の壁Ｗ１の撮影画像の場合、スモールＵマップ上における壁Ｗ１の形状は、図２５（ｂ）に示すように壁Ｗ１の奥行側が内側（道路側）に入り込む形状となる。そして、ラベリング処理を行うと、図２５（ｃ）に示すように長さの異なる壁候補Ｗ１−ａ〜壁候補Ｗ１−ｄにそれぞれ異なるラベリング番号が付され、各壁候補Ｗ１−ａ〜Ｗ１−ｄが隣接しつつ奥行方向に延びるラベリング結果となる。
【００９３】
このようなラベリング結果に対して、例えば壁候補Ｗ１−ａのラベリング番号に対応する長さの基準ルーラを一つだけ用いて他の壁候補を検出すると、奥行側で道路側に少し曲がった部分に相当する壁候補Ｗ１−ｄは、基準ルーラとなっている壁候補Ｗ１−ａよりも短いため、図２６（ａ）に点線で示すように壁Ｗ１以外の物体と判別される。
【００９４】
しかし、第２の実施の形態の機器制御システムの場合、上述の統合処理により、壁候補Ｗ１−ａ〜壁候補Ｗ１−ｄに対して全て同じラベリング番号が付されるため、壁候補Ｗ１−ａ〜壁候補Ｗ１−ｄを、図２６（ｂ）に示すように、図１９のフローチャートのステップＳ６０４において、奥行方向に連続する一連の壁Ｗ１として検出することができる。
【００９５】
次に、第２の実施の形態の機器制御システムは、低解像度のスモールＵマップを用いて上述の壁の検出を行い、スモールＵマップと共に生成した高解像度のリアルＵマップを用いて、例えば人間及び先行車両等の他の物体の検出を行う。具体的には、リアルＵマップにおいて、スモールＵマップで検出された壁Ｗ１の内側の領域を、人間及び先行車両等の他の物体の検出領域としている。第２の実施の形態の機器制御システムは、上述のように壁Ｗ１を正確に検出できるため、壁の領域と他の物体の検出領域とを明確に区分して、他の物体を検出できる。
【００９６】
例えば、図２７（ａ）に示すように奥行側で道路側に少し曲がった形状の壁Ｗ１の内側を人間Ｈ１が歩行している撮影画像の場合、図２７（ｂ）に示すスモールＵマップが得られる。このスモールＵマップを用いて、壁Ｗ１のラベリング処理を行い、各壁候補を同じラベリング番号で統合処理すると、図２７（ｃ）に示すように一連の壁Ｗ１が検出できる。
【００９７】
ここで、図２７（ａ）に示す壁Ｗ１は、奥行側で道路側に少し曲がった形状を有している。このため、壁Ｗ１に対する外接矩形で、他の物体の検出領域を決定すると、壁Ｗ１が曲がっているにも関わらず、図２７（ｄ）に示すように直線的に壁Ｗ１の領域と他の物体の検出領域とが分離される。これにより、図２７（ｄ）に示すように人Ｈ１が、壁Ｗ１として認識され、未検出となる不都合を生ずるおそれがある。
【００９８】
これに対して、第２の実施の形態の機器制御システムは、壁検出部６１８が、リアルＵマップ上において、ラベリング処理を行った列毎に壁Ｗ１の内側を検出し、図２７（ｅ）に示すように壁Ｗ１の領域と、他の物体の検出領域とを区分する。これにより、図２７（ｅ）に示すように各壁候補の各画素の内側のラインに沿って、壁Ｗ１の領域と、他の物体の検出領域とを区分することができる。
【００９９】
このため、図２７（ｅ）に示すように人Ｈ１を、図２７（ｅ）に斜線で示す他の物体の検出領域で検出できる。従って、人Ｈ１が壁Ｗ１と混同され、未検出となる不都合を防止できる。また、第２の実施の形態の機器制御システムの場合、壁Ｗ１の領域と他の物体の検出領域を明確に区分することができる。そして、他の物体の検出は、他の物体の検出領域で行う。このため、他の物体の検出を、他の物体の検出領域に限定して、他の物体の検出に要する演算量を減らし、また、不要な物体の検出処理を低減できる。従って、目的とする物体を高速に検出可能とすることができる。
【０１００】
上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、距離の値（距離値）と視差値は等価に扱えることから、上述の実施の形態の説明では、距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。
【０１０１】
このような各実施の形態及び各実施の形態の変形は、発明の範囲や要旨に含まれると共に、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０２】
１  車両
２  ステレオカメラ（撮像部）
２ａ  カメラ部
２ｂ  カメラ部
３  車両ＥＣＵ
４  物体認識装置
５  物体検出処理部
３２  制御部
５０  生成部
５２  検出部
５４  判定部
５６  領域決定部
５８  物体検出部
３０４  ＣＰＵ
６００  平行化画像生成部
６０２  視差画像生成部
６０４  トラッキング部
６０６  視差補間部
６０８  Ｖマップ生成部
６１０  路面形状検出部
６１２  路面高さテーブル算出部
６１４  Ｕマップ生成部
６１６  リアルＵマップ生成部
６１８  壁検出部
６２０  孤立領域検出部
６２２  対応領域検出部
６２４  オブジェクト領域検出部
６２６  分類部
６２８  ３次元位置決定部
６３０  オブジェクトマッチング部
６３２  オブジェクトデータリスト
６３４  オブジェクト選択部
【先行技術文献】
【特許文献】
【０１０３】
【特許文献１】特開平６−２６６８２８号公報
【図１】
2017115732.tif 000003
【図２】
2017115732.tif 000004
【図３】
2017115732.tif 000005
【図４】
2017115732.tif 000006
【図５】
2017115732.tif 000007
【図６】
2017115732.tif 000008
【図７】
2017115732.tif 000009
【図８】
2017115732.tif 000010
【図９】
2017115732.tif 000011
【図１０】
2017115732.tif 000012
【図１１】
2017115732.tif 000013
【図１２】
2017115732.tif 000014
【図１３】
2017115732.tif 000015
【図１４】
2017115732.tif 000016
【図１５】
2017115732.tif 000017
【図１６】
2017115732.tif 000018
【図１７】
2017115732.tif 000019
【図１８】
2017115732.tif 000020
【図１９】
2017115732.tif 000021
【図２０】
2017115732.tif 000022
【図２１】
2017115732.tif 000023
【図２２】
2017115732.tif 000024
【図２３】
2017115732.tif 000025
【図２４】
2017115732.tif 000026
【図２５】
2017115732.tif 000027
【図２６】
2017115732.tif 000028
【図２７】
2017115732.tif 000029
【手続補正書】
【提出日】平成29年3月31日(2017.3.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体の少なくとも横方向距離及び奥行方向距離を関連付けた、前記物体の２次元分布情報を生成する生成部と、
前記２次元分布情報において奥行方向に連続性のある連続領域を検出する検出部と、
を有する処理装置。
【請求項２】
前記検出部は、２次元分布情報において奥行方向に連結している領域を、連続領域として検出する
ことを特徴とする請求項１に記載の処理装置。
【請求項３】
前記２次元分布情報の前記奥行方向に連続する複数の情報にラベルを付すラベリング部と、
同じ前記ラベルが付された情報のうち、所定の閾値以上奥行方向に連続する情報を選別する選別部と、
選別された前記情報のうち、横方向の範囲又は奥行方向の範囲が所定の範囲である複数の情報のラベルを、同じラベルに統合する統合部と
を有することを特徴とする請求項１又は請求項２に記載の処理装置。
【請求項４】
前記統合部は、前記選別部により選別され互いに異なるラベルが付された情報が奥行方向について所定の範囲である場合、当該互いに異なるラベルが付された情報の間の情報に同じラベルを付して統合すること
を特徴とする請求項３に記載の処理装置。
【請求項５】
前記生成部は、
前記検出対象物を検出するための低解像度の２次元分布情報、及び、前記検出対象物とは異なる物体を検出するための高解像度の２次元分布情報を生成し、
前記検出部は、前記低解像度の２次元分布情報に基づいて前記連続領域を検出すること
を特徴とする請求項１から請求項４のうち、いずれか一項に記載の処理装置。
【請求項６】
前記生成部は、
水平方向距離及び視差それぞれに基づく値を座標軸とする直交座標系に前記２次元分布情報を生成し、
前記検出部は、
前記２次元分布情報の視差に基づく値の軸方向に優先度を持った連続領域を検出すること
を特徴とする請求項１から請求項４のうち、いずれか一項に記載の処理装置。
【請求項７】
前記検出部は、
前記２次元分布情報の視差に基づく値の軸方向に前記画素が連続する領域を前記連続領域として検出すること
を特徴とする請求項１から請求項６のうち、いずれか一項に記載の処理装置。
【請求項８】
前記検出部は、
前記２次元分布情報の視差に基づく値の軸方向に複数の前記画素が予め定められた許容画素数以下の間隔で離れている場合、当該複数の前記画素は連続しているとみなすこと
を特徴とする請求項７に記載の処理装置。
【請求項９】
前記連続領域の連続する画素数が予め定められた基準以上である場合に、前記連続領域が前記検出対象物を示していると判定する判定部を有し、
前記判定部は、前記２次元分布情報の視差に基づく値の軸方向の位置に応じて、前記基準を異ならせること
を特徴とする請求項７又は８に記載の処理装置。
【請求項１０】
前記２次元分布情報に基づいて物体を検出する物体検出部と、
前記検出対象物を示していると前記判定部が判定した前記連続領域に基づいて、前記２次元分布情報の物体の検出を行う物体検出対象領域を決定する領域決定部と、
をさらに有し、
前記物体検出部は、
前記領域決定部が決定した物体検出対象領域内の物体を検出すること
を特徴とする請求項１から請求項９のうち、いずれか一項に記載の処理装置。
【請求項１１】
前記領域決定部は、
前記検出対象物として前記判定部が判定した前記連続領域が囲む領域内を物体検出対象領域として決定すること
を特徴とする請求項１０に記載の処理装置。
【請求項１２】
前記生成部は、
前記検出部が前記連続領域を検出する場合、前記物体検出部が物体を検出する場合よりも解像度が低くなるように前記２次元分布情報を生成すること
を特徴とする請求項１０又は請求項１１に記載の処理装置。
【請求項１３】
ステレオカメラと、
請求項１〜請求項１２のうち、いずれか一項に記載の処理装置と、
を有し、
前記生成部は、前記ステレオカメラが撮像する複数の画像を用いて算出される視差に基づいて、前記２次元分布情報を生成する物体認識装置。
【請求項１４】
請求項１〜請求項１２のうち、いずれか一項に記載の処理装置により、前記検出対象物を示していると判定された前記連続領域に基づいて機器を制御する制御部
を有する機器制御システム。
【請求項１５】
物体の少なくとも横方向距離及び奥行方向距離を関連付けた、前記物体の２次元分布情報を生成する工程と、
前記２次元分布情報において前記奥行方向に連続性のある連続領域を検出する工程と、
前記連続領域が検出対象物を示しているか否かを判定する工程と、
を含む処理方法。
【請求項１６】
物体の少なくとも横方向距離及び奥行方向距離を関連付けた、前記物体の２次元分布情報を生成するステップと、
前記２次元分布情報において前記奥行方向に連続性のある連続領域を検出するステップと、
前記連続領域が検出対象物を示しているか否かを判定するステップと、
をコンピュータに実行させるための処理プログラム。
【請求項１７】
請求項１４の機器制御システムを備え、
前記制御部により制御される
車両。
【国際調査報告】
2017115732.tif 000030
2017115732.tif 000031
2017115732.tif 000032
2017115732.tif 000033