(57)【要約】  生成部が、例えば視差画像を用いて、横方向の実距離、奥行方向の距離を示す視差値、及び、視差値の出現頻度を示す頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する。ラベリング部は、２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の頻度値を有するピクセルを検出してサーチ回数に対応するラベルを付すラベリング処理を行う。このラベリング処理の際、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、上述の閾値以上の頻度値を有するピクセルを選択してラベリング処理を行う。複数のピクセルの中から選択的にラベリング処理を行うことで、物体の形状に沿ったラベリング処理ができる。このため、同じラベルが付されたピクセルを、同一の物体のピクセルとみなして、２次元分布情報から物体検出を行うことで、物体同士を正確に分離して精度良く検出できる。
2017158982.tif 000002
【特許請求の範囲】
【請求項１】
横方向の実距離、奥行方向の距離を示す距離値、及び、距離値の出現頻度を示す頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する生成部と、
前記２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の前記頻度値を有するピクセルを検出してサーチ回数に対応するラベルを付すラベリング処理を行うラベリング部とを有し、
前記ラベリング部は、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、前記閾値以上の前記頻度値を有するピクセルを選択し、選択したピクセルに前記ラベルが付されていない場合に、前記ラベルを付す第１のラベリング処理を行うこと
を特徴とする画像処理装置。
【請求項２】
前記ラベリング部は、ラベリング処理を行った前記ピクセルと、次にラベリング処理を行うピクセルとの間に存在する、前記頻度値を有さないピクセルのピクセル数が、所定のピクセル数以上である場合、当該ラベリング処理を終了して次のラベルを付すラベリング処理に移行し、前記頻度値を有するピクセルのピクセル数が、所定のピクセル数未満である場合、当該ラベリング処理を継続して行うこと
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ラベリング部は、前記ピクセルをラベリング処理した際に、当該ピクセルの左右に隣接する各ピクセルのうち、いずれか一方又は両方に、ラベリング処理した前記ピクセルと同じラベルを付すこと
を特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記ラベリング部は、
サーチを行っているピクセルに対して、前記サーチ方向に隣接する一つのピクセルが、前記閾値以上の前記頻度値を有し、かつ、ラベルが付されていない場合に、前記サーチ回数に対応するラベルを付す第２のラベリング処理、又は、前記第１のラベリング処理を行い、
前記２次元分布情報が、撮像機器が旋回中に撮像された距離画像に基づいて生成された２次元分布情報であることを示す旋回情報により、前記ラベリング処理を行う前記２次元分布情報が、前記撮像機器が旋回中に撮像された距離画像に対応する２次元分布情報であると判別した場合、前記第１のラベリング処理を行い、前記旋回情報により、前記ラベリング処理を行う前記２次元分布情報が、前記撮像機器が直進中に撮像された距離画像に対応する２次元分布情報であると判別した場合、前記第２のラベリング処理を行うこと
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の画像処理装置。
【請求項５】
前記ラベリング部は、
前記旋回情報により、前記ラベリング処理を行う前記２次元分布情報が、前記撮像機器が直進中に撮像された距離画像に対応する２次元分布情報であると判別した場合、ラベリング処理を行うピクセルの距離値に基づいて奥行方向の距離を判別し、当該ピクセルが所定未満の奥行方向の距離に対応する領域のピクセルであった場合、前記第２のラベリング処理を行い、当該ピクセルが所定以上の奥行方向の距離に対応する領域のピクセルであった場合、前記第１のラベリング処理を行うこと
を特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記ラベリング部は、後からラベリング処理を行うピクセルに対して、先のラベリング処理により既にラベルが付されている場合、先のラベリング処理でラベルが付された各ピクセルと、後のラベリング処理でラベルが付された各ピクセルとの間隔が所定以下の間隔である場合、後からのラベリング処理に対応する全てのピクセルに対して、先にラベリング処理したピクセルと同じラベルを付すこと
を特徴とする請求項１から請求項５のうち、いずれか一項に記載の画像処理装置。
【請求項７】
前記ラベリング部は、前記２次元分布情報の外側から列毎にサーチを行うこと
を特徴とする請求項１から請求項６のうち、いずれか一項に記載の画像処理装置。
【請求項８】
前記ラベリング部は、１回目のサーチは、前記２次元分布情報の左端の列をサーチし、２回目のサーチは、前記２次元分布情報の右端の列をサーチし、３回目のサーチは、前記２次元分布情報の左端の列に隣接する２列目をサーチし、４回目のサーチは、前記２次元分布情報の右端の列に隣接する２列目をサーチするように、前記２次元分布情報の左右交互に、左端の列及び右端の列から順に中央の列まで１列ずつサーチを行うこと
を特徴とする請求項１から請求項７のうち、いずれか一項に記載の画像処理装置。
【請求項９】
前記ラベリング部は、前記２次元分布情報の左端の列から中央の列まで順にサーチし、中央の列のサーチ終了後に、前記２次元分布情報の右端の列から前記中央の列の右側に隣接する列まで順にサーチすること
を特徴とする請求項１から請求項７のうち、いずれか一項に記載の画像処理装置。
【請求項１０】
生成部が、横方向の実距離、奥行方向の距離を示す距離値、及び、距離値の出現頻度を示す頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する生成ステップと、
ラベリング部が、前記２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の前記頻度値を有するピクセルを検出してサーチ回数に対応するラベルを付すラベリング処理を行うラベリングステップとを有し、
前記ラベリングステップは、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、前記閾値以上の前記頻度値を有するピクセルを選択し、選択したピクセルに前記ラベルが付されていない場合に、前記ラベルを付す第１のラベリング処理を行うこと
を特徴とする画像処理方法。
【請求項１１】
コンピュータを、
横方向の実距離、奥行方向の距離を示す距離値、及び、距離値の出現頻度を示す頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する生成部と、
前記２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の前記頻度値を有するピクセルを検出してサーチ回数に対応するラベルを付すラベリング処理を行うラベリング部として機能させ、
前記ラベリング部は、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、前記閾値以上の前記頻度値を有するピクセルを選択し、選択したピクセルに前記ラベルが付されていない場合に、前記ラベルを付す第１のラベリング処理を行うように機能すること
を特徴とする画像処理プログラム。
【請求項１２】
横方向の実距離、奥行方向の距離を示す距離値、及び、距離値の出現頻度を示す頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する生成部と、
前記２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の前記頻度値を有するピクセルを検出してサーチ回数に対応するラベルを付すラベリング処理を行う際に、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、前記閾値以上の前記頻度値を有するピクセルを選択し、選択したピクセルにラベルが付されていない場合に、前記サーチ回数に対応するラベルを付す第１のラベリング処理を行うラベリング部と、
同じ前記ラベルが付された前記ピクセルを、同一の物体のピクセルとみなして、前記マップから物体検出を行う検出部と
を有する物体認識装置。
【請求項１３】
請求項１から請求項９のうち、いずれか一項に記載の画像処理装置と、
同じ前記ラベルが付された前記ピクセルを、同一の物体のピクセルとみなして、前記マップから物体検出を行う検出部と、
前記検出部の検出結果に基づいて、制御対象となる機器の動作を制御する制御部と
を有する機器制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システムに関する。
【背景技術】
【０００２】
今日において、歩行者又は自動車等との衝突の際に、いかに歩行者を守れるか及び乗員を保護できるかという、自動車の安全性における観点から自動車のボディー構造等の開発が行われている。近年においては、情報処理技術，画像処理技術の発達により、人及び自動車等を高速に検出する技術が知られている。これらの技術を用いることで、衝突する前に自動的にブレーキをかけて衝突を未然に防止する自動車も知られている。この自動車の場合、ミリ波レーダ装置、レーザレーダ装置又はステレオカメラ装置等を用いて人又は他車等までの距離を測定し、この測距した結果に基づいて、ブレーキ制御を行う。これにより、人又は他車等との距離に応じて、自動的にブレーキをかけることができる。【０００３】
特許文献１（特開平６−２６６８２８号公報）には、ガードレール、植え込み、パイロン列等の道路の境界となる連続した立体物を側壁として検出する車輛用車外監視装置が開示されている。この車輛用車外監視装置は、ステレオ光学系で車輌の車外の設置範囲内の対象を撮像する。ステレオ画像処理装置は、ステレオ光学系１０の撮像画像全体に渡る距離分布を計算する。道路・側壁検出装置は、この距離分布に対応する被写体の各部分の三次元位置を計算する。そして、道路・側壁検出装置は、計算した三次元位置の情報を用いて道路の形状と側壁を検出する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ステレオカメラ装置の撮像画像を用いて物体を検出する場合、例えばカーブしている道路に沿って設けられた側壁自体を車両や歩行者として誤検出する恐れがあった。
また、カーブしている道路に沿って設けられた側壁に先行車両が重なった状態の撮像画像等のように、連続する物体に他の物体が重なっている場合、両者を一塊の物体として誤検出するおそれがある。【０００５】
本発明は、上述の課題に鑑みてなされたものであり、連続する立体物を精度よく検出することができる画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、横方向の実距離、奥行方向の距離を示す距離値、及び、距離値の出現頻度を示す頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する生成部と、２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の頻度値を有するピクセルを検出してサーチ回数に対応するラベルを付すラベリング処理を行うラベリング部とを有する。そして、ラベリング部が、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、前記閾値以上の頻度値を有するピクセルを選択し、選択したピクセルにラベルが付されていない場合に、サーチ回数に対応するラベルを付す第１のラベリング処理を行う。
【発明の効果】
【０００７】
本発明によれば、連続する立体物を精度よく検出することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施の形態の機器制御システムが設けられた車両を示す図である。
【図２】図２は、車両に設けられたステレオカメラ及びその周辺の構成例を示す図である。
【図３】図３は、ステレオカメラを備えた物体認識装置の構成例を示す図である。
【図４】図４は、物体認証プログラムを実行することで実現される各機能の機能ブロック図である。
【図５】図５は、リアルＵマップ生成部のリアルＵマップ作成動作を説明するための模式図である。
【図６】図６は、自車両が壁際を右方向に旋回しているときの輝度画像及びスモールＵマップを示す図である。
【図７】図７は、右にカーブする側壁の撮像画像に対応するスモールＵマップ及びスモールＵマップの側壁の開始地点に相当する拡大したピクセルを示す図である。
【図８】図８は、スモールＵマップのラベリング処理結果及びラベリング処理結果に基づいて検出される壁を説明するための図である。
【図９】図９は、ラベリング処理の動作を説明するためのフローチャートである。
【図１０】図１０は、側壁に対応するスモールＵマップ及び旋回時壁ラベリング処理したスモールＵマップの側壁のイメージを示す図である。
【図１１】図１１は、ラベリング番号の拡張付与処理を説明するための図である。
【図１２】図１２は、ラベリング番号の拡張付与処理を行わない場合の物体の検出処理及びラベリング番号の拡張付与処理を行った場合の物体の検出処理を説明するための図である。
【図１３】図１３は、ラベリング処理のためのスモールＵマップのサーチの順番を説明するための図である。
【図１４】図１４は、ラベリング番号の統合処理を説明するための図である。
【図１５】図１５は、壁と先行車両が重なっている状態の撮像画像（輝度画像）及び対応するスモールＵマップを示す図である。
【図１６】図１６は、ラベリング番号の統合処理により、スモールＵマップ上の各物体が、分離され容易に検出可能となる様子を示す図である。
【図１７】図１７は、スモールＵマップを右端からサーチしてラベリング処理することで、壁及び先行車両に同じラベリング番号が付される不都合を説明するための図である。
【図１８】図１８は、ラベリング番号の統合処理の有無に関わらず、壁及び先行車両に付された同じラベリング番号は不変となる不都合を説明するための図である。
【図１９】図１９は、第２の実施の形態の機器制御システムにおいて、頻度値を有さないピクセルをスキップして、同じラベリング番号のラベリング処理を継続する処理を説明するめのフローチャートである。
【図２０】図２０は、第２の実施の形態の機器制御システムにおいて、頻度値を有さないピクセルをスキップして、同じラベリング番号のラベリング処理を継続する動作を説明するための図である。
【図２１】図２１は、直線状の壁と２台の先行車両がスモールＵマップ上で重なって表われた際に、直線状の壁から２台の先行車両にかけて同じラベリング番号が付されることで、２台の先行車両が壁の一部として検出される不都合を説明するための図である。
【図２２】図２２は、第３の実施の形態の機器制御システムにおいて、自車両が旋回中であるか否かに応じて、直線状の壁用のラベリング処理と旋回壁ラベリング処理とを切り替えて用いる動作を説明するためのフローチャートである。
【図２３】図２３は、第４の実施の形態の機器制御システムにおいて、自車両が直進中である場合に、ラベリング処理を行う位置に応じて、直線状の壁用のラベリング処理と旋回壁ラベリング処理とを切り替えて用いる動作を説明するためのフローチャートである。
【図２４】図２４は、第４の実施の形態の機器制御システムのラベリング処理の切り替えを行うことで、直線状の壁と２台の先行車両に、それぞれ異なるラベリング番号が付され、直線状の壁と２台の先行車両を正確に分離して検出可能となることを説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、実施の形態の機器制御システムの説明をする。
【００１０】
（第１の実施の形態）
まず、図１に、第１の実施の形態の機器制御システムが設けられた、移動体の一例である車両１を示す。この図１からわかるように、車両１のフロントガラス側には、機器制御システムのステレオカメラ２が設けられている。ステレオカメラ２は、車両１の進行方向前方の撮像範囲を撮像する。ステレオカメラ２は、図３を用いて後述するように２つの画像センサ２２を備え、左目視界と右目視界の２つの画像を撮像する。
【００１１】
図２は、車両１が有するステレオカメラ２及びその周辺の構成例を示す図である。ステレオカメラ２は、例えば撮像した２つの撮像画像を車両ＥＣＵ（Engine  Control  Unit）３に対して出力する。ＥＣＵ３は、車両１に設置され、車両１のエンジン及びブレーキ等の電気的な制御及び処理を総合的に行う。また、ＥＣＵ３は、後述するように２つの撮像画像から距離画像（例えば、各撮像画像の視差に対応する視差画像）を生成して立体物を検出する。そして、ＥＣＵ３は、検出結果に応じて車両のブレーキ、ハンドリング等を制御する。
【００１２】
図３は、ステレオカメラ２を備えた物体認識装置４の構成例を示す図である。物体認識装置４は、例えばステレオカメラ２及び画像処理装置３０を有する。ステレオカメラ２は、左目用となるカメラ部２ａと、右目用となるカメラ部２ｂが平行（水平）に組みつけられ、それぞれ撮像対象領域の動画（又は静止画）を撮影する。
【００１３】
カメラ部２ａ、２ｂは、それぞれレンズ２１、画像センサ２２、及びセンサコントローラ２３を備えている。画像センサ２２は、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサ又はＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）イメージセンサである。センサコントローラ２３は、例えば画像センサ２２の露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う。
【００１４】
画像処理装置３０は、例えば図２に示したＥＣＵ３内に設けられる。画像処理装置３０は、例えばデータバスライン３００、シリアルバスライン３０２、ＣＰＵ（Central  Processing  Unit）３０４、ＦＰＧＡ（Field-Programmable  Gate  Array）３０６、ＲＯＭ（Read  Only  Memory）３０８、ＲＡＭ（Random  Access  Memory）３１０、シリアルＩＦ（Interface）３１２、及びデータＩＦ（Interface）３１４を有する。
【００１５】
上述したステレオカメラ２は、データバスライン３００及びシリアルバスライン３０２を介して画像処理装置３０と接続されている。ＣＰＵ３０４は、画像処理装置３０全体の動作を制御し、画像処理及び画像認識処理を実行する。カメラ部２ａ、２ｂの画像センサ２２で撮像された撮像画像の輝度画像データは、データバスライン３００を介して画像処理装置３０のＲＡＭ３１０に書き込まれる。ＣＰＵ３０４又はＦＰＧＡ３０６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、及び各種設定データ等は、シリアルバスライン３０２を介して送受信される。
【００１６】
ＦＰＧＡ３０６は、ＲＡＭ３１０に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ３１０に再度書き込む。ＣＰＵ３０４は、ステレオカメラ２の各センサコントローラ２３の制御、及び画像処理装置３０の全体的な制御を行う。また、ＲＯＭ３０８には、状況認識、予測、及び物体認識等を実行するための物体認識プログラムが記憶されている。
【００１７】
物体認識プログラムは、画像処理プログラムの一例である。ＣＰＵ３０４は、データＩＦ３１４を介して、例えば自車両のＣＡＮ（Controller  Area  Network）情報をパラメータ（車速、加速度、舵角、ヨーレート等）として取得する。そして、ＣＰＵ３０４は、ＲＯＭ３０８に記憶されている物体認識プログラムに従って、ＲＡＭ３１０に記憶されている輝度画像データ及び視差画像データを用いて、状況認識等の各種処理を実行し、例えば先行車両、側壁等の検出対象の検出（認識）を行う。また、画像データの棄却処理もＣＰＵ３０４が実施する。
【００１８】
検出対象（認識対象）の検出データ（認識データ）は、シリアルＩＦ３１２を介して、例えばＥＣＵ３内に制御機能を設けられた自動ブレーキシステム、又は自動速度制御システム等に対して出力される。自動ブレーキシステムは、認識対象の認識データを用いて車両１のブレーキ制御を行う。また、自動速度制御システムは、認識対象の認識データを用いて車両１の速度制御を行う。なお、以下、移動体の一例として車両について説明するが、本実施の形態の機器制御システムは、船舶、航空機、ロボット等にも適用可能である。
【００１９】
次に、ＣＰＵ３０４は、物体認証プログラムを実行することで図４の機能ブロック図に示す各機能を実現する。すなわち、ＣＰＵ３０４は、物体認証プログラムを実行することで、平行化画像生成部６００、視差画像生成部６０２、視差補間部６０６、Ｖマップ生成部６０８として機能する。また、ＣＰＵ３０４は、物体認証プログラムを実行することで、路面形状検出部６１０、路面高さテーブル算出部６１２、Ｕマップ生成部６１６及び壁検出部６１８として機能する。なお、説明の都合上、「マップ」という語句を用いるが、実際に地図又は画像状の情報が形成される訳ではなく、例えば横方向位置と奥行方向位置等が対応付けられた、物体の２次元分布を示す情報群が形成されるものと理解されたい。
【００２０】
Ｕマップ生成部６１６は、生成部の一例である。また、壁検出部６１８は、ラベリング部及び検出部の一例である。
【００２１】
この図４において、ステレオカメラ２により撮像された時系列ステレオ画像の１フレームの画像（左目視界と右目視界の２つの画像）は、一方が基準画像、他方が比較画像として平行化画像生成部６００に供給される。平行化画像生成部６００は、平行化画像生成処理を実行する。視差画像生成部６０２は、視差画像データ（視差画像情報）を生成する視差画像生成処理を行う。
【００２２】
視差補間部６０６は、視差画像補間処理を行う。Ｖマップ生成部６０８は、投票領域が制限された各画素値に基づいて、Ｖマップを生成する。路面形状検出部６１０及び路面高さテーブル算出部６１２は、視差画像に対応するＶマップの生成が完了するよりも前に、路面の高さを算出しておく。
【００２３】
Ｕマップ生成部６１６は、視差画像の水平方向の視差値の頻度分布を示す高解像度及び低解像度の２種類のＵマップを生成する。なお、以下、高解像度のＵマップを「リアルＵマップ」、低解像度のＵマップを「スモールＵマップ」という。壁検出６１８は、Ｕマップ生成部６１６で生成されたスモールＵマップ上で奥行方向に頻度値を持つ画素が連続している部分を検出する。また、壁検出６１８は、奥行方向の隙間が所定の閾値以下であれば連結とすることにより検出精度を高める。そして、壁検出６１８は、連続している部分が所定の閾値以上の長さの場合、壁として検出する。
【００２４】
すなわち、壁検出６１８は、スモールＵマップを用いることにより、視差分散の影響を抑えて、画像処理のラベリングによる検出を行っている。また、画像サイズが小さくなるため、高速な検出を可能とすることができる。壁が検出された場合、壁とその外側のエリア（壁外領域）を決定し、壁外領域を処理しないこととする。
【００２５】
次に、Ｕマップ作成動作を説明する。図５は、Ｕマップ生成部６１６のＵマップ作成動作を説明するための模式図である。図５（ａ）に示す図は、ステレオカメラ２で撮像された撮像画像の輝度画像である。また、図５（ｂ）に示す図は、図５（ａ）の輝度画像に対応する高解像度のＵマップ（リアルＵマップ）である。このリアルＵマップは、上述のＵマップの横軸を画像の画素単位から、実際の距離（例えば撮影画像の縦方向に延びる直線からの距離）の単位に変換したものである。すなわち、リアルＵマップの横軸は、撮影画像の横方向の実距離である。また、リアルＵマップの縦軸は、後述の間引きを行った間引き視差値となっている。視差値は奥行方向の距離に相当するため、リアルＵマップは、横方向距離（実距離）、奥行方向距離（視差値）、及び、視差値の出現頻度（頻度値）を関連付けて生成された２次元ヒストグラムのマップとなっている。
【００２６】
このようなリアルＵマップは、横軸と縦軸が横方向距離及び奥行方向距離にそれぞれ対応する値であればよい。例えば、縦軸の視差の代わりに奥行方向の距離を用いてもよく、横軸の横方向距離の代わりに横方向距離を所定の倍率で圧縮した値等を用いてもよい。また、ここでは便宜上、縦軸と横軸を用いて説明しているが、相互に値として関連付けられていればよいのであって、軸上に表現されているか否かは問わない。
【００２７】
また、リアルＵマップは、縦軸もＵマップの視差から距離に応じた間引き率を用いる「間引き視差」という単位を利用している。遠方では物体が小さく、視差情報が少ないために距離の分解能も小さいので間引きはしない。一方、近距離の場合は物体が大きく写るため、視差情報が多く距離の分解能も大きいので縦軸を大きく間引くことが可能となる。
【００２８】
図５（ｂ）に示したリアルＵマップの場合、車両Ｃ１の背面の形状が、マップの中央部に正方形状の領域として表れ、壁Ｗ１は、車両Ｃ１の左側に位置し、上方に延びる（垂直の）線状の領域で表される。一例ではあるが、第１の実施の形態の機器制御システムの場合、Ｕマップ生成部６１６は、連続する立体物の検出用として、横軸の分解能が連続しない立体物（例えば自動車又は人間等）の検出が多少困難となるほど分解能が低いＵマップであるスモールＵマップを生成する。また、Ｕマップ生成部６１６は、連続しない立体物の検出用として、高分解能のＵマップであるリアルＵマップを、上述のスモールＵマップと共に生成する。すなわち、Ｕマップ生成部６１６は、分解能が低いスモールＵマップ及び分解能が高いリアルＵマップの両方を生成する。
【００２９】
図６（ａ）に、自車両が壁際を右方向に旋回しているときの輝度画像を示す。また、図６（ｂ）に、図６（ａ）の輝度画像に対応する壁（道路の右カーブに沿って設けられた側壁）が投票されたスモールＵマップを示す。このスモールＵマップは、実距離が遠距離（５０ｍ以上）の場合、視差の間引きは行わず、実距離が中距離（２０ｍ以上５０ｍ未満）の場合、視差を１／２に間引き処理して形成されたスモールＵマップである。また、このスモールＵマップは、実距離が近距離（１０ｍ以上２０ｍ未満）の場合、視差を１／３に間引き処理し、実距離が最近距離（１０ｍ未満）の場合、視差を１／８に間引き処理して形成されたスモールＵマップである。
【００３０】
第１の実施の形態の機器制御システムは、横方向への連続性も考慮して、奥行方向に優先度を持つラベリング処理（以下、旋回壁ラベリング処理又は単にラベリング処理という）を行う。これにより、図６（ｂ）に示すように、道路のカーブに沿ってスモールＵマップ上に現れる、奥行き方向に連続する物体の検出を可能とする。すなわち、例えばカーブする道路に沿って設けられた側壁を、車両の旋回時等に、先行車両等の他の物体と分離して正確に検出する。
【００３１】
次に、壁検出部６１８の旋回壁ラベリング処理の基本処理の手順を説明する。図７（ａ）は、図６（ａ）に示した右にカーブする側壁の撮像画像に対応するスモールＵマップである。また、図７（ｂ）は、図７（ａ）のスモールＵマップの側壁の開始地点に相当するピクセルの拡大図である。壁検出部６１８は、Ｕマップ生成部６１６で生成されたスモールＵマップを、図７（ｂ）に示すようにスモールＵマップの下から（最近距離の位置から）列毎にサーチし、所定の閾値以上の頻度値を有する最初に検出したピクセルＰ１を、側壁の開始地点に対応するピクセルとして所定のラベリング番号（ラベルの一例）を付す。検出したピクセルＰ１に対して、既に他のラベリング番号が付されている場合、壁検出部６１８は、新たなラベリング番号を付すことなく、次の列のサーチに移行する。
【００３２】
壁検出部６１８は、スモールＵマップの１回目のサーチを行った際に、所定の閾値以上の頻度を有するピクセルに「１」のラベリング番号を付す。また、スモールＵマップの２回目のサーチの際は、所定の閾値以上の頻度値を有するピクセルに「２」のラベリング番号を付す。すなわち、壁検出部６１８は、サーチ箇所の変更と共にラベリング番号を変更してラベリング処理を行う。
【００３３】
なお、例えば図７（ｂ）に示す左側の２列のように、頻度値を有するピクセルが存在しない場合がある。壁検出部６１８は、所定の距離までサーチしても頻度値を有するピクセルを検出できない場合、その列のサーチを中止する。そして、サーチする列を次の列に移行し、頻度値を有するピクセルの検出を行う。図７（ｂ）に示す例の場合、左側の２列には、頻度値を有するピクセルが存在しないため、壁検出部６１８は、所定の距離でサーチを中止し、サーチする列を３列目に移行する。これにより、サーチ時間を短縮化できる。
【００３４】
次に、頻度値を有するピクセルＰ１にラベリング番号を付すと、壁検出部６１８は、ラベリング番号を付したピクセルＰ１の行に対して一行上の行上に存在し、ラベリング番号を付したピクセルＰ１に隣接するピクセルＰ２（ラベリング番号を付したピクセルの上のピクセル）、ラベリング番号を付したピクセルＰ１の上のピクセルＰ２の右隣りのピクセルＰ３、及び、ラベリング番号を付したピクセルＰ１の上のピクセルＰ２の左隣りのピクセルＰ４の計３つのピクセルから、次にラベリング処理を行うピクセルを選択する。壁検出部６１８は、この３つのピクセルのうち、最も頻度値の高いピクセルを選択し、ラベリング処理を行う。この例では、ピクセルＰ１の上のピクセルＰ２がラベリング処理されたとする。
【００３５】
なお、次にラベリング処理を行うピクセルを、上述の３つのピクセルから選択することとした。しかし、これは一例であり、例えばラベリング処理を行ったピクセルの上のピクセル及び、上のピクセルの左右に隣接する２つのピクセルの計５つのピクセルから次にラベリング処理を行うピクセルを選択する等のように、任意の位置及び任意の個数のピクセルを、次にラベリング処理を行うピクセルの選択候補としてもよい。
【００３６】
このように壁検出部６１８は、ラベリング処理を行ったピクセルＰ１の上のピクセルＰ２及び、上のピクセルの左右に隣接するピクセルＰ４、Ｐ３の計３つのピクセルのうち、最も頻度の高いピクセルを選択してラベリング処理を行う動作を繰り返し行う。図７（ｂ）に示す例の場合、１回目のサーチにおいて、壁検出部６１８は、側壁の開始地点に相当するピクセルＰ１にラベリング処理を行った後、例えば軌跡の矢印で示すように上、右上、右上、上・・・の順に各ピクセルのラベリング処理を行う。
【００３７】
次に、２回目のサーチにおいて、１回目のサーチ時にラベリング処理したピクセルＰ１の右側に隣接するピクセルＰ５をラベリング処理したとする。この場合、上述の３つのピクセルから次にラベリング処理を行うピクセルを選択すると、１回目のサーチ時に選択したピクセルＰ２が、ラベリング処理を行うピクセルとして選択される。この場合、ピクセルＰ２は、１回目のサーチ時にラベリング処理が完了しているため、壁検出部６１８は、次にラベリング処理を行うピクセルが、既にラベリング処理されていることを検出した時点で、２回目のサーチを終了する。
【００３８】
次に、３回目のサーチにおいて、最初に検出されるピクセルＰ５は、１回目のサーチ時に、既にラベリング処理されている。このため、壁検出部６１８は、ラベリング番号を付すことなく、３回目のサーチを終了する。
【００３９】
このようなラベリング処理を行うと、図８（ａ）に示すようにサーチ毎にラベリング処理されたピクセルを得ることができる（ラベリング結果）。図８（ａ）中、ピクセルの中の数字は、サーチの順番を示している。すなわち、「１」の数字のピ４クセルは、１回目のサーチ時に得られたピクセルを示し、「４」の数字のピクセルは、４回目のサーチにより得られたピクセルを示している。
【００４０】
壁検出部６１８は、このようなラベリング結果から、所定長以上のピクセルを抽出することで、図８（ｂ）に示すように奥行方向に連続している長い物体（この例の場合は、側壁）を検出する。
【００４１】
ここで、壁検出部６１８は、各サーチ時に検出されたピクセルの一行上の３つのピクセルに対して、重み付けを行ったうえで選択してもよい。例えば、ハンドルの操作情報及び（又は）車両の回転角速度（ヨーレート）等の車両情報を取得し、壁検出部６１８は、上述の３つのピクセルのうち、車両の旋回方向に対応するピクセルの重みづけ値を、車両の反旋回方向に対応するピクセル及びセンターのピクセルの重みづけ値よりも大きくして、上述のラベリング処理を行うピクセルを選択する。すなわち、例えば車両が右旋回していることを示す車両情報を取得した場合、壁検出部６１８は、車両の右旋回方向に対応する右のピクセルの重みづけ値を、車両の左旋回方向に対応するピクセル及びセンターのピクセルの重みづけ値よりも大きくして、上述のラベリング処理を行うピクセルを選択する。そして、壁検出部６１８は、この場合、左のピクセルのサーチを行うことなくサーチを中止する（左のピクセルのサーチは行わない）。
【００４２】
さらに、壁検出部６１８は、車両情報から旋回中であることが検出される間、サーチ位置を旋回方向に１ピクセルずらしながら上述のラベリング処理を行う。これにより、ラベリング処理を行うべきピクセルを、サーチの初期段階で検出可能となるように、ラベリング処理を行うべきピクセルに追従してサーチを行うことができる。また、このようにサーチの開始位置を制御することで、撮像画像の手前から長く連続している物体を正確に検出でき、誤検出を減らすことができる。また、このようにサーチの開始位置を制御することで、サーチ時間を短縮化することができ、壁等の連続する物体の高速検出を可能とすることができる。
【００４３】
また、例えば１回目のサーチで最初に検出される、図７（ｂ）に示すピクセルＰ１（スタート画素）の左の２列には、頻度値を有するピクセルが存在せず、サーチを行っても無駄な時間となる。このため、壁検出部６１８は、所定のエリア内に、頻度値を有するピクセルが存在しない場合、その列のサーチを中止する。また、遠方ほど、視差は分散が大きくなり、物体同士がスモールＵマップ上で結合し、壁として検出される長さの条件を満たす場合がある。しかし、この第１の実施の形態の場合、近い距離の位置から長く連続している物体を検出することで、物体同士が結合したものを壁等の一連の長い物体として誤検出する不都合を防止できる。
【００４４】
図９のフローチャートに、壁検出部６１８における旋回壁ラベリング処理の動作の流れを示す。まず、壁検出部６１８は、スモールＵマップの最初の列を下（最近距離エリア）からサーチする（ステップＳ１）。次に、壁検出部６１８は、現在、サーチしているピクセルの上の行の上述の３つのピクセルのうち、頻度値を有するピクセルが存在するか否かを判別する（ステップＳ２）。上述の３つのピクセルのうち、頻度値を有するピクセルが存在しない場合（ステップＳ２：Ｎｏ）、壁検出部６１８は、ステップＳ１２に処理を進め、最後の列の最終のデータのサーチが終了したか否かを判別する。壁検出部６１８は、最後の列の最終のデータのサーチが終了したと判別した場合（ステップＳ１２：Ｙｅｓ）、そのまま図９のフローチャートの処理を終了する。これに対して、最後の列の最終のデータのサーチが終了していないと判別した場合、壁検出部６１８は、次の列のサーチを行うべく、ステップＳ１に処理を戻す。すなわち、壁検出部６１８は、現在、サーチを行っているピクセルの上の行の３つのピクセルに、頻度値を有するピクセルを検出しない場合、現在のサーチである、例えば「１」のラベリング番号を付す１回目のサーチを終了し、「２」のラベリング番号を付す２回目のサーチに移行する。
【００４５】
次に、上述の３つのピクセルに、頻度値を有するピクセルが存在する場合（ステップＳ２：Ｙｅｓ）、壁検出部６１８は、現在のサーチ位置を、頻度値を有するピクセルの位置に更新する（ステップＳ３）。そして、壁検出部６１８は、現在のサーチ位置のピクセルに、既にラベリング番号（ラベリング番号）が付されているか否かを判別する（ステップＳ４）。
【００４６】
既にラベリング番号が付されていると判別した場合、壁検出部６１８は、上述のステップＳ１２を介して、図９のフローチャートの処理を終了し、又は、次の列のサーチを行うべく、処理をステップＳ１に戻す。
【００４７】
これに対して、ラベリング番号が付されていないと判別した場合（ステップＳ４：Ｎｏ）、壁検出部６１８は、ラベリング番号を一つインクリメントし（ステップＳ５）、現在のサーチ位置のピクセルに対して、インクリメントしたラベリング番号を付与するラベリング処理を行う（ステップＳ６）。
【００４８】
次に、壁検出部６１８は、現在のサーチ位置のピクセル（ラベリング番号を付与したピクセル）の一行上の行のピクセルのうち、 現在のサーチ位置のピクセルの上の位置のピクセル、上の位置のピクセルの左右にそれぞれ隣接するピクセルのうち、頻度値を有するピクセルが存在するか否かを判別する（ステップＳ７）。すなわち、壁検出部６１８は、このステップＳ７において、上述の３つのピクセルのうち、 頻度値を有するピクセルが存在するか否かを判別する。
【００４９】
上述の３つのピクセルのうち、 頻度値を有するピクセルが存在しないと判別した場合（ステップＳ７：Ｎｏ）、壁検出部６１８は、上述のステップＳ１２を介して、図９のフローチャートの処理を終了し、又は、次の列のサーチを行うべく、処理をステップＳ１に戻す。
【００５０】
これに対して、上述の３つのピクセルのうち、頻度値を有するピクセルが存在すると判別した場合（ステップＳ７：Ｙｅｓ）、壁検出部６１８は、最大頻度のピクセルの位置を、現在のサーチ位置として更新する（ステップＳ８）。
【００５１】
次に、壁検出部６１８は、更新した現在のサーチ位置のピクセルに対して、既に異なるＩＤが付されているか否かを判別する。既に異なるＩＤが付されていると判別した場合（ステップＳ９：Ｙｅｓ）、壁検出部６１８は、上述のステップＳ１２を介して、図９のフローチャートの処理を終了し、又は、次の列のサーチを行うべく、処理をステップＳ１に戻す。
【００５２】
これに対して、更新した現在のサーチ位置のピクセルに対して、既に異なるＩＤが付されていないと判別した場合（ステップＳ９：Ｎｏ）、壁検出部６１８は、現在のサーチ位置のピクセルにラベリング番号を付与する（ステップＳ１０）。
【００５３】
次に、壁検出部６１８は、現在、サーチを行っている行の最後のデータ（ピクセル）に対するサーチが終了したか否かを判別する（ステップＳ１１）。そして、現在の行の最後のピクセルのサーチを終了していないと判別した場合（ステップＳ１１：Ｎｏ）、壁検出部６１８は、現在の行の次のピクセルのサーチを行うべく、ステップＳ７に処理を戻す。これに対して、現在の行の最後のピクセルのサーチを終了したと判別した場合（ステップＳ１１：Ｙｅｓ）、壁検出部６１８は、上述のステップＳ１２を介して、図９のフローチャートの処理を終了し、又は、次の列のサーチを行うべく、処理をステップＳ１に戻す。
【００５４】
次に、図１０（ａ）は、側壁に対応するスモールＵマップであり、図１０（ｂ）は、このスモールＵマップの側壁を旋回時壁ラベリング処理したイメージ図である。旋回時壁ラベリング処理を行うと、図１０（ｂ）に示すように細い線状にラベリング処理が行われる。これは、各列のサーチの開始地点が数ピクセルずれた場合でも、頻度の塊のピクセルのうち、高頻度のピクセルに対してラベリング処理が行われるためである（ラベリング処理の経路が高頻度のピクセルに収束するためである）。
【００５５】
ここで、壁検出部６１８により、壁が検出された場合、後段のオブジェクト領域検出部において、壁の内側エリアを処理することで処理速度を向上し、また壁を物体として誤認識する不都合を防止するようになっている。
【００５６】
しかし、旋回壁ラベリング処理の結果は、上述のようにスモールＵマップの視差頻度の塊と比較して細くラベリングされる傾向がある。このため、単純に壁の内側のエリアを処理しようとすると、壁が他の物体として処理される不都合を生ずるおそれがある。
【００５７】
このため、壁検出部６１８は、図１１（ａ）に示すようにラベリング処理したピクセルの左右に隣接するピクセルにも同じラベリング番号を付す拡張付与処理を行う。この拡張付与処理は、ラベリング番号が存在する各行において、スモールＵマップ上での「頻度値が連続するピクセルまで」ラベリング番号を付与する。これにより、図１１（ｂ）に示すように、例えば２〜５ピクセル分の幅を有するラベリング結果を得ることができる。
【００５８】
壁検出部６１８は、拡張した最も内側に位置するピクセルに基づいて、オブジェクト（物体）の検出処理領域（認識処理領域）を決定する。すなわち、図１２（ａ）は、このようなラベリング番号の拡張付与処理を行わない場合の物体の検出処理領域を示している。この図１２（ａ）において、壁Ｗ１は、幅があるにもかかわらず、壁Ｗ１の略中心を通る細い直線状にラベリング処理される。このため、図１２（ａ）に斜線で示す壁の内側部分が、他の物体として認識されて物体検出処理されるおそれがある。
【００５９】
しかし、上述のラベリング番号の拡張付与処理を行うことで、図１２（ｂ）に示すように、相当の幅を有する壁Ｗ１のラベリング処理を行うことができる。これにより、後段のオブジェクト領域検出部において、図１２（ｂ）に示すように、壁の内側に沿って物体の検出範囲を設定しても、壁Ｗ１と他の物体を正確に分離して物体の認識処理（検出処理）を行うことができる。このため、壁Ｗ１を他の物体として誤認識する不都合を防止することができる。
【００６０】
なお、この例では、ラベリング処理したピクセルの左右に隣接するピクセルに同じラベリング番号を付す拡張付与処理を行うこととした。しかし、ラベリング処理したピクセルの左右に隣接するピクセルのうち、いずれか一方のピクセルに、ラベリング番号の拡張付与処理を行ってもよい。
【００６１】
次に、壁検出部６１８は、旋回壁ラベリング処理時にスモールＵマップをサーチする際、図７（ｂ）に示したようにスモールＵマップの左端の列から順にサーチする。壁は、スモールＵマップ上の外側に位置することが多い。このため、スモールＵマップの左端の列から順にサーチすることで、壁を最初にラベリング処理し、次に、先行車両等の他の物体をラベリング処理することができる。これにより、壁のラベリング番号及び先行車両等の他の物体のラベリング番号を、異なるラベリング番号とすることができ、壁及び先行車両等の他の物体を正確に分離して検出可能とすることができる。
【００６２】
なお、図７（ｂ）の例では、ピクセルＰ１の列に対して１回目のラベリング処理のためのサーチが行われるように図示されているが、実際には、スモールＵマップの左端の列からサーチが開始される。ただ、図７（ｂ）の例の場合、スモールＵマップの左端の列及び隣接する２列目には、頻度値を有するピクセルが存在しない。所定の範囲内に頻度値を有するピクセルを検出しない場合、その列のラベリング処理のためのサーチは中止され、次の列のサーチに移行する。図７（ｂ）の例に示すサーチ番号「１」は、頻度値を有するピクセルＰ１を最初に検出したサーチを示している。
【００６３】
次に、壁検出部６１８は、以下のようにスモールＵマップをサーチしてラベリング処理を行ってもよい。すなわち、図１３（ａ）に示す例は、壁検出部６１８が、スモールＵマップの左端の列を１回目にサーチし、２回目にスモールＵマップの右端の列をサーチする例である。また、図１３（ａ）に示す例は、壁検出部６１８が、３回目に、スモールＵマップの左端から２番目の列をサーチし、４回目に、スモールＵマップの右端から２番目の列をサーチする例である。すなわち、図１３（ａ）の例の場合、壁検出部６１８は、左右交互にサーチを行い、順に内側にサーチする列をずらして、サーチを行う。
【００６４】
または、壁検出部６１８は、図１３（ｂ）に示すように、左端の列から略々中央のＮ列まで順にサーチを行い、Ｎ列目のサーチが終了した際に、サーチする列を右端に移行し、右端からＮ列まで順にサーチを行うようにしてもよい。
【００６５】
上述のように、撮影画像内に壁が存在する場合、全物体の中で、壁は、最も外側の物体として位置していることが多い。また、後述するラベリング番号の統合処理により壁と他の物体を分離して検出し易くするために、壁検出部６１８は、旋回壁ラベリング処理時において、スモールＵマップの左端からサーチを行う。これにより、スモールＵマップ中の物体のうち、他の物体よりも先に、壁に対してラベリング処理を施すことができる。このため、壁と他の物体を分離して検出し易くすることができる。
【００６６】
次に、ラベリング番号の統合処理を説明する。ラベリング番号の統合処理とは、ラベリング処理中のラベリング番号の軌跡が、先にラベリング処理したピクセルと同じ軌跡となる場合に、両者に同じラベリング番号を付す（ラベリング番号の統合）を行う処理である。具体的には、壁検出部６１８は、ラベリング処理中のラベリング番号の軌跡が、先にラベリング処理したピクセルと同じ軌跡となる場合、現在ラベリング処理を行っているピクセルと、先にラベリング処理したピクセルとの間の隙間となるピクセルが所定のピクセル数以下であった場合に、ラベリング番号を統合処理する。
【００６７】
図１４（ａ）は、壁が投票されたスモールＵマップを示し、図１４（ｂ）は、１回目のラベリング処理が終了し、２回目のラベリング処理を行っている途中のスモールＵマップを示している。図１４（ｂ）中、「１」の数字が付されているピクセルは、１回目のラベリング処理でラベリングされたピクセルを示し、図１４（ｂ）中、「２」の数字が付されているピクセルは、２回目のラベリング処理でラベリングされたピクセルを示している。
【００６８】
図１４（ｂ）に丸で囲んで示すように、現在、ラベリング処理を行っている２回目のラベリング番号の軌跡が、１回目のラベリング処理を行ったピクセルと同じ軌跡となる場合を考える。この場合、１回目のラベリング処理を行ったピクセルで示される壁の全長が短くなり、壁として検出されない可能性がある。また、１回目のラベリング処理を行ったピクセルで示される物体を壁として検出できた場合でも、１回目のラベリング処理を行ったピクセルより手前に存在する「２」のラベリング処理が施されたピクセル（視差）は検出対象のピクセルとなり、何らかの物体として検出される。
【００６９】
このため、壁検出部６１８は、２回目のラベリング番号の軌跡が、１回目のラベリング処理を行ったピクセルと同じ軌跡となる場合において、「１」のピクセルと「２」のラベリングを行ったピクセルとの間に、例えば２ピクセル以下の隙間が存在する場合、「２」としてラベリングするピクセルを「１」のピクセルとしてラベリング処理する（ラベリング番号の統合処理）。すなわち、図１４（ｂ）の例の場合、「２」のラベリングを行ったピクセルは、それぞれ上方向の「１」のピクセルとの間に、１ピクセル分の隙間Ｇが存在する。このため、壁検出部６１８は、図１４（ｃ）に示すように「２」のピクセルを全て「１」のピクセルとしてラベリング処理する。換言すると、壁検出部６１８は、「１」及び「２」のピクセルを統合し、「２」のピクセルの軌跡を「１」のピクセルの軌跡に合流させる。
【００７０】
なお、このようなラベリング番号の統合処理は、両者の間が１ピクセル又は３ピクセル以下等のように、２ピクセル以外でもよい。また、両者の間の距離が例えば１ｍ以内等のように、距離に応じて統合処理してもよい。
【００７１】
このようなラベリング番号の統合処理を行うことで、スモールＵマップの奥行方向に伸びる物体の全長に対応するピクセルを、同じラベリング番号でラベリング処理することができる。このため、スモールＵマップの奥行方向に伸びる物体の全長を正確に再現して、壁としての検出率及び検出精度の向上を図ることができる。
【００７２】
また、このようなラベリング番号の統合処理を行うことで、スモールＵマップ上で重なっている物体同士を分離して検出可能となる。例えば、図１５（ａ）に示すように右カーブの道路に沿って設けられた壁と、先行車両Ｃ１とが重なっている撮像画像を得られた場合、スモールＵマップは、図１５（ｂ）のようになる。壁Ｗ１と先行車両Ｃ１とは、物理的には離れているが、視差分散により壁Ｗ１の視差と先行車両Ｃ１の視差とが連結される。しかし、走行中の先行車両Ｃ１と壁Ｗ１との間には距離があるため、スモールＵマップ上で隣接していても、ラベリング処理した壁Ｗ１のピクセルと、先行車両Ｃ１のピクセルとの間には、隙間が空きやすい。
【００７３】
すなわち、図１６（ａ）は、壁Ｗ１及び先行車両Ｃ１の部分的なスモールＵマップであり、図１６（ｂ）は、上述のラベリング処理によりラベリング番号が付されたスモールＵマップの各ピクセルを示している。ラベリング番号が「１」のピクセルと「２」のピクセルとの間には、上述と同様の条件の２ピクセル以下となる、１ピクセル分の隙間Ｇしか存在しない。このため、「２」のピクセルは、「１」のピクセルに統合される。
【００７４】
これに対して、図１６（ｂ）において、先行車両Ｃ１に相当する「３」のピクセルと、壁Ｗ１に相当する「１」のピクセルとの間には、上述の２ピクセル以下の条件に反することとなる３ピクセル分の隙間Ｇが存在する。この場合、壁検出部６１８は、先行車両Ｃ１に相当する「３」のピクセルと、壁Ｗ１に相当する「１」のピクセルとは、図１６（ｃ）に示すように統合処理しない。これにより、スモールＵマップ上で壁Ｗ１と先行車両Ｃ１とが重なっている場合でも、両者を異なるラベリング番号でラベリング処理することができる。このため、スモールＵマップ上で壁Ｗ１と先行車両Ｃ１とが重なっている場合でも、異なるラベリング番号に基づいて、両者を正確に分離して検出可能とすることができる。
【００７５】
（第１の実施の形態の効果）
以上の説明から明らかなように、第１の実施の形態の機器制御システムは、視差画像から生成した低分解能のＵマップ（スモールＵマップ）上において、頻度値を有し、最近距離エリア（手前側）から遠距離エリア（奥側）に連続するピクセルをサーチする。そして、このサーチにより検出した、頻度値を有するピクセルに対して、一行上の行上で隣接するピクセル、及び、このピクセルの左右に隣接するピクセルの、計３つのピクセルのうち、最も頻度が高いピクセルを奥行方向に連続しているピクセルとしてラベリング処理する動作を繰り返し行う（旋回壁ラベリング処理）。
【００７６】
奥行方向に連続するピクセルをサーチする際に、上述の上の行の３つのピクセルを選択候補とすることにより、奥行方向に行くに連れカーブする物体の形状に追従して、ラベリング処理を行うことができる。このため、カーブしている壁も、正確に検出することができる。また、このようなサーチを行う範囲を、例えば中距離エリア以内に制限することで、高速な物体（壁）検出を可能とすることができる。
【００７７】
また、低解像度のＵマップであるスモールＵマップを用いることで、視差分散の影響を抑え、画像処理のラベリング処理に近い手法でカーブ状の壁を検出できる。また、処理する画像サイズが小さいため、高速処理を可能とすることができる。また、壁が検出された場合、壁のピクセルに幅を持たせ、壁の内側のエリアを決定する。そして、後段のオブジェクト領域検出部による物体検出において、壁の内側領域に基づいてオブジェクト（物体）の検出処理を行うことで、誤検出の低減及び高速処理を可能とすることができる。
【００７８】
また、第１の実施の形態の機器制御システムは、旋回壁ラベリング処理時において、スモールＵマップの左端からサーチを行う。これにより、スモールＵマップ中の物体のうち、他の物体よりも先に、壁に対してラベリング処理を施すことができる。このため、壁と他の物体を分離して検出し易くすることができる。
【００７９】
このような外側からサーチを行うことで、壁と他の物体を分離して検出し易くすることができる効果が得られる理由を、詳しく説明する。図１７（ａ）は、図１６（a）に示した壁Ｗ１に先行車両Ｃ１が重なっている状態の撮像画像に対応するスモールＵマップである。また、図１７（ｂ）は、このスモールＵマップの右端からサーチを行うことで上述のラベリング処理が施されたスモールＵマップを示す図である。撮影画像内に壁が存在する場合、全物体の中で、壁は、最も外側の物体として位置していることが多い。しかし、スモールＵマップの右端からサーチを行うと、壁Ｗ１の内側に位置している先行車両Ｃ１が、壁Ｗ１よりも先にラベリング処理される。
【００８０】
これにより、図１７（ｂ）に示すように、例えば２回目のサーチ時に、先行車両Ｃ１に続き壁Ｗ１に対し、同じ「２」のラベリング番号が付される不都合を生ずる。そして、このように壁Ｗ１と先行車両Ｃ１に付された同じラベリング番号は（異なる物体に対して付された同じラベリング番号は）、後のサーチによる上述のラベリング番号の統合処理の有無に関わらず、同じラベリング番号が維持される。
【００８１】
すなわち、図１８（ａ）は、４回目のサーチでラベリング処理された「４」のラベリング番号のピクセルの軌跡が、上述の「２」のラベリング番号のピクセルの軌跡と重ならない場合の例である。この場合、図１８（ａ）からわかるように、「４」のラベリング番号のピクセルの統合処理の有無に関わらず、「２」のラベリング番号のピクセルは、そのまま残る。
【００８２】
また、図１８（ｂ）は、４回目のサーチでラベリング処理された「４」のラベリング番号のピクセルの軌跡が、上述の「２」のラベリング番号のピクセルの軌跡と重なる場合の例である。この場合、図１８（ｂ）からわかるように、「４」のラベリング番号のピクセルが、「２」のラベリング番号のピクセルに統合処理される。そして、この場合でも、統合処理の前に、「２」のラベリング番号が付されたピクセルは、そのまま残る。
【００８３】
このように、壁Ｗ１と先行車両Ｃ１に同じラベリング番号が付されると、統合処理の有無に関わらず、同じラベリング番号のピクセルがそのまま残るため、両者を分離して検出することが困難となる。
【００８４】
しかし、第１の実施の形態の場合、スモールＵマップの左端からサーチを行っているため、図７（ｂ）及び図１７等を用いて説明したように壁Ｗ１からラベリング処理を行い、次のサーチで先行車両Ｃ１をラベリング処理することができる。このため、壁Ｗ１及び他の物体（先行車両Ｃ１）に対して、それぞれ異なるラベリング番号を付すことができ、両者を分離して検出し易くすることができる。
【００８５】
（第２の実施の形態）
次に、第２の実施の形態の機器制御システムの説明をする。上述の第１の実施の形態の場合、旋回壁ラベリング処理において、現在、サーチしているピクセルの上の行の３つのピクセルに、頻度値を有するピクセルが存在しない場合、現在のラベリング番号を付すサーチを中止し、次のラベリング番号を付すサーチに移行する。
【００８６】
これに対して、第２の実施の形態の機器制御システムは、現在、サーチしているピクセルの上の行の３つのピクセルに、頻度値を有するピクセルが存在しない場合でも、現在、サーチしているピクセルの例えば２つ上の行の３つのピクセルに、頻度値を有するピクセルが存在する場合は、現在のラベリング番号を付すサーチを継続する等のように、距離又はピクセル数に応じて現在のサーチを継続する。すなわち、ラベリング処理を行ったピクセルと、次にラベリング処理を行うピクセルとの間に存在する、頻度値を有さないピクセルのピクセル数が、所定のピクセル数以上である場合、当該サーチを終了して次のサーチに移行し、頻度値を有するピクセルのピクセル数が、所定のピクセル数未満である場合、当該サーチを継続してラベリング処理を行う。なお、上述の第１の実施の形態と、以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
【００８７】
図１９のフローチャートに、第２の実施の形態における旋回壁ラベリング処理の流れを示す。この図１９のフローチャートは、図９に示した第１の実施の形態における旋回壁ラベリング処理の流れを示すフローチャートに対して、ステップＳ２１及びステップＳ２２の処理を行う点が異なる。なお、図１９のフローチャートにおいて、ステップＳ１〜ステップＳ１２の各処理は、図９のフローチャートのステップＳ１〜ステップＳ１２の各処理と同じ内容の処理である。詳しい説明は、上述の図９のフローチャートの説明を参照されたい。
【００８８】
この第２の実施の形態の場合、図１９のフローチャートのステップＳ７において、壁検出部６１８が、現在、サーチを行っているピクセルの一行上の上述の３つのピクセルに、頻度値を有するピクセルが存在しないと判別した場合（ステップＳ７：Ｎｏ）、ステップＳ２１に処理を進める。すなわち、図２０（ａ）に示す現在、サーチを行っているピクセルＧＰの一行上の３つのピクセルＧ１〜Ｇ３には、頻度値を有するピクセルが存在しない。この場合、第１の実施の形態では、現在のラベリング番号を付すサーチを終了し、次のラベリング番号を付すサーチに移行する。これに対して、第２の実施の形態の場合、ステップＳ２１に処理を進め、現在のラベリング番号を付すサーチを継続する。
【００８９】
ステップＳ２１では、ピクセル壁検出部６１８が、頻度値を有するピクセルが、他の範囲内に存在するか否かを判別する。すなわち、一例ではあるが、壁検出部６１８は、現在、サーチを行っているピクセルの例えば２行上の３つのピクセルに、頻度値を有するピクセルが存在するか否かを判別する。なお、例えば３行上の５つのピクセルに、頻度値を有するピクセルが存在するか否かを判別する等のように、サーチの範囲は設計等に応じて任意に設定可能である。
【００９０】
このような他の範囲内に、頻度値を有するピクセルが存在しないと判別した場合（ステップＳ２１：Ｎｏ）、壁検出部６１８は、次のラベリング番号を付すサーチに移行すべく、ステップＳ１２を介して処理をステップＳ１に戻す。
【００９１】
これに対して、このような他の範囲内に、頻度値を有するピクセルが存在すると判別した場合（ステップＳ２１：Ｙｅｓ）、壁検出部６１８は、ステップＳ２２において、現在、サーチを行っているピクセルの一行上の行において、頻度値を有するピクセルの位置を、現在、サーチを行っているピクセルの位置として更新し、処理をステップＳ９に進める。
【００９２】
これにより、図２０（ａ）に示すように、現在、サーチを行っているピクセルＧＰの一行上の行の３つのピクセルに、頻度値を有するピクセルが存在しない場合でも、現在、サーチを行っているピクセルＧＰの二行上の３つのピクセルから、頻度値を有するピクセルを検出し、図２０（ｂ）に示すように現在のサーチに対応するラベリング処理を継続することができる他、上述の第１の実施の形態と同じ効果を得ることができる。
【００９３】
なお、図２０（ａ）の例は、現在、サーチを行っているピクセルＧＰの上に隣接するピクセルＧ２に、現在のサーチに対応するラベリング番号を付す例である。しかし、ピクセルＧ１又はピクセルＧ３にラベリング番号を付してもよい。または、現在のピクセルＧＰの一行上に、頻度値を有するピクセルが存在しない場合は、頻度値を有さないピクセルをスキップし、現在のピクセルＧＰの二行上の頻度値を有するピクセルに、継続してラベリング番号を付すようにしてもよい。すなわち、頻度値を有さないピクセルに対しては、現在のラベリング番号を付してもよいし、付さなくてもよい。
【００９４】
（第３の実施の形態）
次に、第３の実施の形態の機器制御システムの説明をする。この第３の実施の形態の機器制御システムは、スモールＵマップの奥側に行くに連れてカーブするように連続する物体の検出手法、及び、スモールＵマップの奥方向に対して直線的に連続する物体の検出手法を分けて用いることで、連続する物体の検出精度の向上を図ったものである。なお、上述の各実施の形態と、以下に説明する第３の実施の形態とでは、この点のみが異なる。このため、以下、差異の説明のみ行い、重複説明は省略する。
【００９５】
例えば、図２１（ａ）の撮像画像（輝度画像）に示すように、壁Ｗ１の近くを走行する２台の先行車両Ｃ１，Ｃ２の距離が近い場合、図２１（ｂ）に示すように、スモールＵマップ上において、壁Ｗ１、先行車両Ｃ１及び先行車両Ｃ２が連結することがある。この場合、上述の旋回壁ラベリング処理を行うと、各ピクセルの視差頻度次第で、図２１（ｃ）に示すように壁Ｗ１、先行車両Ｃ１及び先行車両Ｃ２に対して同じラベリング番号が付されるラベリング処理が行われる。そして、先行車両Ｃ１及び先行車両Ｃ２が、カーブしている壁Ｗ１として誤検出されることが、僅かではあるが、懸念される。
【００９６】
このため、第３の実施の形態の機器制御システムは、直線状の壁用のラベリング処理及びカーブしている壁用のラベリング処理（上述の旋回壁ラベリング処理）を切り替えて用いる。図２２のフローチャートに、このようなラベリング処理の切り替え動作を含む、ラベリング処理の流れを示す。この図２２のフローチャートは、図９のフローチャートを用いて説明したステップＳ６及びステップＳ９の間において、上述のステップＳ７及びステップＳ８の各処理と共に、ステップＳ３１〜ステップＳ３３の各処理を実行する。なお、図２２のフローチャートにおいて、ステップＳ１〜ステップＳ１２の各処理は、図９のフローチャートのステップＳ１〜ステップＳ１２の各処理と同じ内容の処理である。詳しい説明は、上述の図９のフローチャートの説明を参照されたい。
【００９７】
この第３の実施の形態の場合、図２２のフローチャートのステップＳ６において、現在位置のピクセルに対して現在のサーチに対応するラベリング番号を付すと、ステップＳ３１に処理が進む。ステップＳ３１では、壁検出部６１８が、車両情報に基づいて、現在、自車両が旋回中であるか否かを判別する。
【００９８】
具体的には、壁検出部６１８は、自車の走行速度、ヨーレート(角速度)、操舵角、回転半径等の旋回情報の一例となる車両情報を取得し、自車両の旋回の有無を判別する。例えば、ヨーレートが「１」を超える場合、壁検出部６１８は、自車両が旋回中であると判別する。また、壁検出部６１８は、自車両の走行速度が４０ｋｍ／ｈ以上で、操舵角が１０度以上である場合に、自車両が旋回中であると判別する。なお、操舵角の車両情報のみで旋回の有無を判別すると、自車両の停止時にハンドルを回転操作した際に、旋回として判断される不都合を生ずる。このため、操舵角で旋回の有無を判別する場合、壁検出部６１８は、走行速度を参照して旋回の有無を判別する。なお、壁検出部６１８は、例示した車両情報（例示以外の車両情報も含む）のうち、一つを取得して自車両の旋回の有無を判別してもよいし、複数を取得して自車両の旋回の有無を判別してもよい。
【００９９】
ステップＳ３１において、旋回中であると判別した場合（ステップＳ３１：Ｙｅｓ）、壁検出部６１８は、カーブしている壁用の検出手法である、上述の旋回壁ラベリング処理を行うべく、ステップＳ７に処理を進める。そして、現在、サーチを行っているピクセルの上のピクセル、及び、上のピクセルの左右に隣接するピクセルの、計３つのピクセルのうち、頻度値を有するピクセルを選択してラベリング処理を行う。これにより、旋回している壁の旋回方向を、上述の３つのピクセルから選択してラベリング処理することができ、壁の旋回方向に沿ったラベリング処理を可能とすることができる。
【０１００】
これに対して、ステップＳ３１において、旋回中ではないと判別した場合（ステップＳ３１：Ｎｏ）、壁検出部６１８は、直線状の壁用の検出手法を用いるべく、ステップＳ３２に処理を進める。ステップＳ３２では、壁検出部６１８が、現在、サーチを行っているピクセルの上方向に隣接するピクセル（現在のピクセルの上の行のピクセル）は、頻度値を有するピクセルであるか否かを判別する。上方向に隣接するピクセルは、頻度値を有していないと判別した場合（ステップＳ３２：Ｎｏ）、壁検出部６１８は、上述のステップＳ１２を介して、図２２のフローチャートの処理を終了し、又は、次の列のサーチを行うべく、処理をステップＳ１に戻す。
【０１０１】
これに対して、上方向に隣接するピクセルが、頻度値を有するピクセルであると判別した場合（ステップＳ３２：Ｙｅｓ）、壁検出部６１８は、ステップＳ３３に処理を進める。ステップＳ３３では、壁検出部６１８が、上方向に隣接するピクセルの位置を、現在、ラベリング処理のためのサーチを行っているピクセルの位置として更新し、ステップＳ９に処理を進める。そして、壁検出部６１８は、ステップＳ３３で更新した位置のピクセルにラベリング番号が付されていない場合に、現在のサーチに対応するラベリング番号を付し（ステップＳ１０）、処理をステップＳ１１に進める。これにより、上方向に頻度値を有するピクセルが連続する場合、直線的に同じラベリング番号が連続して付される。このため、直線的に設けられた壁を、後段のオブジェクト領域検出部で検出し易くすることができる。
【０１０２】
なお、現在、サーチを行っているピクセルの上方向に隣接するピクセル（一行上のピクセル）が、頻度値を有していない場合、第２の実施の形態で説明したように、頻度値を有していないピクセルのサーチをスキップし、さらに上方向に隣接するピクセル（二行上のピクセル）が、頻度値を有するか否かを判別してもよい。
【０１０３】
すなわち、第３の実施の形態の場合、自車両が旋回中であるときには、壁検出部６１８は、第１のラベリング処理の一例である旋回壁ラベリング処理を行い、壁の旋回方向を考慮して、上述の上及び左右の計３つのピクセルの中から、壁の旋回方向に対応するピクセルを選択してラベリング処理を行う。また、自車両が旋回中ではないとき（直進中であるとき）には、壁検出部６１８は、現在、サーチしているピクセルの上方向に、現在のサーチに対応するラベリング番号を付す、直線状の壁用のラベリング処理（第２のラベリング処理処理の一例）を行う。これにより、直線的な壁を構成する各ピクセルに対して同じラベリング番号を付すことができる。
【０１０４】
このように第３の実施の形態の機器制御システムは、直線状の壁用のラベリング処理及びカーブしている壁用のラベリング処理（上述の旋回壁ラベリング処理）を切り替えて用いる。これにより、図２２（ｂ）に示すように直線的な壁Ｗ１と、２台の先行車両Ｃ１，Ｃ２がスモールＵマップ上で重なっている場合でも、直線的な壁Ｗ１のピクセルには同じラベリング番号を付すことができる。このため、直線的な壁Ｗ１と、２台の先行車両Ｃ１，Ｃ２を、正確に分離して検出可能とできる他、上述の各実施の形態と同様の効果を得ることができる。
【０１０５】
（第４の実施の形態）
次に、第４の実施の形態の機器制御システムの説明をする。この第４の実施の形態は、自車両の直進時において、最近距離〜中距離程度までは直線状の壁用のラベリング処理を行い、中距離〜遠距離にかけて、ラベリング処理の自由度が高い上述の旋回壁ラベリング処理を行う。これにより、直線状の壁が遠方でカーブする形状に追従して、同じラベリング番号を付すラベリング処理を可能とする。なお、上述の各実施の形態と、以下に説明する第４の実施の形態とでは、この点のみが異なる。このため、以下、差異の説明のみ行い、重複説明は省略する。
【０１０６】
図２３のフローチャートに、第４の実施の形態のラベリング処理の流れを示す。この図２３のフローチャートは、第３の実施の形態で説明した自車両の旋回の有無を判別するステップＳ３１の後段に、ステップＳ４１の判断枝を設けたフローチャートとなっている。なお、この図２３のフローチャートにおいて、ステップＳ１〜ステップＳ１２の各処理は、図９のフローチャートのステップＳ１〜ステップＳ１２の各処理と同じ内容の処理である。詳しい説明は、上述の図９のフローチャートの説明を参照されたい。また、図２３のフローチャートにおいて、ステップＳ３１〜ステップＳ３３の各処理は、図２３のフローチャートのステップＳ３１〜ステップＳ３３の各処理と同じ内容の処理である。詳しい説明は、上述の図２３のフローチャートの説明を参照されたい。
【０１０７】
この第４の実施の形態の場合、図２３のフローチャートのステップＳ３１において、自車両が、現在、旋回中ではないと判別されると（ステップＳ３１：Ｎｏ）、壁検出部６１８は、ステップＳ４１に処理を進める。ステップＳ４１では、壁検出部６１８が、現在、ラベリング処理のサーチを行っているピクセルは、スモールＵマップ上の所定の領域（エリア）より手前側の領域内に位置するピクセルであるか否かを、奥行方向の距離を示すピクセルの視差値に基づいて判別する。
【０１０８】
一例ではあるが、第４の実施の形態の場合、図２４（ａ）に示すようにスモールＵマップ上の最近距離〜中距離までの間の領域（上述の手前側の領域）と、中距離〜遠距離までの間の領域（奥側の領域）との間が、ラベリング処理の切り替えラインとなっている。すなわち、第４の実施の形態の場合、現在、サーチ中のピクセルの位置が、中距離の位置から遠距離の位置に移行する際に、ラベリング処理を切り替えるようになっている。
【０１０９】
現在、自車両が直進中であるということは、スモールＵマップ上の最近距離〜中距離までの間の壁は、直線状の壁である可能性が高い。このため、ステップＳ４１において、現在、サーチを行っているピクセルが、最近距離〜中距離までの間に位置するピクセルであると判別した場合（＝所定の距離未満：ステップＳ４１：Ｙｅｓ）、壁検出部６１８は、ステップＳ３２に処理を進め、上述の直線状の壁用のラベリング処理を行う。
【０１１０】
これに対して、現在、壁が直線状であっても、遠方でカーブしている可能性もある。このため、ステップＳ４１において、現在、サーチを行っているピクセルが、中距離〜遠距離までの間に位置するピクセルであると判別した場合（＝所定の距離以上：ステップＳ４１：Ｎｏ）、壁検出部６１８は、ステップＳ７に処理を進め、上述の旋回壁ラベリング処理を行う。
【０１１１】
すなわち、第４の実施の形態は、自車両が直進中であるということは、最近距離〜中距離までの間の壁が、直線状の壁である可能性が高い。このため、壁検出部６１８は、現在、サーチしているピクセルが最近距離〜中距離の間の領域に位置するピクセルである場合、上方向のピクセルにラベリング処理を進める、上述の直線状の壁用のラベリング処理を行う。これに対して、現在、壁が直線状であっても、遠方でカーブしている可能性もある。このため、壁検出部６１８は、現在、サーチしているピクセルが中距離〜遠距離の間の領域に位置するピクセルである場合、ラベリング処理するピクセルを上述の３つのピクセルから選択可能となる（自由度が高い）、上述の旋回壁ラベリング処理を行う。
【０１１２】
このように、現在、自車両が直進中であった場合、ラベリング処理用のサーチを行っているピクセルの位置に応じて、壁検出用のラベリング処理を切り替えることで、図２４（ｂ）に示すように、スモールＵマップ上の壁に沿って、同じラベリング番号を付すラベリング処理を行うことができる。このため、壁Ｗ１及び先行車両Ｃ１，Ｃ２を正確に分離して検出可能とすることができる。
【０１１３】
上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、距離の値（距離値）と視差値は等価に扱える。上述の実施の形態の説明では、距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。
【０１１４】
このような各実施の形態及び各実施の形態の変形は、発明の範囲や要旨に含まれると共に、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１５】
１  車両
２  ステレオカメラ（撮像部）
２ａ  カメラ部
２ｂ  カメラ部
３  車両ＥＣＵ
４  物体認識装置
３０４  ＣＰＵ
６００  平行化画像生成部
６０２  視差画像生成部
６０６  視差補間部
６０８  Ｖマップ生成部
６１０  路面形状検出部
６１２  路面高さテーブル算出部
６１６  Ｕマップ生成部
６１８  壁検出部
【先行技術文献】
【特許文献】
【０１１６】
【特許文献１】特開平６−２６６８２８号公報
【図１】
2017158982.tif 000003
【図２】
2017158982.tif 000004
【図３】
2017158982.tif 000005
【図４】
2017158982.tif 000006
【図５】
2017158982.tif 000007
【図６】
2017158982.tif 000008
【図７】
2017158982.tif 000009
【図８】
2017158982.tif 000010
【図９】
2017158982.tif 000011
【図１０】
2017158982.tif 000012
【図１１】
2017158982.tif 000013
【図１２】
2017158982.tif 000014
【図１３】
2017158982.tif 000015
【図１４】
2017158982.tif 000016
【図１５】
2017158982.tif 000017
【図１６】
2017158982.tif 000018
【図１７】
2017158982.tif 000019
【図１８】
2017158982.tif 000020
【図１９】
2017158982.tif 000021
【図２０】
2017158982.tif 000022
【図２１】
2017158982.tif 000023
【図２２】
2017158982.tif 000024
【図２３】
2017158982.tif 000025
【図２４】
2017158982.tif 000026
【手続補正書】
【提出日】平成29年4月12日(2017.4.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
距離画像に基づいて、横方向距離、奥行方向距離、及び、当該横方向距離と当該奥行方向距離に対応する頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する生成部と、
前記２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の前記頻度値を有するピクセルを検出してサーチ回数毎に異なるラベルを付すラベリング処理を行うラベリング部とを有し、
前記ラベリング部は、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、前記閾値以上の前記頻度値を有するピクセルを選択し、選択したピクセルに前記ラベルが付されていない場合に、前記ラベルを付す第１のラベリング処理を行うこと
を特徴とする画像処理装置。
【請求項２】
前記ラベリング部は、奥行方向にサーチを行い、サーチを行っているピクセルに対して奥行方向に位置するピクセルおよび当該ピクセルの左右に位置するピクセルを含む複数のピクセルから、最も頻度値が大きいピクセルを選択し、選択したピクセルに前記ラベルが付されていない場合に、前記ラベルを付す第１のラベリング処理を行うこと
を特徴とする請求項１の画像処理装置。
【請求項３】
前記２次元分布情報は、撮像機器から生成される距離画像に基づいて生成されるものであり、
前記ラベリング部は、前記撮像機器が旋回中に撮像された距離画像に基づいて生成された２次元分布情報であることを示す旋回情報に応じて前記複数のピクセルに重み付け値を設定し、当該重み付け値に基づいてピクセルを選択し、選択したピクセルに前記ラベルが付されていない場合に、前記ラベルを付す第１のラベリング処理を行うこと
を特徴とする請求項２の画像処理装置。
【請求項４】
前記ラベリング部は、ラベリング処理を行った前記ピクセルと、次にラベリング処理を行うピクセルとの間に存在する、前記頻度値を有さないピクセルのピクセル数が、所定のピクセル数以上である場合、当該ラベリング処理を終了して次のラベルを付すラベリング処理に移行し、前記頻度値を有するピクセルのピクセル数が、所定のピクセル数未満である場合、当該ラベリング処理を継続して行うこと
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の画像処理装置。
【請求項５】
前記ラベリング部は、前記ピクセルをラベリング処理した際に、当該ピクセルの左右に隣接する各ピクセルのうち、いずれか一方又は両方に、ラベリング処理した前記ピクセルと同じラベルを付すこと
を特徴とする請求項１から請求項４のうち、いずれか一項に記載の画像処理装置。
【請求項６】
前記ラベリング部は、
サーチを行っているピクセルに対して、前記サーチ方向に隣接する一つのピクセルが、前記閾値以上の前記頻度値を有し、かつ、ラベルが付されていない場合に、前記サーチ回数に対応するラベルを付す第２のラベリング処理、又は、前記第１のラベリング処理を行い、
前記２次元分布情報が、撮像機器が旋回中に撮像された距離画像に基づいて生成された２次元分布情報であることを示す旋回情報により、前記ラベリング処理を行う前記２次元分布情報が、前記撮像機器が旋回中に撮像された距離画像に対応する２次元分布情報であると判別した場合、前記第１のラベリング処理を行い、前記旋回情報により、前記ラベリング処理を行う前記２次元分布情報が、前記撮像機器が直進中に撮像された距離画像に対応する２次元分布情報であると判別した場合、前記第２のラベリング処理を行うこと
を特徴とする請求項１から請求項５のうち、いずれか一項に記載の画像処理装置。
【請求項７】
前記ラベリング部は、
前記旋回情報により、前記ラベリング処理を行う前記２次元分布情報が、前記撮像機器が直進中に撮像された距離画像に対応する２次元分布情報であると判別した場合、ラベリング処理を行うピクセルの距離値に基づいて奥行方向の距離を判別し、当該ピクセルが所定未満の奥行方向の距離に対応する領域のピクセルであった場合、前記第２のラベリング処理を行い、当該ピクセルが所定以上の奥行方向の距離に対応する領域のピクセルであった場合、前記第１のラベリング処理を行うこと
を特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記ラベリング部は、後からラベリング処理を行うピクセルに対して、先のラベリング処理により既にラベルが付されている場合、先のラベリング処理でラベルが付された各ピクセルと、後のラベリング処理でラベルが付された各ピクセルとの間隔が所定以下の間隔である場合、後からのラベリング処理に対応する全てのピクセルに対して、先にラベリング処理したピクセルと同じラベルを付すこと
を特徴とする請求項１から請求項７のうち、いずれか一項に記載の画像処理装置。
【請求項９】
前記ラベリング部は、前記２次元分布情報の外側から列毎にサーチを行うこと
を特徴とする請求項１から請求項８のうち、いずれか一項に記載の画像処理装置。
【請求項１０】
前記ラベリング部は、１回目のサーチは、前記２次元分布情報の左端の列をサーチし、２回目のサーチは、前記２次元分布情報の右端の列をサーチし、３回目のサーチは、前記２次元分布情報の左端の列に隣接する２列目をサーチし、４回目のサーチは、前記２次元分布情報の右端の列に隣接する２列目をサーチするように、前記２次元分布情報の左右交互に、左端の列及び右端の列から順に中央の列まで１列ずつサーチを行うこと
を特徴とする請求項１から請求項９のうち、いずれか一項に記載の画像処理装置。
【請求項１１】
前記ラベリング部は、前記２次元分布情報の左端の列から中央の列まで順にサーチし、中央の列のサーチ終了後に、前記２次元分布情報の右端の列から前記中央の列の右側に隣接する列まで順にサーチすること
を特徴とする請求項１から請求項９のうち、いずれか一項に記載の画像処理装置。
【請求項１２】
生成部が、距離画像に基づいて、横方向距離、奥行方向距離、及び、当該横方向距離と当該奥行方向距離に対応する頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する生成ステップと、
ラベリング部が、前記２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の前記頻度値を有するピクセルを検出してサーチ回数毎に異なるラベルを付すラベリング処理を行うラベリングステップとを有し、
前記ラベリングステップは、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、前記閾値以上の前記頻度値を有するピクセルを選択し、選択したピクセルに前記ラベルが付されていない場合に、前記ラベルを付す第１のラベリング処理を行うこと
を特徴とする画像処理方法。
【請求項１３】
コンピュータを、
距離画像に基づいて、横方向距離、奥行方向距離、及び、当該横方向距離と当該奥行方向距離に対応する頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する生成部と、
前記２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の前記頻度値を有するピクセルを検出してサーチ回数毎に異なるラベルを付すラベリング処理を行うラベリング部として機能させ、
前記ラベリング部は、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、前記閾値以上の前記頻度値を有するピクセルを選択し、選択したピクセルに前記ラベルが付されていない場合に、前記ラベルを付す第１のラベリング処理を行うように機能すること
を特徴とする画像処理プログラム。
【請求項１４】
距離画像に基づいて、横方向距離、奥行方向距離、及び、当該横方向距離と当該奥行方向距離に対応する頻度値を関連付けた、物体の２次元的な分布を示す２次元分布情報を生成する生成部と、
前記２次元分布情報のサーチを複数回行い、サーチ毎に所定の閾値以上の前記頻度値を有するピクセルを検出してサーチ回数毎に異なるラベルを付すラベリング処理を行う際に、サーチを行っているピクセルに対して、サーチ方向に近接する複数のピクセルから、前記閾値以上の前記頻度値を有するピクセルを選択し、選択したピクセルにラベルが付されていない場合に、前記サーチ回数に対応するラベルを付す第１のラベリング処理を行うラベリング部と、
同じ前記ラベルが付された前記ピクセルを、同一の物体のピクセルとみなして、前記マップから物体検出を行う検出部と
を有する物体認識装置。
【請求項１５】
請求項１から請求項１１のうち、いずれか一項に記載の画像処理装置と、
同じ前記ラベルが付された前記ピクセルを、同一の物体のピクセルとみなして、前記マップから物体検出を行う検出部と、
前記検出部の検出結果に基づいて、制御対象となる機器の動作を制御する制御部と
を有する機器制御システム。
【請求項１６】
請求項１５に記載の機器制御システムを備え、
前記制御部により制御される
移動体。
【国際調査報告】
2017158982.tif 000027
2017158982.tif 000028