(57)【要約】【課題】  対象物体の状態をより的確に捕捉できる物体検知装置を提供する。【解決手段】  広角カメラ2の画像から、対象物体の占有画像領域を算出する領域算出部31と、占有画像領域の画像中の位置に基づき、対象物体との相対位置を算出する物体位置算出部32と、相対位置と駆動カメラ4の駆動速度とから対象物体に駆動カメラ4を向けるまでの時間である駆動時間を算出し、算出した駆動時間と車速（カーブ走行中はステアリング角度を加味する）とに基づき、駆動カメラ4が対象物体を捕捉するまでの対象物体の推定移動量を算出する移動量算出部33と、相対位置と推定移動量とに基づき、駆動カメラ4の捕捉位置を特定する捕捉位置特定部34と、を備えた。【選択図】  図１
2014154898.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられ、広視野角を撮像可能な広角カメラと、
前記車両に取り付けられ、車両の水平方向に駆動可能、かつズーム可能な駆動カメラと、
を有する物体検知装置において、
前記広角カメラの画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出手段と、
前記占有画像領域の前記画像中の位置に基づき、前記検出対象物体との相対位置を算出する物体位置算出手段と、
前記相対位置と前記駆動カメラの駆動速度とから前記検出対象物体に前記駆動カメラを向けるまでの時間である駆動時間を算出し、算出した駆動時間と車速とに基づき前記駆動カメラが前記検出対象物体を捕捉するまでの前記検出対象物体の推定移動量を算出する移動量算出手段と、
前記相対位置と前記推定移動量とに基づき、前記駆動カメラの捕捉位置を特定する捕捉位置特定手段と、
を備えたことを特徴とする物体検知装置。
【請求項２】
請求項１に記載の物体検知装置において、
前記駆動カメラは、車両の垂直方向にも駆動可能であることを特徴とする物体検知装置。
【請求項３】
請求項１または２に記載の物体検知装置において、
前記駆動カメラは、水平方向の回転中心が、前記広角カメラの光学中心の略垂直軸上に来るように配置されることを特徴とする物体検知装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の物体検知装置において、
前記物体位置算出手段は、前記占有画像領域の下端位置の前記画像上での位置に基づき、前記検出対象物体との相対位置を算出することを特徴とする物体検知装置。
【請求項５】
請求項１ないし３のいずれか１項に記載の物体検知装置において、
前記物体位置算出手段は、前記占有画像領域の前記画像中の大きさに基づき、前記検出対象物体との相対位置を算出することを特徴とする物体検知装置。
【請求項６】
請求項１ないし３のいずれか１項に記載の物体検知装置において、
レーザーにより前記検出対象物体との距離を算出する距離算出装置をさらに備え、
前記物体位置算出手段は、前記占有画像領域の前記画像中の位置と、前記距離算出装置から算出される前記検出対象物体との距離とに基づき、前記検出対象物体との相対位置を算出することを特徴とする物体検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検知装置に関する。
【背景技術】
【０００２】
特許文献１には、車両の水平方向に駆動可能な近距離用、中距離用、遠距離用の３つのカメラでそれぞれ対象（白線）をトラッキングすることで、検出対象物体の状態を捕捉する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第3588728号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術にあっては、それぞれのカメラがバラバラに動いているため、連続した白線ではない車両や歩行者等の検出対象物体の状態を的確に捕捉できないという問題があった。
本発明の目的は、検出対象物体の状態をより的確に捕捉できる物体検知装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明では、広角カメラの画像に基づく検出対象物体との相対位置と、水平方向に駆動可能、かつ、ズーム可能な駆動カメラの駆動速度と、少なくとも車速を含む車両状態とに基づいて駆動カメラが検出対象物体を捕捉するまでの対象の推定移動量を算出し、相対位置と推定移動量とに基づいて駆動カメラの捕捉位置を特定する。
【発明の効果】
【０００６】
よって、広角カメラで捉えた検出対象物体に対し、画像中の位置から検出対象物体の相対位置を算出した上で、実際に駆動カメラを向けるまでの検出対象物体の移動量を勘案して駆動カメラの捕捉位置を算出するため、連続した白線ではない車両や歩行者等の検出対象物体の状態をより的確に捕捉できる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の物体検知装置100の概略構成図である。
【図２】実施例１の物体位置算出方法の説明図である。
【図３】実施例１の物体位置算出の補正方法の説明図である。
【図４】実施例１の物体検知ECU3における対象物体検知処理の流れを示すフローチャートである。
【図５】実施例１の物体検知作用の説明図である。
【図６】実施例１の物体検知作用の説明図である。
【図７】実施例２の物体検知装置200の概略構成図である。
【図８】実施例２の統合画像の説明図である。
【発明を実施するための形態】
【０００８】
〔実施例１〕
まず、構成を説明する。
図１は、実施例１の物体検知装置100の概略構成図である。
物体検知装置100は、車両に設置された広角カメラ2と、物体検知ECU3と、車両に設置された駆動カメラ4と、車両センサ5とを備える。
広角カメラ2は、例えばCCD等の撮像素子を用いたカメラである。レンズは、駆動カメラ4よりも視野角が広ければ良く、例えば前方180度を撮像可能な魚眼レンズや、全周囲を撮像可能な全方位カメラ用のレンズを用いても良い。広角カメラ2の取り付け位置に制限はないが、実施例１では、車両のフロントバンパー部付近に、車両前方向きで、20度下方向きに設置した魚眼レンズでの場合を例に説明する。広角カメラ2のレンズ歪み等の内部パラメータ、および車両に対する取り付け位置を示す外部パラメータは、事前に算出済みである。広角カメラ2で撮像された画像は物体検知ECU3に送信される。
物体検知ECU3は、広角カメラ2の撮像画像と車両センサ5の出力値から、駆動カメラ4の捕捉位置を算出する電子制御ユニットであり、車両に搭載される他のECUと兼用しても良い。物体検知ECU3は、一般的なECUと同様にCPU,ROM,RAM等で構成され、ROMには後述する各種処理部（領域算出部31、物体位置算出部32、移動量算出部33、捕捉位置特定部34、駆動制御部35）を実現するプログラムが格納されている。
【０００９】
駆動カメラ4は、撮像素子に例えばCCDを用い、可変ズーム機能と、少なくとも車両水平方向に回転駆動可能な駆動機能とを備えたカメラである。こうしたカメラとしては、一般に防犯カメラで用いられているPTZカメラ（パン・チルト・ズームが駆動可能なカメラ）が良く知られており、実施例１では、PTZカメラを例に説明する。駆動カメラ4は、水平方向の回転中心が広角カメラ2の光学中心の略垂直線上に来るように配置されている。なお、一般のPTZカメラはカメラ本体を回転駆動させる機構を備えるが、撮像素子の前方にミラーを設置し、ミラーを駆動することで撮像方向を変化させる手法を取っても良い。駆動カメラの車両に対する取り付け位置を示す外部パラメータは事前に算出済みであり、広角カメラ2との位置関係は既知であるものとする。駆動カメラ4の設置位置は、広角カメラ2と撮像範囲が重なっていれば、どこに設置しても良いが、実施例１では、車両のダッシュボード上部に、車両前方向きに設置された場合を例に説明する。
車両センサ5は、車輪速センサを備え、車輪速センサの測定値から車速（車両の前後方向速度）を算出可能である。さらに、GPS、ステアリング角度を検出するステアリングセンサ、車両の前後方向加速度、横方向加速度を検出する加速度センサなど、各種車載センサを備えても良い。車両センサ5で計測・算出された信号（少なくとも車速を含む）は、物体検知ECU3に送信される。
【００１０】
次に、物体検知ECU3の各処理ブロックについて説明する。
領域算出部31は、広角カメラ2で撮像された画像中から、検出対象物体（検出対象とする物体であって、以下、単に対象物体と記載する。）の画像中での占有領域を算出する。算出方法は、一般に広く知られるカメラ画像による物体検出手法を用いれば良く、どの手法で検出するかは、本発明の権利範囲を規定するものではない。ここでは、対象物体が歩行者である場合を例に、領域算出の具体的な方法を説明する。
対象物体が歩行者である場合には、近年はHOG(Histograms of Oriented Gradients)という特徴量で検出するのが一般的であるが、歩行者か否かを識別する識別器は、SVM(Support Vector Machine)を用いるのが一般的であるが、AdaBoost，Random Forestなど他の手法を用いても良い。あらかじめ、歩行者とラベル付けされた画像群を用いて、HOG特徴量の学習を行い、実際の画像が歩行者か否かを判断する。全画面をSliding Window方式で順々に探索することで、歩行者を検知することができる。実際には、歩行者の位置によって画像中の大きさが異なるため、異なる画像の大きさで、それぞれSliding Window方式で探索を行う。こうすることで、歩行者を見つけることができる。
他の物体検出手法としては、オプティカルフローを用いた手法がある。広角カメラ2の画像を１フレーム前に取得された画像と比較し、各画像点がどこに移動したか、というオプティカルフローを算出する。次に、車両運動によって自然と発生するオプティカルフローと異なる方向に向いたオプティカルフローを抽出し、クラスタリングし、同一クラスターが包含される矩形領域を、対象物体の占有領域として算出する。この手法を用いると、移動物体を検出することができる。オプティカルフローを用いて移動物体を検知する方法は、非常に活発に研究されており、どの手法を用いても良い。
領域算出部31により歩行者等の対象物体が検知された場合には、検知された対象物体の占有領域情報を物体位置算出部32に送信する。
【００１１】
物体位置算出部32は、領域算出部31で算出された、対象物体の占有領域情報から、対象物体の相対位置を算出する。対象物体の代表位置として、画像の占有領域の中心位置を用いる。
広角カメラ2の外部パラメータおよび内部パラメータは既知であるため、広角カメラ2の画像中の位置から、物体の３次元空間上の方向が一意に定まる。従って、距離さえ求まれば、３次元空間上の相対的な位置が一意に定まる。
距離の算出方法としては、例を２つ挙げる。
【００１２】
1.画像領域の下端を利用
車両と対象物体が同一平面上にあると仮定する。実施例１では、広角カメラ2として、魚眼レンズのカメラを車両前方に20度下向きに設置した場合を想定しているため、撮像画像イメージは図２のようになる。画像の座標系X,Yは図２のように設定する。広角カメラ2のパラメータは既知であるため、路面上の任意の点A(x,y)と車両からの距離の関係は一意に定まる。距離が一定のラインを画像上に投影すると、レンズの歪みがあるため、図２に示すように、画像中心から離れると歪みが生じる。このため厳密には、各座標点と距離の関係は、X座標Y座標を両方用いなければ算出できない。しかし、X,Y座標と距離の関係を全て算出しておくことは手間がかかるため、実用上は、X座標と距離の関係で近似すればよい。本発明で想定している遠方対象物体は、実施例１のカメラ配置では、X方向に関して画像中央付近に存在するため、X座標のみでの近似で十分な精度が得られる。
こうして、路面上の点と車両からの距離の関係が算出可能であるため、対象物体が路面上に存在すると仮定することで、対象領域の下端位置X座標を用いることで、車両との概算距離を算出できる。
ただし、例えば歩行者認識の場合には、図３に示すように、歩行者の下端と占有画像領域下端は一致せず、たいていの場合はオフセットXpが存在する。そこで距離算出を行う際に、占有画像下端位置のX座標からオフセットXp分をマイナスした値を用いることで、より精度良く距離を算出できる。車両認識やオプティカルフローによる認識の場合にも、同様に一定量のオフセットを想定することで、距離精度向上が望める。
【００１３】
2.画像領域の大きさを利用
ピンホールカメラでは、対象物体の距離が２倍になれば、画像領域の大きさは1/2になるという非常に簡単な関係が成立するため、対象物体の大きさが既知であれば、画像領域の大きさから対象物体の距離を算出することは、極めて容易である。
広角カメラ2は、内部パラメータが既知であるため、歪み補正画像を作成することができる。したがって、画像領域部分を歪み補正し、ピンホールカメラモデルでの大きさに変換すれば、距離を算出できる。また魚眼カメラの場合には、画像中央からの距離rに応じて、多項式f(r)=a0+a1*r+a2*r2+…で歪みが表現されるのが一般的である。そこで、画像領域の中心座標を代表点Icとし、Icの画像中心からの距離Rcを、前記多項式に代入することで、画像領域の大きさの変換倍率を簡易に算出できる。
対象物体の大きさに関しては、歩行者認識の場合には、平均身長を用いるなど、認識対象毎に代表的な数値を決めておけばよい。
物体位置算出部32は、上記のようにして得られた距離情報を用い、対象物体の車両からの相対的な位置を算出し、移動量算出部33に送信する。
【００１４】
移動量算出部33は、物体位置算出部32で算出された対象物体の相対位置情報と、車両センサ5で算出された車速情報とから、対象物体の推定移動量を算出する。
まず、物体位置算出部32で算出された対象物体の車両からの相対位置情報を、駆動カメラ4の設置位置情報を用いて座標変換することで、駆動カメラ4からの相対位置情報に補正する。
次に、駆動カメラ4を向けるまでにかかる時間Tを算出する。
水平方向の駆動量θdを、現在の駆動カメラ4の向きθcと、対象物体の方向の角度θoからθd=θo-θcで算出する。駆動カメラ4の水平方向の駆動速度Vθ(degree/second)は既知であるため、駆動カメラ4を該当方向に向けるまでの駆動時間Thは、Th=θd/Vθで簡単に算出できる。同様に、現在のズームレベルと、所望のズームレベル（対象物体の距離に応じて事前に設定しておけば良い）の差から、ズーム調整に掛かる時間Tzを算出することができる。さらに、駆動カメラ4が垂直方向にも動く場合には、同様に垂直方向への駆動時間Tvも算出する。駆動時間Tは、Th,Tz,Tvの中で最大のものとする。
車両センサ5から入力される車速Vから、カメラを向けるまでの対象物体の移動量は、V×Tで簡易に算出できる。なおカーブ走行中の場合には、車速とステアリング角度を用いて、車両のT秒後の相対位置を算出することで、対象物体の移動量を算出しても良い。
【００１５】
捕捉位置特定部34は、物体位置算出部32で算出された対象物体の相対位置情報を、移動量算出部33で算出された対象物体の推定移動量を用いて補正し、最終的に駆動カメラ4を向けるべき捕捉位置を特定する。
駆動制御部35は、捕捉位置特定部34で特定された捕捉位置に駆動カメラ4を向けるための指令値を駆動カメラ4に送信する。
駆動カメラ4の駆動方向は、捕捉位置の中心を向くように設定する。ズームに関しては、対象物体の距離毎に、事前に適切なズームレベルを設定しておき、捕捉位置と駆動カメラ4との距離を用いて算出する。
【００１６】
［対象物体検知処理］
図４は、実施例１の物体検知ECU3における対象物体検知処理の流れを示すフローチャートである。この処理は、例えば50msec程度の間隔で連続的に行われる。なお、各ステップにおける処理の詳細は既に説明済みであるため、ここでは基本的に処理の流れのみを説明する。
ステップS110では、領域算出部31において、広角カメラ2から取得した画像から対象物体の検知を行い、ステップS120に進む。
ステップS120では、領域算出部31で対象領域が見つかった場合には、最初に見つかった領域を対象として選択し、ステップS130に進む。対象物体が見つからない場合には、再びステップS110に戻る。なお、対象領域が複数見つかった場合には、対象物体とのマッチング度合いが最も高い領域を選択しても良い。
ステップS130では、物体位置算出部32において、対象物体の相対位置を算出し、ステップS140に進む。
ステップS140では、移動量算出部33において、車両センサ5から得られる車速（およびステアリング値など）と、駆動カメラ4の駆動性能とから、駆動カメラ4を対象物体に向けるまでの対象物体の推定移動量を算出し、ステップS150に進む。
【００１７】
ステップS150では、捕捉位置特定部34において、物体位置算出部32で算出した対象物体の相対位置と、移動量算出部33で算出した推定移動量とから、最終的に駆動カメラ4が向けるべき対象の捕捉位置を算出し、ステップS160に進む。
ステップS160では、駆動制御部35において、捕捉位置特定部34で算出した捕捉位置から、駆動カメラ4の最終的な駆動量を算出し、ステップS170に進む。
ステップS170では、駆動制御部35の出力に従って実際に駆動カメラ4を駆動し、ステップS180に進む。
ステップS180では、駆動カメラ4の駆動完了を待って、駆動カメラ4の撮像画像を取得し、任意の画像処理を実現する。例えば、領域算出部31と同じ処理を実施することで、より確実に対象物体を認識する。なお、ここでの認識処理内容は、本発明を規定するものではない。
例えば、対象物体が人の場合には、広角カメラ2での画像処理では、単純な歩行者検知を行い、駆動カメラ4の画像処理では、より詳細の画像が得られるので、歩行者の向きの認識や顔認識など、より詳細な認識処理を実現しても良い。
以上のステップS110からステップS180までの処理により、広角カメラ2と駆動カメラ4を連携させて、物体検知を行う基本的な枠組みが実現される。
【００１８】
次に、作用を説明する。
［対象物体検知作用］
図５に示すように、広角カメラ2で対象物体（例えば、歩行者）の領域を捉えた場合、一般に、対象物体の方向は既知だが、対象物体までの距離は不明である。一方で、車両と広角カメラ2の位置関係は固定であるため、車両も対象物体も同一平面にあると仮定すると、画像の下端位置と距離の関係は既知である。つまり、対象物体の画像領域の下端位置から対象物体までの距離を算出できれば、対象物体の位置がわかる。
ところが、図６(a)に示すように、実際に対象物体に駆動カメラ4を向けるのには、駆動時間が掛かり、その間も車両は動き続けるので、単純に対象物体の位置に駆動カメラ4を向けたのでは、ずれが生じる。そこで、実際に駆動カメラ4を向けるときの対象物体の位置を特定する。実施例１では、駆動カメラ4の駆動速度から、対象物体に駆動カメラ4を向けるまでの駆動時間を算出し、車速を用いて、駆動時間中の対象物体の相対的な移動量を算出する。この移動量を用いて対象物体の位置を補正することにより、駆動カメラ4の捕捉位置を特定することができる。
【００１９】
従来、複数のセンサの組み合わせにより物体を検知する技術としては、例えば、特許第3588728号公報に記載されたものが公知である。この従来技術では、車両の水平方向に駆動可能な近距離用、中距離用、遠距離用の３つのカメラでそれぞれ対象（白線）をトラッキングすることで、対象物体の状態を捕捉する技術が開示されている。ところが、それぞれのカメラが独自に動いているため、連続した白線ではない車両や歩行者等の対象物体の状態を的確に捕捉できない。
一方、特開2002-99906号公報には、赤外線カメラとLRF(Laser Range Finder)それぞれでの車両認識結果を総合的に判断する技術が開示されている。この従来技術では、認識精度は高まるものの、遠方での認識には適さない。
【００２０】
そこで、実施例１では、車両の広角カメラ2と駆動カメラ4（PTZカメラ）を搭載し、広角カメラ2で見つけた注目領域に駆動カメラ4を向ける手法をとる。ここで、広角カメラとPTZカメラを組み合わせ、広角カメラで見つけた不審者にPTZカメラを向ける技術は、建物等に設置して使われる防犯システムでは検出されているが、車載した場合、対象までの距離が一意に定まらない、PTZカメラの駆動時間中に車両自体が動いてしまう、という問題がある。
これに対し、実施例１では、広角カメラ2で捕捉した対象物体の相対位置を算出し、相対位置と自車の移動速度（車速）と駆動カメラ4の駆動速度とに基づいて駆動カメラ4が対象物体を捕捉するまでの対象物体の推定移動量を算出し、相対位置と推定移動量とに基づいて駆動カメラ4における対象物体の捕捉位置を特定する。
これにより、広角カメラ2で見つけた対象物体に対し駆動カメラ4を適切に向けることができるため、対象物体の正確な検知や、より詳細な認識が可能となる。また、駆動カメラ4の捕捉位置に関して、車両運動と駆動カメラ4の駆動時間とを考慮に入れて、対象物体の位置補正を行っているので、車両が走行中に、駆動に時間がかかる駆動カメラ4を用いたとしても、安定して対象物体を捕捉することができる。よって、遠方を含む対象物体の状態をより的確に把握できる。
【００２１】
実施例１では、駆動カメラ4を車両の垂直方向にも駆動可能なPTZカメラとしたため、例えば信号機や標識などの、進行方向から上下に外れた対象物体も認識することができる。さらに、車両のピッチ方向の振動に対して補正を掛けることで、安定して対象物体を認識することも可能となる。
また、実施例１では、駆動カメラ4の水平方向の回転中心を広角カメラ2の光軸中心の略垂直軸上に来るように配置したため、広角カメラ2の画像から算出される対象物体の方向に駆動カメラ4を向ければよく、自由に配置する場合に比べて、駆動方向の算出が容易になる。
【００２２】
実施例１では、占有画像領域の下端位置の画像上での位置に基づき、対象物体との相対位置を算出する。つまり、対象物体と車両が同一平面に存在することを仮定することで、画像上での物体領域の下端位置と実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
また、実施例１では、占有画像領域の画像中の大きさに基づき、対象物体との相対位置を算出する。つまり、認識対象の実際の大きさが既知であることを利用することで、画像上での物体領域の大きさと実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
【００２３】
実施例１にあっては、以下に列挙する効果を奏する。
(1) 車両に取り付けられ、広視野角を撮像可能な広角カメラ2と、車両に取り付けられ、車両の水平方向に駆動可能、かつズーム可能な駆動カメラ4と、を有する物体検知装置において、広角カメラ2の画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出部31と、占有画像領域の画像中の位置に基づき、対象物体との相対位置を算出する物体位置算出部32と、相対位置と駆動カメラ4の駆動速度とから対象物体に駆動カメラ4を向けるまでの時間である駆動時間を算出し、算出した駆動時間と車速（カーブ走行中はステアリング角度を加味する）とに基づき、駆動カメラ4が対象物体を捕捉するまでの対象物体の推定移動量を算出する移動量算出部33と、相対位置と推定移動量とに基づき、駆動カメラ4の捕捉位置を特定する捕捉位置特定部34と、を備えた。
すなわち、広角カメラ2で捉えた対象物体に対し、画像中の位置から対象物体の相対位置を算出した上で、実際に駆動カメラ4を向けるまでの対象物体の移動量を勘案して、駆動カメラ4の捕捉位置を算出するため、車両が走行中でも、駆動カメラ4で対象物体を捕捉することができ、対象物体をより的確に捕捉できる。
【００２４】
(2) 駆動カメラ4は、車両の垂直方向にも駆動可能である。
よって、例えば信号機や標識などの、進行方向から上下に外れた対象物体も認識することができる。さらに、車両のピッチ方向の振動に対して補正を掛けることで、安定して対象物体を認識することも可能となる。
【００２５】
(3) 駆動カメラ4は、水平方向の回転中心が、広角カメラ2の光学中心の略垂直軸上に来るように配置される。
よって、広角カメラ2の画像から算出される対象物体の方向に駆動カメラ4を向ければよく、自由に配置する場合に比べて、駆動方向の算出が容易になる。
【００２６】
(4) 物体位置算出部32は、占有画像領域の下端位置の画像上での位置に基づき、対象物体との相対位置を算出する。
すなわち、対象物体と車両が同一平面に存在することを仮定することで、画像上での物体領域の下端位置と実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
【００２７】
(5) 物体位置算出部32は、占有画像領域の画像中の大きさに基づき、対象物体との相対位置を算出する。
すなわち、認識対象の実際の大きさが既知であることを利用することで、画像上での物体領域の大きさと実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
【００２８】
〔実施例２〕
図７は、実施例２の物体検知装置200の概略構成図である。
距離センサ（距離算出装置）6は、対象物体までの距離を算出するセンサである。実施例２では、ToF(Time of Flight)の原理を用いて、直接的に対象物体までの距離を算出する、いわゆるLRF(Laser Range Finder)を想定して説明する。また実施例２では、２次元に放射状に距離情報をスキャン可能なLRFを想定するが、２次元のラインを複数持つことで３次元にスキャン可能なセンサを用いても良いし、投光器と受光素子の組み合わせにより、カメラのように３次元の距離情報を取得可能な距離画像カメラを用いても良い。距離センサ6の設置位置は、広角カメラ2と撮像範囲が重なっていれば良いが、例えば車両前方のバンパー部分に、水平に設置すると良い。広角カメラ2と距離センサ6は、なるべく近くに配置した方が、後述するセンサデータ統合の時に、オクルージョンが生じにくいため、望ましい。
【００２９】
物体位置算出部32は、領域算出部31で算出された対象物体の占有領域情報と距離センサ6の測定値とから、対象物体の相対位置を算出する。対象物体の代表位置として、画像の占有領域の中心位置を用いる。広角カメラ2の外部パラメータおよび内部パラメータは既知であるため、広角カメラ2の画像中の位置から、物体の３次元空間上の方向が一意に定まる。従って、距離さえ求まれば、３次元空間上の相対的な位置が一意に定まる。
【００３０】
次に、距離の算出方法について説明する。
まず、距離センサ6の測定値と広角カメラ2の撮像画像を統合する。なお、距離センサ6と広角カメラ2の位置関係は既知である必要がある。具体的には、距離センサ6の測定値を、広角カメラ座標系に座標変換し、対応する画素位置に距離情報を蓄積させる。複数の距離センサ値が一つの画素位置に対応する場合は、平均を取ればよい。こうすると、図８に示すように、広角カメラ画像中の一部の画素に関して、距離情報が埋め込まれたデータ統合画像が作成できる。
次に、領域算出部31で算出した対象領域の距離を算出する。対象領域中に、距離情報が埋め込まれた画素がある場合は、対象領域の中心座標に最も近い画素での距離情報を、距離情報として用いればよい。もしくは、対象領域中の距離情報全体の平均値や中央値を採用する手法を取っても良い。対象領域中に、距離情報が埋め込まれた画素がない場合は、第１の実施の形態の手法により、距離を算出すればよい。
物体位置算出部32は、こうして得られた距離情報を用い、対象物体の車両からの相対的な位置を算出し、移動量算出部33に送信する。
なお、他の構成および物体検知処理の手順については、実施例１と同様であるため、図示ならびに説明を省略する。
【００３１】
次に、作用を説明する。
［対象物体検知作用］
実施例２では、距離センサ6によって対象物体までの距離を測定し、測定値を広角カメラ2の撮像画像の対応する画素位置に埋め込んだデータ統合画像を生成した対象物体の相対位置を算出する。
対象物体までの距離を直接測定し、広角カメラ2の撮像画像を連携させることで、広角カメラ2で捕捉した対象物体までの正確な距離を算出可能となる。よって、実施例１の場合と比較して、より高精度の距離情報が得られる。
【００３２】
実施例２にあっては、実施例１の効果(1)〜(3)に加え、以下の効果を奏する。
(6) レーザーにより対象物体との距離を算出する距離センサ6をさらに備え、物体位置算出部32は、占有画像領域の画像中の位置と、距離センサ6から算出される対象物体との距離とに基づき、対象物体との相対位置を算出する。
すなわち、広角カメラ2と距離センサ6を連携させることで、広角カメラ2で捕捉した対象物体の正確な距離を算出できるため、駆動カメラ4の捕捉位置をより精度良く特定できる。
【符号の説明】
【００３３】
2  広角カメラ
4  駆動カメラ
5  車両センサ
6  距離センサ（距離算出装置）
31  領域算出部
32  物体位置算出部（物体位置算出手段）
33  移動量算出部（移動量算出手段）
34  捕捉位置特定部（捕捉位置特定手段）
35  駆動制御部（駆動制御手段）
100  物体検知装置
200  物体検知装置
【図１】
2014154898.tif 000003
【図２】
2014154898.tif 000004
【図３】
2014154898.tif 000005
【図４】
2014154898.tif 000006
【図５】
2014154898.tif 000007
【図６】
2014154898.tif 000008
【図７】
2014154898.tif 000009
【図８】
2014154898.tif 000010