(57)【要約】【課題】車両死角内の目標対象の検出方法及びその装置を提供する。【解決手段】車両死角内の目標対象の検出方法は、少なくとも一つのフレームの画像であって、撮影デバイスによって車両死角を撮影して生成した画像を取得し、前記画像における少なくとも一つの予定の検出ゲートの位置する領域の画像特徴を抽出し、前記検出ゲートに対応するマッチングテンプレートを利用して前記予定の検出ゲートの位置する領域の画像特徴に対してマッチングすることで目標対象を確定する。これにより、死角内の目標対象の検出の精度を向上させることができる。【選択図】図２
2015222558.tif 000002
【特許請求の範囲】
【請求項１】
車両死角内の目標対象の検出方法であって、
少なくとも一つのフレームの画像であって、撮影デバイスによって車両死角を撮影して生成した画像を取得し、
前記画像における少なくとも一つの予定の検出ゲートが位置する領域の画像特徴を抽出し、
前記予定の検出ゲートに対応するマッチングテンプレートを利用して、前記予定の検出ゲートが位置する領域の画像特徴に対してマッチングすることで目標対象を確定する
ことを特徴とする方法。
【請求項２】
前記予定の検出ゲートの位置する領域は目標対象の完全な結像を含むことができることを特徴とする請求項１に記載の方法。
【請求項３】
前記予定の検出ゲートの位置する領域は目標対象の完全な結像を含むことができ、具体的には、前記検出ゲートの対応する目標対象が車両死角内における範囲が以下の要求を満すようにし、
前記検出ゲートの対応する目標対象が車両に対する縦方向距離と横方向距離との比のアークタンジェント値が、撮影デバイスの水平画角より小さいか又は等しく、前記縦方向距離は、車両に設置される撮影デバイスから目標対象の先端エッジ平面までの垂直距離であり、前記横方向距離は、車両に設置される撮影デバイスが位置する縦方向軸線から目標対象の左端又は右端エッジ平面までの垂直距離であることを特徴とする請求項２に記載の方法。
【請求項４】
車両に設置される撮影デバイスが平面カメラである場合には、
前記検出ゲートの対応する目標対象が車両に対する縦方向距離と横方向距離との比のアークタンジェント値が、撮影デバイスの水平画角より小さいか又は等しいことを満たすことは、具体的に以下の要求を満たし、
前記検出ゲートの対応する目標対象が車両に対する縦方向距離は、
【数３０】
2015222558.tif 000032
より小さくなく、前記検出ゲートの対応する目標対象が車両に対する横方向距離は、
【数３１】
2015222558.tif 000033
より大きくなく、なお、
前記Cam_H が平面カメラの実装高さであり、前記ax、ayが平面カメラの内部パラメータであり、ax ＝ f/dx、ay ＝ f/dyであり、fが平面カメラの焦点距離であり、dx、dyがそれぞれ平面画像画素の水平と垂直方向の最小物理サイズであり、前記imgW が平面画像画素幅であり、前記imgH が平面画像画素高さであり、前記(u0,v0)が平面画像中心の画素座標であることを特徴とする請求項３に記載の方法。
【請求項５】
目標対象の完全な結像を含む検出ゲートが平面画像における左下隅画素座標を(u,v)、前記検出ゲートの画素高さをH、前記検出ゲートの画素幅をW、前記検出ゲートの対応する目標対象の縦方向距離をVerD、横方向距離をHonD、前記目標対象の実際の高さをObj_3DH、前記目標対象の実際の幅をObj_3DWとすると、前記検出ゲートは以下のような式によって確定され、
u ＝ Foot_col-Obj_pixW
v ＝ Foot_row
W ＝ Obj_pixW
H ＝ Obj_pixH
前記Foot_rowは前記目標対象の先端エッジ平面の下縁が平面画像における画素点の位置する行であり、以下のような式により確定され、
【数３２】
2015222558.tif 000034
前記Foot_colは前記目標対象の先端エッジ平面の下縁が平面画像における画素点の終了する列であり、以下のような式により確定され、
【数３３】
2015222558.tif 000035
前記Obj_pixH は前記目標対象の平面画像における画素高さであり、以下のような式により確定され、
【数３４】
2015222558.tif 000036
前記Obj_pixWは前記目標対象の平面画像における画素幅であり、以下のような式により確定される、
【数３５】
2015222558.tif 000037
ことを特徴とする請求項４に記載の方法。
【請求項６】
車両に設置される撮影デバイスが魚眼カメラである場合には、魚眼カメラの高さをCam_H、前記目標対象と魚眼カメラとのユークリッド距離をD、前記目標対象が魚眼カメラに対する縦方向距離をVerD、目標対象が魚眼カメラに対する横方向距離をHonD、前記目標対象の実際の高さをObj_3DH、前記目標対象の実際の幅をObj_3DW、魚眼画像から変換して得られた柱面画像のパラメータをay、前記柱面画像中心の画素座標を(u0,v0)、魚眼画像画素幅をimgW、魚眼画像画素高さをimgHとし、目標対象の完全な結像を含む検出ゲートが柱面画像における左下隅画素座標を(u,v)、前記検出ゲートの画素高さをH、前記検出ゲートの画素幅をWとすると、以下の式によって検出ゲートを確定し、
u ＝ Foot_col-Obj_pixW
v ＝ Foot_row
W ＝ Obj_pixW
H ＝ Obj_pixH
前記Foot_rowは前記目標対象の先端エッジ平面の下縁が柱面画像における画素点の位置する行であり、以下のような式により確定され、
【数３６】
2015222558.tif 000038
なお、
【数３７】
2015222558.tif 000039
前記Foot_colは前記目標対象の先端エッジ平面の下縁が柱面画像における画素点の終了する列であり、以下のような式により確定され、
【数３８】
2015222558.tif 000040
なお、dθが柱面画像のうち各画素の水平角度であり、
【数３９】
2015222558.tif 000041
φは水平画角であり、
前記Obj_pixHは前記目標対象が柱面画像における画素高さであり、以下のような式により確定され、
【数４０】
2015222558.tif 000042
前記Obj_pixWは前記目標対象が柱面画像における画素幅であり、以下のような式により確定される
【数４１】
2015222558.tif 000043
ことを特徴とする請求項３に記載の方法。
【請求項７】
前記少なくとも一つの予定の検出ゲートは2n×m 個であり、nが車両の一側の同じ横方向距離で異なる縦方向距離の目標対象の対応する検出ゲートの数であり、mが車両一側の同じ縦方向距離で異なる横方向距離の目標対象の対応する検出ゲートの数であり、前記n、mが1より大きいか又は等しい自然数であることを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項８】
同じ縦方向距離の目標対象の横方向距離と車道幅の差は正規分布に合うことを特徴とする請求項７に記載の方法。
【請求項９】
同じ縦方向距離の目標対象の対応する検出ゲートに対応するマッチングテンプレートが同じであるか、或いは、前記予定の検出ゲートに対応するマッチングテンプレートを利用して前記予定の検出ゲートの位置する領域の画像特徴に対してマッチングすることで目標対象を確定することは、具体的に、予定の検出ゲートの対応するマッチングテンプレートを予定の検出ゲートの位置する領域の画像特徴とマッチングし、予定の検出ゲートの対応するマッチングテンプレートと予定の検出ゲートの位置する領域の画像特徴のマッチング程度を確定し、前記マッチング程度が予定の判別閾値より大きいか否かを判断して、大きいと、前記検出ゲートの対応する目標対象が存在すると確定することを特徴とする請求項７に記載の方法。
【請求項１０】
車両死角内の目標対象の検出装置であって、
少なくとも一つのフレームの画像であって、撮影デバイスによって車両死角を撮影して生成した画像を取得するための画像取得ユニットと、
前記画像における少なくとも一つの予定の検出ゲートの位置する領域の画像特徴を抽出するための特徴抽出ユニットと、
前記検出ゲートに対応するマッチングテンプレートを利用して前記画像特徴に対してマッチングして目標対象を確定するための対象マッチングユニットと、を含むことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は検出技術分野に関し、特に、車両死角内の目標対象の検出方法及びその装置に関する。
【背景技術】
【０００２】
本項の記載部分は、特許請求の範囲に述べる本発明の実施の形態のために背景や死角を提供することを趣旨とする。ここの説明が本項の記載部分に含まれるので従来技術であると認められるべきではない。
【０００３】
車両は自身の構造に基づいて視線死角が存在して、当該領域内では、正常に運転席に位置するドライバーが当該領域内の目標対象を観察できない。現実の生活において、この死角内の目標対象を観察できないことに起因する交通事故が発生することがある。車両の死角に起因する交通事故を回避または低減するために、ドライバーに死角内の状況を正確に把握させる必要がある。
【０００４】
現在、このような技術が既に出現している。当該技術は、車両後方に撮像デバイスを設置して、撮像デバイスを利用して死角内の場面を撮影し、そして撮影画像を検出することで死角内の目標対象を確定する。具体的な検出過程は目標対象の外観特徴、例えば車両の対称性、車両の影、垂直エッジ等を利用して、撮影画像から目標対象の可能な候補領域を分割して、知られた方法(例えばテンプレートマッチング)又は分類器識別法に基づいて目標対象を識別する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、目標対象にはたくさんの種類があり、例えば自動車、オートバイ、自転車等であってもよく、同一の種類であっても異なる形状を有し、例えば大型車、乗用車のように、外形に大きな差があり、従って、目標対象の外観特徴を利用して撮影画像から目標対象の可能な候補領域を分割することが難しくて、様々な目標対象に適する統一分類器をトレーニングすることで、可能な候補領域から目標対象を検出することはできない。
【０００６】
上記した課題を解決するために、本発明は車両死角内の目標対象の検出方法及びその装置を提供することで、車両死角内の目標対象に対する検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明が提供する車両死角内の目標対象の検出方法は、
少なくとも一つのフレームの、撮影デバイスによって車両死角を撮影して生成した画像を取得し、
前記画像における少なくとも一つの予定の検出ゲートが位置する領域の画像特徴を抽出し、
前記検出ゲートに対応するマッチングテンプレートを利用して前記画像特徴に対してマッチングすることで、目標対象が存在するか否かを確定することを特徴とする。
【０００８】
好ましくは、前記予定の検出ゲートが位置する領域は目標対象の完全な結像を含むことができる。
【０００９】
好ましくは、前記予定の検出ゲートが位置する領域は目標対象の完全な結像を含むことができることは、具体的に、前記検出ゲートの対応する目標対象物体の車両死角内における範囲が以下の要求を満たすようにし、
前記検出ゲートの対応する目標対象が車両に対する縦方向距離と横方向距離の比のアークタンジェント値が撮影デバイスの水平画角より小さいか又は等しく、前記縦方向距離は、車両に設置される撮影デバイスから目標対象の先端エッジ平面までの垂直距離であり、前記横方向距離は、車両に設置される撮影デバイスが位置する縦方向軸線から目標対象の左端又は右端エッジ平面までの垂直距離である。
【００１０】
さらに好ましくは、車両に設置される撮影デバイスが平面カメラである場合、前記検出ゲートの対応する目標対象が車両に対する縦方向距離と横方向距離の比のアークタンジェント値が撮影デバイスの水平画角より小さいか又は等しいことを満たすことは、具体的には、以下の要求を満たし、
【００１１】
前記検出ゲートの対応する目標対象が車両に対する縦方向距離は、
【数１】
2015222558.tif 000003
より小さくなく、前記検出ゲートの対応する目標対象が車両に対する横方向距離は、
【数２】
2015222558.tif 000004
より大きくなく、なお、
【００１２】
前記Cam_Hが平面カメラの実装高さであり、前記ax、ay が平面カメラの内部パラメータであり、ax＝ f/dx、ay ＝ f/dyであり、f が平面カメラの焦点距離であり、dx、dy がそれぞれ画像画素の水平及び垂直方向の最小の物理サイズであり、前記imgW が平面画像画素の幅であり、前記imgH が平面画像画素の高さであり、前記(u0,v0)が平面画像中心の画素座標である。
【００１３】
さらに好ましくは、目標対象の完全な結像を含む検出ゲートが画像における左下隅の画素座標を(u,v)、 前記検出ゲートの画素の高さをH、前記検出ゲートの画素幅をW、縦方向距離をVerD、横方向距離をHonD、前記検出ゲートの対応する目標対象の実際の高さをObj_3DH、前記目標対象の実際の幅をObj_3DWとすると、前記検出ゲートは以下の式によって確定され、
u ＝ Foot_col-Obj_pixW
v ＝ Foot_row
W ＝ Obj_pixW
H ＝ Obj_pixH
【００１４】
前記Foot_row は前記目標対象の先端エッジ平面の下縁の平面画像における画素点が位置する行であり、以下のような式によって確定され、
【数３】
2015222558.tif 000005
【００１５】
前記Foot_col は前記目標対象の先端エッジ平面の下縁の平面画像における画素点が終了する列であり、以下のような式によって確定され、
【数４】
2015222558.tif 000006
【００１６】
前記Obj_pixH は前記目標対象の平面画像における画素高さであり、以下のような式によって確定され、
【数５】
2015222558.tif 000007
【００１７】
前記Obj_pixW は前記目標対象の平面画像における画素幅であり、以下のような式によって確定され、
【数６】
2015222558.tif 000008
【００１８】
好ましくは、車両に設置される撮影デバイスが魚眼カメラである場合、魚眼カメラの高さをCam_H、目標対象と魚眼カメラとのユークリッド距離をD、前記目標対象が魚眼カメラに対する縦方向距離をVerD、前記目標対象が魚眼カメラに対する横方向距離をHonD、前記目標対象の実際の高さをObj_3DH、前記目標対象の実際の幅をObj_3DW、魚眼画像から変換して得られた柱面画像のパラメータをay、前記柱面画像中心の画素座標を(u0,v0)、魚眼画像画素幅をimgW、魚眼画像画素高さをmgHとし、目標対象の完全な結像を含む前記検出ゲートが柱面画像における左下隅の画素座標を(u,v)、前記検出ゲートの画素高さをH、前記検出ゲートの画素幅をWとすると、以下のような式によって検出ゲートを確定し、
u ＝ Foot_col-Obj_pixW
v ＝ Foot_row
W ＝ Obj_pixW
H ＝ Obj_pixH
【００１９】
前記Foot_row は前記目標対象の先端エッジ平面の下縁の柱面画像における画素点が位置する行であり、以下のような式によって確定され、
【数７】
2015222558.tif 000009
【００２０】
なお、
【数８】
2015222558.tif 000010
【００２１】
前記Foot_col は前記目標対象の先端エッジ平面の下縁の柱面画像における画素点が終了する列であり、以下のような式によって確定され、
【数９】
2015222558.tif 000011
【００２２】
なお、dθ が柱面画像のうち各画素の水平角度であり、
【数１０】
2015222558.tif 000012
であり、φが水平画角であり、
【００２３】
前記Obj_pixH は前記目標対象の柱面画像における画素高さであり、以下のような式によって確定され、
【数１１】
2015222558.tif 000013
前記Obj_pixW は前記目標対象の柱面画像における画素幅であり、以下のような式によって確定され、
【数１２】
2015222558.tif 000014
【００２４】
好ましくは、前記少なくとも一つの予定の検出ゲートが2n×m 個であり、n が車両一側の同じ横方向距離で異なる縦方向距離である目標対象の対応する検出ゲートの数であり、m が車両一側の同じ縦方向距離で異なる横方向距離である目標対象の対応する検出ゲートの数であり、前記n、mが1より大きいかまたは等しい自然数である。
【００２５】
さらに好ましくは、同じ縦方向距離の目標対象の横方向距離と車道幅の差が正規分布に合う。
【００２６】
さらに好ましくは、同じ縦方向距離の目標対象の対応する検出ゲートに対応するマッチングテンプレートが同じであるか、あるいは、前記予定の検出ゲートに対応するマッチングテンプレートを利用して前記予定の検出ゲートが位置する領域の画像特徴に対してマッチングすることで目標対象を確定することは、具体的に、予定の検出ゲートの対応するマッチングテンプレートと予定の検出ゲートが位置する領域の画像特徴をマッチングし、予定の検出ゲートの対応するマッチングテンプレートと予定の検出ゲートが位置する領域の画像特徴のマッチング程度を確定し、前記マッチング程度が予定の判別閾値より大きいか否かを判断して、大きいと、前記検出ゲートの対応する目標対象が存在すると確定する。
【００２７】
本発明の実施の形態は、車両死角内の目標対象の検出装置をさらに提供する。当該装置は画像取得ユニットと、特徴抽出ユニットと、対象マッチングユニットと含み、
前記画像取得ユニットは、少なくとも一つのフレームの、撮影デバイスによって車両死角を撮影して生成した画像を取得するためのものであり、
前記特徴抽出ユニットは、前記画像における少なくとも一つの予定の検出ゲートが位置する領域の画像特徴を抽出するためのものであり、
前記対象マッチングユニットは、前記検出ゲートに対応するマッチングテンプレートを利用して前記画像特徴に対してマッチングし、目標対象を確定するためのものである。
【００２８】
本発明の実施の形態は、車両死角内の画像を取得した後で、画像における検出ゲートが位置する領域を基本処理単位として特徴抽出とマッチングを行って、検出ゲートが位置する領域が、既に予定の検出ゲートによって確定されたので、特徴を抽出する時には、目標対象の外部特徴に基づいて目標対象の可能な候補領域を分割する必要がなく、検出ゲート内で特徴を抽出すればよく、目標対象の種類、形状、遠近等の要因による画像分割が難しいことを回避し、目標対象の検出精度を向上させることに貢献する。さらに、目標対象の完全な結像が検出ゲート内に含まれるので、目標対象が検出ゲートが位置する領域内においてできるだけより大きい領域を占めることで、画像特徴の抽出に貢献する。なお、各検出ゲート内に完全な目標対象の結像が含まれているので、目標対象の外観の差異によるマッチングテンプレートのトレーニングへの影響が少ないことで、一般的な統一のマッチングテンプレートをトレーニングして、マッチングテンプレートの数量が多いことを回避し、目標対象の検出精度を向上させることに貢献する。
【図面の簡単な説明】
【００２９】
【図１】車両死角の模式図である。
【図２】本発明の車両死角内の目標対象の検出方法の実施例のフローチャートである。
【図３】カメラ結像の水平横断面の模式図である。
【図４】平面カメラの結像モデルの模式図である。
【図５ａ】平面カメラの座標系の模式図である。
【図５ｂ】カメラ座標系におけるXZ 平面及び目標対象が座標系における位置の模式図である。
【図５ｃ】平面画像座標系の模式図である。
【図５ｄ】特定の検出ゲート位置の座標の模式図である。
【図６】特定の検出ゲートが画像での位置の実例の一つの模式図である。
【図７ａ】魚眼カメラモデルの模式図である。
【図７ｂ】柱面モデルの結像の模式図である。
【図８ａ】魚眼カメラ座標系の模式図である。
【図８ｂ】カメラ座標系XZ 平面及び他車が座標系における位置座標の模式図である。
【図８ｃ】柱面画像が展開した後の座標系の模式図である。
【図８ｄ】柱面モデルにおいてカメラ中心と物体の関係図である。
【図９】特定の検出ゲートが画像での位置の他の実例の模式図である。
【図１０】本出願の車両死角内の目標対象の検出装置実施例の組み合わせのブロック図である。
【発明を実施するための形態】
【００３０】
図面を参照しながら、以下の詳細な説明を読むことによって、本発明の例示的な実施形態の上記および他の目的、特徴および利点は容易に理解できるだろう。図面において、例示的に本発明の若干の実施形態を示したがこれに限られない。
【００３１】
次に若干の示例的な実施の形態を参照して本発明の原理と精神を説明する。これらの実施の形態を提供するのは、ただ当業者に本発明をよりよく理解させて、本発明を実現させるためであり、いずれの方式で本発明の範囲を制限するためではないことを理解すべきである。一方、これらの実施の形態を提供するのは、本発明をより明らかに完全にさせて、且つ特許請求の範囲を当業者に完全に伝達するためである。
【００３２】
図1を参照して、この図は車両死角の中の一般的な死角の図、即ち、後方死角を示し、この図では、車両( 以下に、「自車」と略称する) の左右両側にともに一定の幅の領域が死角であり、図において示している片側の死角が3.5m×5mの長方形(注釈：当該長方形の後ろの領域が死角の延長であり、当該延長領域内において目標物を検出するのは予め予測を実現でき、特別に説明しない場合には、本願の技術案が当該延長領域内の目標物に対する検出に適用されることができる)であり、しかし、現実において異なる車両の具体的な状況により、死角大きさ、形状等はそれぞれ異なる可能性がある。しかしながら、当業者は、この差異が本発明の技術的思想、技術案、技術特徴を様々な特定の死角に適用することを妨げなく、目標対象に対する検出を実現できることがわかる。
【００３３】
ここでの目標対象は様々な死角内に入る対象であってもよく、例えば他の車両、オートバイ、自転車、歩行者等である。目標対象が車両死角に入る方式は様々な具体的な形式に表現できて、「他の車両」が自車の死角に入ることを例として、当該「他の車両」は自車の前進方向の向こうから来て、前から後へ死角に入ってもよく、自車の後方から来て、後から前へ死角に入ってもよい。歩行者、自転車等のような柔軟性が大きい目標対象に対して、直接に横方向に車両死角に入る可能性もある。なお、死角に入る目標対象の数量又は具体的な入る領域も様々な状況に表すことができる。例えば、図1において、二つの対称性の死角が存在するので、複数の目標対象が同時又は非同時に死角内に入る可能性があり、各目標対象はそれぞれ二つの死角のうちの一つの死角に入る可能性がある。しかし、目標対象が死角に入る方式、死角に入る目標対象の数量、具体的な入る領域にかかわらず、本発明の死角検出における基本原則がいずれも同じで、当業者は一つの状態での技術的思想、技術案、技術的特徴を他の状態に応用することができる。
【００３４】
前述のように、目標対象が車両の死角に入った後に、運転席のドライバーは目標対象を正常に観察できないので、容易に交通事故を引き起こす。このような状況を回避するために、本願は車両死角内に入る目標対象を検出する方法を提供する。図2を参照して、当該図は本発明が提供する車両死角内の目標対象の検出方法の一つの実施の形態を示している。この実施の形態は、以下のステップを含む。
【００３５】
ステップS21：少なくとも一つのフレームの画像であって、撮影デバイスによって車両死角を撮影して生成した画像を取得する。
【００３６】
ドライバーは車両死角内の場面を観察できず、通常に車両に撮影デバイスを取り付けて、車両死角内の状況を撮影する必要がある。ここで、車両死角に対する撮影は録画方式を採用してもよく、周期的に間隔的に撮影してもよい。撮影デバイスによる撮影によって車両死角内の状況の画像を生成できて、本実施の形態は車両死角内に目標対象が入ったかどうか及びどのような目標対象であるかを判断するために、一つのフレームまたは複数のフレームの画像を取得する必要がある。複数のフレーム画像を取得する場合には、複数のフレームを次のステップに従って並列に処理してもよく、一つのフレームずつ順次に処理してもよく、具体的な処理方式は実際の処理能力とスピードによって確定される。
【００３７】
ステップS22：前記画像において少なくとも一つの予定の検出ゲートが位置する領域の画像特徴を抽出する。
【００３８】
前述のステップによって画像を得た後に、予定の検出ゲートが位置する領域を処理基本単位として、検出ゲートが位置する領域の画像特徴を抽出する。ここでの検出ゲートは、目標対象があるかどうかを検出する基本範囲であり、画像のうち各検出ゲートの以外の領域に対して（あまり）注目しなくてもよい。検出ゲートは実際には一つの基本処理単位の範囲のサイズを設定して、（必ずしも）画像において現実に一つの検出ボックスが存在するわけではなく、つまり、仮想検出窓のように表現することができる。なお、ここで検出「ゲート」、検出「ボックス」のような表現方式を使用するものの、検出する基本的な範囲が「長方形」だけであるという意味ではなく、実際には、具体的な状況に従って検出ゲートが三角形、円形または多角形のものでもよく、不規則な形状でもよく、但し、一般的に言えば、コンピュータのような情報処理デバイスにおいて、長方形の領域の処理がより便利でかつ迅速である。
【００３９】
ステップS23：前記検出ゲートに対応するマッチングテンプレートを利用して前記予定の検出ゲートが位置する領域の画像特徴をマッチングすることで目標対象を確定する。
【００４０】
前述ステップによって画像特徴を抽出した後に、抽出した特徴と相応するマッチングテンプレートをマッチングすることで、目標対象を確定する。ここで目標対象を確定するのは少なくとも二つの意味を含み、一つ目は、検出ゲート内に目標対象が存在するかどうかを確定し、二つ目は、検出ゲート内に存在する目標対象はどんな目標対象であるかを確定する。例えば、それらの車両死角内に目標対象が存在するかどうかに注目し、且つその目標対象はどの種類の目標対象であるかを確定できることを希望する正確検出の場合には、この２つの意味は同一の検出過程においていずれも答えを与えてもよく、例えば、それらの車両死角内に目標対象が存在するかどうかだけを知る必要がある初期検出の場合には、前のレベルの答えだけを与えてもいい。ここで、マッチングテンプレートを利用して画像特徴をマッチングすることは、まず検出ゲートの対応するマッチングテンプレートと抽出した画像特徴の間のマッチング程度を確定し、そしてそのマッチング程度と予定の判別閾値の大きさを比較して、予定判別閾値より大きいと、検出ゲートが位置する領域に目標対象が存在することを確定できることで、当該検出ゲートの対応する目標対象が存在する。実際の実現過程において、上記の過程は通常に予めトレーニングした分類器を採用して分類し検出する方式で実現でき、例えばSVM分類器、Adaboost 分類器等を採用して検出することができる。分類器をトレーニングする時には、まず同じ縦方向距離を持つ各検出ゲートの対応する、完全な目標対象を含むサンプル及び背景サンプルを収集し、HOG特徴、LBP特徴等を利用して相応の分類器をトレーニングし、当該分類器の判別閾値を得て、それによって当該縦方向距離に対応する各検出ゲートの分類器を得る。もちろん、実際に応用する過程において、上記のような機械学習識別の方法以外に、知識識別に基づく方法を採用してもよく、例えば、垂直エッジ特徴、運動特徴等を採用して識別し、その時、判別閾値は複数の目標対象サンプルの対応特徴を統計することによって確定される。
【００４１】
上記実施の形態では車両死角内の画像を取得した後に、画像での検出ゲートが位置する領域を基本処理単位として特徴抽出及びマッチングを行って、目標対象を確定する。従来技術に比べて、少なくとも次の技術効果を得ることができる。即ち、検出ゲートの位置する領域が予定の検出ゲートによって確定されるので、画像特徴を抽出する時には、従来技術のように目標対象の外部特徴に基づいて目標対象の可能な候補区を分割する必要がなく、検出ゲート内で特徴を抽出すればよく、目標対象の種類、形状、遠近等の要因による画像分割が難しくなることを回避して、目標対象の検出精度を向上させるのに貢献する。なお、上記の実施の形態において、少なくとも一つの予定の検出ゲートが存在すれば、上記の従来技術に対する改善性の技術的効果を得るものの、より優れた技術的効果を得るために、２つまたは２つの以上の検出ゲートを設置してもよく、各検出ゲートはいずれも前述のステップS21〜S23の方式に応じて処理することで、各検出ゲート内において対応する目標対象が存在するかどうかをそれぞれ確定する。
【００４２】
なお、従来技術では、以下のような車両死角内の目標対象を検出する方式が存在し、当該方式は画像に対して候補領域分割を行うことを避けて、画像をトラバース（走査）する方法を採用して、予めトレーニングした車両、オートバイ等の対象分類器で目標対象を識別する。本実施の形態の技術案はこのような目標対象を識別する技術に対して、優れた技術的効果を得ることができ、例えば、当該技術は各フレーム画像に対してスライドウィンドウスキャンを行う必要があるが、実際には画像においてある領域には全然目標対象がないので、処理リソースが浪費されて、処理速度に大幅に影響を与えるが、本実施の形態は各予定の検出ゲートを基本処理単位として、全体の画像の全ての領域をトラバース（走査）する必要がなく、「優秀」な処理速度を確保して実現できて、さらにリアルタイムの効果を達成する。
【００４３】
上記の実施の形態において、さらに検出ゲート内に目標対象の完全な画像を含む能力を持つことに限定される。例えば、通常の場合には、一つの車両(他車と略称される)は遠方から自車に近づいて、他車が撮影デバイスにおける映像はまずフロントの特徴で、そしてフロントと側面車体特徴に徐々に移行し、さらに側面車体特徴だけに移行し、最終的には全くイメージがない。このような過程において、本願は目標対象の完全な結像を含む検出ゲートを設置することで、検出ゲート内において検出した目標対象は完全なものであり、従って、正確に特徴を抽出するために貢献し、ひいては目標対象に対する検出を正確かつ効率的に実現する。具体的には、目標対象の完全な結像がともに検出ゲート内に含まれるので、両方面の影響を与えることができる。一つ目は、この形態によって目標対象が検出ゲートの位置する領域内においてできるだけより大きい領域を占めて、検出ゲートの位置する領域内で非目標対象領域がもたらす干渉を低減し、二つ目は、この形態によって目標対象に対する検出は画像での各検出ゲートにおける画像を重点的に注目するだけでよく、画像のうち各検出ゲートの以外の領域を注目しなくてもよく、全体の画像範囲で非目標対象領域に対する干渉を低減する。どのような影響にかかわらず、いずれも画像特徴の抽出精度を向上させる。各検出ゲート内に完全な目標対象の結像を含むので、各検出ゲート内の目標対象の外観差異が当該検出ゲートに対応するマッチングテンプレートのトレーニングに対する影響を小さくさせることで、一般的な統一のマッチングテンプレートをトレーニングできて、マッチングテンプレートの数量が多いことを避けて、目標対象の検出效率を向上させることに貢献する。
【００４４】
上記の実施の形態において、予定の検出ゲートが目標対象の完全な結像を含むことができることに限定しようとすると、異なる要因を考えて様々な方式によって当該目的を実現できる。例えば、自車に取り付ける撮影デバイスが一つの水平画角を有するので、その水平画角の範囲内に入る画像のみ撮影デバイスの結像平面に位置することができて、当該水平画角の範囲以外又は交差の領域において、目標対象が車両死角内にあっても、撮影デバイスにより目標対象が見えないか又は完全な目標対象が見えなくて、この時に相応な検出ゲートをさらに設置すると、当該検出ゲートは目標対象の結像を完全に含むことができない。図3を参照して、例を挙げて次のように説明する。すなわち、自車A が道路上を走行し、自車死角内部には他車B、C 及びDを含むことを想定し、車両C の外側境界と自車中心線との横方向距離をXとし、車両Cの先端部分と自車の縦方向距離をLとする。それでは、車両C は結像面において完全に結像されることができるが、Lが小さすぎて例えば車Bのようであるか、或いはX が大きすぎる場合には、結像面上に完全に結像することができない。以上により、検出ゲートが目標対象の完全な結像を含むことを確保しようとすると、前記検出ゲートの対応する目標対象物体が車両死角内における範囲に次のような要求を満足させる必要がある。
【００４５】
検出ゲートの対応する目標対象の車両に対する縦方向距離と横方向距離との比のアークタンジェントは撮影デバイスの水平画角θより小さいか又は等しい。ここで、前記縦方向距離は車両に設置される撮影デバイスから目標対象の先端エッジ平面までの垂直距離であり、前記横方向距離は車両に設置される撮影デバイスの位置する縦方向軸線から目標対象の左端又は右端エッジ平面までの距離である。
【００４６】
式で示すと次のようである。
【数１３】
2015222558.tif 000015
【００４７】
上記では検出ゲートの対応する目標対象物体の車両死角内における範囲を限定したものの、ある具体的な場合にはより複雑な可能性がある。以下では、主に撮影デバイスが平面カメラである場合に、目標対象の完全な結像がある検出ゲート内に位置することを確保しようとすると、どのように検出ゲートの対応する目標対象の車両死角内における範囲を要求するかを検討する。図4を参照して、当該図に平面カメラの結像モデルを示し、当該平面カメラの実装高さをCam_Hとし、平面カメラの内部パラメータをax、ayとし、ax ＝ f/dx、ay ＝ f/dyであり、平面カメラの焦点距離をfとし、画像画素の水平と垂直方向の最小の物理サイズをそれぞれdx、dyとし、平面画像画素の幅をimgWとし、平面画像画素の高さをimgHとし、平面画像中心の画素座標を(u0,v0)とすると、
目標対象の車両に対する縦方向距離が
【数１４】
2015222558.tif 000016
より小さくなく、且つ目標対象の車両に対する横方向距離が
【数１５】
2015222558.tif 000017
より大きくない。この二つの条件で確定した領域が検出ゲートの対応する目標対象が位置する範囲である。
【００４８】
前述のもとで、以下にはどのように画像上の具体的な検出ゲートを確定するかを討論する。ここで二つの種類の一般的な撮影デバイスに基づいて紹介する。まず撮影デバイスが平面カメラである場合を説明する。図5a〜図5dを参照して、図5aは平面カメラの座標系を示し、図5bはカメラ座標系においてXZ 平面及び目標対象が当該座標系における位置を示し、図5cは平面画像座標系を示す。これらの座標系に基づいて、図5dの検出ゲート位置を確定する模式図を参照して、検出ゲートの左下隅画素座標を(u,v)、 検出ゲートの画素高さをH、検出ゲートの画素幅をW、縦方向距離をVerD、横方向距離をHonD、目標対象の実際の高さをObj_3DH、目標対象の実際の幅をObj_3DWとすると、前記検出ゲートは次のような式により確定する。すなわち、
u ＝ Foot_col-Obj_pixW
v ＝ Foot_row
W ＝ Obj_pixW
H ＝ Obj_pixH
【００４９】
(1) 上記におけるFoot_row が目標対象先端エッジ平面の下縁が平面画像における画素点の位置する行であり、次のような式により確定する、すなわち、
【数１６】
2015222558.tif 000018
その導出過程は、O'(X,Y,Z) がカメラ座標システムの原点であり、O(u,v) が結像平面であり、点P1'(x1c,y1c,z1c) が他車の下底辺と道路の接する一つの点であり、点P1(u1,v1) が点P1'(x1c,y1c,z1c) の結像平面における対応点であり、P2'(x2c,y2c,z2c) が点P1'(x1c,y1c,z1c) の平面O'XZ における投影点であり、P1'P2'距離はカメラ実装高さCam_Hと等しく、P2'P3' 距離は横方向距離HonDと等しい。三角形相似から
【数１７】
2015222558.tif 000019
を得て、すなわち
【数１８】
2015222558.tif 000020
を得ることができて、整理することで上式を求めることができる。
【００５０】
(2) 上式におけるFoot_col が目標対象先端エッジ平面下縁の平面画像における画素点が終了する列であり、次のような式により確定される。すなわち、
【数１９】
2015222558.tif 000021
その導出過程は、三角形画素から
【数２０】
2015222558.tif 000022
を得ることができて、整理することで上式を求めることができる。
【００５１】
(3) 上記におけるObj_pixH が目標対象の平面画像における画素高さであり、次のような式により確定される、すなわち、
【数２１】
2015222558.tif 000023
【００５２】
(4) 上記におけるObj_pixW が目標対象の平面画像における画素幅であり、次のような式により確定される、すなわち、
【数２２】
2015222558.tif 000024
【００５３】
上記の内容は車両死角内におけるある目標対象が結像平面において完全に結像できるように確保するために、相応な検出ゲートの画像における位置を詳しく説明した。以下に左側車道を例として、具体的に検出ゲートの設置を説明し、左車道の対応する画像領域にn×m個の検出ゲートを設置し、ただしn が当該車道側の同じ横方向距離で異なる縦方向距離である目標対象に対応する検出ゲートの数であり、mが当該車道側の同じ縦方向距離で異なる横方向距離の目標対象に対応する検出ゲートの数であり、前記n、mが1より大きいか又は等しい自然数であり、横方向における目標対象に対応する検出ゲートを設置するのは、車両の車道幅の領域内から外れることを許容するためである。これらの検出ゲートが目標対象に対応する位置はさらに次の要求を満たし、同じ縦方向距離の目標対象の横方向距離と車道幅との差は正規分布に合う。縦方向の上に5グループの検出ゲートを設置し、横方向において各グループの検出ゲートは5つである必要があると想定すると、図6を参照して、次のような距離に応じて目標対象を要求することができて、つまり、目標対象はこれらの距離にある時、その対応する完全な結像が相応な検出ゲートに結像されることができることで、各縦方向距離VerDはそれぞれ15m、10m、6m、4m、3mであり、各横方向距離HonDはそれぞれ4.0m、3.6m、3.3m、3.1m、2.8mであることが正確に検出される。
【００５４】
なお、前記のように、目標対象は複数の種類の具体的な対象に表現される。車両である場合には、異なる車両によって異なる幅と高さを持ち、従って、相応な検出ゲートを設置する時、その幅と高さは異なってもよい。扱いやすくするために、本明細書で統一の車両幅Wと高さHを設置することが好ましい。当該統一の車両幅、高さは小型の自動車の幅と高さを参照としてもよく、中型の自動車の幅と高さを参照としてもよく、当然に大型の自動車( 例えばバス) の幅と高さを参照としてもよい。通常に好ましく選択するのは中型の自動車の幅と高さを参照として、例えば、中型の自動車の幅と高さはおおよそ2メートルの程度であるため、検出幅と高さを2mに設定する。オートバイである場合に、オートバイの幅対高さ比は2:3に近いので、検出ゲートの幅対高さ比も2:3に設定する。異なるオートバイの高さに差異を有し、統一処理ために、統一のオートバイの高さを設置することができて、例えば高さを1.8m、幅を1.2mとする。
【００５５】
続いて、撮影デバイスが魚眼カメラである場合を紹介する。魚眼カメラは自動車後部に取り付けられる。魚眼カメラの視野が大きく、180度に達することができて、より広い領域を観察できる。しかし、物体は、特に近い物体は魚眼カメラ撮影の画像で変形を生じる。しかしながら、物体の魚眼画像における変形が一致で、物体の検出は魚眼画像において検出することができる。実際の応用の過程において、高い検出率を保証するために、魚眼画像を柱面画像又は平面画像に変換することもでき、補正した画像において物体を検出する。図7a〜図7bを参照して、図7aは魚眼カメラモデルの模式図であり、図7bは柱面モデルの結像図であり、本実施の形態では魚眼画像から柱面画像への変換式を表示して、次のようである。
【数２３】
2015222558.tif 000025
p"(u",v") ＝G(P"(x",y",z"))
【００５６】
なお、p"(u",v")が魚眼画像における画素座標であり、p'(u',v')が柱面画像における点であり、(u0,v0)が柱面画像の中心であり、dθが柱面画像で各画素が表示する角度であり、ay' ＝ f'/dy'であり、f'が柱面図の焦点距離であり、dy' が柱面図で各画素が表示する垂直サイズであり、Gが魚眼カメラ座標と魚眼画像座標点との間のマッピングであり、R"WC2 は世界座標系から魚眼カメラ座標系への変換行列であり、R´CW1は柱面カメラ座標系から世界座標系への変換行列である。
【００５７】
魚眼カメラの高さをCam_H、目標対象と魚眼カメラのユークリッド距離をD、他車と魚眼カメラの横方向距離をHonD、他車と魚眼カメラの縦方向距離をVerD、他車の実際の高さをObj_3DH、他車の実際の幅をObj_3DW、柱面画像のパラメータをay、柱面画像画素中心の座標を(u0,v0)、オリジナル画像の画素幅をimgW、オリジナル画像の画素高さをimgHと想定し、検出ゲートが画像における左下隅画素座標を(u,v)、検出ゲートの画素高さをH、検出ゲートの画素幅をWとする。図8a〜図8dを参照すると、図8aは魚眼カメラ座標系の模式図であり、図8bは魚眼カメラ座標系XZ 平面及び他車の当該座標系における位置座標の模式図であり、図8cは柱面画像は展開した後の座標系図であり、8dは柱面モデルで魚眼カメラ中心と目標対象の関係図である。そこで、次の式により検出ゲートを確定できる。
【００５８】
u ＝ Foot_col-Obj_pixW
v ＝ Foot_row
W ＝ Obj_pixW
H ＝ Obj_pixH
【００５９】
前記Foot_row が目標対象の先端エッジ平面の下縁の柱面画像における画素点の位置する行であり、次のような式により確定される、すなわち、
【数２４】
2015222558.tif 000026
ただし、
【数２５】
2015222558.tif 000027
前記Foot_col は目標対象先端エッジ平面下縁の柱面画像における画素点が終了する列であり、次のような式により確定される、すなわち、
【数２６】
2015222558.tif 000028
ただし、dθが柱面画像のうち各画素の水平角度であり、
【数２７】
2015222558.tif 000029
φ が水平画角であり、
【００６０】
前記Obj_pixHは目標対象の柱面画像における画素高さであり、次のような式により確定される、すなわち、
【数２８】
2015222558.tif 000030
前記Obj_pixWは目標対象の柱面画像における画素幅であり、次のような式により確定される、すなわち、
【数２９】
2015222558.tif 000031
【００６１】
以下に左側車道を例として検出ゲートを設置することに対して説明して、当該車道側の同じ横方向距離で異なる縦方向距離の目標対象に対応する検出ゲートの数をnとして設置して、例えばn ＝ 5である。車両の車道幅の領域内から外れることを許容するために、各設置した縦方向距離において異なる横方向距離の目標対象に対応する検出ゲートの数をmとして設置して、例えば、m ＝ 5であり、横方向における目標対象に対応する検出ゲートを設置するのは車両の車道幅の領域内から外れることを許容するためである。これらの検出ゲートの対応する目標対象の位置は、同じ縦方向距離の目標対象の横方向距離と車道幅の差が正規分布に合うような要求を満たすこともできる。図9を参照して、検出ゲートの対応する目標対象の5つの縦方向距離はそれぞれ9.8m、5.8m、3.3m、1.4m、0.15mであり、各縦方向距離において、横方向検出範囲はそれぞれ4.0m、3.6m、3.4m、3.2m、2.8mである。
【００６２】
上記の内容は車両死角内の目標対象の方法を詳しく紹介したが、当該方法に対応して、本発明はまた車両死角内の目標対象の検出装置を提供し、図10を参照して、当該図にはその装置の実施の形態を示し、その実施の形態は画像取得ユニットU101と、特徴抽出ユニットU102と、対象マッチングユニットU103と含む。
【００６３】
少なくとも一つのフレームの画像であって、撮影デバイスによって車両死角を撮影して生成する画像を取得するための画像取得ユニットU101と、
前記画像において少なくとも一つの予定の検出ゲートが位置する領域の画像特徴を抽出するための特徴抽出ユニットU102と、
前記検出ゲートに対応するマッチングテンプレートを利用して前記画像特徴をマッチングして目標対象を確定するための対象マッチングユニットU103とを含む。
【００６４】
本実施の形態に係る装置の作業過程において、画像取得ユニットU101 はまず少なくとも一つのフレームの撮影デバイスによって車両死角を撮影して生成する画像を取得し、そして特徴抽出ユニットU102 によって前記画像のうち少なくとも一つの予定の検出ゲートが位置する領域の画像特徴を抽出する。最後には、対象マッチングユニットU103は前記検出ゲートに対応するマッチングテンプレートを利用して前記画像特徴をマッチングして目標対象を確定する。本装置の実施の形態は前述方法の実施例と同じ技術的効果を得ることができて、重複を避けるために、ここで繰り返さない。
【００６５】
なお、上記の詳細な説明で、車両死角内の目標対象の検出装置の若干のユニットを言及したが、この分割は必須ではない。実際には、本発明の実施形態によって、上記で説明した二つまたはそれ以上のユニットの特徴と機能を、一つの装置で具現化してもよく、異なる装置で具現化してもよい。そして、逆に、上記で説明した一つのユニットの特徴と機能を、さらに複数のサブユニットで具現化するように分割してもよい。
【００６６】
なお、図において特定の順番で本発明の方法の操作を説明したものの、これらの操作を必ず特定の順番に従って実行する、または全ての示した操作を必ず実行してこそ、所望の結果を達成することを要求または暗示するわけではない。追加的または代替的に、幾つかのステップを省略して、複数のステップを一つのステップに合併して実行する、及び/または一つのステップを複数のステップに分けて実行することができる。
【００６７】
既に若干の具体的な実施の形態を参照して本発明の精神と原理を説明したものの、本発明は開示した具体的な実施の形態に限られず、各方面に対する分割もこれらの方面における特徴は組み合わせることで利益を得ることができないという意味ではなく、この分割は記述の便宜のために過ぎない。本発明は添付の特許請求の範囲の精神および範囲に含まれる様々な修正および均等な構成をカバーすることを要旨とする。
【符号の説明】
【００６８】
Ｕ１０１  画像取得ユニット
Ｕ１０２  特徴抽出ユニット
Ｕ１０３  対象マッチングユニット
【図１】
2015222558.tif 000044
【図２】
2015222558.tif 000045
【図３】
2015222558.tif 000046
【図４】
2015222558.tif 000047
【図５ａ】
2015222558.tif 000048
【図５ｂ】
2015222558.tif 000049
【図５ｃ】
2015222558.tif 000050
【図５ｄ】
2015222558.tif 000051
【図６】
2015222558.tif 000052
【図７ａ】
2015222558.tif 000053
【図７ｂ】
2015222558.tif 000054
【図８ａ】
2015222558.tif 000055
【図８ｂ】
2015222558.tif 000056
【図８ｃ】
2015222558.tif 000057
【図８ｄ】
2015222558.tif 000058
【図９】
2015222558.tif 000059
【図１０】
2015222558.tif 000060