(57)【要約】【課題】カメラの撮像方向の変化応じて、時空間画像の検出ラインの位置を補正する。【解決手段】  車両に搭載され、車両の周囲の所定領域を所定の撮像方向で撮像するカメラ１と、所定領域に予め設定された検出ライン上の画像データの経時的変化に基づいて、車両の周囲の障害物を検出する障害物検出ユニット２とを有し、障害物検出ユニット２は、障害物検出時のカメラ１の撮像方向を取得し、この取得した撮像方向と初期設定時におけるカメラ１の撮像方向とからカメラ１の撮像方向のずれ量を算出し、算出した撮像方向のずれ量に基づいて検出ラインの設定位置を補正する検出ライン補正装置２２を有する。【選択図】  図１
2006040165.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載され、前記移動体の周囲の所定領域を所定の撮像方向で撮像する撮像手段と、予め設定された検出ライン上の画像データの経時的変化に基づいて、前記移動体の周囲の障害物を検出する検出手段とを有する障害物検出装置であって、
前記検出手段は、障害物検出の際における前記撮像手段の撮像方向と、初期設定の際における前記撮像手段の撮像方向とを取得し、取得した前記障害物検出の際における撮像方向と初期設定の際における撮像方向とを比較して、前記初期設定の際の撮像方向に対する前記障害物検出の際の撮像方向のずれ量を算出し、算出した撮像方向のずれ量に基づいて前記検出ラインの設定位置を補正する検出ライン補正部を有する障害物検出装置。
【請求項２】
前記検出手段は、予め設定された検出ライン上の画像データの濃度値を時系列に積み上げることにより時空間画像を作成し、作成した時空間画像に基づいて前記移動体の周囲の障害物を検出する請求項１記載の障害物検出装置。
【請求項３】
前記検出手段は、前記作成された時空間画像に基づいて、移動する障害物を検出する請求項２に記載の障害物検出装置。
【請求項４】
前記撮像手段は、広角カメラである請求項３に記載の障害物検出装置。
【請求項５】
移動体に搭載され、前記移動体の周囲の所定領域を所定の撮像方向で撮像する撮像手段と、予め設定された検出ライン上の画像データの経時的変化に基づいて、前記移動体の周囲の障害物を検出する検出手段とを有する障害物検出装置であって、
前記検出手段は、前記検出ラインを補正する際における前記撮像手段が撮像した、前記移動体に対して所定の相対的位置に設定されたマークの画像データと、初期設定の際における前記撮像手段が撮像した前記マークの画像データとを取得し、前記検出ラインを補正する際に撮像されたマークの位置と前記初期設定の際に撮像されたマークの位置とを比較して、前記初期設置の際におけるマークの位置に対する前記検出ラインを補正する際におけるマークの位置のずれ量を算出し、算出したマークの位置のずれ量に基づいて前記検出ラインの設定位置を補正する検出ライン補正部を有する障害物検出装置。
【請求項６】
前記マークは、前記移動体の載置面に設けられた請求項５に記載の障害物検出装置。
【請求項７】
前記マークは、前記移動体の所定の位置に設けられた請求項５に記載の障害物検出装置。
【請求項８】
予め設定された検出ライン上の画像データの経時的変化に基づいて、移動体の周囲の障害物を検出する障害物検出方法であって、
移動体の周囲の所定領域を所定の撮像方向で撮像するカメラの初期設定時における撮像方向を取得し、
障害物の検出を行う際の前記カメラの撮像方向を取得し、
前記初期設定の際におけるカメラの撮像方向と、前記障害物の検出を行う際のカメラの撮像方向とを比較し、初期設定時に対する障害物検出時における撮像方向のずれ量を算出し、
算出した撮像方向のずれ量に基づいて前記検出ラインの位置を補正し、
補正された検出ライン上の画像データの経時的変化に基づいて、移動体の周囲の障害物を検出する障害物検出方法。
【請求項９】
予め設定された検出ライン上の画像データの経時的変化に基づいて、移動体の周囲の障害物を検出する障害物検出方法であって、
初期設定の際において撮像した、前記移動体に対して所定の相対的位置に設定されたマークの画像データを取得し、
前記検出ラインを補正する際において撮像した、前記移動体に対して所定の相対的位置に設定されたマークの画像データを取得し、
前記取得した検出ラインを補正する際に撮像された画像データ上のマークの位置と前記初期設定の際に撮像された画像データ上のマークの位置とを比較して、前記初期設置の際における画像データ上のマークの位置に対する前記検出ラインを補正する際における画像データ上のマークの位置のずれ量を算出し、
算出した画像データ上のマークの位置のずれ量に基づいて前記検出ラインの設定位置を補正し、
補正された検出ライン上の画像データの経時的変化に基づいて、移動体の周囲の障害物を検出する障害物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載される障害物検出装置及び障害物検出方法に関し、特に、移動体の姿勢が変化した場合においても高い精度で障害物を検出する障害物検出装置及び障害物検出方法に関する。
【背景技術】
【０００２】
車両に搭載されたカメラが撮像した画像データに基づいて、車両周囲の障害物を検出する装置が知られている。この種の装置に関し、原画像のｘ方向の所定位置に設定された検出ラインの画像データから時空間画像を作成し、この時空間画像に現われる特徴部分の軌跡に基づいて対象物を検出する技術が知られている（特許文献１参照）。  
しかしながら、車両の姿勢が変化し、車両に搭載されたカメラの光軸がずれた場合、検出ラインの適正位置もずれてしまうため、検出するべき障害物を検出ライン上に捉えることができずに、障害物を検出できないという問題があった。また、障害物ではない物を検出ライン上に捉え、非障害物を誤って検出をしてしまうという問題があった。  
【特許文献１】特開平９−２４０３９７号公報
【発明の開示】
【０００３】
本発明は、以上の課題を鑑みてなされたのものであり、撮像方向が変化しても正確に障害物を検出することを目的とする。  
本発明によれば、障害物検出の際における撮像方向と初期設定の際における撮像方向と比較して、障害物検出の際における撮像方向のずれ量を算出し、このずれ量に基づいて検出ラインの設定位置を補正し、補正後の検出ライン上の画像データの経時的変化に基づいて障害物を検出する障害物検出装置又は障害物検出方法が提供される。  
これにより、移動体の姿勢の変化等に伴い撮像方向が変化した場合であっても、検出ラインの位置を適正位置に補正するため、高い精度で障害物を検出することができる。
【発明を実施するための最良の形態】
【０００４】
＜第１実施形態＞
以下、図面に基づいて、本発明に係る第１実施形態の障害物検出装置１００を説明する。  
図１に本実施形態の障害物検出装置１００の構成を示した。本実施形態の障害物検出装置１００は、運転支援装置２００とともに車両（移動体）に搭載される。障害物検出装置１００は障害物の検出に関する検出結果を運転支援装置２００へ送出する。運転支援装置２００は障害物検出装置１００の検出結果に応じて運転支援制御を行う。本例の運転支援装置２００は警報装置２０１を備え、障害物検出装置１００の検出結果に応じて障害物に対する警報を出力する。
【０００５】
図１に示すように、本実施形態の障害物検出装置１００は、カメラ１と障害物検出ユニット２とを有し、車両の周囲の障害物を検出する。具体的に、少なくとも、検出ライン上の画像データの経時的変化に基づいて、車両周囲の障害物を検出するプログラム、および撮像方向のずれ量に応じて検出ラインの位置を補正するプログラムを格納したＲＯＭ等と、このＲＯＭ等に格納されたプログラムを実行することで、障害物検出ユニット２として機能するＣＰＵ等と、障害物検出ユニット２がアクセス可能な記憶装置（図示せず）として機能するＲＡＭ等とを備えている。
【０００６】
以下、障害物検出装置１００の各構成について説明する。  
カメラ１は、車両の周囲の所定領域を所定の撮像方向で撮像する。特に限定されないが、広い検出エリアを確保するため、カメラ１は広角カメラであることが好ましい。本例のカメラ１は魚眼レンズをＣＣＤ撮像素子の前面に取り付けた魚眼カメラであって、水平方向に１８０°以上の画角を有する。カメラ１の設置位置は特に限定されないが、本例のカメラ１は、車両の前方の障害物を検出するため車両のフロントグリル中央に設置される。もちろん車両の後方の障害物を検出するため車両のリア部分に設置してもよい。
【０００７】
本実施形態の障害物検出処理におけるカメラ１の撮像処理を図2及び図３に基づいて説明する。障害物検出処理を行う自車両Ｘは、図２に示す「見通しの悪い交差点Ｇ」に臨んで停車している。自車両Ｘのフロントグリル中央には魚眼カメラ１が設置され、薄墨で示した領域Ａは魚眼カメラ１の撮像範囲である。自車両Ｘが進入しようとする道路Ｗを通過車両Ｙが進行方向Ｑに沿って位置イ、ロ及びハを通過する。
【０００８】
自車両Ｘが道路Ｗへ侵入する際に撮像した画像データを図３（ａ）〜（ｃ）に示した。通過車両Ｙが図２の位置イに位置するタイミングで撮像した画像データを図３（ａ）に示す。位置イにある通過車両Ｙは自車両Ｘから遠い位置にあるため、魚眼カメラ１は通過車両Ｙの正面を撮像する。通過車両Ｙが自車両Ｘに近づき位置ロに位置すると、魚眼カメラ１は通過車両Ｙの正面乃至側面を撮像する。通過車両Ｙが自車両に接近し、位置ハに位置すると、魚眼カメラ１は通過車両Ｙの側面を撮像する。撮像により取得された画像データは、障害物ユニット２へ順次送出される。
【０００９】
カメラ１には、チルトセンサ１１が設けられている。チルトセンサ１１はカメラ１の傾きから撮像方向を検出する機能を有する。本例のチルトセンサ１１はカメラ１の光軸の方向を任意のタイミングで検出する。カメラ１の光軸方向（撮像方向）は、車両出荷時に所定の方向に初期設定される。この初期設定の際におけるカメラ１の光軸方向（撮像方向）は障害物検出ユニット２がアクセス可能なメモリに格納される。初期設定されたカメラ１の光軸方向は、車両走行開始後、車両の姿勢の変化に伴い変化する。チルトセンサ１１は障害物検出処理を実行する際の（初期設定時と比べて変化した）カメラ１の光軸方向を検出する。カメラ１のチルトセンサ１１は、検出した光軸方向（撮像方向）を障害物検出ユニット２へ送出する。
【００１０】
次に、障害物検出ユニット２について説明する。障害物検出ユニット２は、画像データ取得装置２１と、検出ライン補正装置２２と、時空間画像作成装置２３と、画像処理装置２４と、障害物判定装置２５とを有し、所定領域に予め設定された検出ライン上の画像データの経時的変化に基づいて移動体の周囲の障害物を検出する。特に限定されないが、本実施形態の障害物検出ユニット２は、予め設定された検出ライン上の濃度値を時系列に積み上げることにより時空間画像を作成し、作成した時空間画像に基づいて移動体周囲の障害物を検出する。時空間画像法を用いることにより、障害物検出に必要な情報を抽出しつつ、処理対象となる画像データの情報量を減少させることができるため、処理コストを低減させることができる。
【００１１】
障害物検出ユニット２の各構成について説明する。  
画像データ取得装置２１は、カメラ１が撮像した画像データを取得する。画像データ取得装置２１はカメラ１から取得した画像データをＡ／Ｄ変換によってデジタル画像に変換する。取得した画像データは時空間画像作成装置２３へ送出される。
【００１２】
時空間画像作成装置２３は、検出ライン上の画像データの経時的変化に基づく画像を作成する。本実施形態の時空間画像作成装置２３は、検出ラインの濃度値を時系列に積み上げて時空間画像を作成する。本例における１又は複数の検出ラインの画像データ上の位置は予め設定され、障害物検出ユニット２がアクセス可能なメモリに記憶されている。特に限定されないが、検出ラインの位置は、車両の周囲に存在する障害物の特徴量を含むように設定することが好ましい。検出ラインの具体的な設定例を図３（ａ）〜（ｃ）に示した。図３（ａ）〜（ｃ）に示すように、移動する通過車両Ｙの存在を示す画像上の特徴量を含むように、検出ラインＢ−Ｂ´を設定する。本例では、検出ラインＢ−Ｂ´をはさむ上下にさらに２本の検出ラインを設け、合計で３本の検出ラインを設定した。このような位置に検出ラインＢ−Ｂ´を設定することにより、遠方から自車両Ｘ近傍まで移動する通過車両Ｙの特徴量を含む時空間画像を取得することができる。
【００１３】
時空間画像作成装置２３により行われる時空間画像作成処理を図４に基づいて説明する。  
まず、検出ラインを設定する。検出ラインの設定に際し、予め定義された検出ラインの設定位置をメモリから読み出し、読み出した設定位置に検出ラインを設定する。検出ラインは、カメラ１が撮像した画像データ（ｘ−ｙ座標系の２次元データ）のｙ座標がｙ＝αである画素列上に、ｘ座標軸方向（水平方向）に沿って設定する。本例の検出ラインの幅は画像データの１画素分の幅であり、検出ライン長はｎである。
【００１４】
時空間画像作成装置２３は、設定された検出ライン上の濃度値を時系列に積み上げる。画像データ上のｘ軸を横軸とし、時間を縦軸とした時空間画像を図４（ａ）に示した。図４（ａ）の（１，Ｋ）〜（ｎ，Ｋ）が、時刻Ｋにおける検出ライン上の画素である。各画素の濃度値はＰ（Ｘ，Ｔ）・・・・（１）である。
【００１５】
図４（ａ）は、画像データの縦軸方向に向かって、時刻（Ｋ）における検出ライン上の各画素の濃度（Ｋフレーム目）、時刻（Ｋ＋１）における検出ライン上の各画素の濃度（Ｋ＋１フレーム目）、時刻（Ｋ＋２）における検出ライン上の各画素の濃度（Ｋ＋２フレーム目）、時刻（Ｋ＋３）における検出ライン上の各画素の濃度（Ｋ＋３フレーム目）、の４フレーム分の濃度値が時系列に積み上げられた時空間画像である。この画像は、検出ライン上の画像データの経時的変化を示す。
【００１６】
図４（ｂ）は、時空間画像法により作成された時空間画像の一例である。図４（ｂ）に示した時空間画像は、図３（ａ）〜（ｃ）に示した障害物（他車両）を示すものである。本例では、検出ラインをＢ−Ｂ´に設定し、図２（ａ）〜（ｃ）までの間に５フレーム（１フレームは１／３０秒）の画像データに基づいて時空間画像を作成した。フレーム数、１フレームの周期は特に限定されないが、移動する障害物を検出する場合には、長時間に渡って画像を取得する必要はない。本例では５フレームの画像データに基づいて時空間画像を作成した。図３（ａ）〜（ｃ）に示した障害物が移動しているため、図４（ｂ）において障害物の存在を示す濃度値の高い画像領域（白色の部分）が、時間の経過とともに移動する。
【００１７】
このように、時空間画像は検出ライン上の画像データに基づいて作成される。したがって、障害物を正確に検出するためには、検出ラインの位置が常に適正な位置にあることが必要である。検出ラインの位置がずれてしまった場合は、障害物の非検出又は障害物の誤検出を招き、障害物を正確に検出することができないからである。
【００１８】
本実施形態では、検出ラインを基準とした時空間画像に基づいて障害物を検出する時空間画像法を採用することを前提に、検出ラインの設定位置を常に適正に保つという観点から、検出ラインの設定位置を補正する検出ライン補正装置２２を設けた。検出ライン補正装置２２は、車両（移動体）の積載量の変化、走行状態の変化等によりカメラ１の光軸がずれて検出ラインの位置が初期設定時から変化した場合に、検出ラインの位置を補正する。
【００１９】
図５に基づいて、カメラ１の光軸方向（撮像方向）が変化することにより検出ラインがずれる場合を説明する。図５（ａ）に示すＯｐ−０は初期設定の際におけるカメラ１の光軸方向、Ｏｐ−ｎは障害物検出の際におけるカメラ１の光軸方向である。図５（ａ）の「Ｖ」は、検出ラインの基準位置（画像データにおけるｙ座標値に対応する）を示す。検出ラインの基準位置Ｖは、他の車両が通過することが予測される位置を基準に予め設定される。図５（ａ）の例では、自車両Ｘの後端に設置されたカメラ１は自車両Ｘの後方を撮像する。障害物となる他の車両は自車両Ｘの後端から所定の距離ｘ＝１ｍ、３ｍ、５ｍの位置を通過すると考えられる。このため、本実施形態では、検出ライン（画像データにおけるｙ座標値に対応する）を、自車両Ｘの後端から所定の距離Ｗ＝１ｍ、３ｍ、５ｍの位置に設定した。
【００２０】
図５（ｂ）に示す検出ライン１、２、３は、光軸方向がずれた（Ｏｐ−ｎ）のカメラ１により撮像された画像データにおける検出ラインである。検出ラインは、検出ライン１´、２´、３´のように、左右の消失点の上下に設定されることが好ましいが、カメラ１の光軸方向がずれたことにより、検出ライン１、２、３は適正な検出範囲から外れている。
【００２１】
本実施形態の検出ライン補正装置２２は、障害物検出の際におけるカメラ１の光軸方向（撮像方向）と、初期設定の際におけるカメラ１の光軸方向（撮像方向）とを取得し、取得した障害物検出の際における光軸方向（撮像方向）と初期設定の際における光軸方向（撮像方向）とを比較して、初期設定の際の光軸方向（撮像方向）に対する障害物検出の際における光軸方向（撮像方向）のずれ量を算出し、算出した光軸方向（撮像方向）のずれ量に基づいて検出ラインの設定位置を補正する。
【００２２】
検出ライン補正装置２２による補正処理の一例を説明する。本実施形態におけるカメラ１の撮像方向は、カメラ１の前面に設けられた魚眼レンズの光軸方向とした。検出ライン補正装置２２は、初期設定の際におけるカメラ１の光軸方向を、読み込み可能なメモリから読み出して取得する。また、検出ライン補正装置２２は、障害物検出の際におけるカメラ１の光軸方向を、カメラ１に装着されたチルトセンサ１１から取得する。本例のチルトセンサ１１は３次元空間におけるチルト角から３次元空間における光軸方向を検出する。さらにチルトセンサ１１は、３次元の光軸方向から重力方向成分（２次元画像データのｙ軸方向成分）を抽出する。この光軸方向の重力方向成分は、焦点の位置を重力方向（２次元画像データのｙ軸方向）に変位させる。
【００２３】
検出ライン補正装置２２は、メモリから読み出した初期設定時におけるカメラ１の光軸方向の重力方向成分と、抽出した障害物検出時におけるカメラ１の光軸方向の重力方向成分とを比較し、初期設定の際の光軸方向に対する障害物検出の際における光軸方向のずれ量（重力方向成分のずれ量）を算出する。算出した光軸方向のずれ量に基づいて検出ラインの設定位置を重力方向（２次元画像データのｙ軸方向）に沿って補正する。
【００２４】
光軸方向のずれ量に基づく検出ラインの設定位置（２次元画像データのｙ軸方向）の補正手法を説明する。チルトセンサ１１により検出されたカメラ１の光軸方向と初期設定時におけるカメラ１の光軸方向とのずれ量が角度θ、カメラ１のレンズの焦点距離がｆである場合に、像高ｙが「ｙ＝ｆθ…（ａ）」で与えられるレンズを例にして説明する。ここで、水平方向に延びる走査線１本あたりの撮像面の寸法、すなわち垂直画素寸法ＬＶとすると光軸のずれ量θに相当する走査線数Ｎは「Ｎ＝ｆθ／ＬＶ…（ｂ）」と表すことができる。本実施形態では、光軸方向のずれ量に応じた走査線数を算出し、算出した走査線数分だけ検出ラインの位置を補正する。
【００２５】
たとえば、図５（ａ）（ｂ）に示すように、障害物検出の際におけるカメラ１の光軸が重力方向側（図中下側）に角度θ分ずれた場合（ずれ量はθ）、上述した式（ａ）（ｂ）を用いて角度θに対応する走査線数を算出し、算出した走査線数分だけ検出ラインを重力方向反対側（図中上側）にずらすことにより、光軸のずれに伴って画面下側にずれた検出ライン１、２、３は、検出ライン１´、２´、３´のように適正な位置に補正される。検出ラインの位置を補正した場合は、補正後の検出ラインの位置を時空間画像作成装置２３へ送出する。時空間画像作成装置２３は、補正後の検出ラインを基準として時空間画像を作成する。
【００２６】
本実施形態によれば、検出ラインの位置をリアルタイムで補正できるため、車両の積載状態の変化、車両の走行状況の変化その他の車両姿勢の変化に伴ってカメラ１の光軸方向がずれた場合でも、検出ラインの位置を常に最適な位置に保つことができ、障害物検出精度を高く維持することができる。
【００２７】
画像処理装置２４は、初期設定された検出ライン又は補正された検出ラインを基準として作成された時空間画像について所定の画像処理を行う。画像処理装置２４は、濃度分布作成機能２４１と、濃度値変換機能２４２と、エッジ検出機能２４３と、２値化機能２４４とを有する。以下、各機能について説明する。
【００２８】
濃度分布作成機能２４１は、時空間画像の各画素の濃度値Ｐ（Ｘ，Ｔ）…（１）（図４参照）に基づいて濃度分布を求める。求めた濃度分布の一例を図６に示した。図６に示す濃度分布の横軸は濃度値Ｐ、縦軸は出現画素数Ｎである。このとき濃度階調を２５６段階、処理対象となる画像データの画像サイズを６４０（横）×４８０（縦）とし、５フレーム分の検出ライン上の画像データを蓄積したとすると、下式が成立する。
【数１】
2006040165.tif 000003
【００２９】
画像処理装置２４の濃度値変換機能２４２は、濃度値が低いと判断される範囲と、濃度値が高いと判断される範囲を特異範囲として作成した濃度分布から除外し、残った濃度値の階調値をそれらが２５６段階となるように変換する。まず、濃度値が最低濃度値から３０番目までの濃度値である範囲、及び濃度値が最高濃度値から３０番目までの濃度値である範囲を特異範囲として除外する。
【００３０】
つまり、下式を満たす濃度値Ｘ１，Ｘ２を求める。
【数２】
2006040165.tif 000004
【００３１】
そして、濃度値Ｘ１からＸ２の間にある階調値を２５６段階に拡大する。具体的には、階調値を拡大した後の濃度値Ｐ´（Ｘ，Ｔ）は、取得した画像データの濃度値Ｐ（Ｘ，Ｔ）から以下のように算出できる。
【数３】
2006040165.tif 000005
【００３２】
このように階調値を変換することにより、検出対象物（障害物）の濃度変化量を拡大させることができ、検出対象物の検出率を向上させることができる。たとえば、他車両を検出する場合、自車両周辺を通過した車両数に対して検出された他車両数の割合を向上させることができる。
【００３３】
画像処理装置２４のエッジ検出機能２４３は、濃度値変換機能２４２により変換された時空間画像についてエッジの検出を行う。エッジ検出機能２４３が行うエッジ検出処理は、Sobelフィルタを用いた手法など、一般的なエッジ検出手法を用いて行う。
【００３４】
画像処理装置２４の２値化機能２４４は、エッジ検出機能２４３によりエッジが検出された時空間画像について２値化処理を行う。本実施形態の２値化機能２４４は、検出ライン上（図３に示した例ではB−B´上）にある各画素の階調値を所定のしきい値J（０≦J≦２５５）を基準として１か０（ゼロ）に変換する。つまり、下式のように処理を行う。  ２値化処理により、画像データにおける障害物（検出対象物）の輪郭を強調することができる。
【数４】
2006040165.tif 000006
【００３５】
２値化処理された時空間画像は障害物判定装置２５へ送出される。障害物判定装置２５は、取得した時空間画像に基づいて、障害物の有無、障害物の位置、又は障害物が移動するか否かを判定し、移動する障害物に関する情報を運転支援装置２００へ送出する。本実施形態の障害物判定装置２５は、時空間画像に現われるエッジの有無に基づいて障害物の有無を判定し、エッジの位置に基づいて障害物の位置を判定し、エッジの位置の経時的変化に基づいて障害物が移動するか否か、すなわち障害物が移動体であるか否かを判定する。
【００３６】
この障害物の判定手法について図７に基づいて説明する。  
２値化処理後の画像データを図７（ａ）に示した。図７（ａ）は、時刻Ｔ＝ｊにおける図３（ａ）に示す検出ラインＢ−Ｂ´上の時空間画像データである。階調値０の画素を網掛け（グレー）で示し、階調値１の画素を網掛けなし（白）で示した。階調値１の部分はエッジが生じる箇所に相当する。濃度値変換、エッジ検出、２値化処理が施されているため、エッジが生じる箇所が強調されている。図７に示した「Ｃ」は、図３（ａ）に示す背景が撮像される領域とそれ以外の領域との境界「Ｃ」に相当する。図７に示した「Ｃ´」は、図３（ａ）に示した、背景が撮像される領域とそれ以外の領域との境界「Ｃ´」に相当する。図７に示した「Ｄ」は、図３（ａ）に示した、路面と他車両との境界「Ｄ」に相当する。図７に示した「Ｄ´」は、図３（ａ）に示した、路面と他車両との境界「Ｄ´」に相当する。
【００３７】
図７（ｂ）は、時刻Ｔ＝ｊから時刻Ｔ＝ｊ+４までの５フレーム分の時空間画像を経時的に積み上げた（蓄積した）時空間画像である。検出対象物（障害物）が移動すると、時空間画像ではエッジが経時的に移動する。例えば図３（ａ）に示した車両（障害物）が移動した場合、路面と車両との境界を示す図７（ｂ）のエッジＤ−Ｄ´が移動する。つまり、図７（ｂ）に示すような複数フレームの時空間画像を経時的に蓄積した時空間画像において、エッジを示す階調値１の画素データが経時的に斜め方向に移動した場合、そのエッジに対応する検出対象物（障害物）は移動していると判定できる。ちなみに、時空間画像の所定領域（例えば背景以外の領域）にエッジが検出された場合は障害物が存在すると判定でき、そのエッジが経時的に移動しない場合は固定の（移動しない）障害物が存在すると判定できる。障害物判定装置２５は、判定結果を運転支援装置２００へ送出する。得られた画像データを運転支援装置２００が備えるモニタ（図示せず）に表示する場合は、Ｄ／Ａ変換を行いアナログ信号に変換してから運転支援装置２００へ送出する。
【００３８】
運転支援装置２００は、障害物判定装置２５の判定結果に基づいて、移動する障害物に関する情報をユーザに提供し、ユーザの注意を喚起する。例えば、運転支援装置２００は、障害物が存在する旨、移動する障害物が存在する旨、障害物の位置等をユーザに報知する。
【００３９】
次に、障害物検出装置１００の動作を図８及び図９のフローチャートに基づいて説明する。図８は、障害物検出装置１００の全体の制御手順を示すフローチャートである。
【００４０】
まず、障害物検出装置１００が起動すると、カメラ１は移動体（車両）の周囲の所定領域を所定の撮像方向で撮像し、検出処理を開始する（ステップ１）。障害物検出ユニット２の画像データ取得装置２１は画像データを取得する（ステップ２）。時空間画像作成装置２３は、時空間画像の基準となる１又は２以上の検出ラインを設定する（ステップ３）。検出ライン補正装置２２は検出ラインを補正するタイミングを判断するため、検出ラインの補正が必要であるか否かを判断する（ステップ４）。補正の要否の判断手法は特に限定されないが、カメラ１の光軸方向のずれ量が所定値未満であるか否かに基づいて補正の要否を判断してもよいし、所定時間が経過したか否かに基づいて補正の要否を判断してもよい。本例では、カメラ１の光軸方向のずれ量に基づいて検出ラインの補正の要否を判断する。すなわち、カメラ光軸のずれ量が所定値未満である場合は検出ラインを補正する必要はないと判断できるため（ステップ４でＮｏ）、ステップ６の時空間画像の作成に進む。他方、カメラ光軸のずれ量が所定値以上である場合は、検出ラインを補正する必要があると判断できるため（ステップ４でＹｅｓ）、ステップ５の検出ラインの補正処理に進む。
【００４１】
ここで、図９のフローチャートに基づいて検出ラインの補正処理の制御手順を説明する。  
図８のステップ４において検出ラインの補正が必要であると判断された場合、ステップ５の処理が開始される（ステップ２１）。検出ライン補正装置２２は障害物検出の際におけるカメラ１の光軸方向を取得するため、障害物検出タイミングにおいてチルトセンサ１１が検出したカメラ１のチルト角（光軸方向）を取得する（ステップ２２）。このステップ２２に相前後して、検出ライン補正装置２２は初期設定の際におけるカメラ１の光軸方向を取得するため、メモリに記憶されているカメラ１の初期設定時のチルト角（光軸方向）を取得する（ステップ２３）。検出ライン補正装置２２は、初期設定の際におけるのカメラ１のチルト角（光軸方向）と障害物検出の際におけるカメラ１のチルト角（光軸方向）とを比較し、初期設定時の光軸方向に対する障害物検出時の光軸方向のずれ量を算出する（ステップ２４）。検出ライン補正装置２２は、カメラ１の光軸方向のずれ量に応じた重量方向の垂直画素寸法を算出し、算出した垂直画素寸法に対応する走査線数をずれ量として算出し（ステップ２５）、算出した走査線数に応じて検出ラインの重力方向の位置を補正する（ステップ２６）。位置を補正した検出ラインを、時空間画像の検出ラインとして設定し（ステップ２７）、ステップ６へ進む（ステップ２８）。
【００４２】
図８に戻り、ステップ６以降の処理を説明する。ステップ６において、時空間画像作成装置２３は、所定領域内に予め設定された検出ライン上の画像データの経時的変化に基づく時空間画像を作成する。本例の時空間画像は、予め設定した検出ライン上に濃度値を時系列に積み上げた画像である。画像処理装置２４の濃度分布作成機能２４１は、時空間画像について、濃度値Ｐに対する出現画素数Ｎをプロットした濃度分布データを作成する（ステップ７）。濃度値変換機能２４２は、濃度分布から濃度値の低い範囲と高い範囲とを特異範囲として除外するとともに、残った濃度値について階調値を拡大して、濃度値を変換する（ステップ８）。この処理により障害物の濃度変化量を拡大させることができるため、障害物の検出精度を向上させることができる。障害物の輪郭を捉えるため、エッジ検出機能２４３はＳｏｂｅｌフィルタなどのフィルタリング処理によりエッジ検出を行う（ステップ９）。さらに、障害物の輪郭を明瞭にするため、２値化機能２４４はエッジ検出後の時空間画像について２値化処理を行う（ステップ１０）。ステップ７の濃度分布データの作成からステップ１０の２値化までの処理により、障害物の存在位置、障害物の輪郭が明瞭に表現された時空間画像を得ることができる。
【００４３】
障害物判定装置２５は、作成された時空間画像に基づいて移動する障害物の存在及び／又は移動する障害物の位置を検出する（ステップ１１）。移動する障害物は、時空間画像におけるエッジの軌跡に基づいて検出することができる。検出結果は、運転支援装置２００に送出される。
【００４４】
時空間画像作成装置２３は予め設定された検出ラインのすべてについて検出処理が終了したか否かを判断する（ステップ１２）。終了していなければ、次に処理する検出ラインを設定し、ステップ３〜ステップ１１を繰り返す。すべての検出ラインについての処理が終了したと判断された場合は、ステップ１３へ進む。ステップ１３では障害物の検出処理が終了したか否かを判断する。検出処理が終了していなければステップ２に戻り、検出処理が終了したと判断された場合は検出処理を終了する（ステップ１４）。
【００４５】
本実施形態によれば、車両の積載量に応じて車両の姿勢が変化したためにカメラ１の撮像方向（光軸方向）がずれた場合や、時間の経過に伴いカメラ１の取り付け位置が変化してしまったためにカメラ１の撮像方向（光軸方向）がずれた場合であっても、時空間画像における検出ラインの位置を自動的に補正することができる。このため、車両周囲の障害物を高い精度で検出することができる。
【００４６】
また、検出ライン上の画像データの経時的変化に基づいて障害物を検出するため、処理する画像データ量を少なくすることができ、処理コストを低減させることができる。本実施形態では、撮像方向の変化に応じて検出ラインの位置を補正する検出ライン補正装置２２を設けたため、少ないデータ量に基づいて障害物の検出処理を行いながら、検出精度を高く維持することができる。
【００４７】
本実施形態によれば、適切な位置に補正された検出ライン上の画像データの経時的変化を取得できるため、障害物が移動するか否かを正確に判断することができる。つまり、移動する障害物を移動しない障害物から区別して検出することができる。
【００４８】
この種の障害物検出装置において、広範囲の画像を取得するという観点から広角カメラを用いた場合、取得される情報量が多すぎて、ユーザはどの障害物について優先的に注意を払うべきか迷ってしまう場合も考えられる。本実施形態は移動する障害物を移動しない障害物と区別して検出することができるため、広角カメラにより多くの情報を取得しながら、ユーザが特に注意を払うべき移動する障害物を区別して検出することができる。
【００４９】
なお、本実施形態におけるカメラ１は特許請求の範囲の撮像手段に対応し、障害物検出ユニット２は特許請求の範囲の検出手段に対応し、検出ライン補正装置２２は特許請求の範囲の検出ライン補正部に対応する。また、車両は特許請求の範囲の移動体に対応する。
【００５０】
＜第２実施形態＞  
以下、図面に基づいて、本発明に係る第２実施形態の障害物検出装置１１０を説明する。
【００５１】
図１０に本実施形態の障害物検出装置１１０の構成を示した。図１０に示すように、本実施形態の障害物検出装置１１０は、カメラ１と障害物検出ユニット２とを有し、車両の周囲の障害物を検出する。本実施形態の障害物検出装置１１０は、検出ライン補正装置２２１及びカメラ１以外の構成において、第１実施形態の構成と基本的に共通する。ここでは、共通する部分の説明を避け、異なる点を中心に説明する。
【００５２】
本実施形態の障害物検出装置１１０は、第１実施形態と同様に検出ラインの位置を補正するが、第１実施形態とは異なる手法で検出ラインの補正を行う。具体的に、本実施形態の検出ライン補正装置２２１は撮像した画像データ中の所定のマークの位置を比較するマーク位置比較機能２２１１を有する。本例において、マーク位置比較機能２２１１は、障害物検出ユニット２に搭載したが、外部から有線又は無線で情報を授受できる検出ライン診断テスタ装置として障害物検出装置１１０と物理的に別々に構成してもよい。また、第１実施形態のカメラ１とは異なり、本実施形態のカメラ１にはチルトセンサが設けられていない。
【００５３】
本実施形態の検出ライン補正装置２２１は、検出ラインを補正する際におけるカメラ１が撮像した、所定のマークの画像データと、初期設定の際におけるカメラ１が撮像した所定のマークの画像データとを取得し、検出ラインを補正する際に撮像されたマークの画像データ上の位置と初期設定の際に撮像されたマークの画像データ上の位置とを比較して、初期設定の際におけるマークの画像データ上の位置に対する検出ラインを補正する際におけるマークの画像データ上のずれ量を算出し、算出したマークのずれ量に基づいて検出ラインの設定位置を補正する。
【００５４】
本実施形態のおける「所定のマーク」とは、自車両（移動体）に対して所定の相対的位置に設定されたマークである。初期設定時に撮像されるマークの自車両に対する相対的位置は、検出ライン補正時に撮像されるマークの自車両に対する相対的位置と共通する。このマークの設定位置はカメラ１が撮像できる位置であれば、特に限定されないが、自車両に対して所定の相対的関係を有する位置であることを要する。初期設定時（車両出荷前）に予め設定されたマークと所定の位置関係になるように自車両をセットし、自車両に搭載されたカメラ１でマークを撮像する。この画像データが初期設定の際におけるマークの画像データとなる。その後、検出ラインの補正時において、初期設定時と同一の位置関係となるようにマークを基準に自車両をセットし、自車両に搭載されたカメラ１によりマークを撮像する。このようにして、初期設定時のマークの画像データと補正時のマークの画像データとを取得する。「所定のマーク」は、車両（移動体）の載置面（例えば路面、床面）に設けてもよいし、車両の所定の位置（例えばバンパーの前端の左右中央位置）に設けてもよい。
【００５５】
このように、本実施形態における検出ラインの補正処理は、第１実施形態のように走行中の姿勢変化に伴う光軸のずれに応じてリアルタイムで行われるものではなく、自動車整備工場などで整備士により行われる補正処理に適している。
【００５６】
本実施形態の基本的な制御手順は、図８に示した第１実施形態の制御手順と基本的に共通する。ここでは、図１１のフローチャートに基づいて補正処理を説明する。
【００５７】
図１１は、図８のステップ４に続く。本例では、検出ラインの補正が必要であるか否かは、所定の時間が経過したか否か、又は走行距離の長さが所定値以上となったか否かに基づいて判断する。
【００５８】
補正が必要であると判断された場合補正が開始される（ステップ３１）。検出ライン補正装置２２１は、検出ラインを補正する際に、カメラ１により所定のマークを撮像する。所定のマークは、車両と所定の位置関係にある路面、整備工場の床面等の載置面上に設けた。もちろん、車両のバンパー前端の左右中央位置等の車両の所定位置に設けても良い。検出ライン補正装置２２１は、撮像されたマークの画像データ上の位置を抽出する（ステップ３３）。ステップ３３に相前後して、検出ライン補正装置２２１は、初期設定の際において撮像したマークの画像データから抽出された画像データ上のマークの位置をメモリから読み出す（ステップ３４）。検出ライン補正装置２２１は、検出ライン補正時に撮像されたマークの位置と初期設定時に撮像されたマークの位置とを比較し（ステップ３５）、検出ライン補正時におけるマーク位置のずれ量を算出する（ステップ３６）。検出ライン補正装置２２１は、画像データ上のマーク位置のずれ量に応じて検出ラインの補正を行う（ステップ３７）。ずれ量の方向は特に限定されないが、本実施形態では、ｘ−ｙ座標系を有する二次元の画像データにおいて、ｙ方向のずれ量を抽出し、ｙ方向のずれ量について補正を行う。
【００５９】
具体的に図１２及び図１３に基づいて検出ラインの補正処理を説明する。  
図１２は、所定のマークＰＭが車両と所定の位置関係にある路面に設けられた場合の検出ラインを示す。検出ラインを補正する際に撮像された画像データにおけるマークＰＭは走査ラインＮｅ上に位置する。一方、初期設定の際に撮像された画像データにおけるマークＰＭ０は走査ラインＮ０上に位置する。画像データ上におけるマークＰＭとマークＰＭ０とのｙ方向のずれ量は、走査ライン数Ｎとして求めることができる。つまり、ｙ方向のずれ量に相当する走査ライン数Ｎ＝Ｎｅ−Ｎ０により算出できる。検出ライン補正装置２２１は、１又は複数の検出ラインをずれた方向とは反対側の方向に走査ライン数Ｎだけずらす。
【００６０】
図１３は、所定のマークＰＢが車両の所定位置として定義できるバンパー前端の左右中央の位置に設けられた場合の検出ラインを示す。検出ラインを補正する際に撮像された画像データにおけるマークＰＢは走査ラインＮｅ上に位置する。一方、初期設定の際に撮像された画像データにおけるマークＰＢ０は走査ラインＮ０上に位置する。画像データ上におけるマークＰＢとマークＰＢ０とのｙ方向のずれ量は、走査ライン数Ｎとして求めることができる。つまり、ｙ方向のずれ量に相当する走査ライン数Ｎ＝Ｎｅ−Ｎ０により算出できる。検出ライン補正装置２２１は、１又は複数の検出ラインをずれた方向とは反対側の方向に走査ライン数Ｎだけずらす。補正後の検出ラインの位置は時空間画像作成装置２３がアクセス可能なメモリに格納される。
【００６１】
補正後の検出ラインの位置は新たな検出ラインとして設定され、時空間画像作成装置２３がアクセス可能なメモリに格納され（ステップ３８）、補正処理を終了する（ステップ３９）。
【００６２】
以上のように構成され作用する本実施形態によれば、以下の効果を奏する。  
所定のマークを撮像した画像データに基づいて検出ライン位置を補正することにより、時間の経過に伴いカメラ１の撮像方向（光軸方向）がずれた場合であっても、時空間画像における検出ラインの位置を適正な位置に補正することができ、障害物を高い精度で検出することができる。
【００６３】
また、「所定のマーク」を路面等の車両の載置面に設けることにより、カメラの光軸方向を検出するためのセンサを設けなくても検出ラインの補正を行うことができるため、補正処理機能の追加に伴うコストアップを防ぐことができる。
【００６４】
所定のマークを設ける車両自体に所定のマークを設けることにより、カメラの光軸方向を検出するためのセンサを設けなくても検出ラインの補正を行うことができるため、補正処理機能の追加に伴うコストアップを防ぐことができる。また、所定のマークを設ける車両自体に所定のマークを設けることにより、路面等の車両の載置面に所定のマークを設ける手間を省くことができ、容易に検出ラインのずれを求めることができる。
【００６５】
本実施形態におけるカメラ１は特許請求の範囲の撮像手段に対応し、障害物検出ユニット２は特許請求の範囲の検出手段に対応し、検出ライン補正装置２２１は特許請求の範囲の検出ライン補正部に対応する。また、車両は特許請求の範囲の移動体に対応する。
【００６６】
ここでは、障害物検出装置１００、１１０を例にして本発明の実施形態を説明したが、本発明に係る障害物検出方法を使用した場合も、同様に作用し、同様の効果を奏する。
【００６７】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【００６８】
【図１】第１実施形態の障害物検出装置のブロック構成図である。
【図２】障害物の撮像処理を説明するための図である。
【図３】（ａ）〜（ｃ）は障害物の撮像処理を説明するための他の図である。
【図４】（ａ）（ｂ）は時空間画像の作成処理を説明するための図である。
【図５】カメラの光軸のずれにより生じる検出ラインのずれを説明するための図である。
【図６】濃度分布処理を説明するための図である。
【図７】障害物の検出処理を説明するための図である。
【図８】第１実施形態の障害物検出装置の制御手順示すフローチャート図である。
【図９】検出ライン補正装置の制御手順を示すフローチャート図である。
【図１０】第２実施形態の障害物検出装置のブロック構成図である。
【図１１】第２実施形態の検出ライン補正装置の制御手順を示すフローチャート図である。
【図１２】検出ライン補正時に撮像されたマークＰＭと、初期設定時に撮像されたマークＰＭ０とを示す図である。
【図１３】検出ライン補正時に撮像されたマークＰＢと、初期設定時に撮像されたマークＰＢ０とを示す図である。
【符号の説明】
【００６９】
１００、１１０…障害物検出装置
１…カメラ
１１…チルトセンサ
２…障害物検出ユニット
２１…画像データ取得装置
２２…検出ライン補正装置
２３…時空間画像作成装置
２４…画像処理装置
２５…障害物判定装置
２００…運転支援装置
【図１】
2006040165.tif 000007
【図２】
2006040165.tif 000008
【図３】
2006040165.tif 000009
【図４】
2006040165.tif 000010
【図５】
2006040165.tif 000011
【図６】
2006040165.tif 000012
【図７】
2006040165.tif 000013
【図８】
2006040165.tif 000014
【図９】
2006040165.tif 000015
【図１０】
2006040165.tif 000016
【図１１】
2006040165.tif 000017
【図１２】
2006040165.tif 000018
【図１３】
2006040165.tif 000019