(57)【要約】【課題】障害物の検出精度を向上させることができる障害物検出装置および障害物検出方法を提供すること。【解決手段】実施形態に係る障害物検出装置は、生成部と、変換部と、検出部とを備える。生成部は、車両に搭載された撮像部の撮像画像から車両の移動に伴うオプティカルフローを生成する。変換部は、撮像部の視点位置に基づいて生成部によって生成されたオプティカルフローを路面座標に投影することで路面ベクトルへ変換する。検出部は、変換部によって変換された路面ベクトルに基づいて障害物を検出する。【選択図】図２
2018097776.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像部の撮像画像から前記車両の移動に伴うオプティカルフローを生成する生成部と、
前記撮像部の視点位置に基づいて前記生成部によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する変換部と、
前記変換部によって変換された前記路面ベクトルに基づいて障害物を検出する検出部と
を備えることを特徴とする障害物検出装置。
【請求項２】
前記路面ベクトルから前記車両の旋回角度の成分を除くことで前記車両の移動距離を示す移動ベクトルを生成し、前記移動ベクトルに基づいて前記車両の移動距離を推定する推定部をさらに備え、
前記検出部は、
前記移動ベクトルの大きさと前記推定部によって推定された前記移動距離とに差分が生じた場合に、前記移動ベクトルに対応する特徴点を前記障害物として検出すること
を特徴とする請求項１に記載の障害物検出装置。
【請求項３】
前記推定部は、
前記移動ベクトルに基づいて前記車両の移動方向を推定し、
前記検出部は、
前記推定部によって推定された前記移動方向を反転させた方向と前記移動ベクトルが示す方向との角度差分が所定値未満である前記移動ベクトルを前記障害物の検出処理に用いること
を特徴とする請求項２に記載の障害物検出装置。
【請求項４】
前記検出部は、
前記路面ベクトルが対応する特徴点が過去の前記撮像画像から継続して抽出されている前記路面ベクトルを前記障害物の検出処理に用いること
を特徴とする請求項１〜３のいずれか一つに記載の障害物検出装置。
【請求項５】
前記検出部は、
前記障害物を検出した場合に、前記車両の移動に伴って位置が変化する路面領域に前記障害物の検出位置をプロットし、前記路面座標における所定範囲内に前記検出位置が時系列で連続してプロットされる場合に、前記障害物を検出結果として確定すること
を特徴とする請求項１〜４のいずれか一つに記載の障害物検出装置。
【請求項６】
車両に搭載された撮像部の撮像画像から前記車両の移動に伴うオプティカルフローを生成する生成工程と、
前記撮像部の視点位置に基づいて前記生成工程によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する変換工程と、
前記変換工程によって変換された前記路面ベクトルに基づいて障害物を検出する検出工程と
を含むことを特徴とする障害物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物検出装置および障害物検出方法に関する。
【背景技術】
【０００２】
従来、車載カメラによって車外の様子を写した撮像画像に基づいて障害物を検出する障害物検出装置がある。障害物検出装置は、カメラの視点位置に基づいて視点変換を行うことで撮像画像を鳥瞰画像へ変換し、鳥瞰画像に基づいてオプティカルフローを生成する（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２０３７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、撮像画像から鳥瞰画像に変換した場合、画像変換の特性上、画質が劣化する。このため、鳥瞰画像から生成されるオプティカルフローの精度が劣化してしまい、障害物の検出精度が低下するおそれがあった。
【０００５】
本発明は、上記に鑑みてなされたものであって、障害物の検出精度を向上させることができる障害物検出装置および障害物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る障害物検出装置は、生成部と、変換部と、検出部とを備える。生成部は、車両に搭載された撮像部の撮像画像から前記車両の移動に伴うオプティカルフローを生成する。変換部は、前記撮像部の視点位置に基づいて前記生成部によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する。検出部は、前記変換部によって変換された前記路面ベクトルに基づいて障害物を検出する。
【発明の効果】
【０００７】
本発明によれば、障害物の検出精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、実施形態に係る障害物検出方法の概要を示す図である。
【図１Ｂ】図１Ｂは、実施形態に係る障害物検出方法の概要を示す図である。
【図２】図２は、実施形態に係る障害物検出装置の構成を示すブロック図である。
【図３】図３は、推定部の処理内容を示す図である。
【図４】図４は、特徴点の連続性の判定方法を示す図である。
【図５Ａ】図５Ａは、障害物の検出処理を示す図である。
【図５Ｂ】図５Ｂは、障害物の検出処理を示す図である。
【図６】図６は、障害物の検出結果の確定処理を示す図である。
【図７】図７は、実施形態に係る障害物検出装置が実行する検出処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する障害物検出装置および障害物検出方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【００１０】
まず、図１Ａおよび図１Ｂを用いて、実施形態に係る障害物検出方法の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る障害物検出方法の概要を示す図である。図１Ａは、車両Ｃの後方に障害物２００が存在する場合に相当する。
【００１１】
障害物２００は、車両Ｃの走行を妨げる物体であり、ある程度の高さがある静止物である。障害物２００には、例えば、落下物等道路上に一時的に存在する静止物や、縁石等の道路上に固定された静止物が含まれる。なお、上記した静止物に限らず、人等の本来は移動する物体であっても、立ち止まる等して動きが一時的に止まっている場合には、静止物とみなす。
【００１２】
図１Ａに示すように、実施形態に係る障害物検出方法を実行する障害物検出装置１は、車両Ｃに搭載される。そして、撮像部１０であるカメラが、例えば車両Ｃの後部に設けられ、車両Ｃの後方の様子を撮像する。
【００１３】
また、図１Ｂでは、撮像部１０の視点位置１０ａから撮像された撮像画像Ｐおよび座標平面Ｒを示している。視点位置１０ａは、車両Ｃにおける撮像部１０の取り付け位置に対応する。座標平面Ｒは、路面の位置に対応しており、路面に固定された直交座標（以下、「路面座標」と記載する）で表される仮想平面である。
【００１４】
実施形態に係る障害物検出方法では、撮像部１０によって撮像された撮像画像ＰからオプティカルフローＦを生成し、オプティカルフローＦを路面座標に投影して変換された路面ベクトルＶを用いて障害物２００の検出を行う。
【００１５】
ここで、従来の障害物検出方法について説明する。従来の障害物検出方法では、撮像画像の視点位置を変換することで、路面を真上から見下ろした鳥瞰画像を生成し、鳥瞰画像に基づいてオプティカルフローを生成していた。
【００１６】
しかしながら、撮像画像から鳥瞰画像へ変換した場合、視点変換量に応じて撮像画像の各画素が補正されるため、鳥瞰画像は、撮像画像に比べて画質が劣化する。このため、従来は、鳥瞰画像から生成されるオプティカルフローの精度が劣化してしまい、障害物の検出精度が低下するおそれがあった。
【００１７】
そこで、実施形態に係る障害物検出方法では、撮像画像からオプティカルフローを生成した後に、生成したオプティカルフローを路面座標に投影することとした。具体的には、図１Ｂに示すように、実施形態に係る障害物検出方法では、まず、撮像画像Ｐから車両Ｃの移動に伴うオプティカルフローＦを生成する（ステップＳ１）。なお、図１Ｂでは、解りやすさの観点から１つのオプティカルフローＦを示しているが、実際には複数のオプティカルフローＦが生成される。
【００１８】
つづいて、実施形態に係る障害物検出方法では、撮像部１０の視点位置１０ａに基づいて生成したオプティカルフローＦを路面座標に投影することで路面ベクトルＶへ変換する（ステップＳ２）。つづいて、実施形態に係る障害物検出方法では、変換した路面ベクトルＶに基づいて障害物２００を検出する（ステップＳ３）。
【００１９】
つまり、実施形態に係る障害物検出方法では、鳥瞰画像からではなく、撮像画像ＰからオプティカルフローＦを生成する。したがって、生成されたオプティカルフローＦは、画質劣化の影響を受けない。すなわち、オプティカルフローＦの精度劣化を抑えることができるため、障害物２００の検出精度を向上させることができる。
【００２０】
なお、実施形態に係る障害物検出装置１は、路面ベクトルＶに基づいて高さのある障害物２００を検出するが、かかる点については、図５Ａ〜図５Ｃを用いて後述する。
【００２１】
また、実施形態に係る障害物検出装置１は、車両Ｃの移動方向や路面ベクトルＶ（移動ベクトル）が対応する特徴点の連続性判定により、障害物２００の検出処理に用いる路面ベクトルＶ（移動ベクトル）を選抜するが、かかる点については、図３および図４を用いて後述する。
【００２２】
次に、図２を参照して、実施形態に係る障害物検出装置１の構成について詳細に説明する。図２は、実施形態に係る障害物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る障害物検出装置１は、撮像部１０と、表示装置５０とに接続される。
【００２３】
撮像部１０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備えた車載カメラであり、例えば車両Ｃ後方の様子を撮像する位置に設けられる。
【００２４】
また、撮像部１０は、魚眼レンズ等の広角レンズを備えており、車両Ｃの周囲を広範囲に撮像することが可能である。なお、撮像部１０は、車両Ｃ後方を撮像する場合に限らず、車両Ｃの前方や側方を撮像する位置に設けられてもよい。
【００２５】
表示装置５０は、例えば液晶パネルを備え、障害物検出装置１から出力される情報を表示する。表示装置５０は、例えば撮像画像Ｐや、撮像画像Ｐに含まれる障害物２００を囲った枠画像を表示する。
【００２６】
実施形態に係る障害物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、生成部２２と、変換部２３と、推定部２４と、検出部２５と、描画部２６とを備える。記憶部３は、画像情報３１と、検出履歴情報３２を記憶する。
【００２７】
ここで、障害物検出装置１は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００２８】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、生成部２２、変換部２３、推定部２４、検出部２５および描画部２６として機能する。
【００２９】
また、制御部２の画像取得部２１、生成部２２、変換部２３、推定部２４、検出部２５および描画部２６の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３０】
また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、画像情報３１や、検出履歴情報３２、各種プログラムの情報等を記憶することができる。なお、障害物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３１】
制御部２は、撮像画像ＰからオプティカルフローＦを生成した後、オプティカルフローＦを路面ベクトルＶに変換し、変換した路面ベクトルＶに基づいて障害物２００を検出する。
【００３２】
画像取得部２１は、撮像部１０から所定の周期（例えば、１／３０秒周期）で時間的に連続して撮像画像Ｐを取得する。画像取得部２１は、取得した撮像画像Ｐを画像情報３１として記憶部３に記憶させるとともに、生成部２２へ出力する。
【００３３】
ここで、画像情報３１は、撮像画像Ｐが時系列に並べて記憶された情報である。画像取得部２１は、記憶部３の記憶容量が一杯になると、記憶された画像情報３１のうち、撮像日時の古い撮像画像Ｐから順次上書き処理して削除することで常により新しい撮像画像Ｐを記憶部３に残すようにする。
【００３４】
生成部２２は、画像取得部２１が取得した撮像画像Ｐから車両Ｃの移動に伴うオプティカルフローＦを生成する。具体的には、生成部２２は、まず、画像情報３１の中から基準となる過去フレームの撮像画像Ｐ（以下、過去画像）を取得し、過去画像からエッジとなる特徴点を抽出する。
【００３５】
生成部２２は、例えばソベルフィルタ等の既知の手法を特徴点の抽出処理に用いることができる。また、生成部２２は、後述する推定部２４によって推定された車両Ｃの移動距離が一定距離（例えば、４５ｍｍ）を超える毎に、上記した基準となる過去画像を更新していく。
【００３６】
つづいて、生成部２２は、抽出した特徴点に基づいてオプティカルフローＦを生成する。具体的には、生成部２２は、基準となる過去画像から抽出した特徴点と最新フレームの撮像画像Ｐ（以下、現在画像）とに基づいてオプティカルフローＦを生成する。
【００３７】
生成部２２は、例えば勾配法であるLucas-Kaneda法やHorn-Schunk法といった等の既知の手法によってオプティカルフローＦを生成することができる。なお、生成部２２は、勾配法に限らず、ブロックマッチング法によってオプティカルフローＦを生成してもよい。
【００３８】
さらに、生成部２２は、過去画像および現在画像の解像度を小さくした縮小画像（いわゆるピラミッド画像）を生成し、生成した縮小画像についても同様にオプティカルフローＦを生成する。
【００３９】
そして、生成部２２は、縮小画像および元画像（縮小率ゼロ）から得られた複数のオプティカルフローＦに基づいて最終的なオプティカルフローＦを一意に決定する。このように、縮小画像を用いることで、より正確なオプティカルフローＦを生成することができる。
【００４０】
変換部２３は、撮像部１０の視点位置１０ａに基づいて生成部２２によって生成されたオプティカルフローＦを路面座標に投影することで路面ベクトルＶへ変換する。
【００４１】
具体的には、変換部２３は、車両Ｃにおける撮像部１０の取り付け高さおよび取り付け俯角によって設定される視点位置１０ａを仮想視点に変換することで、オプティカルフローＦの撮像画像Ｐにおける座標を路面座標へ変換する。
【００４２】
より具体的には、変換部２３は、撮像画像Ｐを等距離射影方式により変換した平面を取り付け俯角だけ回転させることで、オプティカルフローＦを路面座標系である座標平面Ｒの路面ベクトルＶへ変換する。変換部２３は、変換した路面ベクトルＶを推定部２４へ出力する。
【００４３】
推定部２４は、変換部２３によって変換された路面ベクトルＶに基づいて車両Ｃの移動距離および移動方向を推定する。ここで、図３を用いて、推定部２４の処理内容について説明する。
【００４４】
図３は、推定部２４の処理内容を示す図である。図３には、車両Ｃの縦長さ向きをＹ軸とし、車両Ｃの車幅向きをＸ軸とする路面座標系を示すとともに、路面ベクトルＶおよび移動ベクトルＶａを示している。移動ベクトルＶａとは、路面ベクトルＶから車両Ｃの旋回角度αの成分を除いたものである。
【００４５】
また、図３では、便宜上、推定部２４によって推定される移動距離および移動方向をベクトルＶｂとして座標平面Ｒに示すこととする。具体的には、ベクトルＶｂの向きが移動方向を示し、ベクトルＶｂの大きさが移動距離を示すこととする。
【００４６】
ここで、路面ベクトルＶは、撮像画像Ｐの路面等から抽出されたオプティカルフローＦに基づいて生成される。このため、例えば車両Ｃが旋回しながら移動する場合、得られるオプティカルフローＦ（路面ベクトルＶ）の大きさは、車両Ｃの移動距離に加えて、車両Ｃの旋回角度αも影響する。
【００４７】
つまり、路面ベクトルＶの大きさは、移動距離および旋回角度αの２成分が合成された値となる。また、車両Ｃが直進する場合は、旋回角度αが影響しない、つまり、路面ベクトルＶの長さがそのまま移動距離となる。なお、旋回角度αとは、車両Ｃが旋回中心周りに回転した角度を指す。旋回中心は、複数の路面ベクトルＶの中間を通る法線が交わる点である。
【００４８】
そこで、推定部２４は、路面ベクトルＶに含まれる車両Ｃの旋回角度αの成分を除くことで車両Ｃの移動距離を示す移動ベクトルＶａ（図３参照）を生成し、移動ベクトルＶａに基づいて車両Ｃの移動距離を推定する。
【００４９】
具体的には、図３に示すように、推定部２４は、車両Ｃの所定の点Ａ１を中心として、路面ベクトルＶの始点を旋回角度α分だけ回転させることで、移動ベクトルＶａを生成する。なお、所定の点Ａ１は、Ｙ軸および軸Ｘａの交点である、言い換えれば、車両Ｃの後輪軸の中心位置である。
【００５０】
また、推定部２４は、生成した複数の移動ベクトルＶａの大きさに基づいてヒストグラムを作成し、ヒストグラムに基づいて移動ベクトルＶａの大きさの代表値を移動距離（ベクトルＶｂの大きさ）として推定する。
【００５１】
また、推定部２４は、生成した複数の移動ベクトルＶａの方向に基づいてヒストグラムを生成し、ヒストグラムに基づいて移動ベクトルＶａの方向の代表値を決定する。推定部２４は、代表値である移動ベクトルＶａの方向を反転させた方向を車両Ｃの移動方向（ベクトルＶｂの方向）として推定する。
【００５２】
なお、推定部２４は、ヒストグラムに基づいて車両Ｃの移動距離および移動方向を推定したが、これに限定されず、例えば、複数の移動ベクトルＶａの大きさおよび方向の平均値を車両Ｃの移動距離および移動方向として推定してもよい。
【００５３】
また、推定部２４は、路面ベクトルＶに基づいて車両Ｃの移動距離および移動方向を推定したが、これに限定されず、例えば車速センサや舵角センサのセンサ値に基づいて車両Ｃの移動距離および移動方向を推定してもよい。
【００５４】
図２に戻って、制御部２についてさらに説明する。制御部２の検出部２５は、変換部２３によって変換された路面ベクトルＶに基づいて障害物２００を検出する。検出部２５は、障害物２００の検出処理を行う前に、推定部２４によって推定された車両Ｃの移動方向に基づいて用いる路面ベクトルＶを選抜する。
【００５５】
具体的には、検出部２５は、推定部２４によって推定された移動方向を反転させた方向と移動ベクトルＶａが示す方向との角度差分が所定値未満である路面ベクトルＶを障害物２００の検出処理に用いる。
【００５６】
角度差分とは、ベクトルＶｂ（図３参照）の方向を反転させた反転ベクトルと移動ベクトルＶａとのなす角を指す。より具体的には、反転ベクトルおよび移動ベクトルＶａの始点を合わせるように移動ベクトルＶａを平行移動させ、両ベクトルの始点周りの角度を指す。
【００５７】
検出部２５は、例えば角度差分が３度以上の移動ベクトルＶａについては、検出処理の対象から除外する。これは、生成された複数の移動ベクトルＶａの中に、ベクトルの方向が極端に異なる移動ベクトルＶａがノイズとして含まれるためである。
【００５８】
かかるノイズの原因として、例えば、太陽光等の加減によって撮像画像Ｐの画素の輝度が急激に変化する場合や、特徴点を取得しにくい物体（無地の壁等）が撮像画像Ｐに含まれる場合等に、誤ったオプティカルフローＦが生成されてしまうことが挙げられる。
【００５９】
つまり、検出部２５は、上記したノイズの影響を排除するため、極端な向きの移動ベクトルＶａを取り除く。これにより、より正確な移動ベクトルＶａのみを残すことができるため、障害物２００の検出処理の精度を向上させることができる。
【００６０】
また、検出部２５は、過去の撮像画像Ｐから抽出された特徴点の連続性に基づいて用いる路面ベクトルＶを選抜する。具体的には、検出部２５は、検出履歴情報３２に基づいて路面ベクトルＶが対応する特徴点が過去の撮像画像Ｐから継続して抽出されている場合に、かかる路面ベクトルＶを障害物２００の検出処理に用いる。検出履歴情報３２とは、過去画像から撮像された特徴点および過去に生成されたオプティカルフローＦの情報を含む情報である。
【００６１】
ここで、図４を用いて検出部２５による特徴点の連続性判定について説明する。図４は、特徴点の連続性の判定方法を示す図である。図４には、現在時刻である時刻ｔ３および時刻ｔ３より前の２時刻ｔ１，ｔ２で撮像された撮像画像Ｐを示している。
【００６２】
また、図４には、３時刻ｔ１，ｔ２，ｔ３それぞれの撮像画像Ｐから抽出された３つの特徴点Ｐ１，Ｐ２，Ｐ３を示している。ここで、生成部２２は、時刻ｔ２において２時刻ｔ１，ｔ２の撮像画像ＰからオプティカルフローＦ１を生成し、時刻ｔ３において２時刻ｔ２，ｔ３の撮像画像ＰからオプティカルフローＦ２を生成していることとする。
【００６３】
検出部２５は、時刻ｔ３において、特徴点Ｐ３が過去の特徴点Ｐ１，Ｐ２と同一であるか、つまり、特徴点Ｐ３が過去から連続して抽出されているものであるか否かを判定する。
【００６４】
具体的には、検出部２５は、生成したオプティカルフローＦ１の終点Ｐ４と特徴点Ｐ２とが所定範囲内（例えば、１ドット以内）に位置する場合に、特徴点Ｐ２と特徴点Ｐ１とが同一であると判定する。つまり、特徴点Ｐ２は、過去の時刻ｔ１から連続して抽出されたものである。
【００６５】
同様に、検出部２５は、生成したオプティカルフローＦ２の終点Ｐ５と特徴点Ｐ３とが所定範囲内に位置する場合に、特徴点Ｐ３と特徴点Ｐ２とが同一であると判定する。つまり、特徴点Ｐ３は、過去の時刻ｔ２から連続して抽出されたものである。すなわち、検出部２５は、３つの特徴点Ｐ１，Ｐ２，Ｐ３が連続していると判定する。
【００６６】
一方、検出部２５は、終点Ｐ４または終点Ｐ５と特徴点Ｐ２または特徴点Ｐ３とが所定範囲内に位置しない場合に、特徴点Ｐ３が過去の時刻ｔ１または時刻ｔ２から連続していないと判定する。そして、検出部２５は、特徴点Ｐ３に対応する移動ベクトルを障害物２００の検出処理の対象から除外する。
【００６７】
このように、過去から現在まで連続して抽出されている特徴点Ｐ３のみを選抜することで、後段の障害物２００の検出処理で、連続して検出された特徴点Ｐ３で、かつ、その高さ（つまり移動ベクトルＶａの大きさ）の差分が所定値以下であるときに、その特徴点Ｐ３が障害物２００である信頼性が高いとして路面領域１００（図６参照）にマッピングすることができるため、障害物２００の検出の確度を高めることができる。
【００６８】
なお、図４では、検出部２５は、２時刻前（時刻ｔ１）まで遡って連続性を確認したが、２時刻前に限定されず、１時刻前（時刻ｔ２）まで遡ってもよく、あるいは、３時刻以上遡ってもよい。
【００６９】
検出部２５は、車両Ｃの移動方向および特徴点の連続性判定によって選抜された移動ベクトルに基づいて障害物２００を検出する。ここで、図５Ａおよび図５Ｂを用いて、検出部２５による障害物２００の検出処理について説明する。
【００７０】
図５Ａおよび図５Ｂは、検出部２５の検出処理を示す図である。図５Ａでは、車両Ｃの移動距離が、大きさＤ１であった場合に、座標平面Ｒに展開される複数の移動ベクトルＶａ，Ｖｃの一例を示している。
【００７１】
ここで、仮に、すべての移動ベクトルが路面の特徴点から生成されたものならば、すべて移動ベクトルＶａの大きさＤ１となるはずである。ところが、図５Ａに示すように、実際には、移動ベクトルＶｃの大きさＤ２のように、大きさＤ１より大きいものが含まれることがある。
【００７２】
これは、障害物２００のように路面より高い位置の特徴点から生成されたオプティカルフローＦを路面である座標平面Ｒに投影しているためである。つまり、障害物２００に基づいて生成された移動ベクトルＶｃの大きさＤ２は、障害物２００の高さに相当する分だけ大きくなっている。
【００７３】
言い換えれば、オプティカルフローＦが生成される障害物２００の高さが高いほど、座標平面Ｒにおいて移動ベクトルＶｃの大きさＤ２と、大きさＤ１との差分が大きくなる。
【００７４】
そこで、検出部２５は、この点に着目して、移動ベクトルＶｃの大きさＤ２から障害物２００の高さＨを算出することで障害物２００を検出する。具体的には、検出部２５は、移動ベクトルＶｃの大きさＤ２と推定部２４によって推定された車両Ｃの移動距離（大きさＤ１）とに差分が生じた場合に、移動ベクトルＶｃに対応する特徴点を障害物２００として検出する。かかる点について、図５Ｂを用いて説明する。
【００７５】
図５Ｂには、座標平面Ｒ上に生成された移動ベクトルＶｃと、撮像部１０の視点位置１０ａとの幾何学的関係を示している。図５Ｂには、視点位置１０ａまでの高さＨＡと、障害物２００の高さＨと、高さＨＡおよび高さＨの差分である高さＨＢと、車両Ｃの移動距離である大きさＤ１と、移動ベクトルＶｃの大きさＤ２とを示している。
【００７６】
ここで、三角比の関係により、ＨＡ：ＨＢ＝Ｄ１：Ｄ２となる。高さＨＢは、ＨＢ＝ＨＡ−Ｈであるため、障害物２００の高さＨを示す数式は、Ｈ＝ＨＡ−（ＨＡ×Ｄ１）／Ｄ２となる。なお、高さＨＡ、大きさＤ１および大きさＤ２は、既知であるため、これらを上記式に代入すると障害物２００の高さＨを求めることができる。
【００７７】
例えば、移動ベクトルＶｃの大きさＤ２と車両Ｃの移動距離である大きさＤ１とが同じ場合（Ｄ２＝Ｄ１）、上記式に基づいて障害物２００の高さＨは、ゼロ、つまり、障害物２００が存在しないことを示す。すなわち、検出部２５は、移動ベクトルＶｃの大きさＤ２と車両Ｃの移動距離とが同じ場合、移動ベクトルＶｃに対応する特徴点を障害物２００として検出しない。
【００７８】
また、例えば、移動ベクトルＶｃの大きさＤ２が車両Ｃの移動距離である大きさＤ１より大きい場合（Ｄ２＞Ｄ１）、障害物２００の高さＨは、プラス値、つまり、高さＨの障害物２００が存在することを示す。
【００７９】
すなわち、検出部２５は、移動ベクトルＶｃの大きさＤ２が車両Ｃの移動距離より大きい場合に、移動ベクトルＶｃに対応する特徴点を障害物２００として検出する。なお、検出部２５は、算出された障害物２００の高さＨが予め定められた閾値以上の場合に、障害物２００として検出することとしてもよい。
【００８０】
具体的には、検出部２５は、移動ベクトルＶｃの大きさＤ２が推定部２４によって推定された車両Ｃの移動距離よりも所定値以上大きい場合に、移動ベクトルＶｃに対応する特徴点を障害物２００として検出する。これにより、障害物２００とはいえない程度の高さのものを排除することができる。また、障害物２００の推定される高さＨの誤差によるバラつきを排除することができる。なお、所定値は、高さＨの閾値に応じた値である。
【００８１】
一方、移動ベクトルＶｃの大きさＤ２が車両Ｃの移動距離である大きさＤ１より小さい場合（Ｄ２＜Ｄ１）、障害物２００の高さＨは、マイナス値、つまり、絶対値である高さＨの深さを有する路面の凹みが存在することを示す。
【００８２】
したがって、検出部２５は、移動ベクトルＶｃの大きさＤ２が車両Ｃの移動距離より小さい場合に、移動ベクトルＶｃに対応する特徴点を障害物２００として検出することとしてもよい。なお、検出部２５は、算出された障害物２００の高さＨのマイナス値が所定値（予め定められた深さに応じた値）以下の場合に、障害物２００として検出することとしてもよい。
【００８３】
具体的には、検出部２５は、移動ベクトルＶｃの大きさＤ２が推定部２４によって推定された車両Ｃの移動距離よりも所定値以上小さい場合に、移動ベクトルＶｃに対応する特徴点を障害物２００として検出する。
【００８４】
このように、移動ベクトルＶｃの大きさＤ２と車両Ｃの移動距離との差分に基づいて障害物２００を検出することで、高さのある障害物２００を検出することができる。また、路面の凹みを障害物２００とみなして検出することもできる。
【００８５】
つづいて、検出部２５は、障害物２００を検出した場合に、障害物２００の検出結果の確定処理を行う。かかる点について、図６を用いて説明する。
【００８６】
図６は、障害物２００の検出結果の確定処理を示す図である。図６には、Ｘ軸およびＹ軸の路面座標系である座標平面Ｒを示している。また、座標平面Ｒの所定領域内には輝度値がゼロとなる路面領域１００が配置されている。
【００８７】
路面領域１００とは、車両Ｃの撮像部１０を原点に撮像視線方向に延びる領域である。また、路面領域１００は、車両Ｃの移動に伴って位置が変化する領域である。言い換えれば、路面領域１００は、固定された座標平面Ｒ上を移動する。
【００８８】
検出部２５は、障害物２００を検出した場合に、路面領域１００に障害物２００の検出位置をプロットする。具体的には、検出部２５は、障害物２００の検出位置２００ａを中心マスとする所定数のマスに区画された区画領域３００を路面領域１００にプロットする。
【００８９】
区画領域３００の各マスには、障害物２００の検出位置の信頼度を示す確度が割り当てられる。図６に示すように、区画領域３００において、中心マスから離れたマス程、確度が低くなるように設定される。
【００９０】
確度は、路面領域１００の輝度値に対応している。つまり、確度が高いほど、路面領域１００における輝度値が高くなる。なお、図６に示す区画領域３００は一例であって、マスの数や確度の数値、割り当て方等は、任意に変更可能である。
【００９１】
検出部２５は、車両Ｃが移動している場合において、時系列で連続して検出される障害物２００の検出位置２００ａを車両Ｃの移動分だけ補正して積み上げてプロットする。
【００９２】
障害物２００が静止物である場合、検出部２５は、固定された平面である座標平面Ｒにおける区画領域３００のプロット位置を、常に同じ位置もしくはある程度の範囲内で積み上げることとなる。
【００９３】
検出部２５は、積み上げられた確度の積分値が所定値を超える、つまり路面領域１００の輝度値が所定値を超える場合に、障害物２００を検出結果として確定する。言い換えれば、検出部２５は、路面座標における所定範囲内に時系列で連続してプロットされる場合に、障害物２００を検出結果として確定する。
【００９４】
これにより、障害物２００である可能性が高い（確度が高い）もののみを障害物２００として検出するため、誤検出を防止することができる。
【００９５】
なお、仮に、障害物２００が移動する場合には、固定された座標平面Ｒにおける検出位置が変化するため、区画領域３００のプロット位置も変化する。かかる場合に、プロットされた時刻が古い区画領域３００が順に削除されるようにする。これにより、仮に、移動物等の障害物２００ではない物体が誤検出された場合であっても、最終的に障害物２００として確定しないようにすることができる。
【００９６】
また、検出部２５は、路面領域１００において障害物２００の検出位置２００ａを輝度値で示したが、これに限らず、確度そのものを路面領域１００にプロットすることとしてもよい。検出部２５は、障害物２００を検出結果として確定した場合、検出結果を描画部２６へ出力する。
【００９７】
図２に戻って制御部２についてさらに説明する。制御部２の描画部２６は、検出部２５の検出結果に基づき、例えば障害物２００の検出位置を示す枠画像を描画する。枠画像とは、撮像画像Ｐに含まれる障害物２００を囲む枠の画像である。
【００９８】
描画部２６は、描画した枠画像を撮像画像Ｐに重ねて表示した合成画像を生成し、表示装置５０に表示させる。これにより、運転者は、障害物２００の位置を認識することができる。
【００９９】
次に、図７を用いて、実施形態に係る障害物検出装置１が実行する検出処理の処理手順について説明する。図７は、実施形態に係る障害物検出装置１が実行する検出処理の処理手順を示すフローチャートである。
【０１００】
図７に示すように、まず、生成部２２は、車両Ｃに搭載された撮像部１０の撮像画像Ｐから車両Ｃの移動に伴うオプティカルフローＦを生成する（ステップＳ１０１）。つづいて、変換部２３は、撮像部１０の視点位置１０ａに基づいて生成部２２によって生成されたオプティカルフローＦを路面座標に投影することで路面ベクトルＶへ変換する（ステップＳ１０２）。
【０１０１】
つづいて、推定部２４は、路面ベクトルＶに含まれる車両Ｃの旋回角度の成分を除くことで車両Ｃの移動距離を示す移動ベクトルＶａを生成する（ステップＳ１０３）。つづいて、推定部２４は、生成した移動ベクトルＶａに基づいて車両Ｃの移動距離および移動方向を推定する（ステップＳ１０４）。
【０１０２】
つづいて、検出部２５は、移動ベクトルＶｃの大きさＤ２と推定部２４によって推定された移動距離とに差分が生じたか否かを判定する（ステップＳ１０５）。検出部２５は、移動ベクトルＶｃの大きさＤ２と移動距離とに差分が生じた場合（ステップＳ１０５，Ｙｅｓ）、移動ベクトルＶｃに対応する特徴点を障害物２００として検出する（ステップＳ１０６）。
【０１０３】
つづいて、検出部２５は、車両Ｃの移動に伴って位置が変化する路面領域１００に障害物２００の検出位置をプロットする（ステップＳ１０７）。つづいて、検出部２５は、路面座標における所定領域内に障害物２００の検出位置が時系列で連続してプロットされることで、確度が所定値以上となったか否かを判定する（ステップＳ１０８）。
【０１０４】
検出部２５は、確度が所定値以上となった場合（ステップＳ１０８，Ｙｅｓ）、障害物２００を検出結果として確定し（ステップＳ１０９）、処理を終了する。
【０１０５】
一方、ステップＳ１０５において、検出部２５は、移動ベクトルＶｃの大きさＤ２と移動距離とに差分が生じなかった場合（ステップＳ１０５，Ｎｏ）、処理を終了する。また、ステップＳ１０８において、検出部２５は、確度が所定値未満となった場合（ステップＳ１０８，Ｎｏ）、処理を終了する。
【０１０６】
上述してきたように、実施形態に係る障害物検出装置１は、生成部２２と、変換部２３と、検出部２５とを備える。生成部２２は、車両Ｃに搭載された撮像部１０の撮像画像Ｐから車両Ｃの移動に伴うオプティカルフローＦを生成する。変換部２３は、撮像部１０の視点位置１０ａに基づいて生成部２２によって生成されたオプティカルフローＦを路面座標に投影することで路面ベクトルＶへ変換する。検出部２５は、変換部２３によって変換された路面ベクトルＶに基づいて障害物２００を検出する。これにより、障害物２００の検出精度を向上させることができる。
【０１０７】
なお、上述した実施形態では、生成部２２は、縮小画像および元画像（縮小率ゼロ）から得られた複数のオプティカルフローＦから元画像におけるオプティカルフローＦを一意に決定したが、これに限定されない。
【０１０８】
例えば、生成部２２は、縮小画像におけるオプティカルフローＦを生成して、後段の障害物２００の検出処理に用いてもよい。これにより、制御部２の処理負荷を抑えることができる。
【０１０９】
また、生成部２２は、縮小画像および元画像（縮小率ゼロ）それぞれのオプティカルフローＦを後段の障害物２００の検出処理に用いてもよい。かかる場合、複数のオプティカルフローＦに基づいて障害物２００を検出し、得られた検出結果を総合的に判断して、最終的に障害物２００として検出するか否かを判定してもよい。これにより、障害物２００の誤検出を防ぐことができる。
【０１１０】
また、上述した実施形態では、検出部２５は、車両Ｃの移動方向および特徴点の連続性判定によって障害物２００の検出処理に用いる移動ベクトルＶａ，Ｖｃを選抜したが、必ずしも移動ベクトルＶａ，Ｖｃを選抜しなくともよい。
【０１１１】
具体的には、検出部２５は、例えば生成部２２によって生成されたヒストグラムのばらつきが小さい場合に、つまり、移動ベクトルＶａ，Ｖｃのばらつきが小さい場合には、移動ベクトルＶａ，Ｖｃの選抜処理を省略する。これにより、制御部２の処理負荷を抑えることができる。
【０１１２】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１１３】
１    障害物検出装置
２    制御部
３    記憶部
１０    撮像部
２１    画像取得部
２２    生成部
２３    変換部
２４    推定部
２５    検出部
２６    描画部
２００    障害物
Ｃ    車両
Ｐ    撮像画像
Ｖ    路面ベクトル
【図１Ａ】
2018097776.tif 000003
【図１Ｂ】
2018097776.tif 000004
【図２】
2018097776.tif 000005
【図３】
2018097776.tif 000006
【図４】
2018097776.tif 000007
【図５Ａ】
2018097776.tif 000008
【図５Ｂ】
2018097776.tif 000009
【図６】
2018097776.tif 000010
【図７】
2018097776.tif 000011