(57)【要約】【課題】障害物の検出精度を向上させること。【解決手段】実施形態に係る障害物検出装置は、検出部と、生成部と、推定部とを備える。検出部は、撮像画像から人物の形状が存在する人物領域を検出する。生成部は、検出部によって人物領域が検出されなかった場合に、人物領域が検出されなかった未検出画像と、当該未検出画像よりも前に人物領域が検出された検出画像とに基づいてオプティカルフローを生成する。推定部は、生成部によって生成されたオプティカルフローに基づいて未検出画像における人物領域を推定する。【選択図】図１
2018151940.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から人物の形状が存在する人物領域を検出する検出部と、
前記検出部によって前記人物領域が検出されなかった場合に、前記人物領域が検出されなかった未検出画像と、当該未検出画像よりも前に前記人物領域が検出された検出画像とに基づいてオプティカルフローを生成する生成部と、
前記生成部によって生成された前記オプティカルフローに基づいて前記未検出画像における前記人物領域を推定する推定部と
を備えることを特徴とする障害物検出装置。
【請求項２】
前記生成部は、
前記検出画像における前記人物領域を前記オプティカルフローを生成する対象領域とすること
を特徴とする請求項１に記載の障害物検出装置。
【請求項３】
前記推定部は、
前記生成部によって生成された前記オプティカルフローに基づいて前記検出画像における特徴点の移動距離および移動方向に関するヒストグラムを作成し、当該ヒストグラムにおける代表値に基づいて前記人物領域の移動距離および移動方向を推定すること
を特徴とする請求項１または２に記載の障害物検出装置。
【請求項４】
前記推定部は、
前記代表値に基づき、前記人物が接近していると推定される場合には前記人物領域の縮尺を大きくし、前記人物が遠ざかっていると推定される場合には前記人物領域の縮尺を小さくすること
を特徴とする請求項３に記載の障害物検出装置。
【請求項５】
前記推定部は、
同一の前記人物に対応する前記人物領域を連続して推定する回数を制限すること
を特徴とする請求項１〜４のいずれか一つに記載の障害物検出装置。
【請求項６】
撮像画像から人物の形状が存在する人物領域を検出する検出工程と、
前記検出工程によって前記人物領域が検出されなかった場合に、前記人物領域が検出されなかった未検出画像と、当該未検出画像よりも前に前記人物領域が検出された検出画像とに基づいてオプティカルフローを生成する生成工程と、
前記生成工程によって生成された前記オプティカルフローに基づいて前記未検出画像における前記人物領域を推定する推定工程と
を含むことを特徴とする障害物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物検出装置および障害物検出方法に関する。
【背景技術】
【０００２】
従来、車載カメラなどの撮像装置によって撮像される撮像画像から歩行者などの人物を障害物として検出する障害物検出装置がある。かかる障害物検出装置は、人物の多様な形状を学習させた辞書と、撮像画像とに基づいて人物を検出する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３５１１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の障害物検出装置では、人物の形状や、人物の背景によっては、人物を障害物として検出できない場合がある。このため、障害物検出装置においては、障害物の検出精度の向上が望まれる。
【０００５】
本発明は、上記に鑑みてなされたものであって、障害物の検出精度を向上させることができる障害物検出装置および障害物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る障害物検出装置は、検出部と、生成部と、推定部とを備える。検出部は、撮像画像から人物の形状が存在する人物領域を検出する。生成部は、前記検出部によって前記人物領域が検出されなかった場合に、前記人物領域が検出されなかった未検出画像と、当該未検出画像よりも前に前記人物領域が検出された検出画像とに基づいてオプティカルフローを生成する。推定部は、前記生成部によって生成された前記オプティカルフローＶに基づいて前記未検出画像における前記人物領域を推定する。
【発明の効果】
【０００７】
本発明によれば、障害物の検出精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、障害物検出方法の概要を示す図である。
【図２】図２は、障害物検出装置のブロック図である。
【図３Ａ】図３Ａは、生成部による処理を説明する図（その１）である。
【図３Ｂ】図３Ｂは、生成部による処理を説明する図（その２）である。
【図４Ａ】図４Ａは、推定部による処理を説明する図（その１）である。
【図４Ｂ】図４Ｂは、推定部による処理を説明する図（その２）である。
【図４Ｃ】図４Ｃは、推定部による処理を説明する図（その３）である。
【図５】図５は、算出部による処理を説明する図である。
【図６】図６は、障害物検出装置が実行する処理手順を示すフローチャートである。
【図７Ａ】図７Ａは、変形例に係る生成部による処理の具体例を説明する図（その１）である。
【図７Ｂ】図７Ｂは、変形例に係る生成部による処理の具体例を説明する図（その２）である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、実施形態に係る障害物検出装置および障害物検出方法について詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【００１０】
以下では、障害物検出装置が、自車両に搭載された車載カメラによって撮像された撮像画像から人物（以下、歩行者Ｈという）を障害物として検出する場合について説明する。
【００１１】
まず、図１を用いて実施形態に係る障害物検出方法の概要について説明する。図１は、障害物検出方法の概要を示す図である。なお、かかる障害物検出方法は、図２にて後述する障害物検出装置１によって実行される。
【００１２】
図１に示すように、実施形態に係る障害物検出方法では、撮像画像Ｆから人物の形状が存在する人物領域Ｍを検出する（ステップＳ１）。例えば、障害物検出方法では、撮像画像Ｆに写る物体が歩行者Ｈか否かを判定する基準となる人物辞書情報を使用して撮像画像Ｆから人物領域Ｍを検出することができる。
【００１３】
ここで、従来の障害物検出方法では、上記した人物辞書情報に基づいて人物領域Ｍを検出できなかった場合に、歩行者Ｈを見落としてしまうこととなる。このため、従来の障害物検出方法では、障害物の検出を向上させる点において改善の余地があった。
【００１４】
そこで、実施形態に係る障害物検出方法では、人物領域Ｍを検出できなかった場合に、人物領域Ｍが検出されなかった未検出画像Ｆｎと、かかる未検出画像Ｆｎよりも前に人物領域Ｍが検出された検出画像Ｆｄとに基づいて未検出画像Ｆｎにおける人物領域Ｍを推定することとした。
【００１５】
具体的には、実施形態に係る障害物検出方法では、人物領域Ｍを検出できなかった場合に、未検出画像Ｆｎと、検出画像ＦｄとからオプティカルフローＶを生成する（ステップＳ２）。なお、オプティカルフローＶは、検出画像Ｆｄにおける特徴点と、未検出画像Ｆｎにおける特徴点とを対応付けることで生成される。
【００１６】
同図では、時刻ｔ０に撮像された撮像画像Ｆを人物領域Ｍが検出された検出画像Ｆｄとし、時刻ｔ１に撮像された撮像画像Ｆを人物領域Ｍが検出されなかった未検出画像Ｆｎとしている。
【００１７】
そして、実施形態に係る障害物検出方法では、かかるオプティカルフローＶに基づいて時刻ｔ０から時刻ｔ１までの期間の歩行者Ｈの移動量を推定することで、時刻ｔ１に撮像された未検出画像Ｆｎにおける人物領域Ｍを推定する（ステップＳ３）。
【００１８】
つまり、実施形態に係る障害物検出方法では、人物領域Ｍが検出されなかった未検出画像Ｆｎについて、オプティカルフローＶに基づいて人物領域Ｍを推定する。つまり、検出されなかった人物領域Ｍを、推定した人物領域Ｍで補間する。
【００１９】
これにより、実施形態に係る障害物検出方法では、撮像画像Ｆから人物辞書情報に基づいて歩行者Ｈを検出できない場合であっても、歩行者Ｈの位置をオプティカルフローＶに基づいて推定することができる。
【００２０】
したがって、実施形態に係る障害物検出方法によれば、障害物の検出精度を向上させることができる。
【００２１】
ところで、実施形態に係る障害物検出方法では、未検出画像ＦｎにおいてオプティカルフローＶを生成する対象領域を限定することで、オプティカルフローＶの生成に対する処理負荷を低減することもできる。この点の詳細については、図３Ａを用いて後述する。
【００２２】
また、実施形態に係る障害物検出方法では、未検出画像Ｆｎに写る歩行者Ｈまでの距離を推定することで、人物領域Ｍの縮尺を変更することもできる。この点の詳細については、図３Ｃを用いて後述する。
【００２３】
次に、図２を用いて実施形態に係る障害物検出装置１の構成について説明する。図２は、障害物検出装置１のブロック図である。なお、図２には、カメラ５と、車両制御装置６とを併せて示す。
【００２４】
同図に示すように、障害物検出装置１は、カメラ５と、車両制御装置６とに接続される。カメラ５は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備え、自車両の前方を所定周期（例えば、１/３０秒周期）で撮像する。カメラ５によって撮像された撮像画像Ｆは、障害物検出装置１へ順次出力される。
【００２５】
車両制御装置６は、障害物検出装置１による障害物の検出結果に基づいて、ＰＣＳ（Pre-crash  Safety  System）やＡＥＢ(Advanced  Emergency  Braking  System)などの車両制御を行う。
【００２６】
障害物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、検出部２１と、判定部２２と、生成部２３と、推定部２４と、算出部２５とを備える。制御部２は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００２７】
コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の検出部２１、判定部２２、生成部２３、推定部２４および算出部２５として機能する。
【００２８】
また、制御部２の検出部２１、判定部２２、生成部２３、推定部２４および算出部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００２９】
また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、人物辞書情報３１や各種プログラムを記憶することができる。
【００３０】
なお、障害物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３１】
人物辞書情報３１は、撮像画像Ｆに写る物体が歩行者Ｈか否かを判定する基準となる情報であり、機械学習によって予め作成される。例えば、形状が既知の複数種類の人物の画像と、人物以外の物体の画像とを学習データとしてそれぞれ所定数（例えば、数１００〜数１００００枚の画像）準備する。
【００３２】
続いて、準備した各画像から、例えば、ＨＯＧ（Histograms  of  Oriented  Gradients）特徴量を抽出する。そして、前述の予め準備した画像を、抽出したＨＯＧ特徴量に基づいて２次元平面状にプロットする。
【００３３】
続いて、例えば、ＳＶＭ（Support  Vector  Machine）等の識別器によって、２次元平面上における人物の画像と人物以外の物体の画像とを分離する分離線を生成する。かかる２次元平面の座標軸および識別器によって生成された分離線の情報が人物辞書情報３１となる。
【００３４】
なお、予め準備した画像から抽出する特徴量は、ＨＯＧ特徴量に限定されず、ＳＩＦＴ（Scale  Invariant  Feature  Transform）特徴量であってもよい。また、人物の画像と人物以外の物体の画像との分離に用いる識別器は、ＳＶＭに限定されず、例えば、アダブースト（AdaBoost）等の識別器であってもよい。
【００３５】
制御部２の検出部２１は、カメラ５から入力される撮像画像Ｆから人物の形状が存在する人物領域Ｍを検出する。例えば、検出部２１は、カメラ５から所定周期で入力される撮像画像Ｆに対して記憶部３に記憶された人物辞書情報３１を使用して人物領域Ｍを検出する。そして、検出部２１は、撮像画像Ｆに検出した人物領域Ｍを重畳させて判定部２２へ出力する。
【００３６】
判定部２２は、検出部２１によって連続的に人物領域Ｍが検出されているか否かを判定する。具体的には、まず、判定部２２は、時間的に連続する撮像画像Ｆについて検出部２１によって検出された人物領域Ｍが同一の歩行者Ｈに対応する人物領域Ｍか否かを判定する。
【００３７】
そして、判定部２２は、同一の歩行者Ｈに対応する人物領域Ｍが、例えば、５フレーム以上連続する場合に、かかる人物領域Ｍに人物ＩＤを付与する。言い換えると、同一の歩行者Ｈに対応する人物領域Ｍが連続して検出されなかった場合、かかる人物領域Ｍに人物ＩＤは付与されない。
【００３８】
これにより、検出部２１が、例えば、撮像画像Ｆに写ったノイズを誤って人物領域Ｍとして検出した場合であっても、かかる人物領域Ｍは車両制御装置６へ報知対象から除外することができる。換言すると、障害物検出装置１では、確度の高い人物領域Ｍに基づく情報のみを車両制御装置６へ出力することができる。
【００３９】
なお、かかる人物ＩＤを付与された撮像画像Ｆが上記した検出画像Ｆｄ（図１参照）となる。そして、検出部２１は、人物ＩＤを付与した撮像画像Ｆにおける人物領域Ｍの位置および大きさを示す情報を関連付けた人物領域情報を算出部２５へ出力する。
【００４０】
また、判定部２２は、人物ＩＤを付与した人物領域Ｍが途中で消失した場合、すなわち、人物領域Ｍが連続的に検出されなかった場合、人物領域Ｍが検出されなかった撮像画像Ｆである未検出画像Ｆｎと、かかる未検出画像Ｆｎよりも１フレーム前の検出画像Ｆｄとを生成部２３へ出力する。
【００４１】
ここで、「人物領域Ｍが途中で消失した」とは、撮像画像Ｆに歩行者Ｈが写っているのにもかかわらず、検出部２１が歩行者Ｈを検出できなかった状態を意味する。換言すると、歩行者Ｈがカメラ５の撮像範囲から逸脱した場合を含まないことを意味する。
【００４２】
生成部２３は、判定部２２から入力される未検出画像Ｆｎと、検出画像ＦｄとからオプティカルフローＶを生成する。そして、生成部２３は、生成したオプティカルフローＶを未検出画像Ｆｎに重畳させて推定部２４へ出力する。ここで、生成部２３による処理の具体例について図３Ａおよび図３Ｂを用いて説明する。図３Ａおよび図３Ｂは、生成部２３による処理を説明する図である。
【００４３】
なお、図３Ａでは、時刻ｔ０に撮像された撮像画像Ｆを人物領域Ｍが検出された検出画像Ｆｄとし、時刻ｔ１に撮像された撮像画像Ｆを、人物領域Ｍが検出されなかった未検出画像Ｆｎとする。
【００４４】
図３Ａに示すように、生成部２３は、検出画像Ｆｄにおける人物領域ＭをオプティカルフローＶを生成する対象領域Ｒｔとし、かかる対象領域Ｒｔ以外の領域をオプティカルフローＶを生成しない非対象領域Ｒｎに設定する。なお、同図では、非対象領域Ｒｎにハッチングを施して示す。
【００４５】
そして、生成部２３は、検出画像Ｆｄの対象領域Ｒｔから例えばＨａｒｒｉｓ法を用いて歩行者Ｈのエッジ、すなわち特徴量を抽出する。換言すると、生成部２３は、検出画像Ｆｄにおいて歩行者Ｈが実際に存在する人物領域Ｍのみをエッジ抽出の対象領域Ｒｔとする。
【００４６】
これにより、生成部２３の処理負荷を軽減するとともに、検出画像Ｆｄで抽出するエッジの量を削減することができるため、後述するオプティカルフローＶの生成に際して誤ったオプティカルフローＶの生成を抑制することができる。すなわち、オプティカルフローＶを生成する精度を向上させることができる。なお、生成部２３によるエッジ抽出方法は、Ｈａｒｒｉｓ法に限られず、ソベルフィルタやラプラシアンフィルタ等の他のエッジ抽出方法を用いることにしてもよい。
【００４７】
次に、生成部２３は、図３Ｂに示すように、検出画像Ｆｄから抽出したエッジに基づいてブロックマッチング法を用いてオプティカルフローＶを生成する。生成部２３は、例えば、未検出画像Ｆｎから抽出したエッジの画素を中心とする画素ブロック（例えば、８×８画素）をテンプレート画像として検出画像Ｆｄ上を走査し、差分絶対和（いわゆる、ＳＡＤ；Sum  of  Absolute  Difference）を求める。
【００４８】
そして、生成部２３は、ＳＡＤが最少となる未検出画像Ｆｎのエッジと、検出画像Ｆｄのエッジとを結ぶことで、オプティカルフローＶを生成する。なお、生成部２３は、検出画像Ｆｄから検出したエッジの各画素について上記の処理を行う。
【００４９】
このとき、生成部２３は、例えば、検出画像Ｆｄの人物領域Ｍに基づいて未検出画像Ｆｎにおけるテンプレート画像の走査範囲を限定することもできる。この点の詳細については、図７Ａおよび図７Ｂ等を用いて後述する。
【００５０】
なお、生成部２３は、ＳＡＤに代えて、ＳＳＤ（Sum  of  Squared  Difference）や、ＮＣＣ（Normalized  Cross-Correlation）等の他の評価関数を用いてオプティカルフローＶを生成することにしてもよい。また、生成部２３は、ブロックマッチング法に代えて、勾配法などの他の方法を用いてオプティカルフローＶを生成することにしてもよい。
【００５１】
図２の説明に戻り、推定部２４は、生成部２３によって生成されたオプティカルフローＶに基づいて未検出画像Ｆｎにおける人物領域Ｍを推定する。また、推定部２４は、推定した人物領域Ｍに対して判定部２２が付与した人物ＩＤと同一の人物ＩＤを付与した人物領域情報を生成し、算出部２５へ出力する。
【００５２】
ここで、図４Ａ〜４Ｃを用いて推定部２４による処理の詳細について説明する。図４Ａ〜図４Ｃは、推定部２４による処理を説明する図である。図４Ａに示すように、推定部２４は、カメラ５の視点位置５ａに基づいてオプティカルフローＶを座標平面Ｒに投影することで、路面ベクトルＶｒへ変換する。
【００５３】
かかる路面ベクトルＶｒの大きさは、検出画像Ｆｄから未検出画像Ｆｎを撮像するまでの期間に歩行者Ｈが移動した距離に対応し、路面ベクトルＶｒの向きは、かかる期間に歩行者Ｈが移動した移動方向に対応する。
【００５４】
そこで、推定部２４は、路面ベクトルＶｒの大きさおよび向きについてヒストグラムを作成し、かかるヒストグラムから代表値を算出し、かかる代表位置に基づいて歩行者Ｈの移動距離および移動方向を推定する。
【００５５】
具体的には、推定部２４は、図４Ｂに示すように、すべての路面ベクトルＶｒの初期座標を基準点Ｐにおいて各路面ベクトルＶｒの終点の座標をカウントすることで、ヒストグラムを作成する。そして、推定部２４は、かかるヒストグラムにおいて最も数が多い位置を代表値の路面ベクトルＶｒとして求めることができる。
【００５６】
そして、推定部２４は、かかる代表値の路面ベクトルＶｒを上記したオプティカルフローＶへ再度変換することで、未検出画像Ｆｎにおける人物領域Ｍの位置を推定することができる。
【００５７】
その後、推定部２４は、推定した人物領域Ｍに、検出画像Ｆｄの人物領域Ｍと同一の人物ＩＤを付した人物領域情報を生成し、算出部２５へ出力する。このように、推定部２４は、ヒストグラムに基づいて代表値を求めることで、未検出画像Ｆｎにおける歩行者Ｈの位置を精度よく推定することができる。
【００５８】
なお、ここでは、推定部２４が路面ベクトルＶｒからヒストグラムを作成する場合について説明したが、オプティカルフローＶからヒストグラムを作成し、かかるヒストグラムに基づいて人物領域Ｍを推定するようにしてもよい。
【００５９】
ところで、推定部２４は、かかる代表値の路面ベクトルＶｒに基づいて人物領域Ｍの縮尺を変更することができる。具体的には、推定部２４は、例えば、図４Ｃに示すように、代表値の路面ベクトルＶｒの向きが、カメラ５側、すなわち、自車両側に近づく向きの路面ベクトルＶｒ＋である場合、路面ベクトルＶｒ＋の大きさに基づいて検出画像Ｆｄにおける人物領域Ｍを拡大する。
【００６０】
一方、推定部２４は、代表値の路面ベクトルＶｒの向きが、自車両から遠ざかる路面ベクトルＶｒ−である場合、路面ベクトルＶｒ−の大きさに基づいてかかる人物領域Ｍを縮小することができる。
【００６１】
このように、推定部２４は、人物領域Ｍの位置のみならず、人物領域Ｍの縮尺を変更することで、未検出画像Ｆｎにおける人物領域Ｍをより正確に推定することができる。ところで、推定部２４による人物領域Ｍの推定処理が連続して続くと、未検出画像Ｆｎにおける実際の歩行者Ｈの位置と、推定部２４によって推定された人物領域Ｍの位置とが乖離するおそれがある。
【００６２】
このため、推定部２４は、同一の人物ＩＤが付与された人物領域Ｍについて連続して人物領域Ｍを推定する回数を制限することもできる。具体的には、推定部２４は、例えば、同一の人物ＩＤが付与された人物領域Ｍについて３フレーム以上連続して推定処理を行わないようにする。
【００６３】
これにより、障害物検出装置１は、確度の低い情報について車両制御装置６に対する出力を回避することができる。したがって、確度の低い情報に基づく車両制御装置６による誤制御を抑制することができる。
【００６４】
図２の説明に戻って、制御部２の算出部２５について説明する。算出部２５は、判定部２２または推定部２４から入力される人物領域情報に基づいて自車両に対する歩行者Ｈまでの距離および方向（以下、位置情報という）を算出する。そして、算出部２５は、算出した位置情報に基づいて歩行者Ｈが自車両に衝突する可能性が高い場合に（例えば、歩行者Ｈまでの距離が２ｍ以下）、かかる位置情報を車両制御装置６へ出力する。
【００６５】
ここで、図５を用いて算出部２５による処理の具体例について説明する。図５は、算出部２５による処理の具体例を示す図である。算出部２５は、人物領域情報に基づき、例えば、人物領域Ｍの下端Ｍｂを用いて歩行者Ｈまでの距離および方向を算出する。
【００６６】
具体的には、図５に示すように、算出部２５は、撮像画像Ｆにおける人物領域Ｍの下端Ｍｂの座標を座標平面Ｒに投影することで、歩行者Ｈまでの距離および方向を算出することができる。ここで、下端Ｍｂとしたのは、歩行者Ｈと、路面との接点に最も近いためである。
【００６７】
すなわち、算出部２５は、人物領域Ｍの下端Ｍｂに基づいて歩行者Ｈまでの距離および方向を算出することで、歩行者Ｈまでの距離および方向を精度よく算出することができる。
【００６８】
次に、図６を用いて実施形態に係る障害物検出装置１が実行する処理手順について説明する。図６は、障害物検出装置１が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、制御部２によって繰り返し実行される。
【００６９】
まず、制御部２の検出部２１は、カメラ５から入力される撮像画像Ｆから人物領域Ｍを検出する（ステップＳ１０１）。次に、判定部２２は、人物領域Ｍは連続的に検出されたか否かを判定する（ステップＳ１０２）。かかる判定において、人物領域Ｍが連続的に検出されていなかった場合（ステップＳ１０２，Ｎｏ）、生成部２３は、検出画像Ｆｄおよび未検出画像ＦｎからオプティカルフローＶを生成する（ステップＳ１０３）。
【００７０】
続いて、推定部２４は、生成部２３によって生成されたオプティカルフローＶに基づいて未検出画像Ｆｎにおける人物領域Ｍを推定する（ステップＳ１０４）。そして、算出部２５は、歩行者Ｈまでの距離および方向を算出して（ステップＳ１０５）、処理を終了する。
【００７１】
一方、人物領域Ｍが連続的に検出されていた場合（ステップＳ１０２，Ｙｅｓ）、制御部２は、ステップＳ１０３およびステップＳ１０４の処理を省略し、ステップＳ１０５の処理を実行した後に、処理を終了する。
【００７２】
上述したように、実施形態に係る障害物検出装置１は、検出部２１と、生成部２３と、推定部２４とを備える。検出部２１は、撮像画像Ｆから人物の形状が存在する人物領域Ｍを検出する。生成部２３は、検出部２１によって人物領域Ｍが検出されなかった場合に、人物領域Ｍが検出されなかった未検出画像Ｆｎと、当該未検出画像Ｆｎよりも前に人物領域Ｍが検出された検出画像Ｆｄとに基づいてオプティカルフローＶを生成する。
【００７３】
推定部２４は、生成部２３によって生成されたオプティカルフローＶに基づいて未検出画像Ｆｎにおける人物領域Ｍを推定する。したがって、実施形態に係る障害物検出装置１によれば、障害物の検出精度を向上させることができる。
【００７４】
ところで、上述した実施形態では、生成部２３が、図３Ａおよび図３Ｂで説明したように、未検出画像Ｆｎのすべての領域からテンプレート画像を走査する場合について説明したが、これに限定されるものではない。すなわち、生成部２３は、未検出画像Ｆｎにおいてテンプレート画像の走査範囲を限定することもできる。そこで、図７Ａおよび図７Ｂを用いて生成部２３が走査範囲を限定する場合について説明する。
【００７５】
図７Ａおよび図７Ｂは、変形例に係る生成部２３による処理の具体例を説明する図である。なお、図７Ａおよび図７Ｂでは、未検出画像Ｆｎを示し、かかる未検出画像Ｆｎよりも前の検出画像Ｆｄにおける人物領域Ｍを破線で示す。
【００７６】
図７Ａに示すように、生成部２３は、例えば、未検出画像Ｆｎにおいて人物領域Ｍを中心とする円形状の範囲を走査範囲Ｒｓに設定し、かかる走査範囲Ｒｓ以外の領域を非走査範囲Ｒｗに設定する。なお、図７Ａおよび図７Ｂでは、非走査範囲Ｒｗにハッチングを施して示す。
【００７７】
かかる場合に、生成部２３は、走査範囲Ｒｓのみにおいて上記したテンプレート画像を走査する。これは、検出画像Ｆｄが撮像されてから未検出画像Ｆｎが撮像されるまでの期間に、歩行者Ｈおよび自車両の相対距離などの変化量は限られるためである。
【００７８】
つまり、生成部２３は、未検出画像Ｆｎにおいて走査範囲Ｒｓを設定することで、人物領域Ｍを推定する精度を確保しつつ、処理負荷を軽減することができる。
【００７９】
なお、生成部２３は、例えば、自車両の走行速度や舵角に基づいてかかる走査範囲Ｒｓを設定することにしてもよい。また、ここでは、走査範囲Ｒｓが円形状である場合を示したが、走査範囲Ｒｓは、多角形など、その他の形状であってもよい。
【００８０】
次に、図７Ｂを用いて生成部２３が、走査範囲Ｒｓを限定する他の例について説明する。なお、図７Ｂにおいて、人物領域Ｍ１から人物領域Ｍ３の順に、最新の検出画像Ｆｄにおける人物領域Ｍでものとする。
【００８１】
図７Ｂに示すように、生成部２３は、複数の検出画像Ｆｄの人物領域Ｍ１〜Ｍ３に基づいて未検出画像Ｆｎにおいて実際に歩行者Ｈが存在する領域を推定し、推定したかかる領域を走査範囲Ｒｓとして設定することができる。
【００８２】
換言すると、生成部２３は、未検出画像Ｆｎにおいて歩行者Ｈが存在する確率の高い領域を走査範囲Ｒｓに設定し、歩行者Ｈが存在する確率の低い領域を非走査範囲Ｒｗに設定する。これにより、生成部２３は、オプティカルフローＶの生成精度を担保しつつ、処理負荷を抑えることができる。なお、図７Ｂに示した走査範囲Ｒｓや非走査範囲Ｒｗは、一例であってこれに限定されるものではない。すなわち、過去の人物領域Ｍに基づいて未検出画像Ｆｎにおける走査範囲Ｒｓを設定していれば、形状や大きさ等は任意に変更することができる。
【００８３】
ところで、上述してきた実施形態では、図３Ａに示したように、生成部２３が、検出画像Ｆｄにおいて対象領域Ｒｔを設定し、かかる対象領域Ｒｔからエッジを抽出する場合について説明したが、これに限定されるものではない。
【００８４】
すなわち、生成部２３は、検出画像Ｆｄの全ての領域からエッジを抽出し、未検出画像Ｆｎにおける全ての領域からオプティカルフローＶを生成することにしてもよい。かかる場合に、歩行者Ｈに基づくオプティカルフローＶは、かかる歩行者Ｈ以外の物体（例えば、路面などの静止物）に基づくオプティカルフローＶと向きや大きさが異なる。このため、推定部２４は、路面などの静止物に対応するオプティカルフローＶと向きや大きさが異なるオプティカルフローＶを歩行者Ｈに対応するオプティカルフローＶとして推定することもできる。
【００８５】
また、上述した実施形態では、障害物検出装置１が、障害物として歩行者Ｈを検出する場合について説明したが、障害物検出装置１は、他車両や、バイクなどの他の物体を障害物として検出することにしてもよい。かかる場合に、図２に示した人物辞書情報３１を検出する物体に応じた辞書情報へ変更することとすればよい。
【００８６】
また、上述した実施形態では、障害物検出装置１が、人物領域Ｍを検出できなかった場合に、オプティカルフローＶを生成する場合について説明したが、これに限定されるものではない。すなわち、障害物検出装置１は、人物領域Ｍを検出した場合であっても、オプティカルフローＶを生成するようにしてもよい。かかる場合に、障害物検出装置１は、人物領域Ｍの検出結果と、オプティカルフローＶとを併用して歩行者Ｈの位置を推定することもできる。これにより、歩行者Ｈの検出精度を向上させることができる。
【００８７】
また、上述した実施形態では、カメラ５が自車両の前方を撮像する場合について説明したが、自車両の側方や後方を撮像するカメラ５から入力される撮像画像Ｆに写る歩行者Ｈまでの距離を算出する場合についても適用することができる。
【００８８】
また、障害物検出装置１が、自車両に搭載される場合について説明したが、これに限定されるものではない。すなわち、障害物検出装置１は、例えば、街灯や建物等に設けられる固定カメラから入力される撮像画像Ｆから歩行者Ｈを検出することも可能である。
【００８９】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。
【符号の説明】
【００９０】
１    障害物検出装置
５    カメラ
２１    検出部
２２    判定部
２３    生成部
２４    推定部
２５    算出部
Ｆ    撮像画像
Ｆｎ    検出画像
Ｆｄ    未検出画像
Ｍ    人物領域
Ｈ    歩行者（人物の一例）
【図１】
2018151940.tif 000003
【図２】
2018151940.tif 000004
【図３Ａ】
2018151940.tif 000005
【図３Ｂ】
2018151940.tif 000006
【図４Ａ】
2018151940.tif 000007
【図４Ｂ】
2018151940.tif 000008
【図４Ｃ】
2018151940.tif 000009
【図５】
2018151940.tif 000010
【図６】
2018151940.tif 000011
【図７Ａ】
2018151940.tif 000012
【図７Ｂ】
2018151940.tif 000013