(57)【要約】【課題】障害物の検出精度を向上させること。【解決手段】実施形態に係る障害物検出装置は、第１検出部と基準ヒストグラム算出部と生成部とヒストグラム算出部と尤度算出部と重み付け部と第２検出部を備える。第１検出部は第１フレーム画像から障害物の検出領域を検出する。基準ヒストグラム算出部は検出領域内の基準色相ヒストグラムを算出する。生成部は検出領域に基づき第１フレーム画像より後の第２フレーム画像上に複数のパーティクルを生成する。ヒストグラム算出部は複数のパーティクルごとに設けられる指定範囲内の色相ヒストグラムをそれぞれ算出する。尤度算出部は基準色相ヒストグラムと色相ヒストグラムとの尤度を算出する。重み付け部は尤度に基づき複数のパーティクルそれぞれに重み付けを行う。第２検出部は重み付けを行った複数のパーティクルに基づき第２フレーム画像から障害物を検出する。【選択図】図１
2018197945.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が撮像した第１フレーム画像から障害物が存在する検出領域を検出する第１検出部と、
前記第１検出部が検出した前記検出領域内の基準色相ヒストグラムを算出する基準ヒストグラム算出部と、
前記検出領域に基づき、前記第１フレーム画像の後に撮像された第２フレーム画像上に複数のパーティクルを生成する生成部と、
複数の前記パーティクルごとに設けられる指定範囲内の色相ヒストグラムをそれぞれ算出するヒストグラム算出部と、
前記基準ヒストグラム算出部が算出した前記基準色相ヒストグラムと前記ヒストグラム算出部が算出した前記色相ヒストグラムとの尤度を算出する尤度算出部と、
前記尤度算出部が算出した前記尤度に基づき、複数の前記パーティクルそれぞれに重み付けを行う重み付け部と、
前記重み付け部が重み付けを行った複数の前記パーティクルに基づき、前記第２フレーム画像から障害物を検出する第２検出部と、
を備える障害物検出装置。
【請求項２】
前記基準ヒストグラム算出部は、
前記第１検出部が検出した前記検出領域より小さい検出範囲内の前記基準色相ヒストグラムを算出する請求項１に記載の障害物検出装置。
【請求項３】
前記基準ヒストグラム算出部は、
前記第１検出部が検出した前記検出領域の中心領域を前記検出範囲とする請求項２に記載の障害物検出装置。
【請求項４】
前記生成部は、
前記検出領域内および前記検出領域周辺に複数の前記パーティクルを生成する請求項１、２または３に記載の障害物検出装置。
【請求項５】
前記生成部は、
前記第１検出部が検出した前記障害物の移動速度および移動方向の少なくとも一方に応じて前記検出領域から移動させた複数の前記パーティクルを生成する請求項１〜４のいずれか一項に記載の障害物検出装置。
【請求項６】
前記生成部は、
前記第２フレーム画像より前に撮像された第３フレーム画像上に生成した複数の前記パーティクルのうち、前記尤度算出部が算出した前記尤度が高い前記パーティクルを前記第２フレーム画像上の前記パーティクルとする請求項１〜５のいずれか一項に記載の障害物検出装置。
【請求項７】
前記第２検出部は、
前記検出領域の中心に応じた一定範囲内にある前記パーティクルに基づき、障害物を検出する請求項１〜６のいずれか一項に記載の障害物検出装置。
【請求項８】
前記第２検出部は、
前記第１検出部が検出した前記障害物の種別に応じた一定範囲内にある前記パーティクルに基づき、障害物を検出する請求項１〜７のいずれか一項に記載の障害物検出装置。
【請求項９】
前記第２検出部は、
前記第１検出部が検出した前記障害物の移動速度および移動方向の少なくとも一方に応じて前記検出領域の中心から移動した位置に応じた一定範囲内にある前記パーティクルに基づき、障害物を検出する請求項１〜８のいずれか一項に記載の障害物検出装置。
【請求項１０】
前記第２検出部は、
楕円形状の前記一定範囲内にある前記パーティクルに基づき、障害物を検出する請求項７、８または９に記載の障害物検出装置。
【請求項１１】
前記第２検出部は、
複数の前記パーティクルの前記重み付け部が行った重み付けに応じた重心位置を障害物の重心位置として検出する請求項１〜１０のいずれか一項に記載の障害物検出装置。
【請求項１２】
前記第２検出部は、
複数の前記パーティクルの中から前記尤度算出部が算出した前記尤度に応じた前記パーティクルを選択する選択部と、
前記選択部が選択した前記パーティクルに基づき、障害物を検出する障害物検出部と、
をさらに備える請求項１〜１１のいずれか一項に記載の障害物検出装置。
【請求項１３】
前記選択部は、
前記尤度が高い順にＮ個の前記パーティクルを選択する請求項１２に記載の障害物検出装置。
【請求項１４】
前記選択部は、
前記尤度が第１閾値以上である前記パーティクルを選択する請求項１２に記載の障害物検出装置。
【請求項１５】
前記第２検出部は、
前記尤度算出部が算出した前記尤度が第１閾値以下である前記パーティクルがＭ個以上ある場合、障害物の検出を行わない請求項１〜１４のいずれか一項に記載の障害物検出装置。
【請求項１６】
撮像装置が撮像した第１フレーム画像から障害物が存在する検出領域を検出する第１検出工程と、
前記第１検出工程で検出した前記検出領域内の基準色相ヒストグラムを算出する基準ヒストグラム算出工程と、
前記検出領域に基づき、前記第１フレーム画像の後に撮像された第２フレーム画像上に複数のパーティクルを生成する生成工程と、
複数の前記パーティクルごとに設けられる指定範囲内の色相ヒストグラムをそれぞれ算出するヒストグラム算出工程と、
前記基準ヒストグラム算出工程で算出した前記基準色相ヒストグラムと前記ヒストグラム算出工程で算出した前記色相ヒストグラムとの尤度を算出する尤度算出工程と、
前記尤度算出工程で算出した前記尤度に基づき、複数の前記パーティクルそれぞれに重み付けを行う重み付け工程と、
前記重み付け工程で重み付けを行った複数の前記パーティクルに基づき、前記第２フレーム画像から障害物を検出する第２検出工程と、
を含む障害物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物検出装置および障害物検出方法に関する。
【背景技術】
【０００２】
従来、撮像装置によって撮像されるフレーム画像から歩行者などの障害物として検出する障害物検出装置がある。かかる障害物検出装置は、人物など障害物の多様な形状を学習させた辞書と、フレーム画像とに基づいて障害物を検出する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３５１１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の障害物検出装置は、障害物の検出精度を向上させるという点で更なる改善の余地がある。これは、上記の障害物の検出装置では、障害物の形状や、障害物の背景、オクルージョンによって障害物を検出できない場合があるためである。
【０００５】
本発明は、上記に鑑みてなされたものであって、障害物の検出精度を向上させることができる障害物検出装置および障害物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態の一態様に係る障害物検出装置は、第１検出部と、基準ヒストグラム算出部と、生成部と、ヒストグラム算出部と、尤度算出部と、重み付け部と、第２検出部を備える。第１検出部は、撮像装置が撮像した第１フレーム画像から障害物が存在する検出領域を検出する。基準ヒストグラム算出部は、第１検出部が検出した検出領域内の基準色相ヒストグラムを算出する。生成部は、検出領域に基づき、第１フレーム画像の後に撮像された第２フレーム画像上に複数のパーティクルを生成する。ヒストグラム算出部は、複数のパーティクルごとに設けられる指定範囲内の色相ヒストグラムをそれぞれ算出する。尤度算出部は、基準ヒストグラム算出部が算出した基準色相ヒストグラムとヒストグラム算出部が算出した色相ヒストグラムとの尤度を算出する。重み付け部は、尤度算出部が算出した尤度に基づき、複数のパーティクルそれぞれに重み付けを行う。第２検出部は、重み付け部が重み付けを行った複数のパーティクルに基づき、第２フレーム画像から障害物を検出する。
【発明の効果】
【０００７】
実施形態の一態様によれば、障害物の検出精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る障害物検出方法を示す図である。
【図２】図２は、実施形態に係る障害物検出装置のブロック図である。
【図３】図３は、実施形態に係る検出範囲を説明するための図である。
【図４】図４は、実施形態に係る一定範囲の一例を示す図である。
【図５】図５は、実施形態に係るヒストグラム算出部による色相ヒストグラムの算出例を示す図である。
【図６】図６は、実施形態に係る尤度算出部による尤度算出の一例を説明するための図である。
【図７】図７は、実施形態に係る重み付け係数を説明するための図である。
【図８】図８は、実施形態に係る第２検出部による障害物検出の一例を示す図である。
【図９】図９は、実施形態に係る障害物検出装置が実行する処理手順を示すフローチャートである。
【図１０】図１０は、実施形態に係る検出補間部が実行する処理手順を示すフローチャートである。
【図１１Ａ】図１１Ａは、実施形態の変形例１に係る第１検出部が検出する障害物の移動速度および移動方向を説明するための図である。
【図１１Ｂ】図１１Ｂは、実施形態の変形例１に係る生成部が生成するパーティクルの一例を示す図である。
【図１２】図１２は、実施形態に係る変形例２の一定範囲を説明するための図である。
【図１３】図１３は、実施形態の変形例２に係る一定範囲の他の例を示す図である。
【図１４】図１４は、実施形態の変形例２に係る一定範囲の他の例を示す図である。
【図１５】図１５は、実施形態の変形例３に係る障害物検出装置の構成を示す図である。
【図１６】図１６は、実施形態の変形例３に係るパーティクルの生成例を示す図である。
【図１７】図１７は、実施形態の変形例３に係るパーティクルの他の生成例を示す図である。
【図１８】図１８は、実施形態の変形例４に係る障害物検出装置の構成を示す図である。
【図１９】図１９は、実施形態の変形例５に係る障害物検出装置が実行する処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、実施形態に係る障害物検出装置および障害物検出方法について詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【００１０】
以下では、障害物検出装置が、自車両に搭載された撮像装置（車載撮像装置）によって連続して撮像されたフレーム画像から人物（以下、歩行者Ｐという）を障害物として検出する場合について説明する。なお、障害物検出装置が検出する障害物は歩行者Ｐに限らず、例えば車両や標識等であってもよい。
【００１１】
また、以下では、説明を簡略化するために、障害物検出装置が一人の歩行者Ｐを検出する場合について説明するが、複数の歩行者Ｐを検出してもよい。複数の歩行者Ｐを検出した場合、障害物検出装置は、歩行者Ｐごとに障害物検出方法を実行するものとする。
【００１２】
（１．障害物検出方法）
まず、図１を用いて実施形態に係る障害物検出方法について説明する。図１は、実施形態に係る障害物検出方法を示す図である。なお、かかる障害物検出方法は、図２を用いて後述する障害物検出装置１によって実行される。
【００１３】
図１に示すように、実施形態に係る障害物検出方法では、障害物検出装置１は、フレーム画像Ｆから障害物である人物の形状が存在する領域（以下、障害物の検出領域Ｍという）を検出する（ステップＳ１）。例えば、障害物検出装置１は、機械学習に基づいて障害物の検出領域Ｍを検出する。具体的に、障害物検出装置１は、フレーム画像Ｆに写る物体が歩行者Ｐか否かを判定する基準となる人物辞書情報を使用してフレーム画像Ｆから障害物の検出領域Ｍを検出する。
【００１４】
ここで、従来の障害物検出方法では、例えば、図１に示すように歩行者Ｐが障害物Ｓに隠れてしまった場合など、障害物の検出領域Ｍを検出できない場合があった。この場合、歩行者Ｐを見落としてしまうこととなる。このため、従来の障害物検出方法では、障害物の検出を向上させる点において改善の余地があった。
【００１５】
そこで、実施形態かかる障害物検出方法では、機械学習によって障害物の検出領域Ｍを検出できない場合に、障害物検出装置１がパーティクルフィルタを用いて未検出フレーム画像Ｆｎにおける障害物の検出領域Ｍを検出することとした。
【００１６】
なお、未検出フレーム画像Ｆｎは、機械学習によって障害物の検出領域Ｍが検出されなかったフレーム画像Ｆである。また、ここでは障害物の検出領域Ｍが検出されたフレーム画像Ｆを検出フレーム画像Ｆｄとし、未検出フレーム画像Ｆｎよりも前に撮像装置で撮像されているものとする。
【００１７】
なお、図１では、時刻ｔ０に撮像されたフレーム画像Ｆを障害物の検出領域Ｍが検出された検出フレーム画像Ｆｄとし、時刻ｔ１に撮像されたフレーム画像Ｆを障害物の検出領域Ｍが検出されなかった未検出フレーム画像Ｆｎとしている。
【００１８】
実施形態に係る障害物検出方法では、障害物検出装置１は、まず検出フレーム画像Ｆｄで検出した検出領域Ｍ内の色相ヒストグラム（以下、基準色相ヒストグラムという）を算出する（ステップＳ２）。例えば、図１では、障害物検出装置１は、検出領域Ｍの一部である検出範囲Ｍ１内の基準色相ヒストグラムを算出する。なお、基準色相ヒストグラムは、検出範囲Ｍ１の各画素の色相ごとの頻度を表すヒストグラムである。なお、検出範囲Ｍ１の詳細は、図３を用いて後述する。
【００１９】
次に、障害物検出装置１は、検出領域Ｍに基づき、未検出フレーム画像Ｆｎ上に複数のパーティクルＰａを生成する（ステップＳ３）。図１では、パーティクルＰａを黒い丸で示している。パーティクルＰａは、例えば検出領域Ｍ内および周辺にランダムに生成される。
【００２０】
障害物検出装置１は、複数のパーティクルＰａごとに色相ヒストグラムをそれぞれ算出する（ステップＳ４）。なお、パーティクルＰａごとの色相ヒストグラムの算出方法の詳細は、図５を用いて後述する。
【００２１】
障害物検出装置１は、ステップＳ２で算出した基準色相ヒストグラムと、ステップＳ４で算出した複数のパーティクルＰａの色相ヒストグラムとの尤度をパーティクルＰａごとにそれぞれ算出する（ステップＳ５）。例えば、障害物検出装置１は、Ｂｈａｔｔａｃｈａｒｙｙａ係数を算出することで、各複数のパーティクルＰａにおける尤度を算出する。
【００２２】
次に、障害物検出装置１は、算出した尤度に基づき、複数のパーティクルＰａそれぞれに重み付けを行う（ステップＳ６）。例えば、障害物検出装置１は、ステップＳ５で算出したＢｈａｔｔａｃｈａｒｙｙａ係数を重み付け係数としてパーティクルＰａに乗算することで、重み付けを行う。なお、図１では、重み付け係数の大きさを、パーティクルＰａを示す黒色の丸の大きさで示している。
【００２３】
そして、障害物検出装置１は、重み付けを行った複数のパーティクルＰａに基づき、未検出フレーム画像Ｆｎから障害物を含む障害物の検出領域Ｍ３を検出する（ステップＳ７）。例えば、障害物検出装置１は、重み付け後のパーティクルＰａの重心を含む領域を検出領域Ｍ３として検出する。
【００２４】
つまり、実施形態に係る障害物検出方法では、障害物検出装置１は、障害物の検出領域Ｍが検出されなかった未検出フレーム画像Ｆｎについて、パーティクルフィルタに基づいて障害物の検出領域Ｍ３を検出する。これにより、機械学習によって障害物を検出することができなかった場合でも、障害物検出装置１が障害物の検出領域Ｍ３を検出することができ、障害物の検出を補間することができる。
【００２５】
これにより、実施形態に係る障害物検出方法では、フレーム画像Ｆから機械学習に基づいて歩行者Ｐを検出できない場合であっても、障害物検出装置１が歩行者Ｐの位置をパーティクルフィルタに基づいて検出することができる。
【００２６】
したがって、実施形態に係る障害物検出方法によれば、障害物の検出精度を向上させることができる。
【００２７】
（２．障害物検出システム）
次に、図２を用いて実施形態に係る障害物検出装置１の構成について説明する。図２は、実施形態に係る障害物検出システムのブロック図である。障害物検出システムは、障害物検出装置１と、撮像装置５と、車両制御装置６とを備える。
【００２８】
なお、図２では、実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。
【００２９】
換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
【００３０】
（２．１．撮像装置）
撮像装置５は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備え、自車両の周囲（例えば、前方）を所定周期（例えば、１/３０秒周期）で撮像する。撮像装置５によって撮像されたフレーム画像Ｆは、障害物検出装置１へ順次出力される。
【００３１】
（２．２．車両制御装置）
車両制御装置６は、障害物検出装置１による障害物の検出結果に基づき、ＰＣＳ（Pre-crash  Safety  System）やＡＥＢ(Advanced  Emergency  Braking  System)などの車両制御を行う。
【００３２】
（２．３．障害物検出装置）
図２に示すように、障害物検出装置１は、撮像装置５と、車両制御装置６とに接続される。
【００３３】
障害物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、第１検出部２２と、検出補間部２３と、出力部２４とを備える。制御部２は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００３４】
コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、第１検出部２２、検出補間部２３、出力部２４として機能する。
【００３５】
また、制御部２の取得部２１、第１検出部２２、検出補間部２３、出力部２４の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３６】
また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、例えば人物辞書情報３１や車両辞書情報３２、各種プログラムを記憶する。
【００３７】
なお、障害物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３８】
人物辞書情報３１は、フレーム画像Ｆに写る物体が歩行者Ｐか否かを判定する基準となる情報であり、機械学習によって予め作成される。例えば、形状が既知の複数種類の人物の画像と、人物以外の物体の画像とを学習データとしてそれぞれ所定数（例えば、数１００〜数１００００枚の画像）準備する。
【００３９】
続いて、準備した各画像から、例えば、ＨＯＧ（Histogram  of  Gradient）特徴量を抽出する。そして、前述の予め準備した画像を、抽出したＨＯＧ特徴量に基づいて２次元平面状にプロットする。
【００４０】
続いて、例えば、ＳＶＭ（Support  Vector  Machine）等の識別器によって、２次元平面上における人物の画像と人物以外の物体の画像とを分離する分離線を生成する。かかる２次元平面の座標軸および識別器によって生成された分離線の情報が人物辞書情報３１となる。
【００４１】
なお、予め準備した画像から抽出する特徴量は、ＨＯＧ特徴量に限定されず、ＳＩＦＴ（Scale  Invariant  Feature  Transform）特徴量であってもよい。また、人物の画像と人物以外の物体の画像との分離に用いる識別器は、ＳＶＭに限定されず、例えば、アダブースト（AdaBoost）等の識別器であってもよい。
【００４２】
車両辞書情報３２は、フレーム画像Ｆに写る物体が車両か否かを判定する基準となる情報であり、人物辞書情報３１と同様に機械学習によって予め作成される。
【００４３】
（２．３．１．取得部）
取得部２１は、撮像装置５が撮像したフレーム画像Ｆを取得する。取得部２１は、取得したフレーム画像Ｆを第１検出部２２および検出補間部２３に順次出力する。
【００４４】
（２．３．２．第１検出部）
第１検出部２２は、機械学習によって、取得部２１から入力されるフレーム画像Ｆに含まれる障害物を検出する。
【００４５】
例えば、障害物が歩行者Ｐである場合、第１検出部２２は、フレーム画像Ｆに対して記憶部３に記憶された人物辞書情報３１を使用して障害物の検出領域Ｍを検出する。
【００４６】
第１検出部２２は、フレーム画像Ｆに検出した障害物の検出領域Ｍを重畳させて検出補間部２３および出力部２４へ出力する。
【００４７】
なお、障害物が車両である場合、第１検出部２２は、記憶部３に記憶された車両辞書情報３２を使用して障害物の検出領域Ｍを検出する。このように、第１検出部２２は、障害物の種別に応じた辞書情報を使用して、種別ごとに障害物の検出領域Ｍを検出する。
【００４８】
（２．３．３．検出補間部）
検出補間部２３は、第１検出部２２が障害物を検出できなかった場合に障害物検出を補間するため、未検出フレーム画像Ｆｎから障害物の検出領域Ｍを検出する。例えば、検出補間部２３は、検出領域Ｍが重畳されていないフレーム画像Ｆが入力された場合に、第１検出部２２が障害物を検出できなかったとし、当該フレーム画像Ｆを未検出フレーム画像Ｆｎとして障害物を検出する。
【００４９】
図２に示すように、検出補間部２３は、基準ヒストグラム算出部２３１と、生成部２３２と、ヒストグラム算出部２３３と、尤度算出部２３４と、重み付け部２３５と、第２検出部２３６とを備える。
【００５０】
（基準ヒストグラム算出部）
基準ヒストグラム算出部２３１は、障害物の検出領域Ｍに応じて検出フレーム画像Ｆｄに含まれる障害物の色相ヒストグラムを基準色相ヒストグラムとして算出する。基準ヒストグラム算出部２３１は、算出した基準色相ヒストグラムを尤度算出部２３４に出力する。
【００５１】
図３に示すように、第１検出部２２が検出フレーム画像Ｆｄから歩行者Ｐを含む障害物の検出領域Ｍを検出したものとする。なお、障害物の検出領域Ｍは、高さＨ、幅Ｗの矩形領域である。
【００５２】
このとき、基準ヒストグラム算出部２３１は、障害物の検出領域Ｍより小さい検出範囲Ｍ１内の色相ヒストグラムを基準色相ヒストグラムＨｈとして算出する。なお、図３は、実施形態に係る検出範囲Ｍ１を説明するための図である。
【００５３】
図３に示すように、検出範囲Ｍ１は、例えば高さＨ／２、幅Ｗの矩形領域であり、検出領域Ｍの中心領域に位置する。換言すると、検出範囲Ｍ１の下端辺は、検出領域Ｍの下端辺から高さＨ／４に位置する。
【００５４】
このように、基準ヒストグラム算出部２３１が検出領域Ｍより小さい検出範囲Ｍ１内の基準色相ヒストグラムＨｈを算出することで、基準色相ヒストグラムＨｈに含まれる背景の影響をより低減することができる。
【００５５】
これは、障害物が歩行者Ｐである場合、検出領域Ｍの中央領域には歩行者Ｐの胴体が含まれるため、他の領域に比べて背景の領域が小さくなるためである。
【００５６】
なお、例えば、障害物が車両である場合は、検出領域Ｍの下方領域を検出範囲Ｍ１としてもよい。これは、車体ボディは同一色であることが多く、また窓ガラスに比べて映り込み等の影響が小さいためである。したがって、検出領域Ｍのうち、車体ボディが多く含まれる下方領域を検出範囲Ｍ１とすることで、基準色相ヒストグラムＨｈに対する背景や風景の映り込み等の影響をより小さくすることができる。
【００５７】
このように、基準ヒストグラム算出部２３１が障害物の種別に応じた検出範囲Ｍ１内の基準色相ヒストグラムＨｈを算出するようにしてもよい。これにより、基準色相ヒストグラムＨｈに対する背景や風景の映り込み等の影響をより小さくすることができる。
【００５８】
なお、ここでは、検出範囲Ｍ１を矩形領域としたが、これに限定されない。検出範囲Ｍ１の形状は、例えば台形や円形、あるいは障害物の輪郭に沿った形状など、種々の形状を採用することができる。
【００５９】
（生成部）
図２に戻る。生成部２３２は、検出範囲Ｍ１に基づき、未検出フレーム画像Ｆｎ上に複数のパーティクルＰａを生成する。生成部２３２は、検出範囲Ｍ１内および検出範囲Ｍ１周辺のランダムな位置に複数のパーティクルＰａを生成する。
【００６０】
ここで、パーティクルＰａを生成する検出範囲Ｍ１は、検出フレーム画像Ｆｄから検出した検出範囲Ｍ１を未検出フレーム画像Ｆｎに重畳した範囲である。以下、かかる検出範囲Ｍ１を未検出フレーム画像Ｆｎの検出範囲Ｍ１と言う。なお、検出範囲Ｍ１は検出領域Ｍの一部であるため、生成部２３２は、未検出フレーム画像Ｆｎの検出領域Ｍ内および検出領域Ｍ周辺にパーティクルＰａを生成するとも言える。
【００６１】
このように、生成部２３２が未検出フレーム画像Ｆｎの検出領域Ｍ内および検出領域Ｍ周辺にパーティクルＰａを生成することで、検出補間部２３は検出領域Ｍ周辺に存在する障害物を検出することができる。なお、生成部２３２は、生成した複数のパーティクルＰａをヒストグラム算出部２３３に出力する。
【００６２】
（ヒストグラム算出部）
ヒストグラム算出部２３３は、複数のパーティクルＰａごとに色相ヒストグラムをそれぞれ算出する。ヒストグラム算出部２３３は、算出した各色相ヒストグラムを尤度算出部２３４に出力する。
【００６３】
ヒストグラム算出部２３３は、例えば図４に示す一定範囲Ｒ１内に含まれる複数のパーティクルＰａの色相ヒストグラムを算出する。なお、図４は、実施形態に係る一定範囲Ｒ１の一例を示す図である。図４では、パーティクルＰａを黒色の丸で示している。
【００６４】
図４に示すように、一定範囲Ｒ１は、例えば未検出フレーム画像Ｆｎの検出領域Ｍの中心Ｃを中心とした半径ｄの円領域である。ヒストグラム算出部２３３が一定範囲Ｒ１内のパーティクルＰａの色相ヒストグラムを算出することで、色相ヒストグラムを算出するパーティクルＰａの個数を削減することができ、障害物検出装置１の処理量を削減することができる。
【００６５】
続いて、図５を用いて、ヒストグラム算出部２３３が算出する色相ヒストグラムの一例について説明する。図５は、実施形態に係るヒストグラム算出部２３３による色相ヒストグラムの算出例を示す図である。
【００６６】
なお、ここでは、ヒストグラム算出部２３３が図４に示すパーティクルＰａ１について色相ヒストグラムを算出する場合を例にとって説明する。
【００６７】
図５に示すように、ヒストグラム算出部２３３は、パーティクルＰａ１を含む指定範囲Ｍ２内の色相ヒストグラムＨｈ１を算出する。指定範囲Ｍ２は、複数のパーティクルＰａごとに設けられる範囲である。
【００６８】
指定範囲Ｍ２は、例えば、図５に示すように、パーティクルＰａ１を中心とした高さＨ／２、幅Ｗの矩形領域である。なお、指定範囲Ｍ２は、基準色相ヒストグラムＨｈの算出に用いた検出範囲Ｍ１と同じ形状および大きさであればよい。
【００６９】
（尤度算出部）
図２に戻る。尤度算出部２３４は、基準ヒストグラム算出部２３１が算出した基準色相ヒストグラムＨｈと、ヒストグラム算出部２３３が算出した色相ヒストグラムとの尤度をパーティクルＰａごとに算出する。尤度算出部２３４は、算出した尤度を重み付け部２３５に出力する。
【００７０】
図６に示すように、尤度算出部２３４は、例えば基準色相ヒストグラムＨｈとパーティクルＰａ１（図４参照）の色相ヒストグラムＨｈ１との尤度を算出する。尤度算出部２３４は、尤度として、例えばＢｈａｔｔａｃｈａｒｙｙａ係数を算出する。なお、図６は、実施形態に係る尤度算出部２３４による尤度算出の一例を説明するための図である。
【００７１】
上述したように、ヒストグラム算出部２３３は、一定範囲Ｒ１内にあるパーティクルＰａの色相ヒストグラムを算出する。したがって、尤度算出部２３４は、一定範囲Ｒ１内のパーティクルＰａの色相ヒストグラムと基準色相ヒストグラムＨｈとの尤度を算出する。
【００７２】
このように、尤度算出部２３４が一定範囲Ｒ１内のパーティクルＰａの尤度を算出することで、尤度を算出するパーティクルＰａの個数を削減することができ、障害物検出装置１の処理量を削減することができる。
【００７３】
（重み付け部）
図２に戻る。重み付け部２３５は、尤度算出部２３４が算出した尤度に基づいて複数のパーティクルＰａに重み付けを行う。例えば、重み付け部２３５は、尤度に応じた重み付け係数をパーティクルＰａに掛けることで、パーティクルＰａの重み付けを行う。重み付け部２３５は、重み付けを行った複数のパーティクルＰａを第２検出部２３６に出力する。
【００７４】
例えば、図７に示すように、重み付け部２３５は、パーティクルＰａごとに異なる重み付け係数を用いてパーティクルＰａの重み付けを行う。図７は、実施形態に係る重み付け係数を説明するための図である。
【００７５】
図７では、未検出フレーム画像Ｆｎの各座標位置におけるパーティクルＰａを黒色の丸で示している。また、重み付け係数の大きさを丸の大きさで示している。すなわち、図７に示す丸が大きい程尤度が高く重み付け係数が大きいことを示している。
【００７６】
例えば、尤度算出部２３４がＢｈａｔｔａｃｈａｒｙｙａ係数を算出した場合、重み付け部２３５は、Ｂｈａｔｔａｃｈａｒｙｙａ係数を重み付け係数とする。具体的に、尤度算出部２３４は、例えばパーティクルＰａの各座標（Ｘ座標、Ｙ座標）にＢｈａｔｔａｃｈａｒｙｙａ係数を乗算することで重み付けを行う。
【００７７】
なお、例えば重み付け部２３５は、一定範囲Ｒ１外にあるパーティクルＰａの重み付けを行わないものとする。これにより、重み付けを行うパーティクルＰａの個数を削減することができ、障害物検出装置１の処理量を削減することができる。
【００７８】
あるいは、重み付け部２３５が、一定範囲Ｒ１外にあるパーティクルＰａに対して非常に小さな値（例えば０．０００１以下）の重み付け係数を掛けるようにしてもよい。
【００７９】
これにより、一定範囲Ｒ１外にあるパーティクルＰａを障害物検出に用いないようにすることができる。
【００８０】
検出フレーム画像Ｆｄの次の時刻ｔ１（図１参照）に未検出フレーム画像Ｆｎを撮像したとすると、時刻ｔ１で歩行者Ｐが一定範囲Ｒ１外まで移動する可能性は低い。そこで、実施形態に係る障害物検出装置１では、一定範囲Ｒ１外にあるパーティクルＰａを障害物検出に用いないようにする。これにより、障害物検出に用いるパーティクルＰａの個数を削減することができ、未検出フレーム画像Ｆｎでの障害物検出の精度を維持したまま、障害物検出装置１の処理量を削減することができる。
【００８１】
なお、ここでは、ヒストグラム算出部２３３、尤度算出部２３４および重み付け部２３５において、一定範囲Ｒ１内のパーティクルＰａに対して各処理を行うとしたが、これに限定されない。
【００８２】
ヒストグラム算出部２３３、尤度算出部２３４および重み付け部２３５の少なくとも一部において一定範囲Ｒ１内のパーティクルＰａに対して処理を行うようにしてもよい。
【００８３】
また、生成部２３２で複数のパーティクルＰａを生成する際に、一定範囲Ｒ１内にパーティクルＰａを生成するようにしてもよい。
【００８４】
（第２検出部）
図２に戻る。第２検出部２３６は、重み付け部２３５が重み付けを行ったパーティクルＰａに基づき、未検出フレーム画像Ｆｎから障害物を検出する。
【００８５】
例えば、第２検出部２３６は、重み付け部２３５が重み付けを行ったパーティクルＰａを座標ごとに累積し、累積した値の平均を算出することで、図８に示すように、パーティクルＰａの重心Ｃ３の座標を算出する。なお、図８は、実施形態に係る第２検出部２３６による障害物検出の一例を示す図である。
【００８６】
第２検出部２３６は、複数のパーティクルＰａの重心Ｃ３を、未検出フレーム画像Ｆｎにおける障害物の重心Ｃ３として検出する。第２検出部２３６は、重心Ｃ３を中心とする検出領域Ｍ３を未検出フレーム画像Ｆｎに重畳させて出力部２４へ出力する。検出領域Ｍ３は、例えば検出フレーム画像Ｆｄに基づいて検出した検出領域Ｍ（図３参照）と同じ大きさの矩形領域とする。これにより、第２検出部２３６は、未検出フレーム画像Ｆｎから障害物を精度良く検出することができる。
【００８７】
（２．３．４．出力部）
出力部２４は、第１検出部２２が検出した検出領域Ｍが重畳された検出フレーム画像Ｆｄまたは第２検出部２３６が検出した検出領域Ｍ３が重畳された未検出フレーム画像Ｆｎのいずれかを車両制御装置６に出力する。
【００８８】
出力部２４は、第１検出部２２から検出領域Ｍが重畳された検出フレーム画像Ｆｄを受け取った場合は、当該検出フレーム画像Ｆｄを車両制御装置６に出力する。
【００８９】
一方、出力部２４は、第１検出部２２から検出領域Ｍが重畳されていない検出フレーム画像Ｆｄを受け取った場合、第２検出部２３６から検出領域Ｍ３が重畳された未検出フレーム画像Ｆｎを受け取って車両制御装置６に出力する。あるいは、出力部２４は、検出フレーム画像Ｆｄを受け取らなかった場合に検出領域Ｍ３が重畳された未検出フレーム画像Ｆｎを車両制御装置６に出力する。
【００９０】
これにより、第１検出部２２が検出領域Ｍを検出しなかった場合でも、出力部２４は、検出領域Ｍ３が重畳された未検出フレーム画像Ｆｎを車両制御装置６に出力することができる。
【００９１】
（３．検出処理）
次に、図９を用いて実施形態に係る障害物検出装置１が実行する検出処理の処理手順について説明する。図９は、実施形態に係る障害物検出装置１が実行する処理手順を示すフローチャートである。なお、かかる検出処理は、例えば撮像装置５がフレーム画像Ｆを撮像している間、制御部２によって繰り返し実行される。
【００９２】
まず、制御部２の取得部２１は、撮像装置５からフレーム画像Ｆを取得する（ステップＳ１０１）。次に、第１検出部２２は、機械学習に基づいて障害物を検出する（ステップＳ１０２）。
【００９３】
続いて、制御部２の検出補間部２３は、第１検出部２２が障害物を検出したか否かを判定する（ステップＳ１０３）。例えば検出補間部２３は、第１検出部２２から検出領域Ｍが重畳されたフレーム画像Ｆが入力されるか否かに応じて第１検出部２２が障害物を検出したか否かを判定する。
【００９４】
第１検出部２２が障害物を検出した場合（ステップＳ１０３のＹｅｓ）、出力部２４は、検出領域Ｍが重畳された検出フレーム画像Ｆｄを車両制御装置６に出力し（ステップＳ１０４）、処理を終了する。
【００９５】
一方、第１検出部２２が障害物を検出しなかった場合（ステップＳ１０３のＮｏ）、検出補間部２３は障害物検出処理を実行する（ステップＳ１０５）。出力部２４は、検出補間部２３が検出した検出領域Ｍ３が重畳された未検出フレーム画像Ｆｎを車両制御装置６に出力する（ステップＳ１０６）。
【００９６】
（３．１．障害物検出処理）
続いて、図１０を用いて実施形態に係る検出補間部２３が実行する障害物検出処理の処理手順について説明する。図１０は、実施形態に係る検出補間部２３が実行する処理手順を示すフローチャートである。
【００９７】
検出補間部２３の基準ヒストグラム算出部２３１は、未検出フレーム画像Ｆｎより前の検出フレーム画像Ｆｄにおける障害物の検出範囲Ｍ１内の基準色相ヒストグラムＨｈを算出する（ステップＳ２０１）。
【００９８】
次に、検出補間部２３の生成部２３２は、未検出フレーム画像Ｆｎの検出範囲Ｍ１に応じて複数のパーティクルＰａを生成する（ステップＳ２０２）。検出補間部２３のヒストグラム算出部２３３は、パーティクルＰａごとに色相ヒストグラムを算出する（ステップＳ２０３）。
【００９９】
尤度算出部２３４は、基準色相ヒストグラムＨｈと色相ヒストグラムとの尤度を算出する（ステップＳ２０４）。重み付け部２３５は、尤度算出部２３４が算出した尤度に応じてパーティクルＰａの重み付けを実行する（ステップＳ２０５）。
【０１００】
第２検出部２３６は、重み付けされたパーティクルＰａに基づいて障害物の重心Ｃ３を検出し、検出領域Ｍ３を決定する（ステップＳ２０６）。
【０１０１】
続いて、検出補間部２３は、検出フレーム画像Ｆｄで検出された全ての障害物、すなわち検出領域Ｍに基づいて障害物を検出したか否かを判定する（ステップＳ２０７）。全ての検出領域Ｍに基づいて障害物を検出していない場合（ステップＳ２０７のＮｏ）、ステップＳ２０１に戻る。
【０１０２】
一方、全ての検出領域Ｍに基づいて障害物を検出した場合（ステップＳ２０７のＹｅｓ）、処理を終了する。
【０１０３】
上述したように、実施形態に係る障害物検出装置１は、第１検出部２２と、基準ヒストグラム算出部２３１と、生成部２３２と、ヒストグラム算出部２３３と、尤度算出部２３４と、重み付け部２３５と、第２検出部２３６とを備える。
【０１０４】
第１検出部２２は、撮像装置５が撮像した第１フレーム画像（検出フレーム画像Ｆｄ）から障害物を含む検出領域Ｍを検出する。基準ヒストグラム算出部２３１は、第１検出部２２が検出した検出領域Ｍ内の基準色相ヒストグラムＨｈを算出する。
【０１０５】
生成部２３２は、検出領域Ｍに基づき、撮像装置５が第１フレーム画像（検出フレーム画像Ｆｄ）の後に撮像した第２フレーム画像（未検出フレーム画像Ｆｎ）上に複数のパーティクルＰａを生成する。ヒストグラム算出部２３３は、複数のパーティクルＰａごとに設けられる指定範囲Ｍ２内の色相ヒストグラムをそれぞれ算出する。
【０１０６】
尤度算出部２３４は、基準ヒストグラム算出部２３１が算出した基準色相ヒストグラムＨｈとヒストグラム算出部２３３が算出した色相ヒストグラムＨｈ１との尤度を算出する。重み付け部２３５は、尤度算出部２３４が算出した尤度に基づいて複数のパーティクルＰａそれぞれに重み付けを行う。第２検出部２３６は、重み付け部２３５が重み付けを行った複数のパーティクルＰａに基づき、第２フレーム画像（未検出フレーム画像Ｆｎ）から障害物を検出する。
【０１０７】
したがって、実施形態に係る障害物検出装置１は、例えば機械学習によって障害物を検出できない場合であっても、障害物の検出を補間することができ、障害物の検出精度を向上させることができる。
【０１０８】
（４．変形例）
なお、図２に示す障害物検出装置１は、一例であり種々の変形が可能である。
【０１０９】
（４．１．変形例１）
上記実施形態では、障害物検出装置１は、未検出フレーム画像Ｆｎの検出領域Ｍ内および検出領域Ｍ周辺にパーティクルＰａを生成するとしたが、これに限定されない。第１検出部２２が障害物の移動速度および移動方向を検出する場合、生成部２３２がかかる移動速度および移動方向の少なくとも一方を用いてパーティクルＰａを生成するようにしてもよい。
【０１１０】
かかる点について図１１Ａおよび図１１Ｂを用いて説明する。図１１Ａは、実施形態の変形例１に係る第１検出部２２が検出する障害物の移動速度および移動方向を説明するための図である。図１１Ｂは、実施形態の変形例１に係る生成部２３２が生成するパーティクルＰａの一例を示す図である。
【０１１１】
まず、第１検出部２２が障害物の移動速度および移動方向を検出する点について説明する。第１検出部２２は、時間的に連続するフレーム画像Ｆについて検出された検出領域Ｍが同一の歩行者Ｐに対応する検出領域Ｍか否かを判定する。そして、第１検出部２２は、同一の歩行者Ｐに対応する検出領域Ｍが、複数フレーム（例えば、５フレーム）以上連続する場合に、かかる障害物の検出領域Ｍに人物ＩＤを付与する。言い換えると、同一の歩行者Ｐに対応する検出領域Ｍが連続して検出されなかった場合、かかる障害物の検出領域Ｍに人物ＩＤは付与されない。
【０１１２】
これにより、第１検出部２２が、例えば、フレーム画像Ｆに写ったノイズを誤って障害物として検出した場合であっても、かかる障害物の検出領域Ｍは車両制御装置６への報知対象から除外することができる。換言すると、障害物検出装置１では、確度の高い障害物の検出領域Ｍに基づく情報のみを車両制御装置６へ出力することができる。
【０１１３】
なお、かかる人物ＩＤを付与されたフレーム画像Ｆが上記した検出フレーム画像Ｆｄ（図１参照）となる。そして、第１検出部２２は、人物ＩＤを付与したフレーム画像Ｆにおける障害物の検出領域Ｍを重畳した検出フレーム画像Ｆｄを検出補間部２３へ出力する。
【０１１４】
このように、検出補間部２３へ出力される障害物の検出領域Ｍは、第１検出部２２によって複数フレームにわたって検出されている。そのため、第１検出部２２は、連続する複数のフレーム画像Ｆにおける検出領域Ｍの推移に基づき、図１１Ａに示すように障害物の移動速度および移動方向を検出することができる。なお、図１１Ａでは、ベクトルＶの大きさが移動速度を、向きが移動方向を示している。
【０１１５】
変形例１に係る生成部２３２は、第１検出部２２が検出した障害物の移動速度および移動方向の少なくとも一方に応じて、検出フレーム画像Ｆｄの検出領域Ｍから移動させたパーティクルＰａを生成する。
【０１１６】
具体的に、生成部２３２は、まず、第１検出部２２が検出フレーム画像Ｆｄの検出領域Ｍ内および検出領域Ｍ周辺に複数のパーティクルＰａをランダムに生成する。その後、生成部２３２は、生成した複数のパーティクルＰａをベクトルＶにしたがって移動させる。例えば、生成部２３２は、図１１Ｂに示すパーティクルＰａ０をベクトルＶにしたがってパーティクルＰａ３の位置まで移動させる。生成部２３２は移動後のパーティクルＰａをヒストグラム算出部２３３に出力する。
【０１１７】
あるいは、生成部２３２が、第１検出部２２が検出した検出領域ＭをベクトルＶにしたがって移動させた領域Ｍ４に基づいて複数のパーティクルＰａを生成するようにしてもよい。
【０１１８】
すなわち、生成部２３２が、検出領域ＭをベクトルＶにしたがって移動させた領域Ｍ４内および領域Ｍ４周辺のランダムな位置に複数のパーティクルＰａを生成するようにしてもよい。
【０１１９】
また、生成部２３２が移動方向に基づいて複数のパーティクルＰａを生成する場合、生成部２３２はベクトルＶの大きさを予め定めた値として、検出領域Ｍまたは生成したパーティクルＰａを移動させるようにする。なお、ベクトルＶの大きさは、例えば検出した障害物の種別等に応じて変更してもよい。
【０１２０】
また、生成部２３２が移動速度に基づいて複数のパーティクルＰａを生成する場合、生成部２３２は生成したパーティクルＰａを移動速度に応じた距離だけランダムな方向に移動させるようにする。あるいは、生成部２３２が検出領域Ｍの周辺であって移動速度に応じた範囲に複数のパーティクルＰａを生成するようにしてもよい。
【０１２１】
このように、変形例１に係る生成部２３２は、第１検出部２２が検出した障害物の移動速度および移動方向の少なくとも一方に応じて、検出フレーム画像Ｆｄの検出領域Ｍから移動させたパーティクルＰａを生成する。これにより、障害物が移動した後の領域にパーティクルＰａを生成することができ、障害物検出装置１の障害物検出精度をさらに向上させることができる。
【０１２２】
（４．２．変形例２）
上記実施形態では、障害物検出装置１が、検出領域Ｍの中心Ｃを中心とした半径ｄの一定範囲Ｒ１内にあるパーティクルＰａを未検出フレーム画像Ｆｎの障害物検出に用いるとしたが、これに限定されない。
【０１２３】
障害物検出装置１が検出領域Ｍの中心Ｃに応じた一定の範囲内のパーティクルＰａを用いて未検出フレーム画像Ｆｎから障害物を検出すればよい。したがって、例えば図１２に示すように、検出領域Ｍの中心Ｃから矢印Ｖ２だけ上方の位置Ｃ１を中心とした半径ｄ３の一定範囲Ｒ２内にあるパーティクルＰａを障害物検出に用いるようにしてもよい。なお、図１２は、実施形態に係る変形例２の一定範囲Ｒ２を説明するための図である。
【０１２４】
障害物が歩行者Ｐである場合、検出領域Ｍの中央より上方に位置する領域には歩行者Ｐの胴体が多く含まれるため、他の領域に比べて背景の領域が小さくなる。そのため、障害物検出装置１は、背景の影響が小さいパーティクルＰａを用いて障害物を検出することができ、障害物の検出精度をより向上させることができる。
【０１２５】
なお、一定範囲Ｒ２は、図１２に示す円形に限定されない。例えば、図１３に示すように、一定範囲Ｒ２が楕円形であってもよい。なお、図１３では、一定範囲Ｒ２が検出フレーム画像Ｆｄの横方向を長径とする楕円形である場合を示しているが、例えば、一定範囲Ｒ２は、縦方向を長径とする楕円形であってもよい。このように、楕円形の一定範囲Ｒ２内にあるパーティクルＰａを障害物検出に用いることで、障害物が移動していた場合でも障害物検出装置１が障害物を検出することができる。これにより、障害物検出装置１の検出精度を向上させることができる。
【０１２６】
あるいは、第１検出部２２が障害物の移動速度および移動方向を検出する場合、移動速度および移動方向に応じた長径を有する楕円形を一定範囲Ｒ２としてもよい。例えば、図１４では、一定範囲Ｒ２が、移動方向を長軸とし、移動速度を長半径ｄ４とする楕円形である場合を示している。なお、図１３および図１４は、実施形態の変形例２に係る一定範囲Ｒ２の他の例を示す図である。
【０１２７】
このように、障害物検出装置１が移動速度および移動方向に応じた一定範囲Ｒ２内のパーティクルＰａに基づいて未検出フレーム画像Ｆｎから障害物を検出することで、障害物の検出精度をさらに向上させることができる。
【０１２８】
なお、ここでは、検出領域Ｍの中心Ｃから矢印Ｖ２だけ上方の位置Ｃ１を一定範囲Ｒ２の中心としたが、これに限定されない。例えば、第１検出部２２が車両を障害物と検出した場合、検出領域Ｍの中心Ｃから一定距離だけ下方の位置を一定範囲Ｒ２の中心としてもよい。これは、上述したように、検出領域Ｍの下方領域に車体ボディが多く含まれるためである。
【０１２９】
このように、障害物検出装置１が障害物の種別に応じた一定範囲Ｒ２内のパーティクルＰａに基づいて未検出フレーム画像Ｆｎから障害物を検出することで、障害物の検出精度をさらに向上させることができる。
【０１３０】
（４．３．変形例３）
上記実施形態では、生成部２３２がランダムに複数のパーティクルＰａを生成するとしたが、これに限定されない。例えば、未検出フレーム画像Ｆｎより前のフレーム画像で生成したパーティクルＰａを用いて、未検出フレーム画像ＦｎのパーティクルＰａを生成するようにしてもよい。かかる点について、図１５および図１６を用いて説明する。
【０１３１】
図１５は、実施形態の変形例３に係る障害物検出装置１ａの構成を示す図である。図１６は、実施形態の変形例３に係るパーティクルＰａの生成例を示す図である。
【０１３２】
図１５に示す障害物検出装置１ａは、生成部２３２ａがパーティクル選択部２３２ｂを有している点を除き、図２に示す障害物検出装置１と同じ構成を有する。なお、図１５では、図２に示す構成要素と同様の構成要素については、図２に示す符号と同一の符号を付している。
【０１３３】
図１６に示すように、障害物検出装置１ａが、時刻ｔ１で未検出フレーム画像Ｆｎに対して複数のパーティクルＰａを生成し、各パーティクルＰａに対して重み付けを行ったとする。なお、図１６では、パーティクルＰａを黒色の丸で示しており、未検出フレーム画像Ｆｎでは、重み付けの大きさを黒色の丸の大きさで示している。
【０１３４】
ここで、時刻ｔ１の次の時刻ｔ２で、撮像した未検出フレーム画像Ｆｎ２上に生成部２３２ａが複数のパーティクルＰａを生成するとする。この場合、生成部２３２ａのパーティクル選択部２３２ｂは、未検出フレーム画像Ｆｎで生成したパーティクルＰａのうち重み付けの大きさが大きいものを、未検出フレーム画像Ｆｎ２のパーティクルＰａに選択する。
【０１３５】
例えば、図１６では、パーティクル選択部２３２ｂは、未検出フレーム画像Ｆｎで生成したパーティクルＰａのうち重み付け係数が閾値Ｔｈ０以上であるパーティクルＰａを、未検出フレーム画像Ｆｎ２のパーティクルＰａに選択する。なお、パーティクル選択部２３２ｂは、例えば未検出フレーム画像Ｆｎで生成したパーティクルＰａの重み付け係数を重み付け部２３５から取得する。
【０１３６】
なお、例えば、パーティクル選択部２３２ｂが、未検出フレーム画像Ｆｎで生成したパーティクルＰａのうち重み付け係数が大きい方からＮ０個のパーティクルＰａを未検出フレーム画像Ｆｎ２のパーティクルＰａに選択するようにしてもよい。
【０１３７】
このように、パーティクル選択部２３２ｂが、未検出フレーム画像Ｆｎで生成したパーティクルＰａの重み付けに応じて未検出フレーム画像Ｆｎ２のパーティクルＰａを選択する。これにより、障害物検出装置１は、１つ前の時刻ｔ１で尤度が大きかったパーティクルＰａを次の時刻ｔ２での障害物検出に用いることができ、障害物の検出精度を向上させることができる。
【０１３８】
なお、例えば、上記変形例１のように第１検出部２２が、障害物の移動速度および移動方向を検出する場合、例えば図１７に示すように、パーティクル選択部２３２ｂが選択したパーティクルＰａを移動速度および移動方向の少なくとも一方に応じて移動させてもよい。なお、図１７は、実施形態の変形例３に係るパーティクルＰａの他の生成例を示す図である。
【０１３９】
図１７のフレーム画像Ｆｎ３に示すように、パーティクル選択部２３２ｂは、未検出フレーム画像Ｆｎで生成したパーティクルＰａの重み付けに応じてパーティクルＰａを選択する。図１７のフレーム画像Ｆｎ３では、かかるパーティクルＰａを黒色の丸で示している。
【０１４０】
次に、パーティクル選択部２３２ｂは、選択したパーティクルＰａをベクトルＶで示す移動速度および移動方向に応じて移動させる。例えば、図１７の未検出フレーム画像Ｆｎ２では、移動前のパーティクルＰａを点線の丸で示し、移動後のパーティクルＰａを黒色の丸で示している。
【０１４１】
このように、パーティクル選択部２３２ｂが選択したパーティクルＰａを移動速度および移動方向の少なくとも一方に応じて移動させることで、障害物検出装置１ａの検出精度をさらに向上させることができる。
【０１４２】
（４．４．変形例４）
上記実施形態では、第２検出部２３６が指定範囲Ｍ２内のパーティクルＰａを用いて障害物を検出するとしたが、これに限定されない。例えば、指定範囲Ｍ２内のパーティクルＰａのうち、尤度が閾値Ｔｈ１より大きいパーティクルＰａを用いて障害物を検出するようにしてもよい。かかる点について、図１８を用いて説明する。
【０１４３】
図１８は、実施形態の変形例４に係る障害物検出装置１ｂの構成を示す図である。
【０１４４】
図１８に示す障害物検出装置１ｂは、第２検出部２３６ａが選択部２５および障害物検出部２６を有している点を除き、図２に示す障害物検出装置１と同じ構成を有する。なお、図１８では、図２に示す構成要素と同様の構成要素については、図２に示す符号と同一の符号を付している。
【０１４５】
選択部２５は、生成部２３２が生成した複数のパーティクルＰａの中から、尤度算出部２３４が算出した尤度に応じて障害物の検出に用いるパーティクルＰａを選択する。選択部２５は、例えば尤度が閾値Ｔｈ１以上であるパーティクルＰａを選択する。あるいは、選択部２５は、例えば尤度が高い順にＮ個のパーティクルＰａを選択するようにしてもよい。
【０１４６】
障害物検出部２６は、選択部２５が選択したパーティクルＰａに基づいて障害物を検出する。なお、障害物検出部２６による障害物の検出方法は、図２に示す第２検出部２３６の検出方法と同じである。
【０１４７】
このように、障害物検出部２６が、尤度が大きいパーティクルＰａを用いて未検出フレーム画像Ｆｎの障害物を検出することで、障害物の検出精度をさらに向上させることができる。
【０１４８】
（４．５．変形例５）
上記実施形態では、第２検出部２３６がパーティクルＰａを用いて障害物を検出するとしたが、これに限定されない。例えば、パーティクルＰａの尤度が閾値Ｔｈ２より小さい場合、第２検出部２３６が障害物の検出を中止するようにしてもよい。かかる点について、図１９を用いて説明する。
【０１４９】
図１９は、実施形態の変形例５に係る障害物検出装置１が実行する処理手順を示すフローチャートである。図１９を用いて、変形例５に係る障害物検出装置１の検出補間部２３が実行する障害物検出処理の処理手順について説明する。
【０１５０】
なお、変形例５に係る障害物検出装置１が実行する検出処理は図９に示す検出処理と同じである。変形例５に係る障害物検出装置１は、図９のステップＳ１０５で図１０に示す障害物検出処理を実行する代わりに、図１９に示す障害物検出処理を実行する。なお、図１９では、図１０に示す処理手順と同様の処理手順については、図１０に示す符号と同一の符号を付している。
【０１５１】
図１９のステップＳ２０４で尤度算出部２３４が基準色相ヒストグラムＨｈと色相ヒストグラムとの尤度を算出すると、重み付け部２３５は、算出した全てのパーティクルＰａの尤度が閾値Ｔｈ２未満であるか否かを判定する（ステップＳ３０１）。
【０１５２】
全てのパーティクルＰａの尤度が閾値Ｔｈ２未満である場合（ステップＳ３０１のＹｅｓ）、ステップＳ２０７に進む。したがって、検出補間部２３は、ステップＳ２０２で生成したパーティクルＰａを用いた障害物の検出を行わない。
【０１５３】
一方、全てのパーティクルＰａの尤度が閾値Ｔｈ２以上である場合（ステップＳ３０１のＮｏ）、ステップＳ２０５に進む。したがって、検出補間部２３は、ステップＳ２０２で生成したパーティクルＰａを用いて障害物の検出を行う。
【０１５４】
なお、ここでは、全てのパーティクルＰａの尤度が閾値Ｔｈ２未満である場合、検出補間部２３が障害物の検出を行わないようにするとしたが、これに限定されない。例えば、尤度が閾値Ｔｈ２未満であるパーティクルＰａがＭ個以上ある場合に、検出補間部２３が障害物の検出を行わないようにしてもよい。
【０１５５】
なお、かかる閾値Ｔｈ２は、変形例４で選択部２５がパーティクルＰａを選択する場合に用いる閾値Ｔｈ１と同じであっても異なっていてもよい。
【０１５６】
このように、尤度が閾値Ｔｈ２より小さいパーティクルＰａがＭ個以上である場合に障害物の検出を行わないようにすることで、検出補間部２３による障害物の誤検出を低減することができ、検出精度をさらに向上させることができる。
【０１５７】
（４．６．その他の変形例）
上記実施形態では、第１検出部２２で障害物を検出できなかった場合に、検出補間部２３が障害物を検出するとしたが、これに限定されない。例えば、検出補間部２３が、撮像装置５が撮像するフレーム画像Ｆ全てに対してパーティクルフィルタを用いた障害物検出を行うようにしてもよい。
【０１５８】
この場合、出力部２４には、第１検出部２２と検出補間部２３との両方からフレーム画像Ｆが入力される。第１検出部２２が障害物を検出した場合、出力部２４は、第１検出部２２から入力される検出領域Ｍが重畳されたフレーム画像Ｆを車両制御装置６に出力する。一方、第１検出部２２が障害物を検出できなかった場合、出力部２４は、検出補間部２３から入力される検出領域Ｍ３が重畳されたフレーム画像Ｆを車両制御装置６に出力する。
【０１５９】
また、上記実施形態では、検出フレーム画像Ｆｄから検出した障害物の検出領域Ｍに基づき、検出補間部２３が障害物を検出するとしたが、これに限定されない。例えば、第１検出部２２がフレーム画像Ｆから検出領域Ｍを検出できなかった場合は、第２検出部２３６が未検出フレーム画像Ｆｎから検出した検出領域Ｍ３に基づき、検出補間部２３が障害物を検出するようにしてもよい。
【０１６０】
また、上記実施形態では、第１検出部２２が機械学習に基づいて障害物の検出領域Ｍを検出するとしたが、これに限定されない。第１検出部２２が障害物の検出領域Ｍを検出できればよく、例えばオプティカルフローやテンプレートマッチングなどに基づいて障害物の検出領域Ｍを検出するようにしてもよい。
【０１６１】
また、上記実施形態では、撮像装置５が自車両の前方を撮像する場合について説明したが、撮像装置５が例えば自車両の側方や後方を撮像するようにしてもよい。あるいは、例えば複数の撮像装置５が自車両の周囲を撮像するようにしてもよい。この場合、例えば複数の撮像装置５で撮像したフレーム画像Ｆを統合した１つのフレーム画像Ｆに対して障害物検出装置１が障害物検出を行うようにする。
【０１６２】
また、上記実施形態では、障害物検出装置１が検出した障害物の検出領域Ｍ、Ｍ３を重畳したフレーム画像Ｆを車両制御装置６に出力するとしたが、これに限定されない。例えば、障害物検出装置１が障害物の検出領域Ｍ、Ｍ３を重畳したフレーム画像Ｆを図示しない表示装置に出力するようにしてもよい。
【０１６３】
また、上記実施形態では、障害物検出装置１が、自車両に搭載される場合について説明したが、これに限定されるものではない。すなわち、障害物検出装置１は、例えば、街灯や建物等に設けられる固定撮像装置から入力されるフレーム画像Ｆから障害物を検出することも可能である。
【０１６４】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。
【符号の説明】
【０１６５】
１    障害物検出装置
５    撮像装置
２２    第１検出部
２３    検出補間部
２３１    基準ヒストグラム算出部
２３２    生成部
２３３    ヒストグラム算出部
２３４    尤度算出部
２３５    重み付け部
２３６    第２検出部
２５    選択部
２６    障害物検出部
【図１】
2018197945.tif 000003
【図２】
2018197945.tif 000004
【図３】
2018197945.tif 000005
【図４】
2018197945.tif 000006
【図５】
2018197945.tif 000007
【図６】
2018197945.tif 000008
【図７】
2018197945.tif 000009
【図８】
2018197945.tif 000010
【図９】
2018197945.tif 000011
【図１０】
2018197945.tif 000012
【図１１Ａ】
2018197945.tif 000013
【図１１Ｂ】
2018197945.tif 000014
【図１２】
2018197945.tif 000015
【図１３】
2018197945.tif 000016
【図１４】
2018197945.tif 000017
【図１５】
2018197945.tif 000018
【図１６】
2018197945.tif 000019
【図１７】
2018197945.tif 000020
【図１８】
2018197945.tif 000021
【図１９】
2018197945.tif 000022