(57)【要約】      （修正有）【課題】障害物の学習を必要とせずに路上障害物を精度良く検出する路上障害物検出装置、方法、及びプログラムを提供する。【解決手段】障害物検出装置は，入力画像を複数の局所領域に分割する局所領域分割部と，対象局所領域に路上障害物が存在する確率を，当該対象局所領域があらかじめ定められた正常物体ではない確率と，周辺局所領域と対象局所領域の関係によって定義される視覚的顕著度と，に基づいて算出する尤度算出部と，を含む。ここで、視覚的顕著度は，周辺局所領域が道路である確率が高いほど大きく，かつ，対象局所領域と周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される。【選択図】図１
2018194912.tif 000002
【特許請求の範囲】
【請求項１】
画像中の路上障害物を検出する路上障害物検出装置であって，
画像を入力する画像入力手段と，
前記画像を複数の局所領域に分割する局所領域分割手段と，
対象局所領域に路上障害物が存在する確率を，当該対象局所領域があらかじめ定められた正常物体ではない確率と，周辺局所領域と前記対象局所領域の関係によって定義される視覚的顕著度と，に基づいて算出する尤度算出手段と，
を備え，
前記視覚的顕著度は，前記周辺局所領域が道路である確率が高いほど大きく，かつ，前記対象局所領域と前記周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される，
ことを特徴とする，路上障害物検出装置。
【請求項２】
前記視覚的顕著度は，前記周辺局所領域の大きさが大きいほど大きく算出される，
請求項1に記載の路上障害物検出装置。
【請求項３】
前記視覚的顕著度は，前記対象局所領域と前記周辺局所領域の間の距離が小さいほど大きく算出される，
請求項1または2に記載の路上障害物検出装置。
【請求項４】
前記尤度算出手段は，前記複数の局所領域についての視覚的顕著度の和と，前記対象局所領域が前記正常物体ではない確率と，の積として，前記対象局所領域に路上障害物が存在する確率を算出する，
請求項1から3のいずれか1項に記載の路上障害物検出装置。
【請求項５】
あらかじめ複数の正常物体を学習し，当該複数の正常物体を識別する識別手段をさらに備え，
前記対象局所領域があらかじめ定められた正常物体以外である確率は，前記識別手段による識別結果に基づいて決定される，
請求項1から4のいずれか1項に記載の路上障害物検出装置。
【請求項６】
前記識別手段は，画素ごとに識別を行うものであり，
前記対象局所領域があらかじめ定められた正常物体以外である確率は，当該局所領域内の画素について求められる正常物体ではない確率の平均値として算出される，
請求項5に記載の路上障害物検出装置。
【請求項７】
前記局所領域分割手段は，複数の粒度で前記画像を分割し，
前記尤度算出手段は，それぞれの粒度での分割結果ごとに，対象局所領域に路上障害物が存在する確率を算出し，
さらに，それぞれの確率を統合して，路上障害物が存在する確率を画素ごとに決定する統合手段を備える，
請求項1から6のいずれか1項に記載の路上障害物検出装置。
【請求項８】
路上障害物が存在する確率に閾値処理を施し，その結果に基づいて，前記画像において路上障害物が存在する領域を検出する検出手段をさらに備える，
請求項1から7のいずれか1項に記載の路上障害物検出装置。
【請求項９】
画像中の路上障害物を検出する路上障害物検出装置であって，
画像を入力する画像入力手段と，
前記画像を複数の局所領域Sn (n = 1, …, N)に分割する局所領域分割手段と，
前記複数の局所領域の意味的ラベルを推定する意味的ラベル推定手段と，
対象局所領域Siに路上障害物が存在する確率Liを，下記式に基づいて算出する尤度算出手段と，
を備える，ことを特徴とする路上障害物検出装置。
【数１】
2018194912.tif 000006
ここで，
n(Sj)は，局所領域Sjの大きさを表し，
dappear(Si, Sj)は，局所領域Siと局所領域Sjの視覚的相違度を表し，
Proad(Sj)は，局所領域Sjが道路である確率を表し，
dposition(Si, Sj)は，局所領域Siと局所領域Sjの間の距離を表し，
W(dposition(Si, Sj))は，dposition(Si, Sj)が大きいほど値が小さくなる関数であり
，
Pothers(Si)は，局所領域Siが正常物体ではない確率を表す。
【請求項１０】
コンピュータが実行する路上障害物検出方法であって，
画像を入力する画像入力ステップと，
前記画像を複数の局所領域に分割する局所領域分割ステップと，
対象局所領域に路上障害物が存在する確率を，当該対象局所領域があらかじめ定められた正常物体ではない確率と，周辺局所領域と前記対象局所領域の関係によって定義される視覚的顕著度と，に基づいて算出する尤度算出ステップと，
を含み，
前記視覚的顕著度は，前記周辺局所領域が道路である確率が高いほど大きく，かつ，前記対象局所領域と前記周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される，
ことを特徴とする，路上障害物検出方法。
【請求項１１】
前記視覚的顕著度は，前記周辺局所領域の大きさが大きいほど大きく算出される，
請求項10に記載の路上障害物検出方法。
【請求項１２】
前記視覚的顕著度は，前記対象局所領域と前記周辺局所領域の間の距離が小さいほど大きく算出される，
請求項10または11に記載の路上障害物検出方法。
【請求項１３】
前記尤度算出ステップでは，前記複数の局所領域についての視覚的顕著度の和と，前記対象局所領域が前記正常物体ではない確率と，の積として，前記対象局所領域に路上障害物が存在する確率が算出される，
請求項10から12のいずれか1項に記載の路上障害物検出方法。
【請求項１４】
あらかじめ複数の正常物体を学習し，当該複数の正常物体を識別する識別ステップをさらに含み，
前記対象局所領域があらかじめ定められた正常物体以外である確率は，前記識別ステップにおける識別結果に基づいて決定される，
請求項10から13のいずれか１項に記載の路上障害物検出方法。
【請求項１５】
前記識別ステップは，画素ごとに識別を行うものであり，
前記対象局所領域があらかじめ定められた正常物体以外である確率は，当該局所領域内の画素について求められる正常物体ではない確率の平均値として算出される，
請求項14に記載の路上障害物検出方法。
【請求項１６】
前記局所領域分割ステップでは，複数の粒度で前記画像を分割し，
前記尤度算出ステップでは，それぞれの粒度での分割結果ごとに，対象局所領域に路上障害物が存在する確率を算出し，
さらに，それぞれの確率を統合して，路上障害物が存在する確率を画素ごとに決定する統合ステップを含む，
請求項10から15のいずれか1項に記載の路上障害物検出方法。
【請求項１７】
路上障害物が存在する確率に閾値処理を施し，その結果に基づいて，前記画像において路上障害物が存在する領域を検出する検出ステップをさらに含む，
請求項10から16のいずれか1項に記載の路上障害物検出方法。
【請求項１８】
コンピュータが実行する路上障害物検出方法であって，
画像を入力する画像入力ステップと，
前記画像を複数の局所領域Sn (n = 1, …, N)に分割する局所領域分割ステップと，
前記複数の局所領域の意味的ラベルを推定する意味的ラベル推定ステップと，
対象局所領域Siに路上障害物が存在する確率Liを，下記式に基づいて算出する尤度算出ステップと，
を含む，ことを特徴とする路上障害物検出方法。
【数２】
2018194912.tif 000007
ここで，
n(Sj)は，局所領域Sjの大きさを表し，
dappear(Si, Sj)は，局所領域Siと局所領域Sjの視覚的相違度を表し，
Proad(Sj)は，局所領域Sjが道路である確率を表し，
dposition(Si, Sj)は，局所領域Siと局所領域Sjの間の距離を表し，
W(dposition(Si, Sj))は，dposition(Si, Sj)が大きいほど値が小さくなる関数であり
，
Pothers(Si)は，局所領域Siが正常物体ではない確率を表す。
【請求項１９】
請求項10から18のいずれか１項に記載の路上検出方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像から路上障害物を検出する技術に関する。
【背景技術】
【０００２】
路上障害物は，路上に存在する異常物体であり，通常の車両走行の妨げとなる物体である。路上障害物を検出する方法として，ミリ波レーダーを用いたアクティブな手法と，カメラ（可視光カメラや赤外カメラ）を用いたパッシブな手法がある。
【０００３】
本開示では，可視光カメラによって撮影された画像を入力とする機械学習手法について検討する。非特許文献1によれば，路上障害物の画像情報を入力とする機械学習を用いて
識別器を学習し，得られた識別器を用いて路上障害物を検出することができる。非特許文献1は，HOG（Histogram of Oriented Gradient）を画像内で複数組み合わせたJoint HOG
特徴量を計算し，AdaBoostによって車両の識別に有効な特徴量を選択している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４０６３６号公報
【非特許文献】
【０００５】
【非特許文献１】Joint HOG特徴量を用いた2段階AdaBoostによる車両検出, 2009, 電子情報通信学会論文誌, 尾崎・藤吉他（中部大学）
【非特許文献２】R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk, Slic superpixels compared to state-of-the-art superpixel methods. TPAMI, 2012.
【非特許文献３】A. Vedaldi, S. Soatto, Quick shift and kernel methods for mode seeking. ECCV, 2008
【非特許文献４】A. Levinshtein, A. Stere, K. Kutulakos, D. Fleet, S. Dickinson, K. Siddiqi,  Turbopixels: Fast superpixels using geometric flows. PAMI, 2009
【非特許文献５】Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials, NIPS2010, Philipp Krahenbuhl and Vladlen Koltun (Stanford Univ.)
【非特許文献６】Fully Convolutional Networks for Semantic Segmentation (FCN), CVPR2015, Jonathan Long and Evan Shelhamer (UC Berkeley Univ.)
【非特許文献７】Conditional Random Fields as Recurrent Neural Networks (CRFasRNN), ICCV2015, Shuai Zheng and Sadeep Jayasumana (Oxford Univ.)
【非特許文献８】大津展之：判別および最小2 乗法に基づく自動しきい値選定法, 電子通信学会論文誌, J63-D-4 (1980-4), 349.356.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献1によれば，あらかじめ学習した識別対象物を検出することができるので，
路上障害物についての学習データを収集して学習処理を行えば路上障害物が検出できるとも考えられる。しかしながら，路上障害物は多種多様であり，全ての路上障害物を学習することは現実的に不可能である。
【０００７】
そこで，障害物自体を直接学習せずに路上障害物を検出可能とすることが求められる。
【０００８】
本発明はこのような課題を考慮してなされたものであり，障害物の学習を必要とせずに
路上障害物を精度良く検出することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第一の態様は，画像中の路上障害物を検出する路上障害物検出装置であって，
画像を入力する画像入力手段と，
前記画像を複数の局所領域に分割する局所領域分割手段と，
対象局所領域に路上障害物が存在する確率を，当該対象局所領域があらかじめ定められた正常物体ではない確率と，周辺局所領域と前記対象局所領域の関係によって定義される視覚的顕著度と，に基づいて算出する尤度算出手段と，
を備え，
前記視覚的顕著度は，前記周辺局所領域が道路である確率が高いほど大きく，かつ，前記対象局所領域と前記周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される，
ことを特徴とする。
【００１０】
局所領域分割手段は，それぞれの局所領域が，連続した領域であり，内部の各点の特徴量が互いに類似する領域となるように分割処理を行うとよい。特徴量として，色や輝度，エッジ強度，テクスチャなどを用いることができる。局所領域は，前景とその背景との境界を跨がない領域とも表現できる。
【００１１】
対象局所領域が路上障害物に該当する確率は，当該対象局所領域が正常物体ではない確率と，周辺局所領域から与えられる視覚的顕著度に応じて決定される。ここで，視覚的顕著度は，周辺局所領域が道路である確率が大きいほど大きく，また，周辺局所領域と対象局所領域の視覚的相違度が大きいほど大きく算出される。すなわち，対象局所領域が路上障害物に該当する確率は，対象局所領域自体が未知の物体であるという観点と，道路と外観が異なるという観点から決定される。
【００１２】
正常物体は，道路上あるいはその周辺に存在する物体のうち，障害物ではないと定義された物体を意味する。正常物体ではない確率は，例えば，次のようにして求めることができる。すなわち，路上障害物検出装置は，あらかじめ定められた複数の正常物体を識別可能な識別手段を有し，識別手段による識別結果に基づいて正常物体ではない確率を求めてもよい。例えば，識別手段は，画素ごとに，当該画素があらかじめ定められた複数の正常物体のそれぞれに該当する確率を求め，その確率の合計に基づいて，当該画素が正常物体に該当しない確率を求めることができる。局所領域が正常物体ではない確率は，当該局所領域内の各画素が正常物体ではない確率の平均値として求めることができる。なお，識別手段は特定の路上障害物を識別可能に構成されてもよく，その場合には，当該特定の路上障害物である確率は，正常物体ではない確率に含めればよい。
【００１３】
本発明は路上障害物を学習することなく路上障害物を検出可能とするものであるが，路上障害物の事前学習を排除するものではない。
【００１４】
周辺局所領域が道路である確率は，「道路」を識別可能に学習された識別手段の識別結果に基づいて求めればよい。ここで，識別手段は「道路」を識別可能であってもよいし，「舗装道路」「未舗装道路」「白線」など「道路」の下位概念に属する物体を識別可能であってもよい。後者の場合，「道路」である確率は，「道路」の下位概念のいずれかの物体である確率（各確率の合計）とすればよい。また，識別手段は画素ごとに「道路」である確率を求めるように構成されてよく，その場合，「局所領域が『道路』である確率」は，当該局所領域内の各画素が「道路」である確率の平均値として求めることができる。
【００１５】
対象局所領域と周辺局所領域の視覚的特徴の相違（視覚的相違度）は，外観（見た目）の相違度（距離）によって評価すればよい。外観の評価は，色，輝度，エッジ強度，テク
スチャなどに基づいて行えばよい。例えば，色特徴の相違度を用いて視覚的相違度を評価する場合には，対象局所領域内の色特徴の平均値と，周辺局所賞域の色特徴の平均値との距離（ユークリッド距離やその他の距離測度）を視覚的相違度として利用すればよい。
【００１６】
また，視覚的顕著度は，周辺局所領域の大きさ（サイズ）が大きいほど大きく算出されてもよい。大きな周辺局所領域ほど大きな影響を与えると考えられるためである。サイズの評価は，例えば，領域内の画素数に基づいて行えば良いが，周辺長や外接矩形の大きさなどその他の尺度で評価してもよい。
【００１７】
また，視覚的顕著度は，対象局所領域と周辺局所領域の距離が小さいほど大きく算出されてもよい。近くに位置する周辺局所領域ほど大きな影響を与えると考えられるためである。局所領域間の距離はどのように定義してもよいが，例えば，重心間距離を用いればよい。
【００１８】
対象局所領域が路上障害物である確率は，全ての周辺局所領域についての視覚的顕著度の和と，対象局所領域が正常物体ではない確率と，の積として求めることが好ましい。
【００１９】
また，局所領域分割手段は，複数の異なる粒度で画像を分割し，尤度算出手段は，それぞれの粒度での分割結果ごとに，上述の手法により対象局所領域に路上障害物が存在する確率を算出してもよい。そして，路上障害物検出装置は，それぞれの確率を統合して，路上障害物が存在する確率を画素ごとに決定する統合手段を備えてもよい。領域分割は路上障害物の大きさに応じてなされることが好ましいが，路上障害物の大きさは事前には分からない。そこで，複数の粒度で分割を行って尤度算出を行い，これらの結果を統合することで，路上障害物の大きさにかかわらずに精度良く検出が可能となる。
【００２０】
本態様に係る路上障害物検出装置は，さらに，路上障害物が存在する確率に閾値処理を施し，その結果に基づいて，前記画像において路上障害物が存在する領域を検出する検出手段をさらに備えてもよい。あるいは，本態様に係る路上障害物検出装置は，閾値処理を施す前の尤度を最終結果として出力してもよい。
【００２１】
本発明の第二の態様に係る路上障害物検出装置は，画像中の路上障害物を検出する路上障害物検出装置であって，
画像を入力する画像入力手段と，
前記画像を複数の局所領域Sn (n = 1, …, N)に分割する局所領域分割手段と，
前記複数の局所領域の意味的ラベルを推定する意味的ラベル推定手段と，
対象局所領域Siに路上障害物が存在する確率Liを，下記式に基づいて算出する尤度算出手段と，
を備える，ことを特徴とする路上障害物検出装置。
【数１】
2018194912.tif 000003
ここで，
n(Sj)は，局所領域Sjの大きさを表し，
dappear(Si, Sj)は，局所領域Siと局所領域Sjの視覚的相違度を表し，
Proad(Sj)は，局所領域Sjが道路である確率を表し，
dposition(Si, Sj)は，局所領域Siと局所領域Sjの間の距離を表し，
W(dposition(Si, Sj))は，dposition(Si, Sj)が大きいほど値が小さくなる関数であり
，
Pothers(Si)は，局所領域Siが正常物体ではない確率を表す。
【００２２】
なお、本発明は、上記手段の少なくとも一部を備える路上障害物検出装置として捉えることもできる。本発明は、また、上記処理の少なくとも一部を実行する路上障害物検出方法として捉えることができる。また、本発明は、この方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００２３】
本発明によれば，路上障害物の事前学習なしに路上障害物を精度良く検出することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】第1の実施形態に係る路上障害物検出装置の機能構成図。
【図２】入力画像の例を示す図。
【図３】局所領域分割の結果および局所領域間距離を説明する図。
【図４】意味的ラベル推定の結果を説明する図。
【図５】路上障害物らしさ（尤度）の算出結果を示す図。
【図６】路上障害物らしさ（尤度）に閾値処理を施した結果を示す図。
【図７】路上障害物の検出結果を示す図。
【図８】第2の実施形態に係る路上障害物検出装置の機能構成図。
【図９】第2の実施形態における局所領域分割処理を説明する図。
【図１０】第2の実施形態における路上障害物検出処理を説明する図。
【発明を実施するための形態】
【００２５】
＜第1の実施形態＞
本発明の第1の実施形態は，車両に搭載されたカメラによって撮影された画像（1枚の静止画像）に基づいて，路上障害物を検出する路上障害物検出装置である。本実施形態に係る路上障害物検出装置は，障害物の学習に頼らない手法を採用するため，未知の障害物であっても精度良く検出できる。
【００２６】
以下，本実施形態に係る路上障害物検出装置について，図1〜図7を参照して説明する。
【００２７】
図1は，本実施形態に係る路上障害物検出装置1の概略構成を示すブロック図である。本実施形態に係る路上障害物検出装置1は，半導体集積回路(LSI)を用いて実現できる。ここで，路上障害物検出装置1は，図1に示すように，画像入力部11と，局所領域分割部12と，意味的ラベル推定部13と，尤度算出部14と，検出部15と，を有する。これらの構成要素は，路上障害物検出装置1が果たす機能にそれぞれ対応している。
【００２８】
画像入力部11は，路上障害物検出装置1の外部から入力される画像を取得し，時刻tでの画像I(t)を局所領域分割部12および意味的ラベル推定部13に出力する。画像入力部11による画像の取得方法は特に限定されず，カメラから画像を直接取得してもよいし，通信を介して画像を取得してもよい。
【００２９】
画像入力部11に入力される画像の一例を図2に示す。画像のサイズは特に限定されない
。また，画像はカラー画像であることが検出精度の観点から好ましいが，モノクロ画像であってもかまわない。
【００３０】
局所領域分割部12は，図3のように，画像I(t)をN個の局所領域Sn(n=1,…,N)に分割する。この分割処理は，スーパーピクセル化処理とも呼ばれる。それぞれの局所領域は，連続
した領域であり，かつ，内部の各点の特徴量が互いに類似する領域である。特徴量として，色や輝度，エッジ強度，テクスチャなどを用いることができる。局所領域は，前景とその背景との境界を跨がない領域とも表現できる。局所領域分割アルゴリズムとして，非特許文献2-4に示されるアルゴリズムを用いることができる。局所領域分割部12は，分割し
たN個の局所領域Snを尤度算出部14に出力する。
【００３１】
意味的ラベル推定部13は，画像I(t)の画素p(x,y)のそれぞれについて，その意味的ラベルを推定する。意味的ラベル推定部13は，あらかじめ複数種類（M個とする）の物体を識
別するための識別器を学習しており，画素p(x,y)ごとに，M個の意味的ラベルLm(m=1,…,M)のそれぞれに属する確率Pm(m=1,…,M)を算出し，尤度算出部14に出力する。
【００３２】
意味的ラベル推定部13によって学習される物体は，空，道路（舗装路，白線など），車両（乗用車，トラック，バイクなど），自然（山，森林，街路樹など），人工建築物（街灯，鉄柱，ガードレールなど）である。正常な物体（障害物以外の物体）のみを対象として学習し，障害物は学習対象としなくてよい。もちろん，代表的な障害物については学習対象としてもかまわない。また，学習データを用意する際に正解（Ground Truth）が不明な物体は「未知」ラベル（「その他」ラベル）が付されるので，その意味では未知物体（障害物）も学習対象とされる。
【００３３】
意味的ラベルの推定は，既存の任意のアルゴリズムを用いて実現できる。例えば，非特許文献5のようなCRF(Conditional Random Field)ベースの手法，非特許文献6のような深
層学習（特にCNN(Convolutional Neural Network)）ベースの手法，および，非特許文献7のようなこれらを組み合わせ手法などが採用可能である。
【００３４】
図4は，意味的ラベル推定部13による処理結果を示す。上述したように，画素p(x,y)ご
とおよび意味的ラベルLmごとに確率が求められているが，図4では画素ごとに最も高い確
率の意味的ラベルを示している。
【００３５】
尤度算出部14は，図 5のように，局所領域分割部12で得られた局所領域Sn(n=1, …, N)と，意味的ラベル推定部13で得られた確率Pm(m=1,…,M)とに基づいて，画像I(t)のi(= 1,…,N)番目の局所領域Siにおける路上障害物らしさLi（尤度）を算出し，検出部15に出力
する。具体的には，路上障害物らしさLiは，たとえば，式1のように定義すればよい。
【数２】
2018194912.tif 000004
【００３６】
ここで，式1中の各項はそれぞれ次の意味を持つ。
【００３７】
n(Sj)は，j(=1, …, N)番目の局所領域Sjの大きさを表す。n(Sj)として，例えば，局所領域Sj 内の画素数を採用できる。
【００３８】
dappear(Si, Sj)は，i番目の局所領域Siとj番目の局所領域Sjの視覚的相違度，すなわ
ち外観（見た目）の相違度（距離）を表す。外観の評価は，色，輝度，エッジ強度，テクスチャなどに基づいて行えばよい。色特徴の相違度を用いて視覚的相違度を評価する場合には，dappear(Si, Sj)を，局所領域Si内の色特徴の平均値(Hi, Si, Vi)と，局所領域Sj 内の色特徴の平均値(Hj, Sj , Vj)とのユークリッド距離として求めればよい。色以外の
外観特徴を利用する場合も同様である。また，複数の外観特徴を総合的に考慮して視覚的相違度を評価してもよい。
【００３９】
Proad(Sj)は，j番目の局所領域Sjの意味的ラベルが「道路」である確率を表す。なお，「道路」が「舗装道路」と「白線」から構成される場合，意味的ラベルが「道路」である確率とは，意味的ラベルが「舗装道路」または「白線」である確率である。また，上述のように意味的ラベルの確率は画素ごとに求められるので，Proad(Sj)は，局所領域Sj内の
各画素の意味的ラベルが「道路」である確率の平均値として求めればよい。
【００４０】
dposition(Si, Sj)は，局所領域Siと局所領域Sjの間の距離を表す。局所領域間の距離
は，例えば，重心間距離によって定義すればよい。すなわち，dposition(Si, Sj)は，局
所領域Siの重心位置Giと局所領域Sjの重心位置Gjの間のユークリッド距離（図3参照）と
して求めればよい。このような観点から，dposition(Si, Sj)はdposition(Gi, Gj)と表してもよい。
【００４１】
W(dposition(Gi, Gj))は，局所領域Si, Sj間の重心間距離dpositionに応じた重みを表
す関数である。ここで，関数Wは，重心間距離dpositionが大きいほど小さな値となるように定義されれば，どのような形式であってもよい。例えば，次式のようにガウシアンの重み関数を採用できる。なお，w0は，全ての局所領域のペア間の重心距離の中央値を表す。
【数３】
2018194912.tif 000005
【００４２】
Pothers(Si)は，局所領域Siの意味的ラベルが正常物体以外の物体である確率である。
障害物を学習対象に含めずに学習している場合には，「意味的ラベルが正常物体以外の物体である」ことは，「意味的ラベルが『その他』である」ことと等しい。障害物を学習対象に含めて学習している場合には，「意味的ラベルが正常物体以外の物体である」ことは，「意味的ラベルが『障害物』または『その他』である」ことと等しい。なお，意味的ラベルの確率は画素ごとに求められるので，Proadと同様に，局所領域Si内の各画素の上記
確率の平均値としてPothersを求めればよい。
【００４３】
上記の式（1）において総和演算（サメーション）をj=1からj=Nまでの範囲で行ってい
るが，j=iのときはdappear(Si, Si)=0であることから，j=iは除外しても差し支えない。
また，重みWがゼロに十分近いようなjについては対象に含めなくてもよい。
【００４４】
尤度算出部14による，障害物らしさLiの算出結果の例を図5に示す。
【００４５】
検出部15は，図6のように，尤度算出部14で得られた障害物らしさLi(i=1,…,N)に基づ
いて，画像I(t)における路上障害物を検出する。具体的には，検知部15は，2値化処理に
よって，画像I(t)における各画素を路上障害物の候補領域（図6の白色領域）とそれ以外
の領域（図6の黒色領域）とに分離する。2値化処理の閾値は，あらかじめ定められた値であってもよい。あるいは，クラス内分散を最小化しクラス間分散を最大化するような閾値を適応的に決定する（非特許文献7参照）ことも好ましい。検出部15は，さらに，図7のように，得られた注目領域の候補領域に外接する矩形領域を設定することにより，最終的な画像I(t)における路上障害物を検出する。
【００４６】
このようにして得られた路上障害物検出の結果は，どのように利用されてもよい。例えば，路上障害物検出装置1を搭載する車両の運転支援システムに通知されて，ドライバに
警告したり，回避制御の実行あるいは支援を行ったりしてもよい。あるいは，後方車両に対して検出結果を車両間の直接の通信やクラウド経由での通信によって伝達してもよい。また，路上障害物検出装置1が路側機に搭載される場合には，路側機から周囲の車両に対
して検出結果を伝達してもよい。
【００４７】
本実施形態によれば，個々の路上障害物をあらかじめ学習することなく，画像内から路上障害物を高精度に検出できる。路上障害物をあらかじめ学習するというアプローチでは学習していない障害物は検出できないが，本手法では，路上障害物をあらかじめ学習する必要がなく，したがって任意の路上障害物を検出可能である。
【００４８】
＜第2の実施形態＞
本発明の第2の実施形態について，図8〜図10を参照して説明する。
【００４９】
図8は，本実施形態に係る路上障害物検出装置2の概略構成を示すブロック図である。なお，本実施形態においては，第１の実施形態との相違箇所のみ言及する。
【００５０】
第1の実施形態では，局所領域分割アルゴリズムを適用して得られた局所領域における
障害物らしさを算出し，得られた障害物らしさの大きさに基づいて路上障害物を検出している。これに対して，本実施形態では，局所領域への分割処理を複数の粒度で行い，それぞれの分割結果に対して第1の実施形態と同様の処理を施して障害物らしさを求め，複数
の粒度での結果を統合することで最終的な障害物らしさを決定する。
【００５１】
局所領域分割部22は，図9に示すように，画像I(t)に対する局所領域分割処理を異なる
粒度でK回実行する（図9の例ではK=3）。局所領域分割部22は，画像I(t)をNk(k=1, …, K)個の局所領域Sk,n(n=1, …, Nk)に分割し，尤度算出部23に出力する。ここで，Kは局所
領域の粒度の個数を表す。また，Nkはk番目の粒度の局所領域の個数を表す。たとえば，
図 9においては，K=3， N1=100， N2=150，N3=200で与えられる。粒度Nkが決定された後
の局所領域への分割処理アルゴリズムは第1の実施形態と同様である。
【００５２】
意味的ラベル推定部23は，第1の実施形態と同様である。
【００５３】
尤度算出部24は，K個の領域分割結果のそれぞれについて，局所領域毎の路上障害物ら
しさLk,n(n=1, …, Nk)を算出する。1つの領域分割結果を用いた尤度算出処理は第1の実
施形態と同様である。
【００５４】
統合部25は，障害物らしさLk,n(n=1, …, Nk)を足し合わせて障害物らしさの合計値Ln(n=1, …, Nk)を算出する。障害物らしさ統合処理は画素単位で行われる。
【００５５】
図10は，3つの分割結果に対する求めた路上障害物らしさ（上段）と，これらを統合し
た路上障害物らしさの合計値（下段）とを示す。
【００５６】
検出部26は，第1の実施形態と同様に，2値化処理および外接矩形決定処理を実行する。
【００５７】
本実施形態によれば，異なる粒度で領域分割した結果を統合しているので，より高精度に路上障害物を算出できる。第1の実施形態のように特定の粒度で領域分割する場合には
路上障害物の大きさによっては誤検出が生じうる。本実施形態では，複数粒度での領域結果に基づいて検出しているため，ある粒度での領域分割に基づくと誤検出が生じても，他の粒度での領域分割では誤検出が生じないことが期待できる。したがって，検出精度を向上できる。
【００５８】
＜その他の実施形態＞
本発明における路上障害物検出装置1，2は，半導体集積回路(LSI)による実装に限定さ
れず，汎用的なマイクロプロセッサやメモリを有するコンピュータがプログラムを実行す
ることによって実現されても構わない．また，路上障害物検出装置1，2は必ずしも1台の
装置によって実装される必要はなく，複数の異なる装置に機能を分担させて全体として上記の機能が実現されてもよい。
【００５９】
本発明における路上障害物検出装置の利用態様は特に限定されない。例えば，路上障害物検出装置は，車両に搭載されて，車載カメラによって撮影される画像からリアルタイムに路上障害物を検出してもよい。あるいは，路上障害物検出装置は，路側装置やクラウド上のサーバ装置に実装されてもよい。また，路上障害物検出処理は，リアルタイムに行われなくてもよい。
【００６０】
上記の実施形態では，路上障害物が存在する確率（尤度）に閾値処理を施し，かつ，路上障害物に対する外接矩形を求めて出力しているが，その必要は必ずしもない。例えば，閾値処理を施す前の尤度を最終出力としてもよい。
【００６１】
上記の実施形態では単眼カメラによって撮影される画像を対象とする例を説明したが，ステレオカメラやTOF（Time-Of-Flight）カメラによって撮影される3次元画像を対象として路上障害物を検出してもよい。距離（深度）は，例えば，局所領域分割処理（スーパーピクセル化処理），局所領域間距離の算出，外観相違度の算出などに利用することができる。
【符号の説明】
【００６２】
1, 2 路上障害物検出装置
11, 21 画像入力部
12, 22 局所領域分割部
13, 23 意味的ラベル推定部
14, 24 尤度算出部
15, 26 検出部
25 統合部
【図１】
2018194912.tif 000008
【図２】
2018194912.tif 000009
【図３】
2018194912.tif 000010
【図４】
2018194912.tif 000011
【図５】
2018194912.tif 000012
【図６】
2018194912.tif 000013
【図７】
2018194912.tif 000014
【図８】
2018194912.tif 000015
【図９】
2018194912.tif 000016
【図１０】
2018194912.tif 000017