(57)【要約】【課題】画像に基づいて異常物体の存在を精度よく判定する。【解決手段】画像に含まれる異常物体の存在を判定する識別装置であって、前記異常物体を含まない画像である第一の画像に含まれる画素の特徴を学習した結果に基づいて、入力画像に含まれる複数の画素のそれぞれに対してラベルを推定し、複数のラベルの確率分布を画素ごとに表した第一の確率分布を出力する第一タイプ識別器と、前記第一の画像に含まれる複数の画素の周辺におけるラベルの関係性を学習した結果に基づいて、前記第一の確率分布から、第二の確率分布を生成する第二タイプ識別器と、第二の画像を前記第一タイプ識別器に入力して得られた前記第一の確率分布と、前記第一の確率分布を前記第二タイプ識別器に入力して得られた前記第二の確率分布と、の解離度に基づいて、前記第二の画像中に前記異常物体が存在することを判定する判定手段と、を有する。【選択図】図１Ａ
2020087037.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる異常物体の存在を判定する識別装置であって、
前記異常物体を含まない画像である第一の画像に含まれる画素の特徴を学習した結果に基づいて、入力画像に含まれる複数の画素のそれぞれに対してラベルを推定し、複数のラベルの確率分布を画素ごとに表した第一の確率分布を出力する第一タイプ識別器と、
前記第一の画像に含まれる複数の画素の周辺におけるラベルの関係性を学習した結果に基づいて、前記第一の確率分布から、第二の確率分布を生成する第二タイプ識別器と、
第二の画像を前記第一タイプ識別器に入力して得られた前記第一の確率分布と、前記第一の確率分布を前記第二タイプ識別器に入力して得られた前記第二の確率分布と、の解離度に基づいて、前記第二の画像中に前記異常物体が存在することを判定する判定手段と、
を有する、識別装置。
【請求項２】
前記第二タイプ識別器は、前記ラベルの関係性として、前記ラベルの共起性または類似性を学習した識別器である、
請求項１に記載の識別装置。
【請求項３】
前記第二タイプ識別器は、前記第一の画像を前記第一タイプ識別器に入力して得られる前記第一の確率分布を学習データとして学習した識別器である、
請求項１または２に記載の識別装置。
【請求項４】
前記第二タイプ識別器は、前記第一の画像を前記第一タイプ識別器に入力して得られる前記第一の確率分布を学習データとして、前記第一の画像に含まれる複数の画素の周辺における前記ラベルの類似性を学習した識別器である、
請求項１に記載の識別装置。
【請求項５】
前記第二タイプ識別器は、前記第一の画像に正解ラベルを付与した第一のラベル画像を学習データとして、前記第一の画像に含まれる複数の画素の周辺における前記ラベルの共起性を学習した識別器である、
請求項１に記載の識別装置。
【請求項６】
画像に含まれる異常物体の存在を判定する識別方法であって、
前記異常物体を含まない画像である第一の画像に含まれる画素の特徴を学習した結果に基づいて、入力画像に含まれる複数の画素のそれぞれに対してラベルを推定し、複数のラベルの確率分布を画素ごとに表した第一の確率分布を出力する第一の識別ステップと、
前記第一の画像に含まれる複数の画素の周辺におけるラベルの関係性を学習した結果に基づいて、前記第一の確率分布から、第二の確率分布を生成する第二の識別ステップと、
第二の画像を前記第一の識別ステップで処理して得られた前記第一の確率分布と、前記第一の確率分布を前記第二の識別ステップで処理して得られた前記第二の確率分布と、の解離度に基づいて、前記第二の画像中に前記異常物体が存在することを判定する判定ステップと、
を含む、識別方法。
【請求項７】
請求項６に記載の識別方法をコンピュータに実行させるためのプログラム。
【請求項８】
画像に含まれる異常物体の存在を判定する識別装置であって、
前記異常物体を含まない画像である第一の画像に含まれる画素の特徴を学習した結果に基づいて、入力画像に含まれる複数の画素のそれぞれに対してラベルを推定し、複数のラベルの確率分布を画素ごとに表した第一の確率分布を出力する第一タイプ識別器と、
前記第一の画像を前記第一タイプ識別器に入力した場合に前記第一タイプ識別器が出力
する前記第一の確率分布の傾向を学習した結果に基づいて、前記第一の確率分布から、第二の確率分布を生成する第二タイプ識別器と、
第二の画像を前記第一タイプ識別器に入力して得られた前記第一の確率分布と、前記第一の確率分布を前記第二タイプ識別器に入力して得られた前記第二の確率分布と、の解離度に基づいて、前記第二の画像中に前記異常物体が存在することを判定する判定手段と、
を有する、識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に基づいた異常判定技術に関する。
【背景技術】
【０００２】
路上障害物（車両走行の妨げとなる、路上に放置された未知の物体）を検出する方法として、たとえば、非特許文献１に記載されたような、ミリ波レーダーを用いた方法が提案されている。非特許文献1に記載の技術によれば、時間帯や天候を問わず、かつ遠距離で
あっても路上障害物を安定的に検出することができる。
【０００３】
また、路上障害物を検出する方法として、たとえば、非特許文献２および３に記載されたような、カメラを用いた方法が提案されている。非特許文献２に記載の技術では、画像に基づいて学習させた識別器によって路上障害物を検出している。また、非特許文献３に記載の技術では、過去と現在の画像とで、時間・空間方向の位相を合わせこみ、その差分から路上障害物を検出している。
【０００４】
また、非特許文献４に記載されたような、カメラとミリ波レーダーを組み合わせ、路上障害物を検出する試みがある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】稲葉敬之，桐本哲郎，"車載用ミリ波レーダー，自動車技術vol.64,no.2，pp.74-79,Feb.2010.89.
【非特許文献２】Joint HOG特徴量を用いた2段階AdaBoostによる車両検出, 2009, 電子情報通信学会論文誌, 尾崎・藤吉他（中部大学）
【非特許文献３】過去の車載カメラ映像との時空間差分による不特定障害物検知に関する検討, 2012,画像の認識・理解シンポジウム(MIRU2012)論文集,久徳・村瀬他（名古屋大学）
【非特許文献４】Integrating Milliｍeter Wave Radar with a Monocular Vision Sensor for On-Road Obstacle Detection Applications(西安交通大学), 2011
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載された、ミリ波レーダーを用いた方法では、検出精度および検出範囲において課題がある。ミリ波レーダーを用いた方法の場合、一般的に解像度が低く、レーダーの照射範囲も狭いため、サイズが小さい、もしくは、道路の端にある障害物の検出が困難なためである。
【０００７】
また、非特許文献２に記載されたような、機械学習による路上障害物の検出においては、予め学習していない物体を識別できないという問題がある。
また、非特許文献３に記載されたような、カメラ画像による手法では、先行車両や対向車両、その他の移動物体を路上障害物と誤判定してしまうという問題がある。
非特許文献４に記載された手法では、高精度に路上障害物を検出することができるが、ミリ波レーダーとカメラを併用するため、装置の設置および運用にかかるコストが高くなってしまう。
【０００８】
本発明は上記の問題点を考慮してなされたものであり、画像に基づいて異常物体の存在を精度よく判定できる識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一様態に係る識別装置は、
画像に含まれる異常物体の存在を判定する識別装置であって、前記異常物体を含まない画像である第一の画像に含まれる画素の特徴を学習した結果に基づいて、入力画像に含まれる複数の画素のそれぞれに対してラベルを推定し、複数のラベルの確率分布を画素ごとに表した第一の確率分布を出力する第一タイプ識別器と、前記第一の画像に含まれる複数の画素の周辺におけるラベルの関係性を学習した結果に基づいて、前記第一の確率分布から、第二の確率分布を生成する第二タイプ識別器と、第二の画像を前記第一タイプ識別器に入力して得られた前記第一の確率分布と、前記第一の確率分布を前記第二タイプ識別器に入力して得られた前記第二の確率分布と、の解離度に基づいて、前記第二の画像中に前記異常物体が存在することを判定する判定手段と、を有する。
【００１０】
また、本発明に係る識別方法は、
画像に含まれる異常物体の存在を判定する識別方法であって、前記異常物体を含まない画像である第一の画像に含まれる画素の特徴を学習した結果に基づいて、入力画像に含まれる複数の画素のそれぞれに対してラベルを推定し、複数のラベルの確率分布を画素ごとに表した第一の確率分布を出力する第一の識別ステップと、前記第一の画像に含まれる複数の画素の周辺におけるラベルの関係性を学習した結果に基づいて、前記第一の確率分布から、第二の確率分布を生成する第二の識別ステップと、第二の画像を前記第一の識別ステップで処理して得られた前記第一の確率分布と、前記第一の確率分布を前記第二の識別ステップで処理して得られた前記第二の確率分布と、の解離度に基づいて、前記第二の画像中に前記異常物体が存在することを判定する判定ステップと、を含む。
【００１１】
また、本発明の別様態に係る識別装置は、
画像に含まれる異常物体の存在を判定する識別装置であって、前記異常物体を含まない画像である第一の画像に含まれる画素の特徴を学習した結果に基づいて、入力画像に含まれる複数の画素のそれぞれに対してラベルを推定し、複数のラベルの確率分布を画素ごとに表した第一の確率分布を出力する第一タイプ識別器と、前記第一の画像を前記第一タイプ識別器に入力した場合に前記第一タイプ識別器が出力する前記第一の確率分布の傾向を学習した結果に基づいて、前記第一の確率分布から、第二の確率分布を生成する第二タイプ識別器と、第二の画像を前記第一タイプ識別器に入力して得られた前記第一の確率分布と、前記第一の確率分布を前記第二タイプ識別器に入力して得られた前記第二の確率分布と、の解離度に基づいて、前記第二の画像中に前記異常物体が存在することを判定する判定手段と、を有する。
【発明の効果】
【００１２】
本発明によれば、画像に基づいて異常物体の存在を精度よく判定できる識別装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１Ａ】第一の実施形態に係る識別装置の機能構成図。
【図１Ｂ】第一の実施形態に係る識別装置の機能構成図。
【図２】画像取得部によって取得される画像の例。
【図３】入力された画像にラベルを付与した画像の例。
【図４】第一識別器が出力するデータを説明する図。
【図５】第二識別器が出力するデータを説明する図
【図６】ランダムフォレストによる決定木を説明する図。
【図７】第二識別器が学習するラベルの共起性を説明する図。
【図８】第一の実施形態（学習モード）において行う処理のフローチャート。
【図９】第一の実施形態（評価モード）において行う処理のフローチャート。
【図１０】路上障害物を可視化した画像の例。
【図１１Ａ】第二の実施形態に係る識別装置の機能構成図。
【図１１Ｂ】第二の実施形態に係る識別装置の機能構成図。
【図１２】第三識別器が学習するラベルの類似性を説明する図。
【図１３】第二の実施形態（学習モード）において行う処理のフローチャート。
【図１４】第二の実施形態（評価モード）において行う処理のフローチャート。
【発明を実施するための形態】
【００１４】
本発明に係る識別装置は、車両の前方を撮像して得られた画像に基づいて、当該車両の前方にある路上障害物（車両の走行に支障を与えうる未知の物体。本明細書では異常物体ともいう）の有無を識別する装置である。具体的には、路上障害物が無い状況を撮像して得られた画像を用いて機械学習を行い、学習の結果を用いて、路上障害物の有無が未知である画像を評価する。
【００１５】
本発明に係る識別装置は、異常物体を含まない画像である第一の画像に含まれる画素の特徴を学習した結果に基づいて、入力画像に含まれる複数の画素のそれぞれに対してラベルを推定し、複数のラベルの確率分布を画素ごとに表した第一の確率分布を出力する第一タイプ識別器を用いる。
【００１６】
一方、このように、画素の特徴に基づいてラベルの推定を行う識別器は、学習していない物体を検出できないという問題がある。
この問題を解決するため、本発明に係る識別装置は、（１）第一の画像に含まれる複数の画素の周辺におけるラベルの関係性を学習した結果に基づいて、前記第一の確率分布から、第二の確率分布を生成する第二タイプ識別器を併用し、（２）第二の画像を前記第一タイプ識別器に入力して得られた前記第一の確率分布と、前記第一の確率分布を前記第二タイプ識別器に入力して得られた前記第二の確率分布と、の解離度に基づいて、前記第二の画像中に前記異常物体が存在することを判定する。
【００１７】
なお、前記ラベルの関係性は、前記ラベルの共起性または類似性であることを特徴としてもよい。
【００１８】
第二タイプ識別器は、異常物体を含まない画像（第一の画像）における、ある画素の周辺におけるラベルの関係性（例えば、ラベルの共起性や類似度など）を学習させた識別器である。第二タイプ識別器は、第一の確率分布を入力として、上記の学習結果を適用した第二の確率分布を出力可能に構成される。
第二タイプ識別器によって評価された第二の確率分布が、第一の確率分布から乖離しているということは、第一タイプ識別器が、異常物体を含まない画像（第一の画像）に対して出力した確率分布とは異なる傾向を持つ確率分布を出力していることを意味する。従って、第一の確率分布と第二の確率分布との解離度に基づいて、第二の画像中における異常物体の存在尤度が推定できる。
【００１９】
また、前記第二タイプ識別器は、前記第一の画像を前記第一タイプ識別器に入力して得られる前記第一の確率分布を学習データとして学習した識別器であることを特徴としてもよい。
また、前記第二タイプ識別器は、前記第一の画像を前記第一タイプ識別器に入力して得られる前記第一の確率分布を学習データとして、前記第一の画像に含まれる複数の画素の周辺における前記ラベルの類似性を学習した識別器であることを特徴としてもよい。
【００２０】
このような学習データを用いて、前述したラベルの関係性を学習させることで、第一タ
イプ識別器が第一の画像に対して出力する確率分布の傾向を学習させることができる。
【００２１】
また、前記第二タイプ識別器は、前記第一の画像に正解ラベルを付与した第一のラベル画像を学習データとして、前記第一の画像に含まれる複数の画素の周辺における前記ラベルの共起性を学習した識別器であることを特徴としてもよい。
第二タイプ識別器は、確率分布ではなく、正解ラベルが付与された画像によって学習を行わせてもよい。このような構成によっても、第一タイプ識別器が第一の画像に対して出力する確率分布の傾向を学習させることができる。
【００２２】
以下、本発明の具体的な実施形態について図面に基づいて説明する。各実施形態に記載されているハードウェア構成、モジュール構成、機能構成等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００２３】
（第一の実施形態）
第一の実施形態に関して、図面を参照して説明する。図１Ａおよび図１Ｂは、第一の実施形態に係る識別装置１０の機能構成を示すブロック図である。
本実施形態に係る識別装置１０は、入力された画像に基づいて、当該画像に含まれる路上障害物の有無を判定し、判定結果を出力する装置である。
【００２４】
識別装置１０は、複数の識別器を有しており、当該識別器を学習させる学習モードと、学習の結果に基づいて画像の評価を行う評価モードに切り替え可能に構成される。以降の説明において、識別器を学習させる処理を学習処理と称し、学習した識別器を用いて画像を評価する処理を評価処理と称する。また、学習に用いる画像を学習用画像と称し、評価に用いる画像を評価用画像と称する。学習用画像は、路上障害物が存在しない状況において車載カメラから取得した画像であり、評価用画像は、路上障害物の存在が不明である状況において車載カメラから取得した画像である。
図１Ａは、学習モードにおけるデータの流れを示した図であり、図１Ｂは、評価モードにおけるデータの流れを示した図である。
【００２５】
本実施形態に係る識別装置１０は、半導体集積回路（ＬＳＩ）を用いて実現できる。識別装置１０は、画像取得部１１、ラベル付与部１２、識別部１３、異常判定部１４を有して構成される。また、識別部１３は、第一識別器１３１および第二識別器１３２を有して構成される。これらの構成要素はソフトウェアモジュールによって実現され、識別装置１０が果たす機能にそれぞれ対応している。
【００２６】
画像取得部１１は、車両前方を撮像して得られた画像を取得する手段である。画像取得部１１は、例えば、車両の前方に向けて設置されたカメラ（車載カメラ）から画像を取得する。図２は、画像取得部１１によって取得される画像の例である。本実施形態では、ある時刻ｔにおいて取得した画像を、Ｉ（ｔ）と表現する。
【００２７】
ラベル付与部１２は、画像取得部１１が取得した画像に対してラベルを付与する手段である。
ここで、ラベルについて説明する。本実施形態では、「画像に含まれる複数の画素のそれぞれが何に対応しているか」をラベルによって表す。図３は、例示した画像にラベルを付与した例である。ラベル付与部１２は、所定の意味を持つラベル（意味的ラベルとも言う）を予めＭ種類定義し、当該ラベルｍを、対象の画像に対して画素単位で付与する。
例えば、Ｍが７である場合、ｍは以下のように定義することができる。
１：空，２：自然，３：他車両，４：建築物，５：白線，６：道路，７：自車両
本実施形態では、ラベル付与部１２は、入力された画像をユーザに提示し、当該ユーザからラベルの付与結果を取得する。以降、画像に対してラベルが付与された結果をラベル
画像と称する。図３がラベル画像の例である。以降、画像Ｉ（ｔ）に対応するラベル画像をＬ（ｔ）と表現する。
【００２８】
次に、識別部１３について説明する。識別部１３は、第一識別器１３１と第二識別器１３２を有して構成される。
【００２９】
第一識別器１３１は、本発明における第一タイプ識別器であり、画像に含まれる画素の特徴と、前述した複数のラベルとの関係性を学習する識別器である。第一識別器１３１は、複数の学習用画像（路上障害物を含まない画像。以下、正常画像とも言う）と、当該学習用画像に対してラベル（正解ラベル）を付与した結果得られる複数のラベル画像と、を用いて学習される。
【００３０】
第一識別器１３１は、画像Ｉ（ｔ）の座標（ｘ，ｙ）周辺における特徴（色，エッジ強度，テクスチャなど）の統計的分布と、当該座標における意味的ラベルｍ（ｍ＝１，…，Ｍ）との関係性を学習することで得られる。
第一識別器１３１は、評価用画像を入力すると、当該画像Ｉ（ｔ）の座標（ｘ，ｙ）における意味的ラベルの確率分布を出力する。図４は、第一識別器１３１が出力するデータを説明する図である。図４は、画像Ｉ（ｔ）の、座標（ｘ，ｙ）における意味的ラベルの確率分布Ｐ1,ｍを表している。本例では、座標（ｘ，ｙ）にある画素について、意味的ラベルが１、すなわち、空である可能性が最も高いことを表している。
第一識別器１３１は、ディープラーニングといった既知の学習手法を用いて学習させることができる。
【００３１】
なお、第一識別器１３１が出力した確率分布のうち、最も確率が高いラベルを各座標について選択することで、評価用画像に対応するラベル画像を得ることもできる。
【００３２】
第二識別器１３２は、本発明における第二タイプ識別器であり、正常画像中におけるラベルの共起性を学習する識別器である。第二識別器１３２は、複数のラベル画像を用いて学習される。
【００３３】
第二識別器１３２は、ラベル画像Ｌ（ｔ）の座標（ｘ，ｙ）における意味的ラベルｍ（ｍ＝１，…，Ｍ）と、当該座標の周辺における意味的ラベルｍの統計的分布との関係性（すなわち共起性）を学習することで得られる。
第二識別器１３２は、確率分布を入力すると、当該確率分布をラベル画像Ｌ（ｔ）に変換し、学習したラベルの共起性に基づいて、当該画像Ｌ（ｔ）の座標（ｘ，ｙ）における意味的ラベルの確率分布を出力する。図５は、第二識別器１３２が出力するデータを説明する図である。図５は、ラベル画像Ｌ（ｔ）の、座標（ｘ，ｙ）における意味的ラベルの確率分布Ｐ2,ｍを表している。本例では、座標（ｘ，ｙ）にある画素について、周辺の画素との共起性（例えば、「"空"のラベルが付与された画素に囲まれた画素は"空"である可能性が高い」，「"空"のラベルが付与された画素の近傍にある画素は"空"か"自然"である可能性が高い」等）に基づいて、空である可能性が最も高いことを表している。
第二識別器１３２は、例えば、ランダムフォレストといった既知の学習手法を用いて学習させることができる。具体的な学習方法については後述する。
【００３４】
第一識別器１３１が、画素の特徴を学習した結果によってラベルの確率分布を生成するのに対し、第二識別器１３２は、ある座標の周辺にある複数のラベルの共起性を学習した結果によってラベルの確率分布を生成する。
第二識別器１３２を学習させることで、確率分布を入力すると、当該確率分布をラベル画像に変換し、当該ラベル画像に含まれる画素のそれぞれについて、図５のような意味的ラベルの確率分布を出力する識別器を得ることができる。
【００３５】
異常判定部１４は、第一識別器１３１が出力した確率分布と、第二識別器が出力した確率分布との解離度を算出し、当該解離度に基づいて、評価用画像に路上障害物が含まれている度合い（異常度）を算出する手段である。
異常判定部１４は、入力された評価用画像Ｉ（ｔ）の任意の点ｐ（ｘ，ｙ）における障害物らしさを示す尤度Ｓ（ｘ，ｙ）を算出し、算出結果に基づいて、評価用画像Ｉ（ｔ）に含まれる路上障害物を検出する。具体的な処理内容については後述する。
【００３６】
次に、第二識別器１３２が、ラベル画像に含まれる複数のラベルの共起性を学習させる処理について、ランダムフォレストを例示して詳細に説明する。
ランダムフォレストとは、図６のような、決定木を弱識別器とする集団学習アルゴリズムの一種であり、複数のノードｒ（１，…，Ｒ）と、ノード間を接続するリンクとから構成される。最上位層にあるノードをルートノード、最下位層にあるノードをリーフノード、それ以外を単にノードと呼ぶ。
【００３７】
各ノードには学習により、ノード内のサンプル（意味的ラベル画像Ｌ（ｔ）から無作為に抽出した画素ｐ（ｘ，ｙ））を左右のノードに振り分けるための判定条件Φr(ｒ＝１，…，Ｒ）と、識別対象のカテゴリｍに対する確率分布Ｐ2,ｍ（ｒ）（ｒ＝１，…，Ｒ，ｍ＝１，…，Ｍ）とが格納される。
なお、識別対象のカテゴリｍは、前述したように、所定の範囲内（例えば、１，…，Ｍ（Ｍ＝７））で事前に設定すればよい。
【００３８】
ランダムフォレストの学習に必要な判定条件の候補φc（ｃ＝１，…，Ｃ）は、座標（
ｘ，ｙ）を始点とする２つのオフセットベクトル（ｒa，ｒb）を無作為に設定し、当該ベクトルの終点（ａ，ｂ）における意味的ラベル（ｍａ，ｍｂ）（∈１，…，Ｍ）の共起性に基づいて定義すればよい。
【００３９】
具体的な例を挙げて説明する。
例えば、図７（Ａ）に示したように、座標ｐ（ｘ，ｙ）において、判定条件（ｒa，ｒb，１，２）を設定したとする。この場合、オフセットベクトルｒaにおける意味的ラベル
が“空”（ｍ＝１）で、かつ、オフセットベクトルｒbにおける意味的ラベルが“自然”
（ｍ＝２）であることが成立するため、右側のノードに遷移する。
一方、座標ｐ（ｘ，ｙ）において判定条件（ｒa，ｒb，１，１）を設定した場合、オフセットベクトルｒaにおける意味的ラベルが“空”（ｍ＝１）で、かつ、オフセットベク
トルｒbにおける意味的ラベルが“空”（ｍ＝１）であることが成立しないため、左側の
ノードに遷移する。
【００４０】
同様に、図７（Ｂ）に示したように、座標ｐ（ｘ，ｙ）において、判定条件（ｒa，ｒb，２，２）を設定したとする。この場合、オフセットベクトルｒaにおける意味的ラベル
が“自然”（ｍ＝２）で、かつ、オフセットベクトルｒbにおける意味的ラベルが“自然
”（ｍ＝２）であることが成立するため、右側のノードに遷移する。
一方、座標ｐ（ｘ，ｙ）において判定条件（ｒa，ｒb，１，２）を設定した場合、オフセットベクトルｒaにおける意味的ラベルが“空”（ｍ＝１）で、かつ、オフセットベク
トルｒbにおける意味的ラベルが“自然”（ｍ＝２）であることが成立しないため、左側
のノードに遷移する。
【００４１】
このように、判定条件の候補φc（ｃ＝１，…，Ｃ）が得られたら、後は公知の手順に
従って学習をすればよい。ここでいう学習とは、各ノードｒ（１，…，Ｒ）に適切な判定条件Φr（ｒ＝１，…，Ｒ）と、識別対象カテゴリｍ（＝１，…，Ｍ）に対する確率分布
Ｐ2,ｍ（ｒ）（ｒ＝１，…，Ｒ，ｍ＝１，…，Ｍ）を設定することをいう。
具体的には、ｒ番目のノードにおける判定条件Φr（ｒ∈１，…，Ｒ）は、判定条件の
候補φc（ｃ＝１，…，Ｃ）のうち、式（１）で定義される信頼度Ｇ（φ）を最大にする
ものを設定すればよい。
【数１】
2020087037.tif 000003
【００４２】
ここで、Ｑl（φ）は、判定条件φで左側のノードに遷移するｐ（ｘ，ｙ）の個数、Ｑr（φ）は、判定条件φで右側のノードに遷移するｐ（ｘ，ｙ）の個数、Ｈ（Ｑ（φ））は、所定ノードにおける識別対象カテゴリに対するエントロピーを表す。また、Ｈ（Ｑl（
φ））は、判定条件φで左側のノードに遷移したサンプルの識別対象カテゴリに対するエントロピーを表す。また、Ｈ（Ｑr（φ））は、判定条件φで右側のノードに遷移したサ
ンプルの識別対象カテゴリに対するエントロピーを表す。
最終的に、ランダムフォレストの各ノードｒ（１，…，Ｒ）における判定条件Φr（ｒ
＝１，…，Ｒ）と、識別対象カテゴリｍに対する確率分布Ｐ2,ｍ（ｒ）が得られる。
【００４３】
第二識別器１３２は、路上障害物が含まれない画像におけるラベルの共起性を学習することで、「正常画像を入力した第一識別器１３１が出力する確率分布の傾向」を学習する識別器であると言える。
【００４４】
次に、第一の実施形態に係る識別装置１０が行う学習処理について説明する。
図８は、複数の画像を用いて第一識別器１３１および第二識別器１３２を学習させる処理の流れを示すフローチャートである。学習は、一枚以上の学習用画像を用いて行われる。学習用画像は、路上障害物を含まない画像である。図８に示した処理は、複数の学習用画像のそれぞれについて繰り返し実行される。複数の学習用画像は、例えば、複数のタイムステップにおいて取得された画像Ｉ（ｔ）とすることができる。
【００４５】
まず、ステップＳ１１で、画像取得部１１が、学習用画像Ｉ（ｔ）を取得する。
次に、ステップＳ１２で、ラベル付与部１２が、学習用画像Ｉ（ｔ）に対応するラベル画像Ｌ（ｔ）を取得する。前述したように、ラベル画像は、装置のユーザが手動で生成してもよい。取得されたラベル画像Ｌ（ｔ）は、第一識別器１３１および第二識別器１３２に出力される。
次に、ステップＳ１３で、第一識別器１３１が、取得した学習用画像Ｉ（ｔ）およびラベル画像Ｌ（ｔ）に基づいて、前述した方法によって学習を行う。
次に、ステップＳ１４で、第二識別器１３２が、取得したラベル画像Ｌ（ｔ）に基づいて、前述した方法によって学習を行う。
【００４６】
次に、学習済みの識別部１３を用いて、路上障害物の有無を判定する方法について説明する。
図９は、学習済みの識別部１３を用いて、評価用画像を評価し、路上障害物の存在を判定する処理の流れを示すフローチャートである。評価用画像は、路上障害物の存在が不明な画像である。評価用画像は、例えば、車両に搭載されたカメラからリアルタイムで供給されてもよい。
【００４７】
まず、ステップＳ２１で、画像取得部１１が、評価用画像Ｉ’（ｔ）を取得する。
次に、ステップＳ２２で、第一識別器１３１が、入力された評価用画像Ｉ’（ｔ）に基づいて、確率分布Ｐ1,ｍを生成する。
【００４８】
第一識別器１３１が生成した確率分布Ｐ1,ｍは、異常判定部１４および第二識別器１３
２へ出力される。
ステップＳ２３では、まず、第二識別器１３２が、確率分布Ｐ1,ｍからラベル画像Ｌ’（ｔ）を生成する。ラベル画像Ｌ’（ｔ）中の任意の座標におけるラベルｍ’は、確率Ｐ1,ｍにおける尤度が最大となるラベルである。すなわち、式（２）によって算出することができる。
【数２】
2020087037.tif 000004
【００４９】
次に、第二識別器１３２が、生成したラベル画像Ｌ’（ｔ）に基づいてラベルの確率分布Ｐ2,ｍを生成する。第二識別器１３２が生成した確率分布Ｐ2,ｍは、異常判定部１４へ出力される。
【００５０】
次に、ステップＳ２４で、異常判定部１４が、ステップＳ２２で得られた確率分布Ｐ1,ｍと、ステップＳ２３で得られた確率分布Ｐ2,ｍに基づいて、第一の尤度Ｓ1を算出する
。第一の尤度Ｓ1は、式（３）のように、差の二乗和によって求めることができる。
【数３】
2020087037.tif 000005
【００５１】
第一の尤度Ｓ1（ｘ，ｙ）は、評価用画像Ｉ’（ｔ）中の座標（ｘ，ｙ）における、第
一識別器１３１と第二識別器１３２の識別結果の解離度を示す。第一識別器１３１が出力した確率分布と、第二識別器１３２が出力した確率分布が乖離しているこということは、画素の特徴に基づいて識別を行った結果と、当該結果にラベルの共起性を加味した結果とが異なることを意味する。
正常画像におけるラベルの共起性を加味した識別結果が、元の識別結果から乖離していることは、第一識別器１３１が出力した確率分布が、正常画像を入力した場合に得られる確率分布とは異なる傾向を有していることを意味する。従って、第一の尤度Ｓ1の大きさ
に基づいて、評価用画像中に未知の物体が存在する尤度を推定することができる。
【００５２】
このようにして得られた結果は、路上障害物の検出結果を活用するシステム、たとえば、車両運転支援システム内のプログラム等に伝達される。
【００５３】
路上障害物の検出結果を活用するシステムでは、例えば、第一の尤度Ｓ1が所定の閾値
よりも大きい領域を特定し、評価用画像と重畳させることで、路上障害物を明示することができる。所定の閾値は、例えば、第一の尤度Ｓ1におけるクラス内分散を最小化し、ク
ラス間分散を最大化する値に設定してもよい（判別分析法）。
【００５４】
かかる構成によると、図１０（Ａ）に示したように、路上障害物の存在が疑われる領域（白色領域）と、それ以外の領域（黒色領域）を分割できるようになる。また、この結果を用いることで、図１０（Ｂ）に示したように、路上障害物の候補領域を強調する画像処理を行うことができる。
さらに、路上障害物として検出した領域をネットワーク経由で他の装置（例えば、サーバ装置や後方車両）に伝達し、注意喚起をしてもよい。
【００５５】
（第二の実施形態）
第一の実施形態では、画素の特徴を学習した第一識別器と、対象座標の周辺におけるラベルの共起性を学習した第二識別器を併用して路上障害物の判定を行った。これに対し、第二の実施形態は、対象座標の周辺における特徴ベクトルの類似度を学習した第三識別器（本発明における第二タイプ識別器）をさらに併用して路上障害物の判定を行う実施形態
である。
【００５６】
図１１Ａおよび図１１Ｂは、第二の実施形態に係る識別装置１０の機能構成を示すブロック図である。図１１Ａは、学習モードにおけるデータの流れを示した図であり、図１１Ｂは、評価モードにおけるデータの流れを示した図である。
【００５７】
第一の実施形態では、第二識別器１３２が、正常画像に対して正解ラベルを付与して得られるラベル画像に基づいて、正常画像における意味的ラベルの共起性を学習した。これに対し、第三識別器１３３は、正常画像を第一識別器１３１に入力して得られる確率分布に基づいて、正常画像における意味的ラベルの類似度を学習する。
【００５８】
第三識別器１３３は、座標（ｘ，ｙ）周辺における確率分布Ｐ1,mの統計的分布と、当
該座標における意味的ラベルｍとの関係性を学習することで得られる。すなわち、第三識別器１３３は、「正常画像を第一識別器１３１に入力した場合において、ある座標の周辺においてどのような意味的ラベルが出現しやすいか」を学習する識別器であると言える。換言すると、第三識別器１３３は、正常画像を入力した第一識別器１３１が出力する確率分布の傾向を学習する識別器であると言える。
【００５９】
第三識別器１３３は、第二識別器１３２と同様に、ランダムフォレストを用いて学習させることができる。
【００６０】
図１２を参照しながら説明する。
ランダムフォレストの学習に必要な判定条件の候補φc（ｃ＝１，…，Ｃ）は、座標（
ｘ，ｙ）を始点とする２つのオフセットベクトル（ｒa，ｒb）を無作為に設定し、当該ベクトルの終点（ａ，ｂ）における確率分布（Ｐ1,m（ａ），Ｐ1,m（ｂ））に基づいて、確率分布ベクトルｖaおよびｖbを算出し、ｖaおよびｖbのなす角度θに基づいて設定する。
ここで、ｖa＝（Ｐ1，1（ａ），…，Ｐ1，M（ａ））とし、ｖb＝（Ｐ1，1（ｂ），…，Ｐ1，M（ｂ））とする。また、角度θの閾値をτとする。
【００６１】
ここで、判定条件（ｒa，ｒb，τ）を設定したとする。
図１２（Ａ）に示したように、点ａにおける確率分布ベクトルｖaと、点ｂにおける確
率分布ベクトルｖbとのなす角度θ＞τが成立する場合、右側のノードに遷移する。
一方、図１２（Ｂ）に示したように、点ｂにおける確率分布ベクトルｖaと、点ｂにお
ける確率分布ベクトルｖbとのなす角度θ＞τが成立しない場合、左側のノードに遷移す
る。
なお、確率分布ベクトルｖaと、確率分布ベクトルｖbとのなす角度θは、式（４）によって算出できる。
【数４】
2020087037.tif 000006
【００６２】
ここで、θが０に近い場合、点ａにおける確率分布ベクトルと、点ｂにおける確率分布ベクトルとの間に類似性があることが推定される。一方、θがπ／２に近い場合、点ａにおける確率分布ベクトルと、点ｂにおける確率分布ベクトルとの間に類似性がないことが推定される。すなわち、適切な閾値τを設定することにより、点ａにおける確率分布ベクトルと、点ｂにおける確率分布ベクトルとの間の類似性を判定することができる。
【００６３】
第三識別器１３３を学習させることで、第一識別器１３１が出力した確率分布Ｐ1,mを
入力すると、画像に含まれる画素のそれぞれについて、意味的ラベルの確率分布Ｐ3,mを
出力する識別器を得ることができる。
【００６４】
図１３は、第二の実施形態において、複数の画像を用いて第一識別器１３１，第二識別器１３２，第三識別器１３３を学習させる処理の流れを示すフローチャートである。なお、第一の実施形態と同様の処理については、点線で図示し、説明を省略する。
【００６５】
第二の実施形態では、ステップＳ１４が完了した後で、第一識別器１３１に再度学習用画像を入力し、評価を行う。この結果得られた確率分布Ｐ1,mを、第三識別器１３３に入
力し、前述した方法によって学習を行う。
【００６６】
図１４は、学習済みの識別部１３を用いて、評価用画像を評価し、路上障害物の存在を判定する処理の流れを示すフローチャートである。
第二の実施形態では、ステップＳ２３が完了した後で、第一識別器１３１によって生成された確率分布Ｐ1,mを第三識別器１３３に入力し、確率分布Ｐ3,mを得る（ステップＳ２３Ａ）。
【００６７】
第一の実施形態では、ステップＳ２４で、確率分布Ｐ1,mと確率分布Ｐ2,mの解離度に基づいて、第一の尤度Ｓ1を算出した。
これに対し、第二の実施形態では、確率分布Ｐ1,mと確率分布Ｐ2,mの解離度に基づいて、第一の尤度Ｓ1を算出し、かつ、確率分布Ｐ1,mと確率分布Ｐ3,mの解離度に基づいて、
第二の尤度Ｓ2を算出する。また、第一の尤度Ｓ1と第二の尤度Ｓ2を統合し、最終的な尤
度（統合尤度Ｓ）を算出する（ステップＳ２４Ａ）。
第二の尤度Ｓ2は、式（５）のように、差の二乗和によって求めることができる。
【数５】
2020087037.tif 000007
【００６８】
第二の実施形態では、異常判定部１４が、第一の尤度Ｓ1と第二の尤度Ｓ2に基づいて、評価用画像Ｉ’（ｔ）の座標（ｘ，ｙ）における統合尤度Ｓ（ｘ，ｙ）を算出する。統合尤度Ｓは、例えば、式（６）のように、第一の尤度Ｓ1と第二の尤度Ｓ2の和であってもよいし、式（７）のように、第一の尤度Ｓ1と第二の尤度Ｓ2の積であってもよい。
Ｓ（ｘ，ｙ）＝Ｓ1（ｘ，ｙ）＋Ｓ2（ｘ，ｙ）  ・・・式（６）
Ｓ（ｘ，ｙ）＝Ｓ1（ｘ，ｙ）・Ｓ2（ｘ，ｙ）  ・・・式（７）
【００６９】
（有利な効果）
第二識別器１３２および第三識別器１３３は、共に、「正常画像（路上障害物を含まない画像）を第一識別器１３１に入力して得られる確率分布の傾向」を学習する識別器であると言える。このような識別器に、第一識別器１３１が出力した確率分布を入力し、得られた確率分布を、元の確率分布と比較することで、「第一識別器が、学習時の傾向から外れたものを出力している」ことを検知することができる。すなわち、第一識別器のみでは路上障害物を正しく検知できない場合であっても、「未知の物体に起因して、第一識別器が誤判定を起こしている」ことを推定することができる。
また、路上障害物に対する尤度を画素ごとに算出できるため、路上障害物の存在が疑われる領域をユーザに明示することができる。
【００７０】
（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、第二の実施形態では、第一識別器１３１と第二識別器１３２、第三識別器１３３を併用したが、第一識別器１３１と第三識別器１３３のみを利用してもよい。この場合
、第二の尤度Ｓ2のみを用いて異常判定を行うようにしてもよい。
【００７１】
本発明は、前述した手段の少なくとも一部を備える識別装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を実行する識別方法として捉えることもできる。
【００７２】
本発明における識別装置１０は、半導体集積回路（ＬＳＩ）による実装に限定されず、汎用的なマイクロプロセッサやメモリを有するコンピュータがプログラムを実行することによって実現されても構わない。
【００７３】
また、実施形態の説明では、路上障害物を検出する構成を挙げたが、正常画像中に存在しない物体を検出するものであれば、路上障害物以外を対象としてもよい。例えば、画像に何らかの異常物体が含まれていることを検知する識別装置として発明を実施することもできる。
【００７４】
また、実施形態の説明では、同一の装置が学習処理と評価処理の双方を行ったが、学習処理を行う装置と、評価処理を行う装置が分かれていてもよい。さらに、識別装置１０から、学習処理に関連した手段を省いてもよい。例えば、例示した識別装置１０から、学習に関する手段を省略し、評価処理のみを行う装置（識別装置）として実施してもよい。
この場合、学習済みの識別部１３（または、識別部１３が有する識別器）を装置から論理的に切り離し、別の装置に組み込み可能に構成してもよい。例えば、実施形態に係る識別装置１０によって学習された識別部１３を、評価処理のみを行う装置に組み込めるようにしてもよい。
また、反対に、学習処理のみを行う装置として発明を実施してもよい。
【符号の説明】
【００７５】
１０・・・識別装置
１１・・・画像取得部
１２・・・ラベル付与部
１３・・・識別部
１３１・・・第一識別器
１３２・・・第二識別器
１４・・・異常判定部
【図１Ａ】
2020087037.tif 000008
【図１Ｂ】
2020087037.tif 000009
【図２】
2020087037.tif 000010
【図３】
2020087037.tif 000011
【図４】
2020087037.tif 000012
【図５】
2020087037.tif 000013
【図６】
2020087037.tif 000014
【図７】
2020087037.tif 000015
【図８】
2020087037.tif 000016
【図９】
2020087037.tif 000017
【図１０】
2020087037.tif 000018
【図１１Ａ】
2020087037.tif 000019
【図１１Ｂ】
2020087037.tif 000020
【図１２】
2020087037.tif 000021
【図１３】
2020087037.tif 000022
【図１４】
2020087037.tif 000023