(57)【要約】【課題】ディープニューラルネットワークを用いた物体認識における精度の向上。【解決手段】Ｓ２００の初期推定において出力されるシーン識別用中間データと、絞り込み用中間データとを用い、Ｓ５００で初期推定値を訂正する。Ｓ５００の訂正処理は、訂正候補としてのラベルを、Ｓ６００のパッチレベルの絞り込みと、Ｓ７００の画素レベルでの絞り込みとを利用して実行される。訂正処理の対象となる領域は、エラー領域として特定され、Ｓ５００の訂正処理に利用される。【選択図】図２
2018073308.tif 000002
【特許請求の範囲】
【請求項１】
認識対象の画像から取得された画素毎の情報を入力データとして、複数の中間層を含むディープニューラルネットワーク（１３）に入力することによって、前記画素毎にラベル付けをし、初期認識値を取得する初期認識部（Ｓ２００）と、
前記初期認識値を対象に、前記複数の中間層の少なくとも１層から出力される中間データに基づく訂正を実行する訂正部（Ｓ５００）と、
を備える認識装置。
【請求項２】
前記認識対象の画像が属するシーンを、前記中間データの少なくとも一部であるシーン識別用中間データに基づき識別するシーン識別部（Ｓ３００）を更に備え、
前記訂正部は、前記訂正を、前記識別されたシーンに基づき実行する訂正実行部（Ｓ７４０）を備える
請求項１に記載の認識装置。
【請求項３】
前記シーン識別用中間データは、少なくとも１回のプーリング処理が施されたデータである
請求項２に記載の認識装置。
【請求項４】
前記シーン識別部は、前記シーンの識別を、前記シーン識別用中間データと、教師あり学習によって学習済みのデータとの比較に基づき実行する
請求項２から請求項３までの何れか一項に記載の認識装置。
【請求項５】
前記訂正部は、前記中間データの少なくとも一部である絞り込み用中間データから、前記入力データに含まれるパラメータに対応する特徴量である情報特徴量を取得する情報特徴量取得部（Ｓ７３０）を更に備え、
前記訂正実行部は、前記訂正を、前記取得された情報特徴量と、前記識別されたシーンを真値とした教師あり学習によって学習済みの情報特徴量との比較に基づき実行する
請求項２から請求項４までの何れか一項に記載の認識装置。
【請求項６】
前記絞り込み用中間データは、前記入力データに少なくとも１回の畳み込み処理が施されたデータである
請求項５に記載の認識装置。
【請求項７】
前記絞り込み用中間データは、前記入力データに対して、プーリング処理が施されていないデータである
請求項５又は請求項６に記載の認識装置。
【請求項８】
前記訂正部は、前記初期認識値における前記ラベル同士の相対的な位置関係に関する位置関係特徴量を算出する算出部（Ｓ６３０）を更に備え、
前記訂正実行部は、前記訂正を、前記取得された位置関係特徴量と、前記識別されたシーンを真値とした教師あり学習によって学習済みの位置関係特徴量との比較に基づき実行する
請求項２から請求項７までの何れか一項に記載の認識装置。
【請求項９】
前記算出部は、前記位置関係特徴量の算出を、前記初期認識値に含まれるラベル付き画素を第１の大きさで集合させて構成される複数のパッチと、前記初期認識値に含まれるラベル付き画素を前記第１の大きさよりも大きい第２の大きさで集合させて構成される複数のレセプタとを用意し、前記複数のパッチそれぞれに含まれるラベルと、前記複数のレセプタそれぞれに含まれるラベルとの関係を導出することによって実現する
請求項８に記載の認識装置。
【請求項１０】
前記訂正実行部は、前記訂正を、前記情報特徴量および前記位置関係特徴量を用いて訂正候補となるラベルを絞り込むことによって実行する
請求項５、請求項６又は請求項７に従属する請求項８又は請求項９に記載の認識装置。
【請求項１１】
前記初期認識値としてのラベルの信頼性が閾値未満である画素による閉領域であるエラー領域を特定する特定部（Ｓ４００）を更に備え、
前記訂正部は、前記訂正を、前記初期認識値として前記特定されたエラー領域に含まれる画素に付されたラベルの少なくとも一部を対象に実行する
請求項１から請求項１０までの何れか一項に記載の認識装置。
【請求項１２】
前記算出部は、前記特定されたエラー領域を含む前記パッチを対象に、前記位置関係特徴量を算出する
請求項９に従属する請求項１１に記載の認識装置。
【請求項１３】
前記訂正実行部は、前記エラー領域それぞれの代表となる画素についての前記訂正を、前記エラー領域それぞれについての前記訂正に適用する
請求項５から請求項７までの何れか一項に従属する請求項１１に記載の認識装置。
【請求項１４】
前記訂正実行部は、前記エラー領域それぞれの重心となる画素を、前記代表となる画素として取得する重心画素取得部（Ｓ７１０）を更に備える
請求項１３に記載の認識装置。
【請求項１５】
認識対象の画像から取得された画素毎の情報を入力データとして、複数の中間層を含むディープニューラルネットワーク（１３）に入力することによって、前記画素毎にラベル付けをし、初期認識値を取得し、
前記初期認識値を対象に、前記複数の中間層の少なくとも１層から出力される中間データに基づき訂正する
ことを認識装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、物体の認識に関する。
【背景技術】
【０００２】
特許文献１は、道路地形情報を検出するための手法として、次の内容を開示している。ベースポイントと称する選択された位置についての、高水準の空間特徴生成を行う。このベースポイントについての空間特徴生成は、環境の視覚的及び物理的特徴物を捉えた価値連続な信頼度表現に基づいて行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０７３６２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術は、精度が不十分であるのが実情である。特に物体間の境界において誤認識が発生しやすい。このような課題は、道路地形の検出に限られない。本開示は、上記を踏まえ、道路地形その他の物体の認識を高精度に実施することを解決課題とする。
【課題を解決するための手段】
【０００５】
本開示の一形態は、認識対象の画像から取得された画素毎の情報を入力データとして、複数の中間層を含むディープニューラルネットワーク（１３）に入力することによって、前記画素毎にラベル付けをし、初期認識値を取得する初期認識部（Ｓ２００）と、前記初期認識値を対象に、前記複数の中間層の少なくとも１層から出力される中間データに基づく訂正を実行する訂正部（Ｓ５００）と、を備える認識装置である。
【０００６】
この形態によれば、初期認識部によって付与されたラベルを、初期認識における中間データを利用して訂正するので、高精度にラベル付けができ、ひいては物体の認識精度が向上する。
【図面の簡単な説明】
【０００７】
【図１】認識装置を搭載した自動車の機能ブロック図。
【図２】認識装置を示すフローチャート。
【図３】ディープニューラルネットワークによるラベル付けの様子を示す図。
【図４】初期認識値と画像とを重ねた図。
【図５】シーン識別器の学習の様子を示す図。
【図６】シーンの一例を示す図。
【図７】エラー領域とパッチとの関係を示す図。
【図８】パッチを用いたラベルの絞り込みを示すフローチャート。
【図９】位置関係特徴量および外見−距離特徴量の学習の様子を示す図。
【図１０】パッチとレセプタとの空間関係を示す図。
【図１１】画素を用いたら部の絞り込みを示すフローチャート。
【図１２】外見−距離特徴量の生成の様子を示す図。
【図１３】初期認識値による認識結果の一例を示す図。
【図１４】最終認識値による認識結果の一例を示す図。
【発明を実施するための形態】
【０００８】
図１に示すように、認識装置１０は、自動車１に搭載される。認識装置１０は、カメラ２１と、カメラ２２とからそれぞれ、撮像データとして、各画素のＲＧＢ値を取得する。認識装置１０は、この撮像データによって表される画像を、図２に示す認識処理によって認識し、認識結果を制御部２５に入力する。制御部２５は、入力された認識結果に基づき、自動車１の動作を制御する。
【０００９】
カメラ２１，２２は、自動車１の前方が撮像範囲内となるように搭載されている。カメラ２１，２２は、ステレオカメラを構成している。
【００１０】
認識装置１０は、ＣＰＵ１１と、ＲＯＭ、ＲＡＭ等のメモリ１２とを備えた周知のコンピュータとして構成されている。認識装置１０は、ＣＰＵ１１とメモリ１２とを用いて、メモリに格納されたプログラムを実行することによって認識処理を実行する。
【００１１】
認識装置１０は、自動車が走行可能である間、繰り返し、認識処理を実行する。認識処理は、画素毎にラベル付けを実行するセマンティック・セグメンテーションを実現するための処理である。
【００１２】
認識装置１０は、認識処理を開始すると、Ｓ１００として、入力データを生成する。入力データとは、各画素の色相と彩度と距離とをパラメータとするデータである。認識装置１０は、カメラ２１及びカメラ２２から入力される撮像データから、入力データを生成する。入力データの生成には、既知の手法が用いられる。
【００１３】
次に、認識装置１０は、Ｓ２００として、初期認識を実行することによって、初期認識値を得る。初期認識は、図３に示されるディープニューラルネットワーク（以下、ＤＮ）１３に、入力データを入力することによって、取得される。ＤＮ１３は、メモリ１２に予め記憶されている。
【００１４】
ＤＮ１３は、複数の中間層を含む。具体的には、ＤＮ１３は、畳み込みニューラルネットワークと、逆畳み込みニューラルネットワークとを含む。ＤＮ１３に入力された入力データは、畳み込み層によって、画素数２２４×２２４の中間データＣ１に変換される。
【００１５】
中間データＣ１は、プーリング層によって、画素数１１２×１１２の中間データＰ２に変換される。本実施形態では、ＭＡＸプーリングを用いる。このように、畳み込み層とプーリング層とによる出力が交互に繰り返され、画素数１×１の全結合層ＦＣに至る。なお、或るプーリング層と、次のプーリング層とに挟まれる畳み込み層の数は、２以上でもよい。
【００１６】
全結合層ＦＣは、逆畳み込み層によって画素数７×７の中間データＤＣ−ＦＣに変換される。中間データＤＣ−ＦＣは、アンプーリング層によって画素数１４×１４の中間データＵＰ１に変換される。このように、逆畳み込み層とアンプーリング層とによる出力が交互に繰り返され、画素数２２４×２２４の中間データＤＣ５が出力されると、初期認識値を得る。図４には、初期認識値と、撮像画像とを重ね合わせた様子が示されている。
【００１７】
初期認識値は、２２４×２２４の画素それぞれに対して、ラベルが付与されたデータである。本実施形態におけるラベルは、ラベルＫ１が道路、ラベルＫ２が障害物、ラベルＫ３が空、ラベルＫ４が天井を意味するである。天井は、トンネル等における天井のことである。
【００１８】
ＤＮ１３は、多数の学習用入力データとラベルの真値との組み合わせによる教師あり学習によって学習済みであり、各中間層が微調整されている。ＤＮ１３に入力データを入力すると、各画素について、各ラベルの信頼値が出力される。初期認識は、各画素について、信頼値が最も高いラベルを採用することで実現される。
【００１９】
認識装置１０は、初期認識の後、Ｓ３００におけるシーンの識別と、Ｓ４００におけるエラー領域の特定とを実行する。
【００２０】
シーンの識別は、シーン識別器３１０にシーン識別用中間データを入力することによって実現される。本実施形態におけるシーン識別用中間データは、中間データＰ５である。
【００２１】
シーン識別器３１０は、ランダムフォレストを用いている。シーン識別器３１０は、図５に示す教師あり学習によって学習済みである。
【００２２】
例えば、図６に示す画像から生成される中間データＰ５ａを入力とする。そして、図６に示すシーンの真値を「２車線であり、２本の白い実線によって外側の境界が画定されており、１本の破線によって車線が区分されている」を示すシーンの真値をシーンａと学習させる。そして、シーンａ及び他の種々のシーン（例えば、高速道路、トンネルなど）それぞれについて、多数のデータを用意し、教師あり学習をさせておく。
【００２３】
次に、エラー領域について説明する。エラー領域とは、初期認識値の信頼性が低い領域のことである。エラー領域の特定には、初期認識として出力された信頼値を用いる。具体的には、信頼値が突出して高いラベルが無い場合は、エラー領域に含まれる画素であると特定する。
【００２４】
本実施形態においては、各画素についての信頼値を規格化して合計値を１００％とした場合に、何れの信頼値も閾値（例えば８０％）未満である領域は、エラー領域であると特定される。
【００２５】
例えば、或る画素に付された道路の信頼値が９９％であれば、その画素はエラー領域には含まれないと判断される。一方、道路の信頼値が４０％、障害物の信頼値が４０％、空の信頼値が１０％、天井の信頼値が１０％であれば、エラー領域に含まれると判断される。図７に示す例の場合、エラー領域Ｅ１，Ｅ２，Ｅ３，Ｅ４が特定されている。エラー領域Ｅ１，Ｅ２，Ｅ３，Ｅ４それぞれは、閉領域を形成するように特定されている。
【００２６】
最後に、初期認識値と、エラー領域の情報と、識別されたシーン（以下、識別シーン）と、絞り込み用中間データとを用いて訂正処理を実行することによって最終認識値を得る。本実施形態における絞り込み用中間データは、図３に示すように、中間データＣ１である。
【００２７】
訂正処理では、Ｓ６００としてのパッチレベルの絞り込みと、Ｓ７００としての画素レベルでの絞り込みとを、実施する。
【００２８】
本実施形態におけるパッチとは、図７に示すように、４×４に予め区分された各々の領域を意味する。このため、各パッチは、５６×５６の画素を有する。各パッチは、予め、通し番号が定められている。例えば、最も左上のパッチは、パッチｐ１であり、パッチｐ１の右隣がパッチｐ２、パッチｐ１の直下はパッチｐ５である。
【００２９】
図２及び図８に示すように、パッチレベルの絞り込みには、初期認識値と、エラー領域の情報と、識別シーンとを用いる。
【００３０】
具体的には、認識装置１０は、まずＳ６１０として、エラー領域を含むパッチを特定する。図７に示す例の場合、エラー領域Ｅ１がパッチｐ１０に含まれている。さらに、エラー領域Ｅ２がパッチｐ６に、エラー領域Ｅ３がパッチｐ１１に、エラー領域Ｅ４がパッチｐ１２に含まれている。このため、パッチｐ６，ｐ１０，ｐ１１，ｐ１２が特定される。
【００３１】
次に、認識装置１０は、Ｓ６２０として、特定したパッチそれぞれについて、識別シーンに基づき、学習済みの位置関係特徴量を読み出す。
【００３２】
ここで位置関係特徴量、及びその学習について説明する。本実施形態における位置関係特徴量は、シーンに依存する特徴量であり、且つ、ラベル同士の相対的な位置関係に関する特徴量である。位置関係特徴量は、図９に示されるように、シーン毎に、教師あり学習によって学習される。
【００３３】
学習に際しては、教師あり学習における真値としてのセットを多数、与える。各セットは、シーンの真値と、そのシーンに属する入力データの各画素（２２４×２２４）に付した真値としてのラベルから構成される。
【００３４】
或る１つのセットに含まれるシーンの真値をシーンｓとし、そのセットに含まれる真値としてのラベルの空間配置をラベル配置Ｇとして、以下、このセットの学習を例にとって説明する。位置関係特徴量の学習は、シーンｓに、ラベル配置Ｇの位置関係特徴量を対応付けることによって実現される。
【００３５】
ラベル配置Ｇの位置関係特徴量の計算は、まず図１０に示すように、先述したパッチに分割されたラベル配置Ｐと、４個のレセプタに分割されたラベル配置Ｑとを生成する。このため、各レセプタは、１１２×１１２の画素を有する。ラベル配置Ｑに含まれるレセプタには、ｑ１〜ｑ４の通し番号が付けられている。ラベル配置Ｑに含まれるレセプタの数は、ラベル配置Ｐに含まれるパッチの数よりも少ない。
【００３６】
位置関係特徴量ｇは、パッチのｐ１〜ｐ１６それぞれについて計算される。具体的には、下記の式によって算出される。
gpns=[ωpnK1,ωpnK2,ωpnK3,ωpnK4]・・・（１）
上の式のｓは、シーンｓの位置関係特徴量ｇであることを示す。ｐｎは、ｐ１〜ｐ１６の何れか１つであることを示す。Ｋ１〜Ｋ４は、ラベルを示す。以下では、Ｋ１〜Ｋ４の何れか１つであることをＫｍとも表記する。
【００３７】
ωpnKmは、（パッチｐｎにおけるラベルＫｍ）−（レセプタｑ１〜ｑ４における全てのラベル）の幾何的な関係を示す。図１０に示された矢印は、ωp16K1を構成するベクトルを示している。
【００３８】
上記のベクトルを表記すると、次の式のようになる。
ωpnKm=[v(pn,q1)KmK1,…,v(pn,q4)KmK1,…,v(pn,q1)KmK4,…,v(pn,q4)KmK4]・・・（２）
v(pn,q1)KmK1は、（パッチｐｎでラベルＫｍ）−（レセプタｑ１でラベルＫ１）の２次元平均空間ベクトルである。v(pn,q4)KmK1は、（パッチｐｎでラベルＫｍ）−（レセプタｑ４でラベルＫ１）の２次元平均空間ベクトルである。v(pn,q1)KmK4は、（パッチｐｎでラベルＫｍ）−（レセプタｑ１でラベルＫ４）の２次元平均空間ベクトルである。v(pn,q4)KmK4は、（パッチｐｎでラベルＫｍ）−（レセプタｑ４でラベルＫ４）の２次元平均空間ベクトルである。
【００３９】
例えば平均空間ベクトルv(pn,q4)KmK1は、(ラベルＫｍ−パッチｐｎの重心)と、(ラベルＫ１を含むレセプタｑ４を構成する全画素)との間の空間ベクトルによって算出される。
【００４０】
平均空間ベクトルは、計算された全ての空間ベクトルの平均値で、２次元の大きさと角度とで表される。ここでいう角度は、水平軸となす角度である。
【００４１】
v(pn,qi)KmK1は、ラベルＫ１がレセプタｑｉに含まれない場合、ゼロベクトル[0,0]になる。ｉは、１〜４の何れかである。例えば、図１０に示すように、レセプタｑ１にはラベルＫ１は含まれていないので、v(pn,q1)KmK1は、ゼロベクトルになる。よって、図１０には、v(p16,q1)K1K1を示すベクトルは示されていない。
【００４２】
同様に、v(pn,qi)KmK1は、ラベルＫｍがパッチｐｎに含まれない場合、ゼロベクトル[0,0]になる。従って、式（２）から、ωpnKmは、ラベルＫｍがパッチｐｎに含まれていない場合、ゼロ値のみを含む。つまり、パッチｐｎにラベルＫｍが含まれていない場合、式（２）は、次のようになる。
ωpnKm＝[0,…,0,…,0,…,0]・・・（３）
【００４３】
認識装置１０は、上記の手法によって、多数の真値のセットについて学習を済ませている。認識装置１０は、先述したようにＳ６２０において、エラー領域として特定したパッチそれぞれについて、識別シーンに基づき位置関係特徴量ｇを読み出す。
【００４４】
一方で、認識装置１０は、Ｓ６３０として、エラー領域として特定したパッチそれぞれについて、学習時と同様な計算を実行することによって、位置関係特徴量ρpns(Ｋｍ)を算出する。Ｓ６３０においては、Ｋｍとして、ラベルＫ１〜Ｋ４それぞれについての位置関係特徴量ρpnsを算出する。ラベルＫ１について算出する場合は、ラベルＫ１を訂正候補として算出する。つまり、ラベルＫ１について算出する場合は、算出対象のパッチにおける支配的なラベルがラベルＫ１であることを仮定する。ラベルＫ２〜Ｋ４それぞれについての算出も同様である。
【００４５】
或るパッチにおける支配的なラベルとは、そのパッチ内において、他のラベルに比べて、突出して多くの画素に対応付けられたラベルのことである。
【００４６】
続いて、Ｓ６３０として、パッチに基づく枝刈りを実行し、絞り込まれたラベルを出力する。パッチに基づく枝刈りとは、具体的には、次の内容を意味する。
【００４７】
各パッチについて、Ｓ６２０で読み出した位置関係特徴量ｇと、Ｓ６３０で算出した位置関係特徴量ρとのユークリッド距離の差を、ラベルＫ１〜Ｋ４のそれぞれについて計算する。この差が閾値以上であるラベルを除外し、訂正候補を残ったラベルに絞り込む。支配的な１つのラベルだけが残る場合もあるし、複数のラベルが残る場合もある。
【００４８】
パッチに基づく枝刈りとは、このようにして、各パッチにおける訂正候補とならないラベルを除外する処理のことである。
【００４９】
図２及び図１１に示すように、画素レベルの絞り込みは、絞り込み用中間データと、エラー領域の情報と、識別シーンと、絞り込まれたラベルの情報とを用いて、最終認識値を出力する。
【００５０】
認識装置１０は、まずＳ７１０として、各エラー領域の重心となる画素（以下、重心画素）を、各エラー領域の代表として特定する。厳密に重心に一致する画素が無い場合は、重心からの距離が最も短い画素を、重心画素として特定する。
【００５１】
続いて、認識装置１０は、Ｓ７２０として、各エラー領域の重心画素について、学習済みの外見−距離特徴量を読み出す。外見−距離特徴量は、シーンに依存した特徴量である。且つ、外見−距離特徴量は、色相、彩度、距離に関する特徴量であるので、入力データに含まれるパラメータに対応する特徴量である。
【００５２】
図９に示すように、外見−距離特徴量は、シーン毎に、教師あり学習によって学習される。学習に際しては、教師あり学習における真値としてのセットを多数、与える。各セットは、位置関係特徴量の学習に用いた真値に加え、そのシーンに属する入力データに畳み込み処理を施したデータから構成される。ここでの畳み込み処理は、ＤＮ１３における中間データＣ１を得るための畳み込み処理のことである。つまり、このデータは、ＤＮ１３によって出力される中間データＣ１である。
【００５３】
ＤＮ１３の説明においては省略したが、中間データＣ１は、Ｄ個の２２４×２２４の画素からなるデータによって構成される。Ｄは、２以上の整数である。このため、例えば図１２に示す画素ｎに対して、畳み込み処理によって得られるＤ次元の特徴ベクトルを対応付けることができる。図１２には、画素ｎに対応する特徴ベクトルλ（ｈ，ｗ）が示されている。
【００５４】
図１２に示すように、本実施形態においては、中間データＣ１を得るための畳み込み層において、３×３のフィルタを用いている。従って、特徴ベクトルλは、画素ｎの周囲８画素のパラメータを反映している特徴量である。
【００５５】
このような特徴ベクトルの平均を取ることによって、画素ｎに対応する外見−距離特徴量を決定し、学習データとする。外見−距離特徴量は、外見と距離との情報から生成された特徴量である。ここでいう外見とは、彩度と色相とのことである。外見−距離特徴量として、色相、彩度および距離に関する特徴量が得られるのは、入力データがこれらのパラメータで構成されているからである。
【００５６】
特徴ベクトルの平均とは、同じシーンに属する入力データにおける同じ位置の画素、且つ、同じ真値としてのラベルが付された画素について取得された特徴ベクトルの平均のことである。このため、外見−距離特徴量は、シーン毎且つ画素毎について、各ラベルの学習データが得られる。Ｓ７２０では、識別シーン及び重心画素に対応する各ラベルの外見−距離特徴量を読み出す。
【００５７】
一方で、Ｓ７３０として、絞り込み用中間データとしての中間データＣ１から、各エラー領域の重心画素について、外見−距離特徴量を取得する。Ｓ７３０においては、上記の学習と同様な手法によって取得される特徴ベクトルを、外見−距離特徴量として取得する。
【００５８】
最後に、Ｓ７４０として、最終認識値を出力する。Ｓ７４０は、図１１に示すように、Ｓ７２０及びＳ７３０による出力、並びに、Ｓ６３０によって絞り込まれたラベルに基づき実行される。Ｓ７４０は、ユークリッド距離に基づくラベルの訂正が実行される。具体的には、次のように実行される。
【００５９】
各重心画素について、Ｓ７２０で読み出した特徴ベクトルと、Ｓ７３０で取得した特徴ベクトルとのユークリッド距離の差を、ラベル毎に算出する。この差が閾値以下のラベルが、重心画素を含むエラー領域全体の訂正候補となる。この訂正候補になったラベルの何れかが、Ｓ６００で絞り込まれたラベルの何れかと一致する場合、初期認識値としてのラベルを、そのラベルに訂正する。
【００６０】
複数のラベルが一致する場合、情報特徴量および位置関係特徴量のユークリッド距離の和が最も短いラベルに訂正する。この場合、情報特徴量および位置関係特徴量に適宜、重み付けをしてもよい。このように訂正されたラベルを含む出力が、最終認識値である。
【００６１】
図１３に示す初期認識値に比べ、図１４に示す最終認識値の場合は、特に、破線で囲った領域において認識精度が向上している。つまり、最終認識値の場合、破線で囲った領域において、道路と障害物との境界をより正確に認識できている。
【００６２】
（１）上記のように認識精度が向上するのは、中間データを利用しているからである。
（２）中間データの１つであるシーン識別用中間データは、シーンの識別に用いられる。このため、識別シーンを利用した訂正を実行できる。
（３）シーン識別用中間データとしての中間データＰ５は、複数回のプーリング処理によって、７×７までに情報が圧縮されたデータであるので、シーンの識別用として適している。
（４）シーンの識別は、教師あり学習によって学習済みのデータとの比較に基づき実行するため、精度が高い。
【００６３】
（５）絞り込み用中間データである中間データＣ１を用いることによって、画素レベルで周囲の影響が反映された特徴量を取得できる。そして、この特徴量である特徴ベクトルを、学習結果と比較することによって、認識精度が向上する。
（６）中間データＣ１は、入力データに対して１回の畳み込み処理によって得られるデータであるので、入力データとの関係を示す特徴量として適している。
（７）中間データＣ１は、プーリング処理が施されておらず、圧縮されていないので、入力データとの関係を示す特徴量として適している。
【００６４】
（８）訂正処理において、位置関係特徴量を用いるので、訂正の精度が向上する。
（９）位置関係特徴量の算出は、パッチとレセプタとを用いることによって適切に実行できる。
【００６５】
（１０）訂正処理は、情報特徴量と位置関係特徴量とを総合して、訂正を実行するので、訂正の精度が向上する。
【００６６】
（１１）訂正処理は、エラー領域を対象に実行するので、初期推定において信頼値が高いラベルを訂正の対象から除外できる。このため、処理負荷が軽減されると共に、訂正の必要が無いラベルを訂正することが抑制される。
（１２）位置関係特徴量の算出対象から、エラー領域を含まないパッチが除外されるので、処理負荷が軽減される。
（１３）各エラー領域の訂正は、エラー領域を代表する画素の訂正結果を援用して実行されるので、処理負荷が軽減される。
（１４）エラー領域を代表する画素は、重心画素であるので、エラー領域の端に位置するような画素が代表となる場合と比べ、訂正の精度が向上する。
【００６７】
外見−距離特徴量は、情報特徴量に対応する。この他、Ｓ２００は初期認識部、Ｓ３００はシーン識別部、Ｓ４００は特定部、Ｓ５００は訂正部、Ｓ６３０は算出部、Ｓ７１０は重心画素取得部、Ｓ７３０は情報特徴量取得部、Ｓ７４０は訂正実行部に対応する。
【００６８】
本開示は、本明細書の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下のものが例示される。
【００６９】
中間データの利用は、シーンに依存しなくてもよい。例えば、場所に対して固定されたカメラから撮像データを得て認識を実行する場合、シーンは固定されている。このような場合、その固定されたシーンにおいて、変化し得る物体を認識するために、中間データを利用してもよい。
【００７０】
自動車の走行制御以外に利用されてもよい。例えば、先述したように、固定カメラに適用してもよいし、他の輸送用機器（例えば二輪車）でもよいし、ロボットでもよい。
【００７１】
Ｓ６００におけるパッチレベルの絞り込み、及びＳ７００における画素レベルの絞り込みは、何れか１つのみを実行してもよい。この場合でも、中間データの利用による認識精度の向上は、実現される。
【００７２】
エラー領域の特定は、実行しなくてもよい。この場合、パッチレベルの絞り込みは全パッチを対象にしてもよいし、画素レベルの絞り込みは全画素を対象にしてもよい。
【００７３】
入力データは、色相、彩度、距離によって構成されていなくてもよい。例えば、ＲＧＢ値と距離とによって構成されていてもよいし、輝度値と距離とによって構成されていてもよい。輝度値と距離とによって構成される場合、撮像画像はモノクロでもよい。
【００７４】
入力データに含まれる距離の情報は、ステレオカメラ以外から取得してもよい。例えば、デプスセンサーを用いてもよいし、レーダ波などを用いてもよい。
【００７５】
上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。
【符号の説明】
【００７６】
１３  ディープニューラルネットワーク、２０  認識装置
【図１】
2018073308.tif 000003
【図２】
2018073308.tif 000004
【図３】
2018073308.tif 000005
【図４】
2018073308.tif 000006
【図５】
2018073308.tif 000007
【図６】
2018073308.tif 000008
【図７】
2018073308.tif 000009
【図８】
2018073308.tif 000010
【図９】
2018073308.tif 000011
【図１０】
2018073308.tif 000012
【図１１】
2018073308.tif 000013
【図１２】
2018073308.tif 000014
【図１３】
2018073308.tif 000015
【図１４】
2018073308.tif 000016