(57)【要約】【課題】障害物認識装置においては障害物の認識精度をさらに高める。【解決手段】障害物認識支援装置１が、障害物認識制御パラメータと撮影画像とを用いた第一認識処理の結果出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に撮影画像と共に取得する。障害物認識支援装置１は、センシング情報に基づいて障害物の有無を第二認識処理により生成された第二認識結果と、第一認識結果とに基づいて、第一認識結果に障害物の認識異常が発生しているかを検証する。障害物認識支援装置１は、認識異常が発生していることが検証された場合には、少なくとも撮影画像と第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくとも撮影画像と第二認識結果の肯定情報との組を含む第二の学習利用データの何れかを記録する。【選択図】図１
2019164626.tif 000002
【特許請求の範囲】
【請求項１】
障害物認識制御パラメータと障害物検知装置のセンシング情報とを用いた第一認識処理の結果出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に、前記センシング情報と共に取得する取得部と、
前記センシング情報に基づいて前記障害物の有無を第二認識処理により生成された第二認識結果と、前記第一認識結果とに基づいて、前記第一認識結果に前記障害物の認識異常が発生しているかを検証し、前記認識異常が発生していることが検証された場合には、少なくとも前記センシング情報と前記第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくとも前記センシング情報と前記第二認識結果の肯定情報との組を含む第二の学習利用データの何れかを記録する学習利用データ記録部と、
を備える障害物認識支援装置。
【請求項２】
前記第一の学習利用データと前記第二の学習利用データとを用いて機械学習により前記障害物認識制御パラメータを算出して更新する機械学習部と、
を備える請求項１に記載の障害物認識支援装置。
【請求項３】
前記第二認識処理により前記第二認識結果を生成する認識部と、
を備える請求項１または請求項２に記載の障害物認識支援装置。
【請求項４】
前記第二認識処理は前記第一認識処理とは異なる前記障害物の認識精度の高い認識処理である
請求項１から請求項３の何れか一項に記載の障害物認識支援装置。
【請求項５】
前記学習利用データ記録部は、
前記第一認識結果と前記第二認識結果とに基づく前記検証において、前記第一認識結果に前記障害物の誤検知を示す前記認識異常が発生していると検証された場合、少なくとも前記センシング情報と前記第一認識結果を否定する否定情報とを含む前記第一の学習利用データを記録し、
前記第一認識結果と前記第二認識結果とに基づく前記検証において、前記第一認識結果に前記障害物の未検知を示す前記認識異常が発生していると検証された場合、少なくとも前記センシング情報と前記第二認識結果を肯定する肯定情報とを含む前記第二の学習利用データを記録する
請求項１から請求項４の何れか一項に記載の障害物認識支援装置。
【請求項６】
前記第一認識処理により出力された障害物が有るか否かを示す第一認識結果と、前記障害物検知装置を備えた操作対象のユーザによる操作情報とに基づいて、前記第一認識結果に基づく前記操作情報が不適切であると認識した場合に、前記第一認識結果が認識異常であると判定する認識異常判定部と、
を備える請求項１から請求項５の何れか一項に記載の障害物認識支援装置。
【請求項７】
障害物認識制御パラメータと障害物検知装置のセンシング情報とを用いた第一認識処理の結果出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に、前記センシング情報と共に取得し、
前記センシング情報に基づいて前記障害物の有無を第二認識処理により生成された第二認識結果と、前記第一認識結果とに基づいて、前記第一認識結果に前記障害物の認識異常が発生しているかを検証し、前記認識異常が発生していることが検証された場合には、少なくとも前記センシング情報と前記第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくとも前記センシング情報と前記第二認識結果の肯定情報との組を含む第二の学習利用データの何れかを記録する
障害物認識支援方法。
【請求項８】
障害物認識支援装置のコンピュータを、
障害物認識制御パラメータと障害物検知装置のセンシング情報とを用いた第一認識処理の結果出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に、前記センシング情報と共に取得する取得手段、
前記センシング情報に基づいて前記障害物の有無を第二認識処理により生成された第二認識結果と、前記第一認識結果とに基づいて、前記第一認識結果に前記障害物の認識異常が発生しているかを検証し、前記認識異常が発生していることが検証された場合には、少なくとも前記センシング情報と前記第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくとも前記センシング情報と前記第二認識結果の肯定情報との組を含む第二の学習利用データの何れかを記録する学習利用データ記録手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物認識支援装置、障害物認識支援方法、プログラムに関する。
【背景技術】
【０００２】
車両などに障害物認識装置を備え、障害物を認識した場合に自動で車両の制御を行い、車両の運転における安全性を向上させる技術が利用されている。このような障害物の認識における誤検知や未検知を判定する技術が特許文献１、特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−０５５１８１号公報
【特許文献２】特開２００４−０１７８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで上述のような障害物認識装置においては障害物の認識精度をさらに高める必要がある。
【０００５】
そこでこの発明は、上述の課題を解決する障害物認識支援装置、障害物認識支援方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、障害物認識支援装置は、障害物認識制御パラメータと障害物検知装置のセンシング情報とを用いた第一認識処理の結果出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に、前記センシング情報と共に取得する取得部と、前記センシング情報に基づいて前記障害物の有無を第二認識処理により生成された第二認識結果と、前記第一認識結果とに基づいて、前記第一認識結果に前記障害物の認識異常が発生しているかを検証し、前記認識異常が発生していることが検証された場合には、少なくとも前記センシング情報と前記第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくとも前記センシング情報と前記第二認識結果の肯定情報との組を含む第二の学習利用データの何れかを記録する学習利用データ記録部と、を備えることを特徴とする。
【０００７】
本発明の第２の態様によれば、障害物認識支援方法は、障害物認識制御パラメータと障害物検知装置のセンシング情報とを用いた第一認識処理の結果出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に、前記センシング情報と共に取得し、前記センシング情報に基づいて前記障害物の有無を第二認識処理により生成された第二認識結果と、前記第一認識結果とに基づいて、前記第一認識結果に前記障害物の認識異常が発生しているかを検証し、前記認識異常が発生していることが検証された場合には、少なくとも前記センシング情報と前記第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくとも前記センシング情報と前記第二認識結果の肯定情報との組を含む第二の学習利用データの何れかを記録することを特徴とする。
【０００８】
本発明の第３の態様によれば、プログラムは、障害物認識支援装置のコンピュータを、障害物認識制御パラメータと障害物検知装置のセンシング情報とを用いた第一認識処理の結果出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に、前記センシング情報と共に取得する取得手段、前記センシング情報に基づいて前記障害物の有無を第二認識処理により生成された第二認識結果と、前記第一認識結果とに基づいて、前記第一認識結果に前記障害物の認識異常が発生しているかを検証し、前記認識異常が発生していることが検証された場合には、少なくとも前記センシング情報と前記第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくとも前記センシング情報と前記第二認識結果の肯定情報との組を含む第二の学習利用データの何れかを記録する学習利用データ記録手段、として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、障害物認識装置においては障害物の認識精度をさらに高めることができる。
【図面の簡単な説明】
【００１０】
【図１】障害物認識システムの構成を示す図である。
【図２】障害物認識支援装置のハードウェア構成図である。
【図３】車載装置と障害物認識支援装置の機能ブロック図である。
【図４】車載装置の処理フローを示す図である。
【図５】障害物認識支援装置の処理フローを示す図である。
【図６】障害物認識支援装置の最小構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態による障害物認識支援装置、障害物認識支援方法、プログラムを図面を参照して説明する。
図１は同実施形態による障害物認識支援装置を含む障害物認識システムの構成を示す図である。
図１で示すように障害物認識システム１００は障害物認識支援装置１と、障害物検知装置の一態様である車載装置２と含んで構成される。車載装置２は車両に備わるカメラ３と通信接続している。カメラ３は車両の進行方向を撮影する。カメラ３は車両の前方または後方を撮影してよい。障害物認識支援装置１と車載装置２とは無線通信ネットワークや有線通信ネットワークを介して接続される。障害物認識支援装置１は市中を走る複数の車両にそれぞれ設置された車載装置２と通信接続する。
【００１２】
図２は障害物認識支援装置のハードウェア構成図である。
この図が示すように障害物認識支援装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。なお車載装置２も同様のハードウェア構成を備える。
車載装置２における対応するハードウェアをそれぞれ、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、データベース２０４、通信モジュール２０５と呼ぶこととする。
【００１３】
図３は車載装置と障害物認識支援装置の機能ブロック図である。
車載装置２は電源が投入されると起動し、予め記憶する障害物認識プログラムを実行する。これにより車載装置２には、制御部２１、情報取得部２２、第一認識部２３、認識異常有無判定部２４、認識異常記録部２５、送信部２６、警報出力部２７を少なくとも備える。
【００１４】
制御部２１は、車載装置２の他の機能部を制御する。
情報取得部２２は、カメラ３、ハンドル操作検出装置４、ブレーキ操作検出装置５から情報を取得する。カメラ３は車両の前方や後方などの進行方向を撮影し、その撮影画像を車載装置２へ出力し、情報取得部２２は撮影画像を取得する。また情報取得部２２はハンドル操作検出装置４からハンドル操作情報を取得する。ハンドル操作情報はハンドルの基準角度からの回転角度等の操作情報であってよい。また情報取得部２２はブレーキ操作検出装置５からブレーキ操作情報を取得する。ブレーキ操作情報はブレーキ強度等の操作情報であってよい。
【００１５】
第一認識部２３は撮影画像に基づいて障害物が有るか否かを示す第一認識結果を生成する。
認識異常有無判定部２４は、第一認識結果と操作情報とに基づいて第一認識結果が示す障害物の有無の認識に認識異常が有ったか否かを判定する。
認識異常記録部２５は、第一認識結果が示す障害物の有無の認識に認識異常が有った場合に、撮影画像と第一認識結果とを含む認識異常結果をデータベース２０４に記録する。
送信部２６は認識異常結果を、通信接続された遠隔の障害物認識支援装置１へ送信する。
警報出力部２７は、障害物が有ることを示す第一認識結果が第一認識部２３から出力された場合に警報情報を警報装置６へ出力する。
【００１６】
障害物認識支援装置１は電源が投入されると起動し、予め記憶する障害物認識支援プログラムを実行する。これにより障害物認識支援装置１には、制御部１１、情報取得部１２、第二認識部１３、学習利用データ記録部１４、機械学習部１５、更新部１６を少なくとも備える。
制御部１１は、他の機能部を制御する。
情報取得部１２は、障害物認識制御パラメータと障害物検知装置のセンシング情報とを用いた第一認識処理の結果出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に、センシング情報と共に取得する。センシング情報は本実施形態においては撮影画像である。また第一認識処理を用いて障害物が有るか否かを示す第一認識結果を生成する装置は、本実施形態においては車載装置２とする。第一認識結果が認識異常であるか否かを判定する装置も、本実施形態においては車載装置２とする。車載装置２は、障害物認識制御パラメータと、通信接続されたカメラ３で撮影した撮影画像とに基づいて第一認識処理を用いて障害物が有るか否かを示す第一認識結果を生成する。そして車載装置２はその第一認識結果とドライバの操作情報とに基づいて、第一認識結果が認識異常であるかを判定する。車載装置２は第一認識結果が認識異常であると判定した場合に、第一認識結果と撮影画像とを障害物認識支援装置１へ送信する。そして障害物認識支援装置１が第一認識結果と撮影画像とを取得する。
【００１７】
第二認識部１３は第二認識処理を用いて撮影画像に障害物が有るか否かを示す第二認識結果を生成する。障害物認識支援装置１が撮影画像を用いて行う障害物の第二認識処理は、車載装置２が撮影画像を用いて行う障害物の第一認識処理よりも、精度が高い障害物の認識処理である。従って車載装置２が撮影画像を用いて行う障害物の第一認識処理よりも障害物認識支援装置１が撮影画像を用いて行う障害物の第二認識処理は、精度が高い分、その認識処理の演算量が多い。
【００１８】
学習利用データ記録部１４は、第一認識結果と第二認識結果とに基づいて、第一認識結果に障害物の認識異常が発生しているかを検証する。学習利用データ記録部１４は、第一認識結果に認識異常が発生していることが検証された場合には、少なくとも撮影画像と第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくとも撮影画像と第二認識結果の肯定情報との組を含む第二の学習利用データの何れかをデータベース１０４に記録する。具体的には学習利用データ記録部１４は、第一認識結果に障害物の誤検知を示す認識異常が発生していると検証された場合、少なくともセンシング情報と第一認識結果を否定する否定情報とを含む第一の学習利用データを記録する。また学習利用データ記録部１４は、第一認識結果と第二認識結果とに基づく検証において、第一認識結果に障害物の未検知を示す認識異常が発生していると検証された場合、少なくとも撮影画像と第二認識結果を肯定する肯定情報とを含む第二の学習利用データを記録する。学習利用データ記録部１４は市中を走る多くの車両の車載装置２から取得した情報を用いて、第一の学習利用データや第二の学習利用データを記録する。
機械学習部１５はデータベース１０４に蓄積された第一の学習利用データや第二の学習利用データを用いて機械学習を行い、新たな障害物認識制御パラメータを生成する。
更新部１６は車載装置２の記憶する障害物認識制御パラメータを更新する。障害物認識制御パラメータは、一例としては畳み込みニューラルネットワークを構成するための各種パラメータである。
【００１９】
本実施形態においては、障害物認識支援装置１で撮影画像に基づいて行われる高精度な障害物有無の認識に基づいて、車載装置２が行った障害物有無の認識結果の検証を行い、その検証結果に基づいて最適な障害物認識制御パラメータの機械学習を繰り返す。これにより従来よりもさらに障害物の認識精度をさらに高めることができる。
【００２０】
図４は車載装置の処理フローを示す図である。
次に障害物認識システムにおける車載装置２と障害物認識支援装置１の処理フローを、順を追って説明する。
まず車両に搭載されるカメラ３が前方や後方などの進行方向を基準とする所定角度範囲の画角で撮影し、その撮影画像を車載装置２へ送信する。またハンドル操作検出装置４はハンドル操作情報を車載装置２へ送信する。またブレーキ操作検出装置５はブレーキ操作情報を車載装置２へ送信する。車載装置２の情報取得部２２は、撮影画像、ハンドル操作情報、ブレーキ操作情報を取得する（ステップＳ１０１）。情報取得部２２は、撮影画像、ハンドル操作情報、ブレーキ操作情報を所定の間隔で取得する。情報取得部２２は、撮影画像、ハンドル操作情報、ブレーキ操作情報を、情報取得時刻に紐づけてデータベース１０４のセンシング情報記憶領域に記録する。
【００２１】
第一認識部２３は第一の障害物認識制御パラメータに基づいて構成した第一の畳み込みニューラルネットワークに撮影画像を入力し、撮影画像に障害物が含まれるか否かを判定する（ステップＳ１０２）。第一の障害物認識制御パラメータはニューラルネットワークを構成する枝の重み等の情報である。第一認識部２３は障害物が有るか否かを示す第一認識結果を認識異常有無判定部２４と警報出力部２７へ出力する。なお第一認識部２３は撮影画像中における障害物の範囲を示す座標を検出し、その座標の情報を第一認識結果に含める。警報出力部２７は第一認識結果に障害物が含まれる場合、警報情報を出力する（ステップＳ１０３）。警報情報は警告音や警告画面などであり、スピーカやモニタに出力される。これにより運転者は回避操作行動を行う。回避操作行動はブレーキを踏みこむ操作、ハンドルを大きく切る操作等である。認識異常有無判定部２４は第一認識結果を取得する。認識異常有無判定部２４は取得した第一認識結果の生成に利用された撮影画像の取得時刻近傍の各時刻の操作情報を取得する。操作情報はハンドル操作情報、ブレーキ操作情報である。
【００２２】
認識異常有無判定部２４は操作情報に基づいて障害物回避操作が行われたか否かを判定する（ステップＳ１０４）。例えば認識異常有無判定部２４はハンドル操作情報に含まれるハンドル回転角度が基準角度から所定角度以上の角度を示す場合には、ハンドルが大きく切られた障害物回避操作が行われたと判定する。また例えば認識異常有無判定部２４はブレーキ操作情報に含まれるブレーキ強度が所定の強度以上の強度を示す場合には、ブレーキが大きく踏み込まれ急ブレーキの操作となった障害物回避操作が行われたと判定する。
【００２３】
認識異常有無判定部２４は、障害物が有るか否かを示す第一認識結果と、障害物回避操作が行われたか否かを示す回避操作有無情報とに基づいて、第一認識部２３の生成した第一認識結果が誤検知か、未検知か、または認識異常無しかを判定する（ステップＳ１０５）。
具体的には認識異常有無判定部２４は、第一認識結果が障害物の有ることを示す第一認識結果であり、かつ障害物回避操作が行われた場合には認識異常無しと判定する。
また認識異常有無判定部２４は、第一認識結果が障害物の無いことを示す第一認識結果であり、かつ障害物回避操作が行われていない場合には認識異常無しと判定する。
また認識異常有無判定部２４は、第一認識結果が障害物の有ることを示す第一認識結果であり、かつ障害物回避操作が行われていない場合には認識異常のうちの誤検知と判定する。
また認識異常有無判定部２４は、第一認識結果が障害物の無いことを示す第一認識結果であり、かつ障害物回避操作が行われた場合には認識異常のうちの未検知と判定する。
【００２４】
認識異常記録部２５は第一認識結果が認識異常と判定された場合、認識異常と判定された第一認識結果と、その第一認識結果の生成に用いられたその撮影画像と、を含むアップロードデータを生成し、データベース２０４に記録する（ステップＳ１０６）。当該アップロードデータ内の第一認識結果には障害物が有るか否かを示す情報と、障害物の位置する座標や障害物を示す画像内範囲の座標等の情報が含まれてよい。送信部２６はアップロードデータを障害物認識支援装置１に送信する（ステップＳ１０７）。車載装置２の制御部２１処理を終了するかを判定する（ステップＳ１０８）。制御部２１は処理を終了しない場合、ステップＳ１０１からステップＳ１０７を繰り返す制御を行う。
【００２５】
図５は障害物認識支援装置の処理フローを示す図である。
障害物認識支援装置１の情報取得部１２はアップロードデータを取得する（ステップＳ２０１）。第二認識部１３はアップロードデータに含まれる撮影画像を用いて、当該撮影画像に障害物が含まれるか否かを判定する第二認識処理を行う。このとき第二認識部１３は第二の障害物認識制御パラメータに基づいて構成した第二の畳み込みニューラルネットワークに撮影画像を入力し、撮影画像に障害物が含まれるか否かを判定する（ステップＳ２０２）。第二認識部１３はその判定結果に基づいて撮影画像に障害物が含まれるか否かを示す情報と、当該撮影画像における障害物の座標とを含む第二認識結果を生成する（ステップＳ２０３）。第二認識部１３は第二認識結果と、当該第二認識結果の生成に用いた撮影画像を含むアップロードデータを学習利用データ記録部１４へ出力する。車載装置２は運転者に対して早い応答速度で障害物の有無を報知する必要があるため処理の早い第一認識処理により障害物有無の判定を行う。一方で、障害物認識支援装置１は、車載装置２が撮影画像を用いて行う障害物の第一認識処理よりも、演算量が多いが精度が高い障害物の第二認識処理を、撮影画像を用いて行う。これにより障害物認識支援装置１は車載装置２が撮影画像に基づいて障害物を誤検知した場合や、障害物を検知できなかった場合にも、精度高く障害物の有無を検証する。
【００２６】
学習利用データ記録部１４は第二認識結果を取得する。学習利用データ記録部１４は取得した第二認識結果の生成に利用された撮影画像と共にアップロードデータ内に含まれている第一認識結果を取得する。学習利用データ記録部１４は第一認識結果と第二認識結果が一致するかを判定する（ステップＳ２０４）。この一致の判定において学習利用データ記録部１４は、第一認識結果と第二認識結果が示す障害物の有無と、撮影画像における障害物の座標とが共に一致するかを判定する。障害物の座標の一致の判定は、一例としては、障害物の検出範囲の重心座標間の距離が所定距離未満であれば一致と判定し、当該距離が所定距離以上であれば不一致と判定する。学習利用データ記録部１４は第一認識結果と第二認識結果が一致する場合には、撮影画像を用いた車載装置２の障害物認識は正しいと判定する。
【００２７】
他方、学習利用データ記録部１４は第一認識結果と第二認識結果が一致しない場合には、撮影画像を用いた車載装置２の障害物認識が、誤検知であるかを判定する（ステップＳ２０５）。具体的には学習利用データ記録部１４は、第一認識結果と第二認識結果の示す障害物の有無が共に有りを示すが、第一認識結果と第二認識結果とに含まれる障害物の座標が一致しない場合には誤検知と判定する。または学習利用データ記録部１４は、第一認識結果と第二認識結果の示す障害物の有無の情報が異なる場合には誤検知と判定する。この場合、学習利用データ記録部１４は、少なくとも撮影画像と、誤検知と判定された際の第一認識結果と、この第一認識結果を示す否定情報とを含む第一の学習利用データをデータベース１０４の学習利用データ記憶領域に記録する（ステップＳ２０６）。学習利用データ記録部１４は、誤検知と判定した場合にはさらに正答情報である第二認識結果を紐づけて学習利用データ記憶領域に記録してもよい。
【００２８】
学習利用データ記録部１４は撮影画像を用いた車載装置２の障害物認識が、誤検知でない場合には未検知であるかを判定する（ステップＳ２０７）。具体的には学習利用データ記録部１４は、現在から所定時間前までの過去の時刻までの所定期間において取得した第一認識結果を探索し、それら第一認識結果の中に第二認識結果と一致する第一認識結果が一つもない場合、未検知と判定する。この場合、学習利用データ記録部１４は、少なくとも撮影画像と、未検知と判定された際の第二認識結果と、この第二認識結果を示す肯定情報とを含む第二の学習利用データをデータベース１０４の学習利用データ記憶領域に記録する（ステップＳ２０８）。
【００２９】
機械学習部１５は学習利用データ記憶領域に記録される第一の学習利用データや第二の学習利用データが所定のデータ量分蓄積したかを判定する（ステップＳ２０９）。機械学習部１５は学習利用データ記憶領域に記録される第一の学習利用データや第二の学習利用データが所定のデータ量分蓄積した場合、それら第一の学習利用データや第二の学習利用データを用いて、機械学習処理を行う（ステップＳ２１０）。機械学習部１５は機械学習処理により、第一の畳み込みニューラルネットワークに撮影画像を入力して、その撮影画像の中に障害物の有り無しを判定するための当該ニューラルネットワークの精度を高める第一の障害物認識制御パラメータを算出する。機械学習部１５は第一の障害物認識制御パラメータを更新部１６に出力する。更新部１６は新たに算出された第一の障害物認識制御パラメータを含む更新要求を、車載装置２へ送信する（ステップＳ２１１）。車載装置２は予め記憶する障害物認識制御パラメータを、新たに受信した更新要求に含まれる障害物認識制御パラメータに更新する。制御部１１は処理を終了しない場合、ステップＳ２０１からステップＳ２１１を繰り返す制御を行う。
【００３０】
なお第一の学習利用データや第二の学習利用データの蓄積された数量や、学習利用データが記録された際の撮影画像の撮影時刻、明るさなどは異なるが、機械学習部１５はそれらの撮影画像の撮影状況が偏っていないかを判定してもよい。そして機械学習部１５は撮影画像の撮影状況が偏らないように第一の学習利用データや第二の学習利用データを選別した後に、それら選別した第一の学習利用データや第二の学習利用データを用いて機械学習処理を行うようにしてもよい。これにより、より精度の高い障害物の有無の認識精度の向上することのできる障害物認識制御パラメータを算出することができる。
【００３１】
以上の処理によれば、車載装置２において障害物が有るか否かを判定した結果と運転者による障害物回避操作が一致せず認識結果が誤検知や未検知などの認識異常の場合、障害物認識支援装置１は、その撮影画像を用いた障害物有無の認識結果と、車載装置２における障害物有無の認識結果に応じた学習利用データの記録を行い、機械学習処理を繰り返す。これにより、車載装置２における障害物の認識精度を向上させることができる。
【００３２】
図６は障害物認識支援装置の最小構成を示す図である。
障害物認識支援装置１は少なくとも情報取得部１２、学習利用データ記録部１４を備える。
情報取得部１２は、障害物認識制御パラメータと撮影画像とに基づいて第一認識処理により出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に撮影画像と共に取得する。
学習利用データ記録部１４は、センシング情報に基づいて障害物の有無を第二認識処理により生成された第二認識結果と第一認識結果とに基づいて、第一認識結果に障害物の認識異常が発生しているかを検証する。学習利用データ記録部１４は、認識異常が発生していることが検証された場合には、少なくとも撮影画像と第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくとも撮影画像と第二認識結果の肯定情報との組を含む第二の学習利用データの何れかを記録する。
【００３３】
上述の説明においては、車載装置２と障害物認識支援装置１とが通信ネットワークを介して接続され、互い連携することにより上述の処理が行われることについて説明した。しかしながら、障害物認識支援装置１が車両に備わり、車両内の車載装置２と障害物認識支援装置１とが通信接続して同様の処理を行うようにしてもよい。または車載装置２が障害物認識支援装置１の機能を備えて、車載装置２が図４、図５のフローチャートを用いて説明した処理と同様の処理を全て行うようにしてもよい。このように車載装置２が障害物認識支援装置１の機能の全ての処理を行う場合には、第二認識部１３における処理負荷の高い障害物の有無の検知を、車両の停止時や演算リソースに余裕のあるタイミングに少しずつ行うようにしてもよい。
【００３４】
また上述の処理によれば、車載装置２が誤検知（撮影画像において障害物有り、障害物回避操作無し）と判定した場合に、障害物認識支援装置１において撮影画像を用いた車載装置２の障害物認識が正しいと判定される場合がある。この場合、車載装置２が誤検知に基づいて不要な警報を出力したことになる。このような場合には、障害物認識支援装置１は、車載装置２における誤検知に基づく誤警報を軽減するためのパラメータを上記の障害物認識制御パラメータとは別に生成して、車載装置２に送信してもよい。
【００３５】
また上述の処理によればカメラ３で生成した撮影画像を用いて障害物を検知しているが、他のセンシング装置を用いたセンシング情報に基づいて障害物を検知する場合であっても同様の処理により障害物検知装置の障害物の認識精度を向上させることができる。例えば障害物検知装置がレーダであってもよい。この場合も、障害物認識支援装置１は、障害物認識制御パラメータと障害物検知装置（車載器２）のレーダによるセンシング情報とを用いた第一認識処理の結果出力された障害物が有るか否かを示す第一認識結果を、当該第一認識結果が認識異常である場合に、センシング情報と共に取得する。障害物認識支援装置１は、センシング情報に基づいて障害物の有無を第二認識処理により生成された第二認識結果と、第一認識結果とに基づいて、第一認識結果に障害物の認識異常が発生しているかを検証する。障害物認識支援装置１は、認識異常が発生していることが検証された場合には、少なくともセンシング情報と第一認識結果の否定情報との組を含む第一の学習利用データ、または少なくともセンシング情報と第二認識結果の肯定情報との組を含む第二の学習利用データの何れかを記録する。
【００３６】
また上述の説明では障害物検知装置が車両に設けられ前方や後方などの進行方向の障害物の有無を認識する場合の例を用いて説明したが、例えば障害物検知装置が建機（クレーン装置など）に設けられ建機の回転方向の障害物の有無を認識する場合に用いてもよい。また車両だけでなく、操作者が操作する操作対象の障害物を検知する障害物検知装置の障害物認識精度を高めるものであればどのような操作対象（航空機、船等）に応用してもよい。
【００３７】
上述の障害物認識支援装置１および車載装置２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３８】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００３９】
１・・・障害物認識支援装置
２・・・車載装置
３・・・カメラ
４・・・ハンドル操作検出装置
５・・・ブレーキ操作検出装置
６・・・警報装置
１１、２１・・・制御部
１２、２２・・・情報取得部
１３・・・第二認識部
１４・・・学習利用データ記録部
１５・・・機械学習部
１６・・・更新部
２３・・・第一認識部
２４・・・認識異常有無判定部
２５・・・認識異常記録部
２６・・・送信部
２７・・・警報出力部
【図１】
2019164626.tif 000003
【図２】
2019164626.tif 000004
【図３】
2019164626.tif 000005
【図４】
2019164626.tif 000006
【図５】
2019164626.tif 000007
【図６】
2019164626.tif 000008