(57)【要約】  物体認識装置８０は、シーン判定部８１と、学習モデル選択部８２と、物体認識部８３とを備えている。シーン判定部８１は、車両運転中に得られる情報に基づいて、その車両のシーンを判定する。学習モデル選択部８２は、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。物体認識部８３は、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する。
2020090251.tif 000002
【特許請求の範囲】
【請求項１】
車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定部と、
判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択部と、
選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識部とを備えた
ことを特徴とする物体認識装置。
【請求項２】
撮影される画像に影響及ぼす外因を検出する外因検出部と、
検出された内容に応じて、外因の程度を判定する外因判定部とを備え、
学習モデル選択部は、判定されたシーンおよび前記外因の判定結果に応じて学習モデルを選択する
請求項１記載の物体認識装置。
【請求項３】
外因検出部は、撮影される画像の影響を及ぼす明るさを検出し、
外因判定部は、検出された明るさに基づいて明暗判定を行い、
学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて学習モデルを選択する
請求項２記載の物体認識装置。
【請求項４】
外因検出部は、自車の照度を検出する照度センサを含み、
外因判定部は、前記照度センサによって検出された照度に基づいて明暗判定を行う明暗判定部を含み、
学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて、学習モデルを選択する
請求項３記載の物体認識装置。
【請求項５】
外因検出部は、前照灯の状態を検出する前照灯状態検出部を含み、
外因判定部は、検出された前照灯の状態に基づいて明暗判定を行う明暗判定部を含み、
学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて、学習モデルを選択する
請求項３記載の物体認識装置。
【請求項６】
外因検出部は、撮影される画像の影響を及ぼす降雨を検出し、
外因判定部は、検出された降雨に基づいて雨滴判定を行い、
学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて学習モデルを選択する
請求項２記載の物体認識装置。
【請求項７】
外因検出部は、フロントガラスの雨滴量を検出する雨滴感知センサを含み、
外因判定部は、前記雨滴感知センサによって検出された雨滴量に基づいて、雨滴判定を行う雨滴判定部を含み、
学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する
請求項２から請求項６のうちのいずれか１項に記載の物体認識装置。
【請求項８】
外因検出部は、ワイパーの稼働状態を検出するワイパー動作検出部を含み、
外因判定部は、検出されたワイパーの稼働状態に基づいて雨滴判定を行う雨滴判定部を含み、
学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する
請求項２から請求項６のうちのいずれか１項に記載の物体認識装置。
【請求項９】
選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、選択された学習モデルによる物体認識結果を評価する物体認識結果評価部と、
前記物体認識結果の評価を判定する認識結果判定部とを備え、
シーン判定部は、シーンごとの確からしさであるスコアを判定し、
学習モデル選択部は、前記スコアが最も高いシーンに応じた学習モデルを選択し、
物体認識部は、選択された学習モデルを用いて物体を認識し、
前記物体認識結果評価部は、前記物体有無情報に対する物体認識結果の正解度合いを評価し、
前記認識結果判定部は、前記正解度合いが予め定めた閾値未満か否かを判定し、
前記学習モデル選択部は、前記正解度合いが閾値未満の場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択する
請求項１から請求項８のうちのいずれか１項に記載の物体認識装置。
【請求項１０】
物体認識結果評価部は、車両の速度を取得し、取得した車両の速度に応じて、物体認識の評価範囲を変更する
請求項９記載の物体認識装置。
【請求項１１】
物体認識結果評価部は、車両の速度が高速になるほど、物体認識の評価範囲を狭くし、車両の速度が低速になるほど、物体認識の評価範囲を広くする
請求項１０記載の物体認識装置。
【請求項１２】
物体認識結果評価部は、物体有無情報から特定される検出結果の中に物体認識による正解が含まれている確率である適合率を、評価対象とする物体認識の件数である平均化要素数の数だけ算出し、算出された適合率の平均である平均適合率を算出し、
認識結果判定部は、算出された前記平均適合率が予め定めた閾値未満か否か判定する
請求項９から請求項１１のうちのいずれか１項に記載の物体認識装置。
【請求項１３】
シーン判定部は、シーンごとの確からしさを判別する判別モデルを用いて、車両のシーンを判定する
請求項１から請求項１２のうちのいずれか１項に記載の物体認識装置。
【請求項１４】
コンピュータが、車両運転中に得られる情報に基づいて、当該車両のシーンを判定し、
前記コンピュータが、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択し、
前記コンピュータが、選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する
ことを特徴とする物体認識方法。
【請求項１５】
コンピュータが、撮影される画像に影響及ぼす外因を検出し、
コンピュータが、検出された内容に応じて、外因の程度を判定し、
コンピュータが、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択する
請求項１４記載の物体認識方法。
【請求項１６】
コンピュータに、
車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定処理、
判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択処理、および、
選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識処理
を実行させるための物体認識プログラム。
【請求項１７】
コンピュータに、
撮影される画像に影響及ぼす外因を検出する外因検出処理、および、
検出された内容に応じて、外因の程度を判定する外因判定処理を実行させ、
学習モデル選択処理で、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択させる
請求項１６記載の物体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転中に撮影される物体を認識する物体認識装置、物体認識方法および物体認識プログラムに関する。
【背景技術】
【０００２】
近年、ドライバによる運転を自動化する自動運転技術や、運転中の危険を予測するための危険予測技術が注目されている。自動運転や危険予測を行うため、車両外部（以下、車外と記す）の画像を撮影して物体を認識する方法が各種提案されている。【０００３】
例えば、特許文献１には、演算負荷を低減しながら、運転支援や自動運転において必要とされる情報を認識する画像認識装置が記載されている。特許文献１に記載された装置は、車外の静止物体の位置情報が設定された三次元地図データと、車両と静止物体との相対位置および距離に基づいて、静止物体を画像認識処理の対象物として検出し、検出された対象物が含まれる範囲を絞って画像認識処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−７３２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
自動運転では、静止物体だけでなく、自転車や歩行者、二輪車などの移動物体についても考慮する必要がある。しかし、特許文献１に記載された画像認識装置は、認識対象を静止物体としているため、移動物体を画像認識の対象物として検出することは困難である。一方で、撮影される全ての物体を一律に認識しようとした場合、各物体の認識精度を向上させることは難しく、また、演算負荷が高くなる結果、処理速度が低下してしまうおそれもある。そのため、運転中に撮影される画像中の物体の認識精度を向上させつつ、演算負荷を低減できることが好ましい。【０００６】
そこで、本発明は、演算負荷を抑制しながら、運転中に撮影される物体の認識精度を向上させることができる物体認識装置、物体認識方法および物体認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による物体認識装置は、車両運転中に得られる情報に基づいて、その車両のシーンを判定するシーン判定部と、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択部と、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部とを備えたことを特徴とする。【０００８】
本発明による物体認識方法は、コンピュータが、車両運転中に得られる情報に基づいて、その車両のシーンを判定し、コンピュータが、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択し、コンピュータが、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識することを特徴とする。【０００９】
本発明による物体認識プログラムは、コンピュータに、車両運転中に得られる情報に基づいて、その車両のシーンを判定するシーン判定処理、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択処理、および、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識処理を実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、演算負荷を抑制しながら、運転中に撮影される物体の認識精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明による物体認識装置の第一の実施形態の構成例を示すブロック図である。
【図２】シーンごとに定義された学習モデルの例を示す説明図である。
【図３】第一の実施形態の物体認識装置の動作例を示すフローチャートである。
【図４】本発明による物体認識装置の第二の実施形態の構成例を示すブロック図である。
【図５】シーンおよび外因の判定結果ごとに定義された学習モデルの例を示す説明図である。
【図６】第二の実施形態の物体認識装置の動作例を示すフローチャートである。
【図７】本発明による物体認識装置の第二の実施形態の変形例を示すブロック図である。
【図８】本発明による物体認識装置の第三の実施形態の構成例を示すブロック図である。
【図９】シーンおよび外因の判定結果ごとに定義された学習モデルの他の例を示す説明図である。
【図１０】第三の実施形態の物体認識装置の動作例を示すフローチャートである。
【図１１】本発明による物体認識装置の第三の実施形態の変形例を示すブロック図である。
【図１２】本発明による物体認識装置の第四の実施形態の構成例を示すブロック図である。
【図１３】シーンの判定結果の例を示す説明図である。
【図１４】第四の実施形態の物体認識装置の動作例を示すフローチャートである。
【図１５】本発明による物体認識装置の第五の実施形態の構成例を示すブロック図である。
【図１６】第五の実施形態の物体認識装置の動作例を示すフローチャートである。
【図１７】本発明による物体認識装置の概要を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を図面を参照して説明する。本発明の物体認識装置は、車両に搭載され、学習モデルを用いて後述する撮像装置により撮像された画像中の物体を認識する。本発明で用いられる各学習モデルは、画像中に存在する物体が何かを認識するモデルであり、物体種別ごとの認識精度が異なるものとする。例えば、歩行者の認識精度が良好なモデル、自動車の認識精度が良好なモデル、二輪車の認識精度が良好なモデル、のように、物体種別ごとに認識精度が高い学習モデルが予め生成されているものとする。
【００１３】
実施形態１．
図１は、本発明による物体認識装置の第一の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置１００は、シーン判定部１０と、学習モデル選択部２０と、撮像装置３０と、物体認識部４０と、記憶部９０とを備えている。
【００１４】
記憶部９０は、後述する物体認識部４０が用いる複数の学習モデルを記憶する。また、記憶部９０は、物体認識装置１００の動作に必要な各種情報を記憶していてもよい。記憶部９０は、例えば、磁気ディスク等により実現される。
【００１５】
シーン判定部１０は、車両の状態を検出する各種センサにより取得された情報の入力を受け付ける。車両の状態を検出するセンサの例として、ミリ波情報を検知するミリ波レーダや、位置情報を取得するＧＰＳ（global positioning system ）、対象物までの距離を取得するＬｉＤＡＲ（Laser Imaging Detection and Ranging）や、周辺の画像を撮影するカメラなどが挙げられる。なお、本実施形態では、物体認識の対象とする画像は、後述する撮像装置３０により撮像されるものとする。ただし、シーン判定部１０が認識対象の画像の入力を受け付けてもよい。
【００１６】
シーン判定部１０は、入力された各種センサの情報など、車両運転中に得られる情報に基づいて、その車両のシーンを判定する。ここで、シーンとは、車両を取り巻く外部環境のことを意味し、例えば、車両が走行している場面（市街地、高速道路、商店街を走行中など）が挙げられる。ただし、本実施形態で判定されるシーンは、上述するような、人間が意味を解釈できる表現に限定されず、例えば、外部環境を表わす特徴ベクトルなどで表されていてもよい。ただし、以下では、説明を容易にするために、具体的なシーンを例示して、本実施形態の物体認識装置の動作を説明する。
【００１７】
シーン判定部１０がシーンを判定する方法は任意である。シーン判定部１０は、ルールベースでシーンを判定してもよく、シーンごとの確からしさを判別する判別モデルを用いてシーンを判定してもよい。シーン判定部１０は、例えば、予め与えられた地図情報と、ＧＰＳにより取得された位置情報とに基づいて、現在の走行場所（例えば、高速道路、商店街、など）を判定してもよい。他にも、シーン判定部１０は、取得可能なセンサ情報に基づいて予め機械学習により生成されたシーン判別モデルを保持しておき、受け付けたセンサ情報に基づいて、シーンを判定してもよい。
【００１８】
学習モデル選択部２０は、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。例えば、シーンごとに選択する学習モデルを学習モデルの特徴に応じて予め定義しておき、学習モデル選択部２０は、判定されたシーンに対応する学習モデルを選択してもよい。本実施形態で用いられる学習モデルの態様は任意であり、例えば、ニューラルネットワークなどである。
【００１９】
図２は、シーンごとに定義された学習モデルの例を示す説明図である。図２に示す例では、シーンとして「市街地」、「高速道路」および「商店街」が想定されている。ここで、学習モデル１は歩行者の認識精度が良好であり、学習モデル２は自動車の認識精度が良好であり、学習モデル３は二輪車の認識精度が良好であるとする。このとき、「市街地」と学習モデル１、「高速道路」と学習モデル２、および、「商店街」と学習モデル３をそれぞれ対応付けておき、学習モデル選択部２０は、シーン判定部１０で判定されたシーンに対応する学習モデルを選択すればよい。
【００２０】
撮像装置３０は、車両運転中の車外の画像を撮像する。撮像装置３０が画像を撮像するタイミングは、走行中または停止中のいずれのタイミングでもよい。撮像装置３０は、予め定めた期間ごとに画像を撮像してもよく、運転手等や制御装置の指示に応じて画像を撮像してもよい。撮像装置３０は、例えば、車外の風景を撮影する車載カメラである。
【００２１】
物体認識部４０は、選択された学習モデルを用いて、撮像装置３０によって撮像された画像中の物体を認識する。なお、物体認識部４０が、学習モデルを用いて物体を認識する方法は広く知られており、ここでは詳細な説明は省略する。
【００２２】
シーン判定部１０と、学習モデル選択部２０と、物体認識部４０とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、物体認識装置１００の記憶部９０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、シーン判定部１０、学習モデル選択部２０および物体認識部４０として動作してもよい。また、シーン判定部１０と、学習モデル選択部２０と、物体認識部４０とは、それぞれが専用のハードウェアで実現されていてもよい。
【００２３】
次に、本実施形態の物体認識装置１００の動作を説明する。図３は、本実施形態の物体認識装置１００の動作例を示す説明図である。シーン判定部１０は、車両運転中に得られるセンサ情報などに基づいて、その車両のシーンを判定する（ステップＳ１１）。学習モデル選択部２０は、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する（ステップＳ１２）。そして、物体認識部４０は、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する（ステップＳ１３）。
【００２４】
以上のように、本実施形態では、シーン判定部１０が、車両運転中に得られる情報に基づいて、その車両のシーンを判定し、学習モデル選択部２０が、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。そして、物体認識部４０が、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する。よって、演算負荷を抑制しながら、運転中に撮影される物体の認識精度を向上させることができる。
【００２５】
すなわち、本実施形態では、学習モデル選択部２０が、シーンごとに注目されるべき物体の認識に適した学習モデルを選択するため、走行シーンに応じて物体認識精度を改善でき、その認識処理自体の演算負荷も抑制できる。
【００２６】
実施形態２．
次に、本発明による物体認識装置の第二の実施形態を説明する。第二の実施形態では、撮影される画像に影響及ぼす外因を考慮して、学習モデルを選択する方法を説明する。具体的には、第二の実施形態では、画像を撮像する際の周囲の明るさを検出して、学習モデルを選択する方法を説明する。
【００２７】
図４は、本発明による物体認識装置の第二の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置２００は、シーン判定部１０と、学習モデル選択部２１と、撮像装置３０と、物体認識部４０と、外因検出部５０と、外因判定部６０と、記憶部９０を備えている。シーン判定部１０、撮像装置３０、物体認識部４０および記憶部９０の内容は、第一の実施形態と同様である。
【００２８】
外因検出部５０は、撮影される画像に影響及ぼす外因を検出する。特に、本実施形態の外因検出部５０は、撮影される画像の影響を及ぼす明るさを検出する。本実施形態では、外因検出部５０は、照度センサ５１を含む。照度センサ５１は、自車の照度を検出する。
【００２９】
外因判定部６０は、外因検出部５０によって検出された内容に応じて、外因の程度を判定する。本実施形態の外因判定部６０は、明暗判定部６１を含む。明暗判定部６１は、照度センサ５１によって検出された照度に基づいて、明暗判定を行う。明暗判定部６１は、予め定めた閾値よりも照度が大きい場合に明るいと判定し、予め定めた閾値よりも照度が低い場合に暗いと判定してもよい。なお、本実施形態では、明暗判定部６１が判定結果を明暗の２種類に判定したが、明暗判定部６１は、照度そのもの、または、照度に基づいて変換した値を判定結果としてもよい。
【００３０】
学習モデル選択部２１は、判定されたシーンに加え、外因判定部６０による外因の判定結果に応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。本実施形態の学習モデル選択部２１も、第一の実施形態の学習モデル選択部２０と同様、シーンおよび外因判定結果ごとに選択する学習モデルを学習モデルの特徴に応じて予め定義しておき、学習モデル選択部２１は、判定されたシーンおよび外因の判定結果に対応する学習モデルを選択してもよい。
【００３１】
図５は、シーンおよび外因の判定結果ごとに定義された学習モデルの例を示す説明図である。図５に示す例では、図２に例示する定義に加え、明暗判定結果が加えられていることを示す。なお、図５に示す例では、明暗判定結果が２種類の場合を例示したが、明暗判定結果は２種類に限定されず、照度の範囲に応じて選択される学習モデルが対応付けられていてもよい。
【００３２】
シーン判定部１０と、学習モデル選択部２１と、物体認識部４０と、外因判定部６０（より具体的には、明暗判定部６１）は、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１０と、学習モデル選択部２１と、物体認識部４０と、外因判定部６０（より具体的には、明暗判定部６１）とは、それぞれが専用のハードウェアで実現されていてもよい。
【００３３】
次に、本実施形態の物体認識装置２００の動作を説明する。図６は、本実施形態の物体認識装置２００の動作例を示すフローチャートである。シーン判定部１０が車両のシーンを判定する方法は、ステップＳ１１と同様である。
【００３４】
外因検出部５０は、撮影される画像に影響及ぼす外因を検出する。本実施形態では、照度センサ５１は、自車の照度を検出する（ステップＳ２１）。外因判定部６０は、外因検出部５０によって検出された内容に応じて、外因の程度を判定する。本実施形態では、明暗判定部６１は、照度センサ５１によって検出された照度に基づいて、明暗判定を行う（ステップＳ２２）。
【００３５】
学習モデル選択部２１は、判定されたシーンに加え、外因判定部６０による外因の判定結果に応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。本実施形態では、学習モデル選択部２１は、判定されたシーンおよび明暗判定結果に応じて、学習モデルを選択する（ステップＳ２３）。その後、物体認識部４０が、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する処理は、ステップＳ１３と同様である。
【００３６】
以上のように、本実施形態では、外因検出部５０が、撮影される画像に影響及ぼす外因を検出し、外因判定部６０が外因検出部５０によって検出された内容に応じて、外因の程度を判定する。そして、学習モデル選択部２１は、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択する。より具体的には、照度センサ５１が自車の照度を検出し、明暗判定部６１が検出された照度に基づいて明暗判定を行い、学習モデル選択部２１が、判定されたシーンおよび明暗判定結果に応じて、学習モデルを選択する。
【００３７】
よって、第一の実施形態の効果に加え、物体の認識精度を向上させることができる。すなわち、本実施形態では、例えば、昼と夜の明暗差や、トンネル内外の明暗差を考慮することにより、物体認識精度を向上させることができる。
【００３８】
次に、第二の実施形態の変形例を説明する。第二の実施形態では、照度センサ５１が直接、自車の照度を検出して、明暗判定部６１が明暗判定を行う場合について説明した。なお、外因検出部５０は、直接的に外因を検出せず、車両に対する操作から間接的に外因を検出してもよい。
【００３９】
図７は、本発明による物体認識装置の第二の実施形態の変形例を示すブロック図である。本変形例の物体認識装置２１０は、第二の実施形態の照度センサ５１の代わりに前照灯状態検出部５２を含み、明暗判定部６１の代わりに明暗判定部６２を含む。それ以外の構成は、第二の実施形態と同様である。
【００４０】
前照灯状態検出部５２は、前照灯の状態（オンまたはオフ、ロービームまたはハイビームなど）を検出する。前照灯状態検出部５２は、例えば、ハイビームスイッチの状態を検出してもよい。明暗判定部６２は、検出された前照灯の状態に基づいて明暗判定を行う。具体的には、明暗判定部６２は、前照灯がオンの状態の場合に明るいと判定し、前照灯がオフの状態の場合に暗いと判定する。明暗判定後に学習モデル選択部２１が行う処理は、第二の実施形態と同様である。このような構成であっても、第二の実施形態と同様に、物体の認識精度を向上させることができる。
【００４１】
実施形態３．
次に、本発明による物体認識装置の第三の実施形態を説明する。第三の実施形態でも、撮影される画像に影響及ぼす外因を考慮して、学習モデルを選択する方法を説明する。第三の実施形態では、画像を撮像する際の降雨の状況を検出して、学習モデルを選択する方法を説明する。
【００４２】
図８は、本発明による物体認識装置の第三の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置３００は、シーン判定部１０と、学習モデル選択部２２と、撮像装置３０と、物体認識部４０と、外因検出部５０と、外因判定部６０と、記憶部９０とを備えている。シーン判定部１０、撮像装置３０、物体認識部４０および記憶部９０の内容は、第一の実施形態と同様である。
【００４３】
外因検出部５０は、第二の実施形態と同様、撮影される画像に影響及ぼす外因を検出する。特に、本実施形態の外因検出部５０は、撮影される画像に影響を及ぼす降雨を検出する。本実施形態では、外因検出部５０は、雨滴感知センサ５３を含む。雨滴感知センサ５３は、フロントガラスの雨滴量を検出する。
【００４４】
外因判定部６０は、第二の実施形態と同様、外因検出部５０によって検出された内容に応じて、外因の程度を判定する。本実施形態の外因判定部６０は、雨滴判定部６３を含む。雨滴判定部６３は、雨滴感知センサ５３によって検出された雨滴量に基づいて、雨滴判定を行う。雨滴判定部６３は、予め定めた閾値よりも雨滴量が多い場合に「雨」と判定し、予め定めた閾値よりも雨滴量が少ない場合に「晴」と判定してもよい。なお、本実施形態では、雨滴判定部６３が判定結果を「雨」と「晴」の２種類に判定したが、雨滴判定部６３は、雨滴量そのもの、または、雨滴量に基づいて変換した値を判定結果としてもよい。
【００４５】
学習モデル選択部２２は、第二の実施形態と同様、判定されたシーンに加え、外因判定部６０による外因の判定結果に応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。本実施形態の学習モデル選択部２２も、第一の実施形態の学習モデル選択部２０と同様、シーンおよび外因判定結果ごとに選択する学習モデルを学習モデルの特徴に応じて予め定義しておき、学習モデル選択部２２は、判定されたシーンおよび外因の判定結果に対応する学習モデルを選択してもよい。
【００４６】
図９は、シーンおよび外因の判定結果ごとに定義された学習モデルの他の例を示す説明図である。図９に示す例では、図２に例示する定義に加え、雨滴判定結果が加えられていることを示す。なお、図９に示す例では、雨滴判定結果が２種類の場合を例示したが、雨滴判定結果は２種類に限定されず、雨滴量の範囲に応じて選択される学習モデルが対応付けられていてもよい。
【００４７】
シーン判定部１０と、学習モデル選択部２２と、物体認識部４０と、外因判定部６０（より具体的には、雨滴判定部６３）は、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１０と、学習モデル選択部２２と、物体認識部４０と、外因判定部６０（より具体的には、雨滴判定部６３）とは、それぞれが専用のハードウェアで実現されていてもよい。
【００４８】
次に、本実施形態の物体認識装置３００の動作を説明する。図１０は、本実施形態の物体認識装置３００の動作例を示すフローチャートである。シーン判定部１０が車両のシーンを判定する方法は、ステップＳ１１と同様である。
【００４９】
外因検出部５０は、撮影される画像に影響及ぼす外因を検出する。本実施形態では、雨滴感知センサ５３は、自車への雨滴量を検出する（ステップＳ３１）。外因判定部６０は、外因検出部５０によって検出された内容に応じて、外因の程度を判定する。本実施形態では、雨滴判定部６３は、雨滴感知センサ５３によって検出された雨滴量に基づいて、雨滴判定を行う（ステップＳ３２）。
【００５０】
学習モデル選択部２２は、判定されたシーンに加え、外因判定部６０による外因の判定結果に応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。本実施形態では、学習モデル選択部２２は、判定されたシーンおよび雨滴判定結果に応じて、学習モデルを選択する（ステップＳ３３）。その後、物体認識部４０が、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する処理は、ステップＳ１３と同様である。
【００５１】
以上のように、本実施形態では、外因検出部５０が、撮影される画像に影響及ぼす外因を検出し、外因判定部６０が外因検出部５０によって検出された内容に応じて、外因の程度を判定する。そして、学習モデル選択部２１は、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択する。より具体的には、雨滴感知センサ５３が自車への雨滴量を検出し、雨滴判定部６３が、検出された雨滴量に基づいて雨滴判定を行い、学習モデル選択部２２が、判定されたシーンおよび雨滴判定結果に応じて、学習モデルを選択する。
【００５２】
よって、第一の実施形態の効果に加え、物体の認識精度を向上させることができる。すなわち、本実施形態では、例えば、晴れと雨天時の天候の影響を考慮することにより、物体認識精度を向上させることができる。
【００５３】
次に、第三の実施形態の変形例を説明する。第三の実施形態では、雨滴感知センサ５３が直接、自車への雨滴量を検出して、雨滴判定部６３が雨滴判定を行う場合について説明した。なお、外因検出部５０は、直接的に外因を検出せず、車両に対する操作から間接的に外因を検出してもよい。
【００５４】
図１１は、本発明による物体認識装置の第三の実施形態の変形例を示すブロック図である。本変形例の物体認識装置３１０は、第三の実施形態の雨滴感知センサ５３の代わりにワイパー動作検出部５４を含み、雨滴判定部６３の代わりに雨滴判定部６４を含む。それ以外の構成は、第三の実施形態と同様である。
【００５５】
ワイパー動作検出部５４は、ワイパーの稼働状態（オン、オフ、または、動作間隔）を検出する。雨滴判定部６４は、検出されたワイパーの稼働状態に基づいて雨滴判定を行う。具体的には、雨滴判定部６４は、ワイパーの稼働状態がオフの場合に「晴れ」と判定し、ワイパーの稼働状態がオンの状態の場合に、ワイパーの動作間隔に応じて雨滴量を判定する。雨滴判定後に学習モデル選択部２２が行う処理は、第三の実施形態と同様である。このような構成であっても、第三の実施形態と同様に、物体の認識精度を向上させることができる。
【００５６】
なお、外因検出部５０が、第二の実施形態の照度センサ５１と前照灯状態検出部５２の少なくとも一方、および、雨滴感知センサ５３とワイパー動作検出部５４の少なくとも一方を含み、外因判定部６０が、それぞれ対応する明暗判定部を含んでいてもよい。そして、シーンおよび判定結果ごとに選択する学習モデルを学習モデルの特徴に応じて予め定義しておいてもよい。そのような構成によれば、照度および雨滴の両方を考慮してモデルを選択することが可能になる。
【００５７】
実施形態４．
次に、本発明による物体認識装置の第四の実施形態を説明する。第四の実施形態では、物体の認識結果に基づいて、認識に用いる学習モデルを変更する方法を説明する。図１２は、本発明による物体認識装置の第四の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置４００は、シーン判定部１１と、学習モデル選択部２３と、撮像装置３０と、物体認識部４０と、物体認識結果評価部７０と、認識結果判定部７５と、記憶部９０とを備えている。
【００５８】
なお、本実施形態の物体認識装置４００が、第二の実施形態および第三の実施形態における外因検出部５０および外因判定部６０を備えていてもよい。撮像装置３０、物体認識部４０および記憶部９０の内容は、第一の実施形態と同様である。また、図１２に示す一方向性の矢印は、情報の流れの方向を端的に示したものであり、双方向性を排除するものではない。
【００５９】
本実施形態のシーン判定部１１は、判定結果として各シーンの確からしさ（以下、スコアと記す）を出力する。すなわち、本実施形態では、シーンを一意に決定せずに、シーンとスコアとを対応付けた情報を判定結果として出力する。シーン判定部１１は、例えば、シーンごとの確からしさを判別する判別モデルを用いて、シーンごとのスコアを出力してもよい。
【００６０】
なお、第一の実施形態から第三の実施形態におけるシーン判定部１０が、シーン判定部１１と同様に、各シーンの確からしさ（スコア）を算出してもよい。この場合、シーン判定部１０は、スコアが最も高いシーンを、判定結果とすればよい。
【００６１】
図１３は、シーン判定部１１によるシーンの判定結果の例を示す説明図である。図１３に示す例では、シーンである「商店街」、「郊外市街地」および「高速道路」のスコアが、それぞれ０．９、０．７および０．２であることを示す。なお、シーン判定部１１は、図１３に例示するように、スコアの大きい順にシーンに優先順位を付与してもよい。
【００６２】
学習モデル選択部２３は、シーン判定部１１による判定結果を受信すると、スコアが最も大きいシーンに対応する学習モデルを選択する。シーンに対応する学習モデルを選択する方法は、第一の実施形態と同様である。また、学習モデル選択部２３は、後述する認識結果判定部７５の判定結果に応じて学習モデルを変更する。なお、学習モデルを変更する方法については後述される。
【００６３】
物体認識結果評価部７０は、選択された学習モデルによる物体認識の結果と、車両運転中に検出される物体の有無を表わす情報（以下、物体有無情報と記す。）とを照合し、選択された学習モデルによる物体認識の結果を評価する。車両運転中に検出される物体の有無を表わす情報は、例えば、上述するＬｉＤＡＲやミリ波レーダから得られる情報である。物体認識結果評価部７０は、例えば、物体有無情報が示す位置に物体認識部４０によって認識された物体が存在する場合に、物体認識が適合した（正解である）と判断してもよい。
【００６４】
具体的には、物体認識結果評価部７０は、物体有無情報に対して物体認識部４０による物体認識の結果の正解度合いを評価する。物体認識結果評価部７０は、例えば、物体認識結果の中に物体有無情報から特定される正解が含まれている確率である適合率（Precision ）を、正解度合いとして評価してもよい。ある画像についての適合率をｐｉとし、遡って評価対象とする物体認識の件数をＮとすると、評価時点での平均適合率ａｉは、以下に例示する式１で算出される。
【００６５】
【数１】
2020090251.tif 000003
【００６６】
式１において、評価対象とするＮは、適合率の平均を算出する際に対象とする要素の数を表わしていることから、以下、平均化要素数と記すこともある。また、物体認識結果評価部７０は、適合率の代わりに、正解のうち検出できた確率を示す再現率（Recall）を正解度合いとして評価してもよい。また、物体認識結果評価部７０は、適合率と再現率の調和平均であるＦ値を正解度合いとして評価してもよい。
【００６７】
なお、本実施形態では、物体認識結果評価部７０が、車両運転中に検出される物体の有無を表わす情報（すなわち、物体有無情報）と、物体認識結果とが適合したか否かに基づいて、学習モデルを評価する方法を説明した。
【００６８】
一方、例えば、ＬｉＤＡＲが、検出した物体の性質まで分析している場合、物体有無情報に、その物体の性質を表わす情報まで含めることが可能である。この場合、物体認識結果評価部７０は、選択された学習モデルによる物体認識結果と、物体の性質を表わす情報とを比較して、その物体の確からしさを正解率に反映させてもよい。
【００６９】
認識結果判定部７５は、物体認識結果評価部７０によって評価された正解度合いが、予め定めた閾値未満か否か判定する。以下、認識結果判定部７５によって判定された結果を、認識判定結果と記す。例えば、物体認識結果評価部７０が正解度合いとして平均適合率を算出した場合、認識結果判定部７５は、平均適合率が閾値未満か否か判定して、認識判定結果を学習モデル選択部２３に入力する。
【００７０】
学習モデル選択部２３は、認識結果判定部７５の判定結果（すなわち、認識判定結果）に応じて学習モデルを変更する。具体的には、学習モデル選択部２３は、認識結果判定部７５による認識判定結果が、「正解度合いが閾値未満」である場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択する。以下、新たに選択された学習モデルを用いて、物体認識部４０による認識処理が行われる。
【００７１】
なお、学習モデル選択部２３は、再度選択した学習モデルのスコアが、予め定めた値以上か否か判定してもよい。再度選択した学習モデルのスコアが、予め定めた値未満である場合、シーン判定部１１は、再度シーン判定を行ってもよい。
【００７２】
シーン判定部１１と、学習モデル選択部２３と、物体認識部４０と、物体認識結果評価部７０と、認識結果判定部７５とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１１と、学習モデル選択部２３と、物体認識部４０と、物体認識結果評価部７０と、認識結果判定部７５とは、それぞれが専用のハードウェアで実現されていてもよい。
【００７３】
次に、本実施形態の物体認識装置４００の動作を説明する。図１４は、本実施形態の物体認識装置４００の動作例を示すフローチャートである。まず、シーン判定部１１は、シーンごとの確からしさ（すなわち、スコア）を判定し（ステップＳ４１）、学習モデル選択部２３に入力する。学習モデル選択部２３は、最もスコアが高いシーンに応じた学習モデルを選択する（ステップＳ４２）。物体認識部４０は、選択された学習モデルを用いて物体を認識する（ステップＳ４３）。
【００７４】
物体認識結果評価部７０は、センサ等により得られた物体有無情報に対する物体認識結果の正解度合いを評価する（ステップＳ４４）。認識結果判定部７５は、正解度合いが予め定めた閾値未満か否かを判定する（ステップＳ４５）。正解度合いが閾値未満の場合（ステップＳ４５におけるＹｅｓ）、学習モデル選択部２３は、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択する（ステップＳ４６）。以降、新たに選択された学習モデルを使用して、ステップＳ４３以降の処理が繰り返される。一方、正解度合いが閾値以上の場合（ステップＳ４５におけるＮｏ）、現在の学習モデルを使用して、ステップＳ４３以降の処理が繰り返される。
【００７５】
以上のように、本実施形態では、シーン判定部１１が、シーンごとの確からしさ（スコア）を判定し、学習モデル選択部２３が、スコアが最も高いシーンに応じた学習モデルを選択し、物体認識部４０が、選択された学習モデルを用いて物体を認識する。一方、物体認識結果評価部７０が、物体有無情報に対する物体認識結果の正解度合いを評価し、認識結果判定部７５が、正解度合いが予め定めた閾値未満か否かを判定する。そして、正解度合いが閾値未満の場合、学習モデル選択部２３は、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択する。このように、最適な学習モデルが選択されていない場合でも、学習モデルを自動で補正（選択）することで、第一の実施形態の効果に加え、より物体認識精度を向上させることができる。
【００７６】
また、本実施形態では、いわゆるソフトウェア的な処理である画像認識と、センサなどのハードウェア的な処理である物体検知処理との結果をそれぞれ適合させて評価しているため、各処理の強みを生かして物体認識精度を向上させていると言える。
【００７７】
実施形態５．
次に、本発明による物体認識装置の第五の実施形態を説明する。車両が走行することにより、物体認識を行うシーンは、随時変化する。物体認識を行うシーンは、車両の走行速度に応じて変化すると考えられるため、車両の走行速度を考慮に入れた物体認識を行うことが必要である。そこで、第五の実施形態では、車両の走行速度に応じて学習モデルの適切性を判断する方法を説明する。
【００７８】
図１５は、本発明による物体認識装置の第五の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置５００は、シーン判定部１１と、学習モデル選択部２３と、撮像装置３０と、物体認識部４０と、物体認識結果評価部７１と、認識結果判定部７５と、記憶部９０とを備えている。すなわち、本実施形態の物体認識装置５００は、第四の実施形態の物体認識装置４００と比較し、物体認識結果評価部７０の代わりに物体認識結果評価部７１を備えている点において異なる。それ以外の構成については、第四の実施形態と同様である。
【００７９】
物体認識結果評価部７１は、車両の速度を取得する。物体認識結果評価部７１は、例えば、ＣＡＮ（Controller Area Network）などのプロトコルを用いて車両の速度を取得してもよい。そして、物体認識結果評価部７１は、第四の実施形態と同様、センサ等により得られた物体有無情報に対する物体認識結果の正解度合いを評価する。その際、物体認識結果評価部７１は、取得した車両の速度に応じて、物体認識の評価範囲を変更する。具体的には、物体認識結果評価部７１は、車両の速度が高速になるほど、物体認識の評価範囲を狭くし、車両の速度が低速になるほど、物体認識の評価範囲を広くする。
【００８０】
例えば、物体認識結果評価部７１が、正解度合いとして平均適合率を算出するとする。この場合、評価範囲は、平均化要素数Ｎに対応することから、物体認識結果評価部７１は、車両の速度が高速になるほど平均化要素数Ｎを小さくし、車両の速度が低速になる（または停止する）ほど平均化要素数Ｎを大きくしてもよい。
【００８１】
シーン判定部１１と、学習モデル選択部２３と、物体認識部４０と、物体認識結果評価部７１と、認識結果判定部７５とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１１と、学習モデル選択部２３と、物体認識部４０と、物体認識結果評価部７１と、認識結果判定部７５とは、それぞれが専用のハードウェアで実現されていてもよい。
【００８２】
次に、本実施形態の物体認識装置５００の動作を説明する。図１６は、本実施形態の物体認識装置５００の動作例を示すフローチャートである。算出されたスコアに基づいて選択された学習モデルによって物体を認識する処理は、第四の実施形態におけるステップＳ４１からステップＳ４３の処理と同様である。
【００８３】
物体認識結果評価部７１は、車両の速度を取得する（ステップＳ５１）。物体認識結果評価部７１は、第四の実施形態と同様、センサ等により得られた物体有無情報に対する物体認識結果の正解度合いを評価する。その際、物体認識結果評価部７１は、取得した車両の速度に応じて、物体認識の評価範囲を変更する。すなわち、物体認識結果評価部７１は、物体有無情報に対して、車両の速度に応じた範囲における物体認識結果の正解度合いを評価する（ステップＳ５２）。以降、正解度合いに応じて学習モデルの選択を行う処理は、第四の実施形態におけるステップＳ４４からステップＳ４６の処理と同様である。
【００８４】
以上のように、本実施形態では、物体認識結果評価部７１が、物体有無情報に対して、車両の速度に応じた範囲における物体認識結果の正解度合いを評価する。このように、車両の速度に応じて学習モデルの再選択周期を最適化できるため、第四の実施形態の効果に加え、より物体認識精度を向上させることができる。
【００８５】
次に、本発明の概要を説明する。図１７は、本発明による物体認識装置の概要を示すブロック図である。本発明による物体認識装置８０（例えば、物体認識装置１００〜５００）は、車両運転中に得られる情報（例えば、位置情報、ミリ波情報、ＬｉＤＡＲ情報、カメラ情報など）に基づいて、その車両のシーンを判定するシーン判定部８１（例えば、シーン判定部１０，１１）と、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択部８２（例えば、学習モデル選択部２０〜２３）と、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部８３（例えば、物体認識部４０）とを備えている。
【００８６】
そのような構成により、演算負荷を抑制しながら、運転中に撮影される物体の認識精度を向上させることができる。
【００８７】
また、物体認識装置８０は、撮影される画像に影響及ぼす外因を検出する外因検出部（例えば、外因検出部５０）と、検出された内容に応じて、外因の程度を判定する外因判定部（例えば、外因判定部６０）とを備えていてもよい。そして、学習モデル選択部８２は、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択してもよい。そのような構成によれば、外因の影響に応じて学習モデルを選択できるため、物体の認識精度をより向上させることができる。
【００８８】
具体的には、外因検出部（例えば、照度センサ５１、前照灯状態検出部５２）は、撮影される画像の影響を及ぼす明るさを検出してもよい。また、外因判定部（例えば、明暗判定部６１，６２）は、検出された明るさに基づいて明暗判定を行ってもよい。そして、学習モデル選択部８２は、判定されたシーンおよび明暗判定の結果に応じて学習モデルを選択してもよい。
【００８９】
他にも、外因検出部（例えば、雨滴感知センサ５３、ワイパー動作検出部５４）は、撮影される画像の影響を及ぼす降雨を検出してもよい。また、外因判定部（例えば、雨滴判定部６３，６４）は、検出された降雨に基づいて雨滴判定を行ってもよい。そして、学習モデル選択部８２は、判定されたシーンおよび雨滴判定の結果に応じて学習モデルを選択してもよい。
【００９０】
また、物体認識装置８０は、選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、選択された学習モデルによる物体認識結果を評価する物体認識結果評価部（例えば、物体認識結果評価部７０）と、物体認識結果の評価を判定する認識結果判定部（例えば、認識結果判定部７５）とを備えていてもよい。
【００９１】
このとき、シーン判定部８１は、シーンごとの確からしさであるスコアを判定し、学習モデル選択部８２は、スコアが最も高いシーンに応じた学習モデルを選択し、物体認識部８３は、選択された学習モデルを用いて物体を認識してもよい。さらに、物体認識結果評価部は、物体有無情報に対する物体認識結果の正解度合いを評価し、認識結果判定部は、正解度合いが予め定めた閾値未満か否かを判定し、学習モデル選択部８２は、正解度合いが閾値未満の場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択してもよい。
【００９２】
その際、物体認識結果評価部は、車両の速度を取得し、取得した車両の速度に応じて、物体認識の評価範囲を変更してもよい。この構成により、車両の速度に応じて学習モデルの再選択周期を最適化できるため、より物体認識精度を向上させることができる。
【００９３】
具体的には、物体認識結果評価部は、車両の速度が高速になるほど、物体認識の評価範囲を狭くし、車両の速度が低速になるほど、物体認識の評価範囲を広くしてもよい。
【００９４】
また、物体認識結果評価部は、物体有無情報から特定される検出結果の中に物体認識による正解が含まれている確率である適合率（例えば、ｐｉ）を、評価対象とする物体認識の件数である平均化要素数（例えば、Ｎ）の数だけ算出し、算出された適合率の平均である平均適合率（例えば、ａｉ）を算出し、認識結果判定部は、算出された平均適合率が予め定めた閾値未満か否か判定してもよい。
【００９５】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００９６】
（付記１）車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定部と、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択部と、選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識部とを備えたことを特徴とする物体認識装置。
【００９７】
（付記２）撮影される画像に影響及ぼす外因を検出する外因検出部と、検出された内容に応じて、外因の程度を判定する外因判定部とを備え、学習モデル選択部は、判定されたシーンおよび前記外因の判定結果に応じて学習モデルを選択する付記１記載の物体認識装置。
【００９８】
（付記３）外因検出部は、撮影される画像の影響を及ぼす明るさを検出し、外因判定部は、検出された明るさに基づいて明暗判定を行い、学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて学習モデルを選択する付記２記載の物体認識装置。
【００９９】
（付記４）外因検出部は、自車の照度を検出する照度センサを含み、外因判定部は、前記照度センサによって検出された照度に基づいて明暗判定を行う明暗判定部を含み、学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて、学習モデルを選択する付記３記載の物体認識装置。
【０１００】
（付記５）外因検出部は、前照灯の状態を検出する前照灯状態検出部を含み、外因判定部は、検出された前照灯の状態に基づいて明暗判定を行う明暗判定部を含み、学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて、学習モデルを選択する付記３記載の物体認識装置。
【０１０１】
（付記６）外因検出部は、撮影される画像の影響を及ぼす降雨を検出し、外因判定部は、検出された降雨に基づいて雨滴判定を行い、学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて学習モデルを選択する付記２記載の物体認識装置。
【０１０２】
（付記７）外因検出部は、フロントガラスの雨滴量を検出する雨滴感知センサを含み、外因判定部は、前記雨滴感知センサによって検出された雨滴量に基づいて、雨滴判定を行う雨滴判定部を含み、学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する付記２から付記６のうちのいずれか１つに記載の物体認識装置。
【０１０３】
（付記８）外因検出部は、ワイパーの稼働状態を検出するワイパー動作検出部を含み、外因判定部は、検出されたワイパーの稼働状態に基づいて雨滴判定を行う雨滴判定部を含み、学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する付記２から付記６のうちのいずれか１つに記載の物体認識装置。
【０１０４】
（付記９）選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、選択された学習モデルによる物体認識結果を評価する物体認識結果評価部と、前記物体認識結果の評価を判定する認識結果判定部とを備え、シーン判定部は、シーンごとの確からしさであるスコアを判定し、学習モデル選択部は、前記スコアが最も高いシーンに応じた学習モデルを選択し、物体認識部は、選択された学習モデルを用いて物体を認識し、前記物体認識結果評価部は、前記物体有無情報に対する物体認識結果の正解度合いを評価し、前記認識結果判定部は、前記正解度合いが予め定めた閾値未満か否かを判定し、前記学習モデル選択部は、前記正解度合いが閾値未満の場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択する付記１から付記８のうちのいずれか１つに記載の物体認識装置。
【０１０５】
（付記１０）物体認識結果評価部は、車両の速度を取得し、取得した車両の速度に応じて、物体認識の評価範囲を変更する付記９記載の物体認識装置。
【０１０６】
（付記１１）物体認識結果評価部は、車両の速度が高速になるほど、物体認識の評価範囲を狭くし、車両の速度が低速になるほど、物体認識の評価範囲を広くする付記１０記載の物体認識装置。
【０１０７】
（付記１２）物体認識結果評価部は、物体認識結果の中に物体有無情報から特定される正解が含まれている確率である適合率を、評価対象とする物体認識の件数である平均化要素数の数だけ算出し、算出された適合率の平均である平均適合率を算出し、認識結果判定部は、算出された前記平均適合率が予め定めた閾値未満か否か判定する付記９から付記１１のうちのいずれか１つに記載の物体認識装置。
【０１０８】
（付記１３）シーン判定部は、シーンごとの確からしさを判別する判別モデルを用いて、車両のシーンを判定する付記１から付記１２のうちのいずれか１つに記載の物体認識装置。
【０１０９】
（付記１４）コンピュータが、車両運転中に得られる情報に基づいて、当該車両のシーンを判定し、前記コンピュータが、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択し、前記コンピュータが、選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識することを特徴とする物体認識方法。
【０１１０】
（付記１５）コンピュータが、撮影される画像に影響及ぼす外因を検出し、コンピュータが、検出された内容に応じて、外因の程度を判定し、コンピュータが、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択する付記１４記載の物体認識方法。
【０１１１】
（付記１６）コンピュータに、車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定処理、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択処理、および、選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識処理を実行させるための物体認識プログラム。
【０１１２】
（付記１７）コンピュータに、撮影される画像に影響及ぼす外因を検出する外因検出処理、および、検出された内容に応じて、外因の程度を判定する外因判定処理を実行させ、学習モデル選択処理で、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択させる付記１６記載の物体認識プログラム。
【０１１３】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１１４】
この出願は、２０１８年１０月３０日に出願された日本特許出願２０１８−２０３９４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１１５】
１０，１１  シーン判定部
２０，２１，２２，２３  学習モデル選択部
３０  撮像装置
４０  物体認識部
５０  外因検出部
５１  照度センサ
５２  前照灯状態検出部
５３  雨滴感知センサ
５４  ワイパー動作検出部
６０  外因判定部
６１，６２  明暗判定部
６３，６４  雨滴判定部
７０，７１  物体認識結果評価部
７５  認識結果判定部
９０  記憶部
１００，２００，２１０，３００，３１０，４００，５００  物体認識装置
【図１】
2020090251.tif 000004
【図２】
2020090251.tif 000005
【図３】
2020090251.tif 000006
【図４】
2020090251.tif 000007
【図５】
2020090251.tif 000008
【図６】
2020090251.tif 000009
【図７】
2020090251.tif 000010
【図８】
2020090251.tif 000011
【図９】
2020090251.tif 000012
【図１０】
2020090251.tif 000013
【図１１】
2020090251.tif 000014
【図１２】
2020090251.tif 000015
【図１３】
2020090251.tif 000016
【図１４】
2020090251.tif 000017
【図１５】
2020090251.tif 000018
【図１６】
2020090251.tif 000019
【図１７】
2020090251.tif 000020
【手続補正書】
【提出日】令和3年4月20日(2021.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定部と、
判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択部と、
選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識部とを備えた
ことを特徴とする物体認識装置。
【請求項２】
撮影される画像に影響及ぼす外因を検出する外因検出部と、
検出された内容に応じて、外因の程度を判定する外因判定部とを備え、
学習モデル選択部は、判定されたシーンおよび前記外因の判定結果に応じて学習モデルを選択する
請求項１記載の物体認識装置。
【請求項３】
外因検出部は、撮影される画像の影響を及ぼす明るさを検出し、
外因判定部は、検出された明るさに基づいて明暗判定を行い、
学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて学習モデルを選択する
請求項２記載の物体認識装置。
【請求項４】
外因検出部は、自車の照度を検出する照度センサを含み、
外因判定部は、前記照度センサによって検出された照度に基づいて明暗判定を行う明暗判定部を含み、
学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて、学習モデルを選択する
請求項３記載の物体認識装置。
【請求項５】
外因検出部は、前照灯の状態を検出する前照灯状態検出部を含み、
外因判定部は、検出された前照灯の状態に基づいて明暗判定を行う明暗判定部を含み、
学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて、学習モデルを選択する
請求項３記載の物体認識装置。
【請求項６】
外因検出部は、撮影される画像の影響を及ぼす降雨を検出し、
外因判定部は、検出された降雨に基づいて雨滴判定を行い、
学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて学習モデルを選択する
請求項２記載の物体認識装置。
【請求項７】
外因検出部は、フロントガラスの雨滴量を検出する雨滴感知センサを含み、
外因判定部は、前記雨滴感知センサによって検出された雨滴量に基づいて、雨滴判定を行う雨滴判定部を含み、
学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する
請求項２から請求項６のうちのいずれか１項に記載の物体認識装置。
【請求項８】
外因検出部は、ワイパーの稼働状態を検出するワイパー動作検出部を含み、
外因判定部は、検出されたワイパーの稼働状態に基づいて雨滴判定を行う雨滴判定部を含み、
学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する
請求項２から請求項６のうちのいずれか１項に記載の物体認識装置。
【請求項９】
コンピュータが、車両運転中に得られる情報に基づいて、当該車両のシーンを判定し、
前記コンピュータが、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択し、
前記コンピュータが、選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する
ことを特徴とする物体認識方法。
【請求項１０】
コンピュータに、
車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定処理、
判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択処理、および、
選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識処理
を実行させるための物体認識プログラム。
【国際調査報告】
2020090251.tif 000021
2020090251.tif 000022
2020090251.tif 000023
2020090251.tif 000024