(57)【要約】【課題】撮影画像に示されている付着物を、より高い精度で検出する。【解決手段】少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法は、撮像素子による透光体を介した撮影によって生成される撮影画像を取得し（ステップＳ３０１）、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における対象付着物の有無を検出する（ステップＳ３０２）。【選択図】図１２
2019015692.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、
前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得し、
透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する
付着物検出方法。
【請求項２】
前記認識モデルは、
前記撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって構築されたものである
請求項１に記載の付着物検出方法。
【請求項３】
前記訓練データは、
（ａ）当該撮影画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報とをさらに含む前記アノテーションが付与された前記訓練データであり、
前記認識モデルは、
前記訓練データを用いて、前記撮影画像における当該付着物の種別情報をさらに学習することによって構築されたものであり、
前記対象付着物を検出する際には、
前記認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の種別情報を取得することで、前記撮影画像における前記対象付着物の種別をさらに検出する
請求項２に記載の付着物検出方法。
【請求項４】
前記対象付着物を検出する際には、
前記認識モデルに前記撮影画像を入力することで出力される、前記撮影画像における付着物の寸法を取得することで、前記撮影画像における前記対象付着物の寸法を検出する
請求項１〜３のいずれか１項に記載の付着物検出方法。
【請求項５】
前記撮像素子は、対象車両に搭載されており、
前記透光体は、２つの透光体である、前記撮像素子を備えるカメラのレンズ、及び、前記対象車両のフロントガラスであり、
前記訓練データを取得する際には、
さらに（ｃ）前記レンズ及び前記フロントガラスのうち当該付着物が付着している一方を示す特定情報を含む前記アノテーションが付与された前記訓練データを取得し、
前記認識モデルは、
前記訓練データを用いて、前記画像における当該付着物の特定情報をさらに学習することによって構築されたものであり、
前記対象付着物を検出する際には、
前記認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の特定情報を取得することで、前記撮影画像における前記対象付着物が前記レンズ及び前記フロントガラスのどちらに付着しているかを検出する
請求項２に記載の付着物検出方法。
【請求項６】
前記アノテーションに含まれる前記種別情報は、水滴、雪粒、氷、埃、泥、虫及び糞のいずれかを示す情報である
請求項３に記載の付着物検出方法。
【請求項７】
前記撮像素子は、対象車両に搭載されており、
前記付着物検出方法では、さらに、
検出した前記対象付着物の種別に基づいて、前記対象車両の運転者への通知を制御する
請求項１〜６のいずれか１項に記載の付着物検出方法。
【請求項８】
前記撮像素子は、対象車両に搭載されており、
前記付着物検出方法では、さらに、
検出した前記対象付着物の種別に基づいて前記対象車両を自動運転により制御するか、手動運転により制御するかを切り替える
請求項１〜７のいずれか１項に記載の付着物検出方法。
【請求項９】
前記撮像素子は、対象車両に搭載されており、
前記付着物検出方法では、さらに、
検出した前記対象付着物の種別に基づいて、前記対象車両のワイパーの駆動を制御する
請求項１〜８のいずれか１項に記載の付着物検出方法。
【請求項１０】
前記認識モデルは、雨天時に撮影された前記撮影画像における当該付着物と、当該付着物の種別を示す種別情報を認識する雨天用認識モデルを含み、
前記対象付着物として水滴が検出された後には、前記雨天用認識モデルを前記認識モデルとして用いて前記対象付着物の検出をする
請求項１〜９のいずれか１項に記載の付着物検出方法。
【請求項１１】
前記認識モデルは、ニューラルネットワークモデルである
請求項１〜１０のいずれか１項に記載の付着物検出方法。
【請求項１２】
少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、
透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する
付着物学習方法。
【請求項１３】
前記認識モデルを構築する際には、
透光体を介して撮影された撮影画像に対して、（ａ）当該撮影画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報と、を含む前記アノテーションが付与された前記訓練データを用いて、前記撮影画像における当該付着物の種別情報を学習することによって前記認識モデルを構築する
請求項１２に記載の付着物学習方法。
【請求項１４】
前記撮像素子は、対象車両に搭載されており、
前記透光体は、前記撮像素子を備えるカメラのレンズ、又は、前記対象車両のフロントガラスであり、
前記訓練データを取得する際には、
さらに（ｃ）前記レンズ及び前記フロントガラスのうち当該付着物が付着している一方を示す特定情報を含む前記アノテーションが付与された前記訓練データを取得し、
前記認識モデルを構築する際には、
前記訓練データを用いて、前記撮影画像における当該付着物の特定情報をさらに学習することによって前記認識モデルを構築する
請求項１２又は１３に記載の付着物学習方法。
【請求項１５】
少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出装置であって、
前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得する撮影画像取得部と、
透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する検出部とを備える
付着物検出装置。
【請求項１６】
少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習装置であって、
透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する取得部と、
前記訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する学習部とを備える
付着物学習装置。
【請求項１７】
少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出システムであって、
透光体を介して撮影された第一撮影画像における前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する取得部と、
前記訓練データを用いて、前記第一撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する学習部と、
前記撮像素子による前記透光体を介した撮影によって生成される第二撮影画像を取得する撮影画像取得部と、
透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記第二撮影画像を入力データとして入力することで出力される、前記第二撮影画像における付着物の有無を示す情報を取得することで、前記第二撮影画像における前記対象付着物の有無を検出する検出部とを備える
付着物検出システム。
【請求項１８】
コンピュータが、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を学習するためのプログラムであって、
透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得し、
前記訓練データを用いて、前記撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する
ことを前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラムに関する。
【背景技術】
【０００２】
自動車の運転支援技術、及び、自動運転技術が開発されつつある。これらの技術では、車両の周囲にある物体を認識することで、車両の走行に関する制御がなされる。車両の周囲にある物体は、車載カメラによる撮影により得られる。
【０００３】
カメラのレンズに水滴などの付着物が付着している場合、付着物が光を反射又は屈折することで撮影画像に乱れが生じ得る。特許文献１は、照明下で撮影した画像と、非照明下で撮影した画像とを利用して、カメラの視野内に雨粒等の付着物がある場合であっても物体の認識を行うことができる技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４９６７０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される技術では、付着物により撮影画像の一部に滲み、歪み又は欠けが生じた場合の物体の認識精度の悪化については一切検討されていない。つまり、特許文献１に開示される技術では、付着物により撮影画像の一部に滲み、歪み又は欠けが生じた場合の認識精度の悪化を解消し得ないという問題がある。
【０００６】
そこで、本発明は、撮影画像に示されている付着物を、より高い精度で検出し得る付着物検出方法を開示する。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る付着物検出方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得し、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する。
【０００８】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００９】
本発明の付着物検出方法は、撮影画像に示されている付着物を、より高い精度で検出できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態における付着物検出システムの構成を示す図である。
【図２】図２は、実施の形態におけるサーバの機能構成を示すブロック図である。
【図３】図３は、実施の形態における画像格納部に格納される画像の一例を示す説明図である。
【図４】図４は、実施の形態における訓練データを示す説明図である。
【図５】図５は、実施の形態におけるアノテーション付与部が付与するアノテーションを示す説明図である。
【図６】図６は、実施の形態における車両の機能構成を示すブロック図である。
【図７】図７は、実施の形態におけるサーバの処理を示すフロー図である。
【図８】図８は、実施の形態における車載機器の処理を示すフロー図である。
【図９】図９は、実施の形態の変形例１におけるアノテーション付与部が付与するアノテーションの第一例を示す説明図である。
【図１０】図１０は、実施の形態の変形例１におけるアノテーション付与部が付与するアノテーションの第二例を示す説明図である。
【図１１】図１１は、実施の形態の変形例２におけるアノテーション付与部が付与するアノテーションを示す説明図である。
【図１２】図１２は、各実施の形態の変形例に係る付着物学習方法を示すフロー図である。
【図１３】図１３は、各実施の形態の変形例に係る付着物学習装置を示すブロック図である。
【図１４】図１４は、各実施の形態の変形例に係る付着物検出方法を示すフロー図である。
【図１５】図１５は、各実施の形態の変形例に係る付着物検出装置を示すブロック図である。
【図１６】図１６は、各実施の形態の変形例に係る付着物検出方法を示すフロー図である。
【図１７】図１７は、各実施の形態の変形例に係る付着物検出システムを示すブロック図である。
【発明を実施するための形態】
【００１１】
本発明の一態様に係る付着物検出方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得し、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する。
【００１２】
上記態様によれば、認識モデルに基づいて、撮像画像における対象付着物の有無が検出される。この認識モデルは、透光体に付着している付着物が示された画像における当該付着物を認識するものであるので、この認識モデルに撮影画像を入力することで、撮影画像における対象付着物の有無がより高精度に検出され得る。このように、この付着物検出方法によれば、撮影画像における、透光体に付着している付着物を、より高い精度で検出できる。
【００１３】
例えば、前記認識モデルは、前記撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって構築されたものであってもよい。
【００１４】
上記態様によれば、アノテーションを付与された訓練データを用いて構築された認識モデル、つまり、付着物が示された画像における当該付着物の有無の学習が行われることによって構築された認識モデルが用いられる。つまり、画像に示されている付着物の有無が認識モデルに教え込まれている。例えば、画像に示されている付着物の色、形状又は模様等の特徴に基づいて、付着物の種別が学習されたものである。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の有無が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
【００１５】
例えば、前記訓練データは、（ａ）当該撮影画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報とをさらに含む前記アノテーションが付与された前記訓練データであり、前記認識モデルは、前記訓練データを用いて、前記撮影画像における当該付着物の種別情報をさらに学習することによって構築されたものであり、前記対象付着物を検出する際には、前記認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の種別情報を取得することで、前記撮影画像における前記対象付着物の種別をさらに検出してもよい。
【００１６】
上記態様によれば、付着物が示された画像における当該付着物の種別及び位置の学習がさらに行われることによって構築された認識モデルが用いられる。つまり、画像に示されている付着物の種別及び位置がさらに認識モデルに教え込まれている。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の種別が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
【００１７】
例えば、前記対象付着物を検出する際には、前記認識モデルに前記撮影画像を入力することで出力される、前記撮影画像における付着物の寸法を取得することで、前記撮影画像における前記対象付着物の寸法を検出してもよい。
【００１８】
上記態様によれば、対象付着物の量を、より高精度に検出できる。
【００１９】
例えば、前記撮像素子は、対象車両に搭載されており、前記透光体は、２つの透光体である、前記撮像素子を備えるカメラのレンズ、及び、前記対象車両のフロントガラスであり、前記訓練データを取得する際には、さらに（ｃ）前記レンズ及び前記フロントガラスのうち当該付着物が付着している一方を示す特定情報を含む前記アノテーションが付与された前記訓練データを取得し、前記認識モデルは、前記訓練データを用いて、前記画像における当該付着物の特定情報をさらに学習することによって構築されたものであり、前記対象付着物を検出する際には、前記認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の特定情報を取得することで、前記撮影画像における前記対象付着物が前記レンズ及び前記フロントガラスのどちらに付着しているかを検出してもよい。
【００２０】
上記態様によれば、付着物が２つの透光体のうちのどちらに付着しているかをさらに用いて学習することで構築された認識モデルに基づいて、撮影画像における対象付着物が検出される。この認識モデルは、付着物が２つの透光体のうちのどちらに付着しているかを示す特定情報がさらに付与されているので、付着物がどちらの透光体に付着しているかについての学習が行われることによって構築されたものとなる。つまり、画像に示されている付着物の種別に加えて、付着物がどちらの透光体に付着しているかが認識モデルに教え込まれている。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の種別、及び、付着物が付着している透光体が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
【００２１】
例えば、前記アノテーションに含まれる前記種別情報は、水滴、雪粒、氷、埃、泥、虫及び糞のいずれかを示す情報であってもよい。
【００２２】
上記態様によれば、透光体に付着している対象付着物として、より具体的に、水滴、雪粒、氷、埃、泥、虫及び糞が検出される。
【００２３】
例えば、前記撮像素子は、対象車両に搭載されており、前記付着物検出方法では、さらに、検出した前記対象付着物の種別に基づいて、前記対象車両の運転者への通知を制御してもよい。
【００２４】
上記態様によれば、検出した付着物の種別に応じた運転者への通知がなされる。通知を受けた運転者は、付着物の種別に応じた行動をとることができる。例えば、付着物が水滴又は雪粒であればワイパーを駆動させ、泥又は虫であれば一時的に駐車して布でふき取るなどの対処ができる。
【００２５】
例えば、前記撮像素子は、対象車両に搭載されており、前記付着物検出方法では、さらに、検出した前記対象付着物の種別に基づいて前記対象車両を自動運転により制御するか、手動運転により制御するかを切り替えてもよい。
【００２６】
上記態様によれば、検出した付着物の種別に応じた車両の制御がなされる。付着物の種別によって、自動運転を継続することが不可能、又は、安全上の問題が発生する場合に、自動運転を解除して手動運転にするなどの制御が可能となる。
【００２７】
例えば、前記撮像素子は、対象車両に搭載されており、前記付着物検出方法では、さらに、検出した前記対象付着物の種別に基づいて、前記対象車両のワイパーの駆動を制御してもよい。
【００２８】
上記態様によれば、検出した付着物の種別に応じたワイパーの制御がなされる。例えば、付着物が水滴又は雪粒である場合に限り、ワイパーを駆動させるという制御が可能となる。
【００２９】
例えば、前記認識モデルは、雨天時に撮影された前記撮影画像における当該付着物と、当該付着物の種別を示す種別情報を認識する雨天用認識モデルを含み、前記対象付着物として水滴が検出された後には、前記雨天用認識モデルを前記認識モデルとして用いて前記対象付着物の検出をしてもよい。
【００３０】
上記態様によれば、雨天時に、より正確に付着物を認識できる利点がある。雨天用認識モデルは、雨天時に撮影された訓練用画像から構築されたものであるので、雨天時にカメラが撮影した画像における付着物の検出を、より高精度に行うことができる。
【００３１】
例えば、前記認識モデルは、ニューラルネットワークモデルであってもよい。
【００３２】
上記態様によれば、認識モデルとしてニューラルネットワークモデルを用いて、より具体的に、透光体に付着している付着物をより高い精度で検出できる。
【００３３】
また、本実施の形態に係る移動体学習方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する。
【００３４】
上記態様によれば、アノテーションを付与された訓練データを用いて、付着物が示された画像における当該付着物の有無の学習が行われることによって認識モデルが構築される。つまり、画像に示されている付着物の有無が教え込まれた認識モデルが構築される。よって、この認識モデルを用いることで、撮影画像に示されている対象付着物を、より高い精度で検出することができる。
【００３５】
例えば、前記認識モデルを構築する際には、透光体を介して撮影された撮影画像に対して、（ａ）当該撮影画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報と、を含む前記アノテーションが付与された前記訓練データを用いて、前記撮影画像における当該付着物の種別情報を学習することによって前記認識モデルを構築してもよい。
【００３６】
上記態様によれば、アノテーションを付与された訓練データを用いて、付着物が示された画像における当該付着物の種別の学習が行われることによって認識モデルが構築される。つまり、画像に示されている付着物の種別が教え込まれた認識モデルが構築される。よって、この認識モデルを用いることで、撮影画像に示されている対象付着物を、より高い精度で検出することができる。
【００３７】
例えば、前記撮像素子は、対象車両に搭載されており、前記透光体は、前記撮像素子を備えるカメラのレンズ、又は、前記対象車両のフロントガラスであり、前記訓練データを取得する際には、さらに（ｃ）前記レンズ及び前記フロントガラスのうち当該付着物が付着している一方を示す特定情報を含む前記アノテーションが付与された前記訓練データを取得し、前記認識モデルを構築する際には、前記訓練データを用いて、前記撮影画像における当該付着物の特定情報をさらに学習することによって前記認識モデルを構築してもよい。
【００３８】
上記態様によれば、付着物が２つの透光体のうちのどちらに付着しているかをさらに用いて学習することで認識モデルが構築される。この認識モデルは、付着物が２つの透光体のうちのどちらに付着しているかを示す特定情報がさらに付与されているので、付着物がどちらの透光体に付着しているかについての学習が行われることによって構築されたものとなる。よって、この認識モデルを用いることで、透光体に付着している対象付着物を、より高い精度で検出することができる。
【００３９】
また、本実施の形態に係る付着物検出装置は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出装置であって、前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得する撮影画像取得部と、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する検出部とを備える。
【００４０】
上記態様によれば、上記付着物検出方法と同様の効果を奏する。
【００４１】
また、本実施の形態に係る付着物学習装置は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習装置であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する取得部と、前記訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する学習部とを備える。
【００４２】
上記態様によれば、上記付着物学習方法と同様の効果を奏する。
【００４３】
また、本実施の形態に係る付着物検出システムは、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出システムであって、透光体を介して撮影された第一撮影画像における前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する取得部と、前記訓練データを用いて、前記第一撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する学習部と、前記撮像素子による前記透光体を介した撮影によって生成される第二撮影画像を取得する撮影画像取得部と、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記第二撮影画像を入力データとして入力することで出力される、前記第二撮影画像における付着物の有無を示す情報を取得することで、前記第二撮影画像における前記対象付着物の有無を検出する検出部とを備える。
【００４４】
上記態様によれば、上記付着物検出システムと同様の効果を奏する。
【００４５】
また、本実施の形態に係るプログラムは、コンピュータが、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を学習するためのプログラムであって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得し、前記訓練データを用いて、前記撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する。
【００４６】
上記態様によれば、上記付着物学習方法と同様の効果を奏する。
【００４７】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００４８】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００４９】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５０】
（実施の形態）
実施の形態において、撮影画像に示されている付着物を、より高い精度で検出する付着物検出装置、及び、付着物出システムなどについて説明する。
【００５１】
図１は、本実施の形態における付着物検出システムの構成を示すブロック図である。
【００５２】
本実施の形態における付着物検出システム１０は、少なくとも１つのコンピュータからなるシステムであって、車両１１が有する撮像素子と撮影対象とを隔てる透光体に付着している付着物（対象付着物ともいう）を検出する。なお、付着物検出システム１０は、付着物の他にも自動車、歩行者、道路なども検出し得る。付着物検出システム１０が検出する検出対象を対象物ということもある。なお、以下では、撮像素子が車両１１に搭載されている場合を例として示すが、撮像素子は車両１１に搭載されているものに限られず、他の用途のカメラ（監視カメラ、防犯カメラなど）でもよい。
【００５３】
付着物検出システム１０は、具体的には、車両１１に備えられている車載機器と、その車載機器にインターネットなどの通信網１３を介して接続されるサーバ１２とを備える。なお、上記透光体は、車載機器が有するカメラの撮像素子と、その撮影素子による撮影の対象とを隔てる透光体であり、具体的には、カメラのレンズ、又は、車両１１のフロントガラス（ウィンドシールド）である。なお、透光体は、透光性を有する部材であれば他の物でもよい。また、付着物は、水滴、雪粒、氷、埃、泥、虫及び糞などである。車載機器は、認識モデルを用いた認識に基づいて付着物を検出する。認識に用いる認識モデルは、サーバ１２から通信網１３を介して取得される。
【００５４】
サーバ１２は、表示装置１４および入力デバイス１５に有線通信または無線通信によって接続されている。表示装置１４は、液晶ディスプレイまたは有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを有し、サーバ１２からの制御に応じた画像を表示する。入力デバイス１５は、例えばキーボードおよびマウスなどを備え、ユーザによる入力操作に応じた操作信号をサーバ１２に出力する。
【００５５】
また、サーバ１２は、例えば、複数の端末装置（不図示）から通信網１３を介して送信される画像を取得して保存する。具体的には、端末装置は、例えば車両１１、又は、車両１１以外の車両に備えられたカメラによる撮像によって得られた画像をサーバ１２に通信網１３を介して送信する。そして、サーバ１２は、このように送信された画像を訓練用画像として用いて、訓練用画像における付着物の種別を学習することによって、認識モデルを構築する。そして、サーバ１２は、その構築された認識モデルを通信網１３を介して車両１１に送信する。
【００５６】
図２は、本実施の形態におけるサーバ１２の機能構成を示すブロック図である。
【００５７】
図２に示されるように、サーバ１２は、訓練データ取得部１２０と、学習部１２７と、モデル格納部１２８と、制御部１２９とを備える。
【００５８】
訓練データ取得部１２０は、付着物の検出の学習に用いられる訓練データを取得する。具体的には、訓練データ取得部１２０は、付着物が示された画像に対して、当該付着物の座標及び種別を示すアノテーションを付与することによって訓練データを取得する。
【００５９】
訓練データ取得部１２０は、画像格納部１２１と、アノテーション付与部１２２と、訓練データ格納部１２３とを備える。
【００６０】
画像格納部１２１は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）またはハードディスクなどのデータを記録するための記録媒体である。画像格納部１２１には、例えばカメラによる撮像によって生成された複数の画像が複数の訓練用画像として格納される。
【００６１】
アノテーション付与部１２２は、訓練用画像に対してアノテーションを付与する。アノテーションは、付着物の座標と、種別情報とを含む。付着物の座標は、訓練用画像における付着物の座標（Ｘ，Ｙ）であり、例えば画像の左上隅を（０，０）とし、右方向をＸ軸正方向とし、下方向をＹ軸正方向とする座標系に対する座標である。種別情報は、付着物の種別を示す情報であり、具体的には、水滴、雪粒、氷、埃、泥、虫及び糞のいずれかを示す情報である。アノテーション付与部１２２は、入力デバイス１５から制御部１２９を介して操作信号を取得し、その操作信号に応じて、アノテーションを訓練用画像に付与する。
【００６２】
なお、アノテーション付与部１２２は、訓練用画像へのアノテーションの付与を、画像解析技術等に基づいて自動的に行ってもよく、ユーザからの操作に応じて行ってもよい。つまり、アノテーション付与部１２２は、訓練用画像を解析することによって自動的に訓練用画像における付着物の座標と種別とを決定してもよい。また、アノテーション付与部１２２は、表示装置１４により訓練用画像を表示し、訓練用画像を視認したユーザにより入力デバイス１５に入力された操作信号を取得することで、付着物の座標と種別とを決定してもよい。なお、以降では、アノテーション付与部１２２が、訓練用画像を視認したユーザによる操作信号の入力に基づいてアノテーションを付与する場合を例として説明する。
【００６３】
訓練データ格納部１２３は、ＲＡＭまたはハードディスクなどのデータを記録するための記録媒体である。訓練データ格納部１２３には、アノテーションが付与された訓練用画像が訓練データとして格納される。
【００６４】
学習部１２７は、訓練データを用いて付着物の種別を学習する。すなわち、学習部１２７は、訓練データ格納部１２３に格納されている訓練データを用いて、訓練用画像における付着物の種別を学習することによって、認識モデルを構築する。学習部１２７は、構築した認識モデルをモデル格納部１２８に格納する。
【００６５】
学習部１２７による学習は、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ、またはＧｅｎｅｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇなどの機械学習である。また、画像中の物体の認識およびセグメンテーションには、グラフカットなどを用いることができる。あるいは、Ｒａｎｄｏｍ  ＦｏｒｅｓｔまたはＧｅｎｅｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇによって作成された認識器などを用いてもよい。また、学習部１２７が構築する認識モデルは、ニューラルネットワークモデルであってもよい。
【００６６】
学習部１２７が構築する認識モデルは、付着物が撮影された画像における付着物と、当該付着物の種別を示す種別情報とを認識する認識モデルである。認識モデルは、より具体的には、例えば、透光体に付着している付着物が撮影された画像に対して、（ａ）当該画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報と、を含む情報であるアノテーションが付与された訓練データを取得し、取得した訓練データを用いて、画像における付着物の種別情報を学習することによって構築されたものである。
【００６７】
モデル格納部１２８は、ＲＡＭまたはハードディスクなどのデータを記録するための記録媒体である。このモデル格納部１２８には、学習部１２７によって構築された認識モデルが格納される。モデル格納部１２８に格納された認識モデルは、制御部１２９を介して車載機器１１０に提供される。
【００６８】
制御部１２９は、入力デバイス１５からの操作信号を取得し、その操作信号に応じて訓練データ取得部１２０、学習部１２７および表示装置１４を制御する。また、モデル格納部１２８に格納されている認識モデルを車載機器１１０に提供する。
【００６９】
次に、訓練データ取得部１２０が訓練用画像を取得してから、訓練用画像にアノテーションを付与することで訓練データを生成し、訓練データ格納部１２３に格納する処理について詳しく説明する。
【００７０】
図３は、本実施の形態における画像格納部１２１に格納される画像の一例を示す説明図である。図４は、本実施の形態における訓練データを示す説明図である。図５は、本実施の形態におけるアノテーション付与部１２２が付与するアノテーションを示す説明図である。
【００７１】
図３に示される画像は、付着物が撮影された画像（訓練用画像）の一例である。この画像は、予め車両１１に搭載されたカメラによって過去に実際に撮影された画像であってもよいし、一般のカメラによって撮影された画像であってもよいし、コンピュータを用いた描画により生成された画像、いわゆるＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）であってもよい。なお、車両１１に搭載されるカメラは、画角を広げるために魚眼レンズを採用することもある。魚眼レンズを採用するカメラが取得した画像は、当該画像内の一部が歪曲していることもあるが、歪曲した画像であっても同様の説明が成立する。
【００７２】
図３に示される画像には、対象物としての自動車２１、水滴２２、及び、泥２３が撮影されている。対象物のうち、水滴２２及び泥２３は、付着物である。
【００７３】
図３に示される訓練用画像には付着物が示されているので、アノテーション付与部１２２によってアノテーションが付与される。図３に示される訓練用画像に対するアノテーションの付与について図４を参照しながら説明する。
【００７４】
アノテーション付与部１２２は、制御部１２９を通じて図３に示される画像を表示装置１４に表示し、ユーザに視認させる。
【００７５】
ユーザは、図３に示される画像を視認して、画像に示されている対象物として、自動車２１、水滴２２、及び、泥２３を認識する。
【００７６】
ユーザは、認識した対象物それぞれについて、当該対象物を囲む枠を設定する（図４参照）。ユーザは、例えば対象物である自動車２１に対して枠３１を入力デバイス１５を介して設定する。ユーザは、同様に、その他の対象物である水滴２２、及び、泥２３について、それぞれ、枠３２及び３３を設定する。なお、枠３１等の形状は特に限定されないが、矩形、又は、多角形とすれば、比較的少ない情報量で枠３１の位置及び形状を規定できる利点がある。例えば、矩形の枠であれば、矩形の左上の頂点と右下の頂点との２つの座標（二次元座標）により規定され、多角形の枠であれば複数の頂点それぞれの座標により規定され得る。ユーザが枠を設定すると、アノテーション付与部１２２は、ユーザが設定した枠に対応する座標を、画像における対象物の座標として取得する。
【００７７】
また、ユーザは、認識した対象物それぞれについて、当該対象物の種別を入力デバイス１５を介して設定する。例えば、対象物である自動車２１については、対象物の種別を「自動車」と設定する。また、対象物である水滴２２については、対象物の種別を「水滴」と設定する。また、対象物である泥２３については、対象物の種別を「泥」と設定する。また、自動車２１と水滴２２とについては、対象物の種別としてさらに付着物であることを示す「付着物」を設定する。
【００７８】
アノテーション付与部１２２は、対象物それぞれの種別についてのユーザによる設定を制御部１２９を通じて受け取る。アノテーション付与部１２２が受け取る対象物それぞれの座標及び種別を図５を参照しながら説明する。
【００７９】
図５は、対象物それぞれについての、訓練用画像における当該対象物の座標、及び、当該対象物の種別を示している。例えば、対象物である自動車２１については、座標が、枠の左上頂点の座標（ｘ１１，ｙ１１）及び右下頂点の座標（ｘ１２，ｙ１２）であり、種別が「自動車」であることが示されている。
【００８０】
次に、学習部１２７の学習処理について概念的に説明する。
【００８１】
学習部１２７は、訓練データ、つまり、訓練用画像と、対象物の座標と、種別とから、訓練用画像における対象物の種別と位置とをＤｅｅｐ  Ｌｅａｒｎｉｎｇなどの機械学習により学習する。以下で機械学習による学習の方法の一例を示すが、学習の方法には、さまざまなものが検討されており、他の方法を採用することも可能である。
【００８２】
例えば、学習部１２７は、訓練用画像における対象物を取り囲む枠内の画像と、対象物の種別とにより、対象物の種別を学習する。このとき、例えば、訓練用画像に含まれる対象物の画像の特徴（色、形状、模様、寸法、ぼけ具合など）が用いられ得る。
【００８３】
例えば、対象物が水滴である場合には、対象物の内部の色が周囲と類似しており、かつ、対象物の内部の模様が周囲と比較して歪んでいるという特徴が用いられ得る。対象物が雪粒又は泥である場合には、対象物の色がそれぞれ白又は茶色に類似する粒状又は斑状の模様を有するという特徴が用いられ得る。その他の対象物についても、その対象物に特有の特徴がそれぞれ用いられ得る。例えば、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇでは、画像における歪などの画像特徴量は、学習により自動で獲得される。
【００８４】
次に、付着物の検出を行う車載機器１１０、及び、車載機器１１０を搭載した車両１１について説明する。
【００８５】
図６は、車両１１の機能構成を示すブロック図である。
【００８６】
車両１１は、車載機器１１０と、車両駆動機構１１５とを備える。
【００８７】
車載機器１１０は、カメラ１１１と、認識器１１２と、提示装置１１３と、車両制御装置１１４とを備える。
【００８８】
カメラ１１１は、車両１１の周囲を撮影するように車両１１に搭載されている。例えば、カメラ１１１は、車両１１の前方を撮影できる位置及び向きで車両１１の乗車空間内に搭載されている。カメラ１１１は、撮影によって生成される画像である撮影画像を認識器１１２に出力する。
【００８９】
カメラ１１１が有する撮像素子と撮影対象との間には、カメラ１１１のレンズと、フロントガラスとの２つの透光体が存在している。撮像素子は、この２つの透光体を介して車両１１の前方を撮影する。言い換えれば、撮像素子は、この２つの透光体を透過してくる光によって車両１１の前方を撮影する。
【００９０】
カメラ１１１が出力する画像には、透光体としてのフロントガラス、及び、透光体としてのカメラ１１１のレンズに付着した付着物が示されている可能性がある。
【００９１】
なお、カメラ１１１は、車両１１の乗車空間外に搭載されていてもよい。その場合、カメラ１１１が有する撮像素子と撮影対象との間には、カメラ１１１のレンズが存在しているので、撮像素子は、透光体としてのレンズを透過してくる光によって車両１１の前方を撮影する。カメラ１１１が出力する画像には、透光体としてのカメラ１１１のレンズに付着した付着物が示されている可能性がある。
【００９２】
認識器１１２は、サーバ１２から通信網１３を介して認識モデルを取得して保持している。ここで、認識器１１２が取得する認識モデルは、付着物が撮影された画像における付着物と、当該付着物の種別を示す種別情報を認識する認識モデルである。また、認識器１１２は、車両１１に搭載されたカメラ１１１による車両１１の前方の撮影によって生成される画像である撮影画像を取得する。認識器１１２は、検出部に相当する。
【００９３】
そして、認識器１１２は、その撮影画像を入力データとして認識モデルに入力することによって、撮影画像における付着物を検出する。具体的には、認識器１１２は、撮影画像における付着物の種別情報を取得することで、撮影画像における付着物（対象付着物）の種別を検出する。また、認識器１１２は、撮影画像における付着物の種別情報を取得することで、撮影画像における付着物の寸法を検出することもできる。このようにして、認識器１１２は、付着物の種別又は量を、より高精度に検出できる。
【００９４】
さらに、認識器１１２は、その特定された付着物を示す出力データを提示装置１１３と車両制御装置１１４とに出力する。出力データは、例えば、撮影画像に対して、その特定された付着物を指し示す図形（枠、矢印など）が重畳された画像である提示画像を含む。
【００９５】
提示装置１１３は、情報を提示する提示装置であり、例えば、液晶ディスプレイ若しくは有機ＥＬディスプレイ等の表示装置、又は、スピーカ等の音出力装置を含む。ここでは、提示装置１１３が表示装置である場合を例として説明する。
【００９６】
提示装置１１３は、認識器１１２から出力データを取得すると、その出力データを画像として表示する。具体的には、提示装置１１３は、撮影画像に対して、その特定された付着物を指し示す図形が重畳された提示画像を表示する。これにより、カメラ１１１によって撮影された撮影画像における、検出された付着物の位置が、提示画像によって車両１１の運転者に提示される。
【００９７】
車両制御装置１１４は、車両１１の駆動、及び、車両１１に搭載された設備の駆動を制御する制御装置である。車両制御装置１１４は、認識器１１２から出力データを取得すると、その出力データに基づいて、例えば車両１１の駆動を、自動運転によるものと手動運転によるものとの間で切り替え、又は、車両１１に搭載された設備であるワイパーの駆動を制御する。車両１１の駆動の制御は、車両駆動機構１１５によりなされる。
【００９８】
車両駆動機構１１５は、車両１１の駆動を制御する制御装置である。車両駆動機構１１５は、車両制御装置１１４からの制御の下で、車両１１の駆動、具体的には、加減速及び操舵などの制御を行う。
【００９９】
以上のように構成された付着物検知システムが実行する処理について説明する。
【０１００】
図７は、本実施の形態におけるサーバ１２が行う付着物学習方法に係る処理を示すフロー図である。
【０１０１】
ステップＳ１２１において、サーバ１２のアノテーション付与部１２２は、画像格納部１２１から訓練用画像を取得する。
【０１０２】
ステップＳ１２２において、アノテーション付与部１２２は、ステップＳ１２１で取得した訓練用画像に付着物が示されているかを、操作信号または画像処理に基づいて判定する。アノテーション付与部１２２は、付着物が示されていると判定した場合（ステップＳ１２２でＹｅｓ）、ステップＳ１２３に進み、そうでない場合（ステップＳ１２２でＮｏ）、ステップＳ１２５に進む。
【０１０３】
ステップＳ１２３において、アノテーション付与部１２２は、ステップＳ１２１で取得した訓練用画像に対してアノテーションを付与する。アノテーションは、訓練用画像における付着物の座標と、種別情報とを含む。
【０１０４】
ステップＳ１２４において、アノテーション付与部１２２は、アノテーションを付与した訓練用画像を、訓練データとして訓練データ格納部１２３に格納する。
【０１０５】
ステップＳ１２５において、訓練データ取得部１２０は、付着物が示されているか否かについての判定が行われていない訓練用画像、すなわち未処理の訓練用画像が画像格納部１２１にあるか否かを判定する。未処理の訓練用画像があると判定した場合（ステップＳ１２５でＹｅｓ）、未処理の訓練用画像に対してステップＳ１２１からの処理を実行する。一方、未処理の訓練用画像がないと判定した場合（ステップＳ１２５でＮｏ）、ステップＳ１２６に進む。
【０１０６】
ステップＳ１２６において、学習部１２７は、訓練データ格納部１２３に格納されている訓練データを用いて訓練画像における付着物の種別を学習する。これにより、学習部１２７は、付着物の種別の認識モデルを構築し、その認識モデルをモデル格納部１２８に格納する。
【０１０７】
図８は、本実施の形態における車載機器１１０が行う付着物検出方法に係る処理を示すフローチャートである。
【０１０８】
ステップＳ１１１において、車載機器１１０のカメラ１１１は、撮影によって撮影画像を生成する。
【０１０９】
ステップＳ１１２において、認識器１１２は、ステップＳ１１１でカメラ１１１が生成した撮影画像を入力データとして認識モデルに入力する。
【０１１０】
ステップＳ１１３において、認識器１１２は、ステップＳ１１２で撮影画像を認識モデルに入力したことにより出力される情報を得る。認識モデルから出力される情報は、ステップＳ１１２で認識モデルに入力された撮影画像における付着物の種別情報を含む。認識器１１２は、認識モデルから出力される情報を得ることで、撮影画像における付着物を検出する。
【０１１１】
ステップＳ１１４において、車載機器１１０は、ステップＳ１１３で得た、撮影画像における付着物の種別情報に基づいて、提示装置１１３による付着物に関する情報の運転者への通知、又は、車両制御装置１１４による車両１１の制御を行う。
【０１１２】
具体的には、提示装置１１３は、付着物の種別に基づいて、車両１１の運転者への通知を制御する。例えば、提示装置１１３は、付着物の種別を示す画像データを生成し、生成した画像データに基づいて画像を提示する。なお、提示装置１１３は、種別情報を運転者に知らせるための音声データを生成し、生成した音声データに基づいて音声を出力してもよい。
【０１１３】
また、車両制御装置１１４は、検出した付着物の種別に基づいて車両１１を自動運転により制御するか、手動運転により制御するかを切り替える。
【０１１４】
また、車両制御装置１１４は、検出した付着物の種別に基づいて、車両１１のワイパーの駆動を制御する。付着物が水滴又は雪粒などである場合にはワイパーで付着物を払拭することができるが、付着物が泥又は糞などである場合には、ワイパーで払拭することができず、付着物が拡がることがある。そこで、車両制御装置１１４は、検出した付着物の種別によってワイパーの駆動を制御する。なお、この場合、車両制御装置１１４は、付着物ごとの粘度を予め保有しておいてもよい。例えば、粘度を「高い」又は「低い」の２値で表現する場合、付着物である泥、虫及び糞は、粘度が高い方に分類され、付着物である水滴、雪粒及び埃は、粘度が低い方に分類される。なお、粘度を分類する分類数、分類の態様は上記に限られない。
【０１１５】
なお、学習部１２７は、上記のようにすべての訓練用画像からの学習によって生成した認識モデルだけでなく、すべての訓練用画像のうちから特定の特徴を有する一部の訓練用画像だけを用いて生成した認識モデルを生成することもできる。そして、認識器１１２は、特定の条件が成立した場合には、上記一部の訓練用画像だけを用いて生成した認識モデルを用いて付着物の認識を行ってもよい。
【０１１６】
具体的には、学習部１２７は、雨天時に撮影された訓練用画像における当該付着物と、当該付着物の種別を示す種別情報とからの学習により認識モデル（「雨天用認識モデル」ともいう）を構築してもよい。雨天用認識モデルは、雨天時に撮影された訓練用画像から構築されたものであるので、雨天時にカメラ１１１が撮影した画像における付着物の検出を、より正確に行うことができる。そして、認識器１１２が付着物として水滴を検出した後には、雨天用認識モデルを用いて付着物の検出をしてもよい。これにより、雨天時に、より正確に付着物を認識できる利点がある。
【０１１７】
以上のように、付着物検出システム１０は、サーバ１２による機械学習により生成した付着物の種別に関する認識モデルを用いて、透光体に付着している付着物をより高い精度で検出することができる。
【０１１８】
なお、付着物検出システム１０は、付着物の有無を検出するように構成されることも可能である。
【０１１９】
この場合、訓練データ取得部１２０は、付着物が示された画像に対して、当該付着物の有無を示すアノテーションを付与することによって訓練データを取得する。また、アノテーション付与部１２２が訓練用画像に対して付与するアノテーションは、付着物の有無を示す情報を含む。例えば、アノテーション付与部１２２は、図３に示される訓練用画像に対して、付着物が有ることを示すアノテーションを付与する。
【０１２０】
認識器１１２が取得する認識モデルは、付着物が撮影された画像における付着物の有無を認識する認識モデルである。そして、認識器１１２は、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における付着物（対象付着物）の有無を検出する。ここで、認識モデルは、透光体に付着している付着物が撮影された画像に対して、当該画像における当該付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、上記画像における当該付着物の有無を学習することによって構築されたものである。
【０１２１】
これにより、撮影画像における対象付着物の有無がより高精度に検出され得る。
【０１２２】
（実施の形態の変形例１）
本変形例では、撮影画像に示されている付着物を、より高い精度で検出する付着物検出装置、及び、付着物出システムなどについて、さらに、透光体に付着物が付着している場合であっても、より正しく対象物の認識をすることができる認識モデルを構築する技術について説明する。
【０１２３】
上記実施の形態では、図４における枠３１の内部の画像が自動車２１を含むことを示すアノテーションがアノテーション付与部１２２によって付与された訓練画像に基づいて、学習部１２７により認識モデルが構築される。しかしながら、枠３１の内部の画像は、水滴２２によって一部が隠された自動車２１の画像を含んでおり、完全な自動車２１の画像ではない。そのため、枠３１に含まれる画像を用いて学習部１２７により認識モデルを構築すると、自動車に関する認識モデルの精度が低下する可能性がある。
【０１２４】
そこで、本変形例では、自動車に関する認識モデルの精度の低下を抑制する技術について説明する。
【０１２５】
図９は、本変形例におけるアノテーション付与部１２２が付与するアノテーションの第一例を示す説明図である。この方法では、自動車に関する認識モデルの精度の低下を抑制すべく、自動車の一部の画像であって、水滴を含まないように切り出した一部の画像を用いて自動車の認識モデルを構築する。
【０１２６】
図９の（ａ）には、図４における枠３１及び３２が模式的に示されており、これらに加えて、枠３１Ａが示されている。
【０１２７】
アノテーション付与部１２２が付与するアノテーションは、枠３１が囲む領域から、枠３２が囲む領域を除いた領域を設定し、その領域を囲む枠３１Ａの頂点ａ〜ｉを対象物の座標として含む（図９の（ｂ）参照）。枠３１Ａは、自動車２１の一部の画像を含む一方、水滴２２を含まない、又は、ほとんど含まない領域である。枠３１Ａの設定は、枠３１と枠３２との位置から計算により求めることもできるし、図３に示される画像をユーザに視認させた上で、入力デバイス１５から制御部１２９を介して取得する操作信号に基づいて取得することもできる。
【０１２８】
枠３１Ａが囲む領域に水滴２２が含まれない、又は、ほとんど含まれない領域なので、自動車に関する認識モデルの低下を抑制することができる。
【０１２９】
図１０は、本変形例におけるアノテーション付与部１２２が付与するアノテーションの第二例を示す説明図である。この方法では、自動車に関する認識モデルの精度の低下を抑制すべく、自動車と水滴とを含む領域を、例えば「自動車＋水滴」という新たな対象物であると認識する認識モデルを構築する。
【０１３０】
図１０の（ａ）には、図４における枠３１及び３２が模式的に示されている。
【０１３１】
アノテーション付与部１２２が付与するアノテーションは、枠３１の頂点を対象物の座標として含む。また、種別情報として「自動車＋水滴」を含む（図１０の（ｂ）参照）。この種別情報の設定は、自動車２１の種別情報「自動車」と、水滴２２の種別情報「水滴」とから合成することもできるし、入力デバイス１５から制御部１２９を介して取得する操作信号に基づいて取得することもできる。
【０１３２】
枠３１は、「自動車」とは異なる「自動車＋水滴」という対象物と認識されるので、自動車に関する認識モデルの低下を抑制することができる。
【０１３３】
（実施の形態の変形例２）
本変形例では、撮影画像に示されている付着物を、より高い精度で検出する付着物検出装置、及び、付着物出システムなどについて、さらに、透光体が複数存在する場合に複数の透光体のうちのどちらに付着物が付着しているかを検出する付着物検出装置、及び、付着物検出システムなどについて説明する。
【０１３４】
本変形例では、車両１１の乗車空間内にカメラ１１１が設置されている場合に限定して説明する。この場合、カメラ１１１が有する撮像素子と撮影対象との間に、カメラ１１１のレンズと、車両１１のフロントガラスとの２つの透光体が存在している。撮像素子は、この２つの透光体を透過してくる光によって車両１１の前方を撮影する。水滴２２はレンズに付着しており、泥２３はフロントガラスに付着しているとする。
【０１３５】
本変形例に係る付着物検出システム１０は、実施の形態の付着物検出装置と同様の方法で付着物を検出し、さらに、複数の透光体のうちのどちらに付着物が付着しているかを検出する。本変形例に係る付着物検出システム１０は、実施の形態の付着物検出システム１０と、アノテーション付与部１２２と認識モデルとが異なる。
【０１３６】
アノテーション付与部１２２は、訓練用画像に対してアノテーションを付与する。アノテーションは、付着物の座標と、種別情報とに加えて、特定情報を含む。特定情報とは、カメラ１１１のレンズ及び車両のフロントガラスのうち付着物が付着している一方を示す情報、言い換えれば、付着物がカメラ１１１のレンズに付着しているか、又は、車両のフロントガラスに付着しているかを特定する情報である。アノテーション付与部１２２は、入力デバイス１５から制御部１２９を介して操作信号を取得し、その操作信号に応じて、特定情報を含むアノテーションを訓練用画像に付与する。
【０１３７】
図１１は、本変形例におけるアノテーション付与部１２２が付与するアノテーションを示す説明図である。なお、図１１に示される情報のうち、座標及び種別は、図５におけるものと同じであるので説明を省略する。
【０１３８】
図１１に示されるように、水滴２２の特定情報がレンズであり、泥２３の特定情報がフロントガラスである。
【０１３９】
学習部１２７は、訓練データを用いて、画像における当該付着物の特定情報をさらに学習することによって認識モデルを構築する。つまり、学習部１２７が生成する認識モデルは、訓練データを用いて、画像における当該付着物の特定情報をさらに学習することによって構築されたものである。
【０１４０】
そして、認識器１１２は、認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の特定情報を取得することで、撮影画像における付着物がレンズ及びフロントガラスのどちらに付着しているかを検出する。
【０１４１】
以上のように、本実施の形態の付着物検出方法によれば、認識モデルに基づいて、撮像画像における対象付着物の有無が検出される。この認識モデルは、透光体に付着している付着物が示された画像における当該付着物を認識するものであるので、この認識モデルに撮影画像を入力することで、撮影画像における対象付着物の有無がより高精度に検出され得る。このように、この付着物検出方法によれば、撮影画像における、透光体に付着している付着物を、より高い精度で検出できる。
【０１４２】
また、アノテーションを付与された訓練データを用いて構築された認識モデル、つまり、付着物が示された画像における当該付着物の有無の学習が行われることによって構築された認識モデルが用いられる。つまり、画像に示されている付着物の有無が認識モデルに教え込まれている。例えば、画像に示されている付着物の色、形状又は模様等の特徴に基づいて、付着物の種別が学習されたものである。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の有無が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
【０１４３】
また、付着物が示された画像における当該付着物の種別及び位置の学習がさらに行われることによって構築された認識モデルが用いられる。つまり、画像に示されている付着物の種別及び位置がさらに認識モデルに教え込まれている。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の種別が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
【０１４４】
また、対象付着物の量を、より高精度に検出できる。
【０１４５】
また、付着物が２つの透光体のうちのどちらに付着しているかをさらに用いて学習することで構築された認識モデルに基づいて、撮影画像における対象付着物が検出される。この認識モデルは、付着物が２つの透光体のうちのどちらに付着しているかを示す特定情報がさらに付与されているので、付着物がどちらの透光体に付着しているかについての学習が行われることによって構築されたものとなる。つまり、画像に示されている付着物の種別に加えて、付着物がどちらの透光体に付着しているかが認識モデルに教え込まれている。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の種別、及び、付着物が付着している透光体が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
【０１４６】
また、透光体に付着している対象付着物として、より具体的に、水滴、雪粒、氷、埃、泥、虫及び糞が検出される。
【０１４７】
また、検出した付着物の種別に応じた運転者への通知がなされる。通知を受けた運転者は、付着物の種別に応じた行動をとることができる。例えば、付着物が水滴又は雪粒であればワイパーを駆動させ、泥又は虫であれば一時的に駐車して布でふき取るなどの対処ができる。
【０１４８】
また、検出した付着物の種別に応じた車両の制御がなされる。付着物の種別によって、自動運転を継続することが不可能、又は、安全上の問題が発生する場合に、自動運転を解除して手動運転にするなどの制御が可能となる。
【０１４９】
また、検出した付着物の種別に応じたワイパーの制御がなされる。例えば、付着物が水滴又は雪粒である場合に限り、ワイパーを駆動させるという制御が可能となる。
【０１５０】
また、雨天時に、より正確に付着物を認識できる利点がある。雨天用認識モデルは、雨天時に撮影された訓練用画像から構築されたものであるので、雨天時にカメラが撮影した画像における付着物の検出を、より高精度に行うことができる。
【０１５１】
また、認識モデルとしてニューラルネットワークモデルを用いて、より具体的に、透光体に付着している付着物をより高い精度で検出できる。
【０１５２】
（他の変形例）
上記各実施の形態の移動体検出システム等の一部又は全部は、以下のようにも記載され得るが、以下の記載に限定されない。
【０１５３】
図１２は、各実施の形態の変形例に係る付着物学習方法を示すフロー図である。
【０１５４】
図１２に示されるように、各実施の形態の変形例に係る付着物習方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得し（ステップＳ２０１）、訓練データを用いて、撮影画像における当該付着物の有無を学習することによって認識モデルを構築する（ステップＳ２０２）付着物学習方法である。
【０１５５】
図１３は、各実施の形態の変形例に係る付着物学習装置２００を示すブロック図である。
【０１５６】
図１３に示されるように、各実施の形態の変形例に係る付着物学習装置２００は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習装置２００であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する訓練データ取得部２０１と、訓練データを用いて、撮影画像における当該付着物の有無を学習することによって認識モデルを構築する学習部２０２とを備える付着物学習装置２００である。
【０１５７】
図１４は、各実施の形態の変形例に係る付着物検出方法を示すフロー図である。
【０１５８】
図１４に示されるように、各実施の形態の変形例に係る付着物検出方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、撮像素子による透光体を介した撮影によって生成される撮影画像を取得し（ステップＳ３０１）、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における対象付着物の有無を検出する（ステップＳ３０２）付着物検出方法である。
【０１５９】
図１５は、各実施の形態の変形例に係る付着物検出装置３００を示すブロック図である。
【０１６０】
図１５に示されるように、各実施の形態の変形例に係る付着物検出装置３００は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出装置３００であって、撮像素子による透光体を介した撮影によって生成される撮影画像を取得する撮影画像取得部３０１と、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における対象付着物の有無を検出する検出部３０２とを備える付着物検出装置３００である。
【０１６１】
図１６は、各実施の形態の変形例に係る付着物検出方法を示すフロー図である。
【０１６２】
図１６に示されるように、各実施の形態の変形例に係る付着物検出方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得し（ステップＳ２０１）、訓練データを用いて、撮影画像における当該付着物の有無を学習することによって認識モデルを構築し（ステップＳ２０２）、撮像素子による透光体を介した撮影によって生成される撮影画像を取得し（ステップＳ３０１）、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における対象付着物の有無を検出する（ステップＳ３０２）付着物検出方法である。
【０１６３】
図１７は、各実施の形態の変形例に係る移動体検出システムを示すブロック図である。
【０１６４】
図１７に示されるように、各実施の形態の変形例に係る移動体検出システムは、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出システム４００であって、透光体を介して撮影された第一撮影画像における前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する訓練データ取得部２０１と、訓練データを用いて、第一撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する学習部２０２と、撮像素子による透光体を介した撮影によって生成される第二撮影画像を取得する撮影画像取得部３０１と、透光体を介して撮影された画像における透光体への付着物の有無を認識する認識モデルに第二撮影画像を入力データとして入力することで出力される、第二撮影画像における付着物の有無を示す情報を取得することで、第二撮影画像における対象付着物の有無を検出する検出部３０２とを備える付着物検出システムである。
【０１６５】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の移動体学習装置及び移動体検出装置などを実現するソフトウェアは、次のようなプログラムである。
【０１６６】
すなわち、このプログラムは、コンピュータに、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得し、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する付着物検出方法を実行させる。
【０１６７】
また、このプログラムは、コンピュータに、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する付着物学習方法を実行させる。
【０１６８】
以上、一つまたは複数の態様に係る付着物検出方法などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１６９】
本発明は、撮影画像に示されている付着物を、より高い精度で検出し得る付着物検出方法に利用可能である。より具体的には、自動運転車両に搭載される制御装置等に利用可能である。
【符号の説明】
【０１７０】
１０、４００    付着物検出システム
１１    車両
１２    サーバ
１３    通信網
１４    表示装置
１５    入力デバイス
２１    自動車
２２    水滴
２３    泥
３１、３１Ａ、３２、３３    枠
１１０    車載機器
１１１    カメラ
１１２    認識器
１１３    提示装置
１１４    車両制御装置
１１５    車両駆動機構
１２０、２０１    訓練データ取得部
１２１    画像格納部
１２２    アノテーション付与部
１２３    訓練データ格納部
１２７、２０２    学習部
１２８    モデル格納部
１２９    制御部
２００    付着物学習装置
３００    付着物検出装置
３０１    撮影画像取得部
３０２    検出部
【図１】
2019015692.tif 000003
【図２】
2019015692.tif 000004
【図３】
2019015692.tif 000005
【図４】
2019015692.tif 000006
【図５】
2019015692.tif 000007
【図６】
2019015692.tif 000008
【図７】
2019015692.tif 000009
【図８】
2019015692.tif 000010
【図９】
2019015692.tif 000011
【図１０】
2019015692.tif 000012
【図１１】
2019015692.tif 000013
【図１２】
2019015692.tif 000014
【図１３】
2019015692.tif 000015
【図１４】
2019015692.tif 000016
【図１５】
2019015692.tif 000017
【図１６】
2019015692.tif 000018
【図１７】
2019015692.tif 000019