(57)【要約】【課題】高い精度で対象物を識別することができる識別方法、識別装置、識別器生成方法及び識別器生成装置を提供する。【解決手段】識別方法は、画像データを取得するステップと、画像データの撮影条件を取得するステップと、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、取得した撮影条件に応じた識別器を選択するステップと、選択した識別器を用いて、取得した画像データ中の対象物を識別するステップとを含む。【選択図】図４
2018081404.tif 000002
【特許請求の範囲】
【請求項１】
識別器を用いて画像データ中の対象物を識別する識別方法であって、
前記画像データを取得し、
前記画像データの撮影条件を取得し、
それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択し、
前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する、
識別方法。
【請求項２】
前記複数の識別器は、前記複数の撮影条件毎に分類された複数の学習用画像データが撮影条件毎に所定の学習モデルに入力され、前記対象物の特徴を示す情報が前記撮影条件毎に学習され、前記対象物の特徴を示す情報が前記撮影条件毎の前記所定の学習モデルに適用されることで、生成される、
請求項１記載の識別方法。
【請求項３】
前記画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得され、
前記撮影条件は、前記画像データが取得された地域を示し、
前記対象物は、前記道路上に存在する障害物を示し、
前記画像データが取得された地域を特定するための地域情報を取得し、
それぞれ異なる複数の地域毎に生成された複数の識別器の中から、前記取得した地域情報に応じた識別器を選択し、
前記選択した識別器を用いて、前記取得した画像データ中の前記障害物を識別する、
請求項１又は２記載の識別方法。
【請求項４】
前記画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得され、
前記撮影条件は、前記画像データが取得された国を示し、
前記対象物は、前記道路上に存在する道路標識を示し、
前記画像データが取得された国を特定するための国情報を取得し、
それぞれ異なる複数の国毎に生成された複数の識別器の中から、前記取得した国情報に応じた識別器を選択し、
前記選択した識別器を用いて、前記取得した画像データ中の前記道路標識を識別する、
請求項１又は２記載の識別方法。
【請求項５】
前記撮影条件は、前記画像データが取得された場所の天候を示し、
前記画像データが取得された場所の天候を取得し、
それぞれ異なる複数の天候毎に生成された複数の識別器の中から、前記取得した天候に応じた識別器を選択する、
請求項１又は２記載の識別方法。
【請求項６】
前記撮影条件は、前記画像データが取得された時間帯を示し、
前記画像データが取得された時間帯を取得し、
それぞれ異なる複数の時間帯毎に生成された複数の識別器の中から、前記取得した時間帯に応じた識別器を選択する、
請求項１又は２記載の識別方法。
【請求項７】
前記撮影条件は、前記画像データが取得された市街地、山間部及び海岸部のいずれかの場所を示し、
前記画像データが取得された場所が前記市街地、前記山間部及び前記海岸部のいずれであるかを特定するための場所情報を取得し、
前記市街地、前記山間部及び前記海岸部毎に生成された複数の識別器の中から、前記取得した場所情報に応じた識別器を選択する、
請求項１又は２記載の識別方法。
【請求項８】
識別器を用いて画像データ中の対象物を識別する識別装置であって、
前記画像データを取得する画像データ取得部と、
前記画像データの撮影条件を取得する撮影条件取得部と、
複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択する選択部と、
前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する識別部と、
を備える識別装置。
【請求項９】
画像データ中の対象物を識別する識別器を生成する識別器生成方法であって、
それぞれ撮影条件が異なる複数の学習用画像データを取得し、
前記取得した複数の学習用画像データを、前記撮影条件毎に所定の学習モデルに入力して、前記対象物の特徴を示す情報を前記撮影条件毎に学習し、前記対象物の特徴を示す情報を、前記撮影条件毎の前記所定の学習モデルに適用することで、前記撮影条件毎に異なる複数の識別器を生成する、
識別器生成方法。
【請求項１０】
画像データ中の対象物を識別する識別器を生成する識別器生成装置であって、
それぞれ撮影条件が異なる複数の学習用画像データを取得する画像データ取得部と、
前記取得した複数の学習用画像データを、前記撮影条件毎に所定の学習モデルに入力して、前記対象物の特徴を示す情報を前記撮影条件毎に学習し、前記対象物の特徴を示す情報を、前記撮影条件毎の前記所定の学習モデルに適用することで、前記撮影条件毎に異なる複数の識別器を生成する生成部と、
を備える識別器生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、識別器を用いて画像データ中の対象物を識別する識別方法及び識別装置、並びに画像データ中の対象物を識別する識別器を生成する識別器生成方法及び識別器生成装置に関するものである。
【背景技術】
【０００２】
従来、識別器を用いて画像データ中の対象物を識別する識別装置が知られている。従来の識別装置では、識別器に対して機械学習を行うことにより、識別器の識別精度を高めている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２１３５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
機械学習としては、多層ニューラルネットワークを用いたディープラーニングが知られている。ディープラーニングでは、学習データセットに依存した識別器が作成される。偏りがある学習データを用いて学習した識別器では、当該学習データに特化した画像データに対しては高い精度で対象物を識別することができるが、汎用的な画像データに対しては識別精度が低くなる。このような、偏りがある学習データを用いた学習は、一般に過学習と呼ばれる。
【０００５】
一般には、過学習に陥らず、汎用性が高い識別器を作成することが求められる。しかしながら、汎用性が高い識別器を作成するためには、偏りがない学習データを大量に収集する必要があり、難易度が高く、コストもかかる。また、大量の学習データを用いて学習するためには膨大な時間がかかり、学習が収束しないおそれもある。
【０００６】
本開示は、上記の問題を解決するためになされたもので、高い精度で対象物を識別することができる識別方法、識別装置、識別器生成方法及び識別器生成装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本開示に係る識別方法は、識別器を用いて画像データ中の対象物を識別する識別方法であって、前記画像データを取得し、前記画像データの撮影条件を取得し、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択し、前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する。
【発明の効果】
【０００８】
本開示によれば、識別時において取得した画像データと同じ撮影条件で取得した学習用画像データを用いて学習した識別器を用いて画像データ中の対象物が識別されるので、高い精度で対象物を識別することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態１に係る学習システムの構成を示すブロック図である。
【図２】本実施の形態１に係る学習システムの動作について説明するためのフローチャートである。
【図３】本実施の形態１に係る識別システムの構成を示すブロック図である。
【図４】本実施の形態１に係る識別システムの動作について説明するためのフローチャートである。
【図５】本実施の形態２に係る自動運転車両の構成を示すブロック図である。
【図６】第１の地域で撮影した複数の学習用画像データを用いて学習した第１識別器により第１の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図である。
【図７】第１の地域で撮影した複数の学習用画像データを用いて学習した第１識別器により第１の地域とは異なる第２の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図である。
【図８】第２の地域で撮影した複数の学習用画像データを用いて学習した第２識別器により第２の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図である。
【発明を実施するための形態】
【００１０】
（本開示に係る一態様を発明するに至った経緯）
機械学習としては、多層ニューラルネットワークを用いたディープラーニングが知られている。ディープラーニングでは、学習データセットに依存した識別器が作成される。偏りがある学習データを用いて学習した識別器では、当該学習データに特化した画像データに対しては高い精度で対象物を識別することができるが、汎用的な画像データに対しては識別精度が低くなる。このような、偏りがある学習データを用いた学習は、一般に過学習と呼ばれる。
【００１１】
例えば、車載カメラで撮影した画像から人物又は道路標識を識別する識別器が、アメリカで撮影された画像データを用いて学習されたとする。そして、当該識別器が日本で使用された場合、当該識別器は日本で撮影した画像データを用いて学習されていないため、識別率が低下する可能性がある。これは、アメリカと日本とでは、道路標識の図柄、太陽の高度等の日照条件、植物及び電柱等の風景、並びに走行車線が異なっているためである。
【００１２】
一般には、過学習に陥らず、汎用性が高い識別器を作成することが求められる。しかしながら、汎用性が高い識別器を作成するためには、偏りがない学習データを大量に収集する必要があり、難易度が高く、コストもかかる。また、大量の学習データを用いて学習するためには膨大な時間がかかり、学習が収束しないおそれもある。
【００１３】
以上の課題を解決するために、本開示の一態様に係る識別方法は、識別器を用いて画像データ中の対象物を識別する識別方法であって、前記画像データを取得し、前記画像データの撮影条件を取得し、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択し、前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する。
【００１４】
この構成によれば、画像データが取得される。画像データの撮影条件が取得される。それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、取得した撮影条件に応じた識別器が選択される。選択された識別器を用いて、取得した画像データ中の対象物が識別される。
【００１５】
したがって、識別時において取得した画像データと同じ撮影条件で取得した学習用画像データを用いて学習した識別器を用いて画像データ中の対象物が識別されるので、高い精度で対象物を識別することができる。
【００１６】
また、上記の識別方法において、前記複数の識別器は、前記複数の撮影条件毎に分類された複数の学習用画像データが撮影条件毎に所定の学習モデルに入力され、前記対象物の特徴を示す情報が前記撮影条件毎に学習され、前記対象物の特徴を示す情報が前記撮影条件毎の前記所定の学習モデルに適用されることで、生成されてもよい。
【００１７】
この構成によれば、複数の撮影条件毎に分類された複数の学習用画像データが撮影条件毎に所定の学習モデルに入力され、対象物の特徴を示す情報が撮影条件毎に学習され、対象物の特徴を示す情報が撮影条件毎の所定の学習モデルに適用されることで、複数の識別器が生成される。
【００１８】
したがって、無条件に学習用画像データを用いて識別器を学習するのではなく、所定の撮影条件に応じた学習用画像データのみを用いて識別器を学習するので、学習時間を短縮することができる。
【００１９】
また、上記の識別方法において、前記画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得され、前記撮影条件は、前記画像データが取得された地域を示し、前記対象物は、前記道路上に存在する障害物を示し、前記画像データが取得された地域を特定するための地域情報を取得し、それぞれ異なる複数の地域毎に生成された複数の識別器の中から、前記取得した地域情報に応じた識別器を選択し、前記選択した識別器を用いて、前記取得した画像データ中の前記障害物を識別してもよい。
【００２０】
この構成によれば、画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得される。撮影条件は、画像データが取得された地域を示す。対象物は、道路上に存在する障害物を示す。画像データが取得された地域を特定するための地域情報が取得される。それぞれ異なる複数の地域毎に生成された複数の識別器の中から、取得された地域情報に応じた識別器が選択される。選択された識別器を用いて、取得された画像データ中の障害物が識別される。したがって、特定の地域で撮影された画像データ中の障害物を識別することができる。
【００２１】
また、上記の識別方法において、前記画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得され、前記撮影条件は、前記画像データが取得された国を示し、前記対象物は、前記道路上に存在する道路標識を示し、前記画像データが取得された国を特定するための国情報を取得し、それぞれ異なる複数の国毎に生成された複数の識別器の中から、前記取得した国情報に応じた識別器を選択し、前記選択した識別器を用いて、前記取得した画像データ中の前記道路標識を識別してもよい。
【００２２】
この構成によれば、画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得される。撮影条件は、画像データが取得された国を示す。対象物は、道路上に存在する道路標識を示す。画像データが取得された国を特定するための国情報が取得される。それぞれ異なる複数の国毎に生成された複数の識別器の中から、取得された国情報に応じた識別器が選択される。選択された識別器を用いて、取得された画像データ中の道路標識が識別される。したがって、特定の国で撮影された画像データ中の道路標識を識別することができる。
【００２３】
また、上記の識別方法において、前記撮影条件は、前記画像データが取得された場所の天候を示し、前記画像データが取得された場所の天候を取得し、それぞれ異なる複数の天候毎に生成された複数の識別器の中から、前記取得した天候に応じた識別器を選択してもよい。
【００２４】
この構成によれば、撮影条件は、画像データが取得された場所の天候を示す。画像データが取得された場所の天候が取得される。それぞれ異なる複数の天候毎に生成された複数の識別器の中から、取得された天候に応じた識別器が選択される。したがって、特定の天候の下で撮影された画像データ中の対象物を識別することができる。
【００２５】
また、上記の識別方法において、前記撮影条件は、前記画像データが取得された時間帯を示し、前記画像データが取得された時間帯を取得し、それぞれ異なる複数の時間帯毎に生成された複数の識別器の中から、前記取得した時間帯に応じた識別器を選択してもよい。
【００２６】
この構成によれば、撮影条件は、画像データが取得された時間帯を示す。画像データが取得された時間帯が取得される。それぞれ異なる複数の時間帯毎に生成された複数の識別器の中から、取得された時間帯に応じた識別器が選択される。したがって、特定の時間帯に撮影された画像データ中の対象物を識別することができる。
【００２７】
また、上記の識別方法において、前記撮影条件は、前記画像データが取得された市街地、山間部及び海岸部のいずれかの場所を示し、前記画像データが取得された場所が前記市街地、前記山間部及び前記海岸部のいずれであるかを特定するための場所情報を取得し、前記市街地、前記山間部及び前記海岸部毎に生成された複数の識別器の中から、前記取得した場所情報に応じた識別器を選択してもよい。
【００２８】
この構成によれば、撮影条件は、画像データが取得された市街地、山間部及び海岸部のいずれかの場所を示す。画像データが取得された場所が市街地、山間部及び海岸部のいずれであるかを特定するための場所情報が取得される。市街地、山間部及び海岸部毎に生成された複数の識別器の中から、取得した場所情報に応じた識別器が選択される。したがって、市街地、山間部及び海岸部のいずれかの場所で撮影された画像データ中の対象物を識別することができる。
【００２９】
本開示の他の態様に係る識別装置は、識別器を用いて画像データ中の対象物を識別する識別装置であって、前記画像データを取得する画像データ取得部と、前記画像データの撮影条件を取得する撮影条件取得部と、複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択する選択部と、前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する識別部と、を備える。
【００３０】
この構成によれば、画像データが取得される。画像データの撮影条件が取得される。それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、取得した撮影条件に応じた識別器が選択される。選択された識別器を用いて、取得した画像データ中の対象物が識別される。
【００３１】
したがって、識別時において取得した画像データと同じ撮影条件で取得した学習用画像データを用いて学習した識別器を用いて画像データ中の対象物が識別されるので、高い精度で対象物を識別することができる。
【００３２】
本開示の他の態様に係る識別器生成方法は、画像データ中の対象物を識別する識別器を生成する識別器生成方法であって、それぞれ撮影条件が異なる複数の学習用画像データを取得し、前記取得した複数の学習用画像データを、前記撮影条件毎に所定の学習モデルに入力して、前記対象物の特徴を示す情報を前記撮影条件毎に学習し、前記対象物の特徴を示す情報を、前記撮影条件毎の前記所定の学習モデルに適用することで、前記撮影条件毎に異なる複数の識別器を生成する。
【００３３】
この構成によれば、それぞれ撮影条件が異なる複数の学習用画像データが取得される。取得された複数の学習用画像データが、撮影条件毎に所定の学習モデルに入力されて、対象物の特徴を示す情報が撮影条件毎に学習され、対象物の特徴を示す情報が、撮影条件毎の所定の学習モデルに適用されることで、撮影条件毎に異なる複数の識別器が生成される。
【００３４】
したがって、無条件に学習用画像データを用いて識別器を学習するのではなく、所定の撮影条件に応じた学習用画像データのみを用いて識別器を学習するので、学習時間を短縮することができる。
【００３５】
本開示の他の態様に係る識別器生成装置は、画像データ中の対象物を識別する識別器を生成する識別器生成装置であって、それぞれ撮影条件が異なる複数の学習用画像データを取得する画像データ取得部と、前記取得した複数の学習用画像データを、前記撮影条件毎に所定の学習モデルに入力して、前記対象物の特徴を示す情報を前記撮影条件毎に学習し、前記対象物の特徴を示す情報を、前記撮影条件毎の前記所定の学習モデルに適用することで、前記撮影条件毎に異なる複数の識別器を生成する生成部と、を備える。
【００３６】
この構成によれば、それぞれ撮影条件が異なる複数の学習用画像データが取得される。取得された複数の学習用画像データが、撮影条件毎に所定の学習モデルに入力されて、対象物の特徴を示す情報が撮影条件毎に学習され、対象物の特徴を示す情報が、撮影条件毎の所定の学習モデルに適用されることで、撮影条件毎に異なる複数の識別器が生成される。
【００３７】
したがって、無条件に学習用画像データを用いて識別器を学習するのではなく、所定の撮影条件に応じた学習用画像データのみを用いて識別器を学習するので、学習時間を短縮することができる。
【００３８】
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
【００３９】
（実施の形態１）
本実施の形態１に係る学習システム及び識別システムについて説明する。
【００４０】
図１は、本実施の形態１に係る学習システムの構成を示すブロック図である。図１に示す学習システムは、学習装置１、カメラ１０１、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）１０３及びユーザ入力部１０７を備える。
【００４１】
学習装置１は、画像データ中の対象物を識別する識別器を生成する。学習装置１は、画像データ蓄積部１０２、撮影条件取得部１０４、画像データ取得部１０５、分類部１０６、ラベル付与部１０８、学習部１０９及びメモリ１１０を備える。なお、学習装置１が、カメラ１０１、ＧＰＳ１０３及びユーザ入力部１０７をさらに備えてもよい。
【００４２】
カメラ１０１は、撮影装置の一例であり、異なる撮影条件で学習用画像を撮影する。撮影条件は、例えば、画像データが取得された地域を示す。学習システムは、例えば、自動車に搭載され、カメラ１０１は、自動車の進行方向（前方）の風景を撮影する。
【００４３】
画像データ蓄積部１０２は、カメラ１０１によって撮影された複数の学習用画像データを蓄積する。なお、画像データ蓄積部１０２は、例えばインターネットなどのネットワークを介して取得した複数の学習用画像データを蓄積してもよい。
【００４４】
ＧＰＳ１０３は、学習装置１の現在位置、すなわち、学習用画像が撮影された位置を取得する。なお、現在位置は、例えば、緯度及び経度で表される。
【００４５】
撮影条件取得部１０４は、ＧＰＳ１０３によって取得された学習装置１の現在位置、すなわち、学習用画像が撮影された位置を取得し、取得した位置から学習用画像が撮影された地域を特定する。撮影条件取得部１０４は、カメラ１０１によって撮影されて画像データ蓄積部１０２に蓄積された学習用画像データに対して、当該学習用画像データが撮影された地域である撮影条件を示す撮影条件情報を付与する。
【００４６】
画像データ取得部１０５は、それぞれ撮影条件が異なる複数の学習用画像データを画像データ蓄積部１０２から取得する。例えば、画像データ取得部１０５は、それぞれ撮影された地域が異なる複数の学習用画像データを取得する。
【００４７】
分類部１０６は、画像データ取得部１０５によって取得された複数の学習用画像データを撮影条件毎に分類する。
【００４８】
ユーザ入力部１０７は、例えば、タッチパネル又はキーボード等のユーザインタフェースで構成され、識別器が識別する対象物を示す正解ラベルのユーザによる入力を受け付ける。例えば、対象物が歩行者であれば、ユーザ入力部１０７は、歩行者を示す正解ラベルの入力を受け付ける。なお、正解ラベルは、機械学習に用いられる。
【００４９】
ラベル付与部１０８は、ユーザ入力部１０７によって入力された正解ラベルを、分類部１０６によって分類された複数の学習用画像データのそれぞれに付与するアノテーション処理を行う。
【００５０】
学習部１０９は、画像データ取得部１０５によって取得された複数の学習用画像データを、撮影条件毎に所定の学習モデルに入力して、対象物の特徴を示す情報を撮影条件毎に学習し、対象物の特徴を示す情報を、撮影条件毎の所定の学習モデルに適用することで、撮影条件毎に異なる複数の識別器を生成する。学習部１０９は、機械学習の１つであるディープラーニングを用いて撮影条件毎に分類された複数の学習用画像データを学習する。なお、ディープラーニングは、一般的な技術であるので、説明を省略する。
【００５１】
メモリ１１０は、学習部１０９によって生成された複数の識別器を記憶する。メモリ１１０は、第１識別器１１１、第２識別器１１２及び第３識別器１１３を備える。第１識別器１１１、第２識別器１１２及び第３識別器１１３は、それぞれ異なる撮影条件に対応する識別器である。
【００５２】
第１識別器１１１は、例えば、第１の地域で撮影された複数の学習用画像データを用いて生成された識別器であり、第２識別器１１２は、第１の地域とは異なる第２の地域で撮影された複数の学習用画像データを用いて生成された識別器であり、第３識別器１１３は、第１の地域及び第２の地域とは異なる第３の地域で撮影された複数の学習用画像データを用いて生成された識別器である。例えば、第１の地域は、アメリカのカリフォルニアであり、第２の地域は、日本の東京であり、第３の地域は、中国の北京である。なお、本実施の形態では、メモリ１１０は、第１識別器１１１、第２識別器１１２及び第３識別器１１３の３つの識別器を備えているが、本開示は特にこれに限定されず、２つの識別器を備えてもよく、また、４つ以上の識別器を備えてもよい。
【００５３】
続いて、本実施の形態１に係る学習システムの動作について説明する。
【００５４】
図２は、本実施の形態１に係る学習システムの動作について説明するためのフローチャートである。
【００５５】
まず、ステップＳ１において、カメラ１０１は、所定の撮影条件で学習用画像を撮影する。撮影条件は、例えば、画像データが取得された地域であり、カメラ１０１は、第１の地域で学習用画像を撮影する。カメラ１０１は、撮影した学習用画像データを画像データ蓄積部１０２に蓄積する。なお、カメラ１０１は、所定の時間間隔で撮影した複数の学習用画像データを画像データ蓄積部１０２に蓄積してもよいし、撮影した動画像データから所定の時間間隔で切り出した複数の学習用画像データを画像データ蓄積部１０２に蓄積してもよい。
【００５６】
次に、ステップＳ２において、撮影条件取得部１０４は、ＧＰＳ１０３によって取得された、学習用画像が撮影された位置を取得し、取得した位置から学習用画像が撮影された撮影条件を特定する。例えば、撮影条件取得部１０４は、ＧＰＳ１０３によって取得された緯度及び経度と、予め記憶されている地図情報とから、学習用画像が撮影された地域を特定する。
【００５７】
次に、ステップＳ３において、撮影条件取得部１０４は、カメラ１０１によって撮影されて画像データ蓄積部１０２に蓄積された学習用画像データに対して、当該学習用画像データが撮影された地域である撮影条件を示す撮影条件情報を付与する。
【００５８】
次に、ステップＳ４において、画像データ取得部１０５は、それぞれ撮影条件が異なる複数の学習用画像データを画像データ蓄積部１０２から取得する。
【００５９】
次に、ステップＳ５において、分類部１０６は、画像データ取得部１０５によって取得された複数の学習用画像データを撮影条件毎に分類する。
【００６０】
次に、ステップＳ６において、ラベル付与部１０８は、ユーザ入力部１０７によって入力された識別器が識別する対象物を示す正解ラベルを、分類部１０６によって分類された複数の学習用画像データのそれぞれに付与する。
【００６１】
次に、ステップＳ７において、学習部１０９は、分類部１０６によって分類された複数の学習用画像データを、撮影条件毎にニューラルネットワークモデルに入力して、対象物の特徴を示す重み情報を撮影条件毎に学習し、対象物の特徴を示す重み情報を、撮影条件毎のニューラルネットワークモデルに適用することで、撮影条件毎に異なる複数の識別器を生成する。
【００６２】
次に、ステップＳ８において、学習部１０９は、生成した複数の識別器のそれぞれに対して、撮影条件を示す撮影条件情報を付与し、撮影条件情報を付与した複数の識別器をメモリ２０７に記憶する。
【００６３】
このように、無条件に学習用画像データを用いて識別器を学習するのではなく、所定の撮影条件に応じた学習用画像データのみを用いて識別器を学習するので、学習時間を短縮することができる。
【００６４】
図３は、本実施の形態１に係る識別システムの構成を示すブロック図である。図３に示す識別システムは、識別装置２、カメラ２０１及びＧＰＳ２０３を備える。
【００６５】
識別装置２は、識別器を用いて画像データ中の対象物を識別する。識別装置２は、画像データ取得部２０２、撮影条件取得部２０４、条件選択部２０５、識別部２０６、メモリ２０７及び識別結果出力部２０８を備える。なお、識別装置２が、カメラ２０１及びＧＰＳ２０３をさらに備えてもよい。
【００６６】
カメラ２０１は、所定の撮影条件で画像を撮影する。撮影条件は、例えば、画像データが取得された地域を示す。識別システムは、例えば、自動車に搭載され、カメラ２０１は、自動車の進行方向（前方）の風景を撮影する。
【００６７】
画像データ取得部２０２は、カメラ２０１によって撮影された画像データを取得する。画像データは、道路を移動する移動体に設けられたカメラ２０１から撮影することにより取得される。
【００６８】
ＧＰＳ２０３は、識別装置２の現在位置、すなわち、画像が撮影された位置を取得する。なお、現在位置は、例えば、緯度及び経度で表される。
【００６９】
撮影条件取得部２０４は、画像データの撮影条件を取得する。撮影条件取得部２０４は、画像データが取得された地域を特定するための地域情報を取得する。
【００７０】
条件選択部２０５は、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、取得した撮影条件に応じた識別器を選択する。複数の識別器は、複数の撮影条件毎に分類された複数の学習用画像データが撮影条件毎に所定の学習モデルに入力され、対象物の特徴を示す情報が撮影条件毎に学習され、対象物の特徴を示す情報が撮影条件毎の所定の学習モデルに適用されることで、生成される。なお、対象物は、例えば、道路上に存在する障害物を示す。障害物は、例えば、歩行者である。条件選択部２０５は、それぞれ異なる複数の地域毎に生成された複数の識別器の中から、取得した地域情報に応じた識別器を選択する。
【００７１】
識別部２０６は、条件選択部２０５によって選択された識別器を用いて、取得した画像データ中の対象物を識別する。例えば、識別部２０６は、条件選択部２０５によって選択された識別器を用いて、取得した画像データ中の障害物を識別する。
【００７２】
メモリ２０７は、学習装置１によって生成された複数の識別器を記憶する。メモリ２０７は、第１識別器１１１、第２識別器１１２及び第３識別器１１３を備える。第１識別器１１１、第２識別器１１２及び第３識別器１１３は、それぞれ異なる撮影条件に対応する識別器である。第１識別器１１１、第２識別器１１２及び第３識別器１１３は、識別装置２の製造時に予め記憶される。なお、識別装置２は、第１識別器１１１、第２識別器１１２及び第３識別器１１３を、ネットワークを介してサーバから受信してもよい。
【００７３】
識別結果出力部２０８は、識別部２０６によって識別された識別結果を出力する。なお、識別結果は、対象物が識別されたか否かを示す情報であってもよく、画像データ中の対象物が識別された位置を示す情報であってもよい。
【００７４】
続いて、本実施の形態１に係る識別システムの動作について説明する。
【００７５】
図４は、本実施の形態１に係る識別システムの動作について説明するためのフローチャートである。
【００７６】
まず、ステップＳ１１において、カメラ２０１は、所定の撮影条件で画像を撮影する。撮影条件は、例えば、画像データが取得された地域であり、カメラ２０１は、第１の地域で画像を撮影する。
【００７７】
次に、ステップＳ１２において、画像データ取得部２０２は、所定の撮影条件で撮影された画像データをカメラ２０１から取得する。例えば、画像データ取得部２０２は、第１の地域で撮影された画像データをカメラ２０１から取得する。
【００７８】
次に、ステップＳ１３において、撮影条件取得部２０４は、ＧＰＳ２０３によって取得された、画像が撮影された位置を取得し、取得した位置から画像が撮影された撮影条件を特定する。例えば、撮影条件取得部２０４は、ＧＰＳ２０３によって取得された緯度及び経度と、予め記憶されている地図情報とから、画像が撮影された地域を特定する。
【００７９】
次に、ステップＳ１４において、条件選択部２０５は、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、撮影条件取得部２０４によって特定された撮影条件に応じた識別器を選択する。撮影条件取得部２０４によって特定された撮影条件が第１の地域である場合、条件選択部２０５は、第１の地域に応じた第１識別器１１１を選択する。
【００８０】
次に、ステップＳ１５において、識別部２０６は、条件選択部２０５によって選択された識別器を用いて、画像データ取得部２０２によって取得された画像データ中の対象物を識別する。条件選択部２０５によって第１識別器１１１が選択された場合、識別部２０６は、第１識別器１１１を用いて、画像データ取得部２０２によって取得された画像データ中の対象物を識別する。
【００８１】
次に、ステップＳ１６において、識別結果出力部２０８は、識別部２０６によって識別された識別結果を出力する。
【００８２】
このように、識別時において取得した画像データと同じ撮影条件で取得した学習用画像データを用いて学習した識別器を用いて画像データ中の対象物が識別されるので、高い精度で対象物を識別することができる。
【００８３】
なお、本実施の形態１に係る識別システムは、識別装置２とネットワークを介して通信可能に接続されたサーバをさらに備えてもよい。この場合、識別装置２は、画像データ取得部２０２、撮影条件取得部２０４、識別結果出力部２０８及び通信部を備える。識別装置２の通信部は、画像データ取得部２０２によって取得された画像データと、撮影条件取得部２０４によって特定された撮影条件とをサーバへ送信する。サーバは、通信部、条件選択部２０５、識別部２０６及びメモリ２０７を備える。サーバの通信部は、識別装置２によって送信された画像データ及び撮影条件を受信する。また、サーバの通信部は、識別部２０６によって識別された識別結果を識別装置２へ送信する。識別装置２の通信部は、サーバによって送信された識別結果を受信する。このように、サーバに複数の識別器を記憶することにより、識別装置２のメモリの容量を削減することができる。
【００８４】
また、本実施の形態１における撮影条件は地域であるが、本開示は特にこれに限定されず、撮影条件は、画像データが取得された国であってもよい。また、本実施の形態１における対象物は道路上に存在する道路標識、案内標識又は警戒標識であってもよい。この場合、画像データ取得部１０５は、異なる国で撮影された複数の学習用画像データを取得し、分類部１０６は、取得した複数の学習用画像データを国毎に分類し、学習部１０９は、取得した複数の学習用画像データを、国毎に所定の学習モデルに入力して、対象物の特徴を示す情報を国毎に学習し、対象物の特徴を示す情報を、国毎の所定の学習モデルに適用することで、国毎に異なる複数の識別器を生成してもよい。例えば、第１識別器１１１は、アメリカで撮影された学習用画像データを用いて生成され、第２識別器１１２は、日本で撮影された学習用画像データを用いて生成され、第３識別器１１３は、中国で撮影された学習用画像データを用いて生成される。また、撮影条件取得部２０４は、画像データが取得された国を特定するための国情報を取得し、条件選択部２０５は、それぞれ異なる複数の国毎に生成された複数の識別器の中から、取得した国情報に応じた識別器を選択し、識別部２０６は、選択した識別器を用いて、取得した画像データ中の道路標識、案内標識又は警戒標識を識別してもよい。
【００８５】
また、本実施の形態１において、撮影条件は、画像データが取得された場所の天候であってもよい。この場合、画像データ取得部１０５は、異なる天候で撮影された複数の学習用画像データを取得し、分類部１０６は、取得した複数の学習用画像データを天候毎に分類し、学習部１０９は、取得した複数の学習用画像データを、天候毎に所定の学習モデルに入力して、対象物の特徴を示す情報を天候毎に学習し、対象物の特徴を示す情報を、天候毎の所定の学習モデルに適用することで、天候毎に異なる複数の識別器を生成してもよい。例えば、第１識別器１１１は、晴れた日に撮影された学習用画像データを用いて生成され、第２識別器１１２は、曇りの日に撮影された学習用画像データを用いて生成され、第３識別器１１３は、雨の日に撮影された学習用画像データを用いて生成される。また、撮影条件取得部２０４は、画像データが取得された場所の天候を取得し、条件選択部２０５は、それぞれ異なる複数の天候毎に生成された複数の識別器の中から、取得した天候に応じた識別器を選択してもよい。
【００８６】
また、本実施の形態１において、撮影条件は、画像データが取得された時間帯であってもよい。この場合、画像データ取得部１０５は、異なる時間帯で撮影された複数の学習用画像データを取得し、分類部１０６は、取得した複数の学習用画像データを時間帯毎に分類し、学習部１０９は、取得した複数の学習用画像データを、時間帯毎に所定の学習モデルに入力して、対象物の特徴を示す情報を時間帯毎に学習し、対象物の特徴を示す情報を、時間帯毎の所定の学習モデルに適用することで、時間帯毎に異なる複数の識別器を生成してもよい。例えば、第１識別器１１１は、０時〜８時の間の時間帯に撮影された学習用画像データを用いて生成され、第２識別器１１２は、８時〜１６時の間の時間帯に撮影された学習用画像データを用いて生成され、第３識別器１１３は、１６時〜２４時（０時）の間の時間帯に撮影された学習用画像データを用いて生成される。また、撮影条件取得部２０４は、画像データが取得された時間帯を取得し、条件選択部２０５は、それぞれ異なる複数の時間帯毎に生成された複数の識別器の中から、取得した時間帯に応じた識別器を選択してもよい。
【００８７】
さらに、本実施の形態１において、撮影条件は、画像データが取得された市街地、山間部及び海岸部のいずれかの場所であってもよい。この場合、画像データ取得部１０５は、市街地、山間部及び海岸部で撮影された複数の学習用画像データを取得し、分類部１０６は、取得した複数の学習用画像データを市街地、山間部及び海岸部毎に分類し、学習部１０９は、取得した複数の学習用画像データを、市街地、山間部及び海岸部毎に所定の学習モデルに入力して、対象物の特徴を示す情報を市街地、山間部及び海岸部毎に学習し、対象物の特徴を示す情報を、市街地、山間部及び海岸部毎の所定の学習モデルに適用することで、市街地、山間部及び海岸部毎に異なる複数の識別器を生成してもよい。例えば、第１識別器１１１は、市街地で撮影された学習用画像データを用いて生成され、第２識別器１１２は、山間部で撮影された学習用画像データを用いて生成され、第３識別器１１３は、海岸部で撮影された学習用画像データを用いて生成される。また、撮影条件取得部２０４は、画像データが取得された場所が市街地、山間部及び海岸部のいずれであるかを特定するための場所情報を取得し、条件選択部２０５は、市街地、山間部及び海岸部毎に生成された複数の識別器の中から、取得した場所情報に応じた識別器を選択してもよい。
【００８８】
（実施の形態２）
本実施の形態２に係る自動運転車両について説明する。
【００８９】
図５は、本実施の形態２に係る自動運転車両の構成を示すブロック図である。図５に示す自動運転車両３は、自動運転システム３０１、車両制御プロセッサ３０２、ブレーキ制御システム３０３、アクセル制御システム３０４、ステアリング制御システム３０５、車両ナビゲーションシステム３０６、カメラ２０１、ＧＰＳ２０３及び識別装置２を備える。
【００９０】
自動運転車両３は、自律走行する車両である。本実施の形態２において、自動運転車両３は、自動車であるが、本開示は特にこれに限定されず、自動運転車両３は、オートバイ、トラック、バス、電車及び飛行体などの種々の車両であってもよい。
【００９１】
自動運転システム３０１は、プロセッサ３１０、メモリ３１１、ユーザ入力部３１２、表示部３１３及びセンサ３１４を備える。
【００９２】
メモリ３１１は、コンピュータ読み取り可能な記録媒体であり、例えば、ハードディスクドライブ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、光ディスク及び半導体メモリ等である。メモリ３１１は、自動運転プログラム３２１及びデータ３２２を記憶している。データ３２２は、地図データ３３１を含む。地図データ３３１は、地形情報、走行レーンを示すレーン情報、交差点に関する交差点情報、及び制限速度を示す制限速度情報などを含む。なお、地図データ３３１としては、上記の情報に限らない。
【００９３】
プロセッサ３１０は、例えばＣＰＵ（中央演算処理装置）であり、メモリ３１１に記憶されている自動運転プログラム３２１を実行する。プロセッサ３１０が自動運転プログラム３２１を実行することにより、自動運転車両３は自律的に走行する。また、プロセッサ３１０は、メモリ３１１からデータ３２２を読み出し、メモリ３１１にデータ３２２を書き込み、メモリ３１１に記憶されているデータ３２２を更新する。
【００９４】
ユーザ入力部３１２は、ユーザによる種々の情報の入力を受け付ける。表示部３１３は、種々の情報を表示する。センサ３１４は、自動運転車両３の周囲の環境及び自動運転車両３の内部の環境を測定する。センサ３１４は、例えば、自動運転車両３の速度を計測する速度計、自動運転車両３の加速度を計測する加速時計、自動運転車両３の向きを計測するジャイロスコープ、及びエンジン温度センサなどを含む。なお、センサ３１４は、上記のセンサに限らない。
【００９５】
車両制御プロセッサ３０２は、自動運転車両３を制御する。ブレーキ制御システム３０３は、自動運転車両３を減速するように制御する。アクセル制御システム３０４は、自動運転車両３の速度を制御する。ステアリング制御システム３０５は、自動運転車両３の進行方向を調節する。車両ナビゲーションシステム３０６は、自動運転車両３の走行経路を決定したり、自動運転車両３の走行経路を提示したりする。
【００９６】
カメラ２０１は、自動運転車両３のバックミラーの近傍に配置され、自動運転車両３の前方の画像を撮影する。カメラ２０１の構成は、図３に示すカメラ２０１の構成と同じである。なお、カメラ２０１は、自動運転車両３の前方だけでなく、自動運転車両３の後方、自動運転車両３の右方及び自動運転車両３の左方などの自動運転車両３の周囲の画像を撮影してもよい。
【００９７】
ＧＰＳ２０３は、自動運転車両３の現在位置を取得する。ＧＰＳ２０３の構成は、図３に示すＧＰＳ２０３の構成と同じである。
【００９８】
識別装置２は、カメラ２０１によって撮影された画像データの中から、対象物を識別し、識別結果を出力する。識別装置２の構成は、図３に示す識別装置２の構成と同じである。プロセッサ３１０は、識別装置２による識別結果に基づいて自動運転車両３の自律運転を制御する。例えば、対象物が歩行者である場合、識別装置２は、カメラ２０１によって撮影された画像データの中から、歩行者を識別し、識別結果を出力する。画像データの中から歩行者が識別された場合、プロセッサ３１０は、識別装置２による識別結果に基づいて、歩行者を回避するように自動運転車両３の自律運転を制御する。
【００９９】
なお、識別装置２は、歩行者だけでなく、他の車両、道路にある障害物、交通信号、道路標識、走行車線、又は樹木等の車両の外部の物体を画像データの中から識別してもよい。
【０１００】
プロセッサ３１０は、センサ３１４によるセンシング結果及び識別装置２による識別結果に基づいて、自動運転車両３の方向及び速度を制御する。プロセッサ３１０は、アクセル制御システム３０４によって自動運転車両３を加速させ、ブレーキ制御システム３０３によって自動運転車両３を減速させ、ステアリング制御システム３０５によって自動運転車両３の方向を変化させる。
【０１０１】
続いて、本実施の形態２における自動運転車両３の識別装置２による画像識別処理について説明する。
【０１０２】
図６は、第１の地域で撮影した複数の学習用画像データを用いて学習した第１識別器により第１の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図であり、図７は、第１の地域で撮影した複数の学習用画像データを用いて学習した第１識別器により第１の地域とは異なる第２の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図であり、図８は、第２の地域で撮影した複数の学習用画像データを用いて学習した第２識別器により第２の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図である。
【０１０３】
図６に示す画像４０１は、第１の地域で撮影された画像である。識別装置２の第１識別器１１１は、第１の地域で撮影した複数の学習用画像データを用いて学習された識別器である。この場合、撮影条件取得部２０４は、撮影条件が第１の地域であると特定し、識別部２０６は、第１の地域に対応する第１識別器１１１を用いて画像４０１中の歩行者を識別することにより、歩行者４０２を正しく識別する。
【０１０４】
一方、図７に示す画像４１１は、第１の地域とは異なる第２の地域で撮影された画像である。識別装置２の第１識別器１１１は、第１の地域で撮影した複数の学習用画像データを用いて学習された識別器であり、仮に、メモリ２０７には、第２の地域で撮影した複数の学習用画像データを用いて学習した識別器が記憶されていないものとする。識別部２０６は、第１識別器１１１を用いて画像４１１中の歩行者を識別した場合、電柱４１２を歩行者であると誤って識別している。
【０１０５】
さらに、図８に示す画像４２１は、第２の地域で撮影された画像である。識別装置２の第２識別器１１２は、第２の地域で撮影した複数の学習用画像データを用いて学習された識別器である。この場合、撮影条件取得部２０４は、撮影条件が第２の地域であると特定し、識別部２０６は、第２の地域に対応する第２識別器１１２を用いて画像４２１中の歩行者を識別することにより、歩行者４２２を正しく識別する。
【０１０６】
このように、撮影条件に応じて学習した複数の識別器を生成し、撮影条件に応じた識別器を用いて画像データ中の対象物を識別することにより、特定の撮影条件において高い精度で画像データ中の対象物を識別することができる。
【０１０７】
また、識別装置２は、歩行者などの対象物を高い精度で識別することができるので、識別装置２を自動運転車両に適用することができる。
【０１０８】
本開示において、ユニット、装置、部材又は部の全部又は一部、又は図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ  Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（Ｕｌｔｒａ  Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるＲｅｃｏｎｆｉｇｕｒａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅも同じ目的で使うことができる。
【０１０９】
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（Ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（Ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（Ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていてもよい。
【産業上の利用可能性】
【０１１０】
本開示に係る識別方法及び識別装置は、高い精度で対象物を識別することができ、識別器を用いて画像データ中の対象物を識別する識別方法及び識別装置として有用である。また、本開示に係る識別器生成方法及び識別器生成装置は、学習時間を短縮することができ、画像データ中の対象物を識別する識別器を生成する識別器生成方法及び識別器生成装置として有用である。
【符号の説明】
【０１１１】
１    学習装置
２    識別装置
３    自動運転車両
１０１    カメラ
１０２    画像データ蓄積部
１０３    ＧＰＳ
１０４    撮影条件取得部
１０５    画像データ取得部
１０６    分類部
１０７    ユーザ入力部
１０８    ラベル付与部
１０９    学習部
１１０    メモリ
１１１    第１識別器
１１２    第２識別器
１１３    第３識別器
２０１    カメラ
２０２    画像データ取得部
２０３    ＧＰＳ
２０４    撮影条件取得部
２０５    条件選択部
２０６    識別部
２０７    メモリ
２０８    識別結果出力部
３０１    自動運転システム
３０２    車両制御プロセッサ
３０３    ブレーキ制御システム
３０４    アクセル制御システム
３０５    ステアリング制御システム
３０６    車両ナビゲーションシステム
３１０    プロセッサ
３１１    メモリ
３１２    ユーザ入力部
３１３    表示部
３１４    センサ
３２１    自動運転プログラム
３２２    データ
３３１    地図データ
【図１】
2018081404.tif 000003
【図２】
2018081404.tif 000004
【図３】
2018081404.tif 000005
【図４】
2018081404.tif 000006
【図５】
2018081404.tif 000007
【図６】
2018081404.tif 000008
【図７】
2018081404.tif 000009
【図８】
2018081404.tif 000010