(57)【要約】【課題】将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測する。【解決手段】学習データ作成方法は、複数の静止画データ又は動画データをイベントデータ及び非イベントデータとして取得し（Ｓ２０１）、イベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し（Ｓ２０２）、非イベントデータを第二データとして提示し（Ｓ２０３）、第一データと第二データとが類似しているか否かについての判断結果を受け付け（Ｓ２０４）、（ａ）ポジティブデータとしてイベントデータを格納し（Ｓ２０７）、（ｂ）第一データと第二データとが類似している場合にはポジティブデータとして非イベントデータを格納し（Ｓ２０６）、（ｃ）第一データと第二データとが類似していない場合にはネガティブデータとして非イベントデータを格納する（Ｓ２１１）。【選択図】図１２
2019179372.tif 000002
【特許請求の範囲】
【請求項１】
ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成方法であって、
複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得し、
取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、
取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、
前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、
前記イベントデータと前記非イベントデータとを記憶装置に格納することで前記学習データを作成し、
前記格納の際には、
（ａ）前記ポジティブデータとして前記イベントデータを格納し、
（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、
（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する
学習データ作成方法。
【請求項２】
前記所定時間は、車両の運転手が危険を認識してから前記車両の制動措置をとるまでの時間である反応時間に基づいて定められる
請求項１に記載の学習データ作成方法。
【請求項３】
前記所定時間は、前記危険予測の処理を実行する危険予測装置の処理時間にさらに基づいて定められる
請求項２に記載の学習データ作成方法。
【請求項４】
前記複数のイベントデータのそれぞれは、動画データであり、
前記複数の非イベントデータのそれぞれは、動画データである
請求項１〜３のいずれか１項に記載の学習データ作成方法。
【請求項５】
前記第一データは、動画データである
請求項１〜４のいずれか１項に記載の学習データ作成方法。
【請求項６】
前記受け付けの際には、さらに、
前記イベントデータにイベントが実際に映っているか否かについての判断結果を受け付け、
前記格納の際には、
受け付けた前記判断結果が、前記イベントデータにイベントが実際には映っていないことを示す場合には、前記ネガティブデータとして前記イベントデータを格納する
請求項１〜５のいずれか１項に記載の学習データ作成方法。
【請求項７】
前記受け付けの際には、
前記第一データと前記第二データとが類似しているか否かについての画像認識処理による判断結果を受け付ける
請求項１〜６のいずれか１項に記載の学習データ作成方法。
【請求項８】
前記画像認識処理は、前記第一データ及び前記第二データが示す画像に写る移動体の数、位置関係及びオプティカルフローのうちの１つ以上を認識する処理を含む
請求項７に記載の学習データ作成方法。
【請求項９】
前記学習データ作成方法は、さらに、
車両が備える車載センサが撮影により生成した複数の静止画データ又は動画データのそれぞれをイベントデータ又は非イベントデータに分別することで、前記複数のイベントデータ及び前記複数の非イベントデータを取得し、
前記分別では、
前記一の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両に他者が衝突した、又は、他者が急接近したことが、画像認識処理により認識された場合には、前記一の静止画データ又は動画データをイベントデータに分別する
請求項１〜８のいずれか１項に記載の学習データ作成方法。
【請求項１０】
前記分別では、
前記一の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両において急ブレーキ又は急ハンドルがなされたことが、前記車両の加速度データから判定された場合には、前記一の静止画データ又は動画データをイベントデータに分別する
請求項９に記載の学習データ作成方法。
【請求項１１】
前記分別では、
前記車両において急ブレーキ又は急ハンドルがなされたと判定された場合であっても、前記車両が車車間通信によって危険信号を受信していたときには、前記一の静止画データ又は動画データを非イベントデータに分別する
請求項９又は１０に記載の学習データ作成方法。
【請求項１２】
前記一の静止画データ又は動画データは、前記車両の前方を含む広角の静止画データ又は動画データであり、
前記分別では、
前記一の静止画データ又は動画データである広角の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両において急ブレーキがなされたことが、前記車両の加速度データから判定された場合には、前記広角の静止画データ又は動画データのうち、前記車両の前方を含む静止画データ又は動画データをイベントデータに分別する
請求項９〜１１のいずれか１項に記載の学習データ作成方法。
【請求項１３】
前記一の静止画データ又は動画データは、前記車両の前方を含む広角の静止画データ又は動画データであり、
前記分別では、
前記一の静止画データ又は動画データである広角の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両の左右の一方への急ハンドルがなされたことが、前記車両の加速度データから判定された場合には、前記広角の静止画データ又は動画データのうち、前記車両の左右の前記一方と異なる他方を含む静止画データ又は動画データをイベントデータに分別する
請求項９〜１２のいずれか１項に記載の学習データ作成方法。
【請求項１４】
前記分別では、
前記広角の静止画データ又は動画データのうちの、前記イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、前記一の画像が撮影されたときの前記車両の速度に基づいて決定される
請求項１２又は１３に記載の学習データ作成方法。
【請求項１５】
前記分別では、
前記広角の静止画データ又は動画データのうちの、前記イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、前記一の画像が撮影されたときの前記車両の速度が大きいほど小さい
請求項１２又は１３に記載の学習データ作成方法。
【請求項１６】
前記第二データを提示する際には、
取得した前記複数の非イベントデータのうちから、画像認識処理に基づいて前記一の非イベントデータをあらかじめ選択し、選択した前記一の非イベントデータを提示する
請求項１〜１５のいずれか１項に記載の学習データ作成方法。
【請求項１７】
危険予測装置による危険予測のための学習方法であって、
請求項１〜１６のいずれか１項に記載の学習データ作成方法により作成された学習データを取得し、
取得した前記学習データに基づいて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータの特徴を学習することによって、認識モデルを構築する
学習方法。
【請求項１８】
車両に設置された車載センサにより映された静止画データ又は動画データを取得し、
請求項１７に記載の学習方法によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する
危険予測方法。
【請求項１９】
ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成装置であって、
複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得する学習データ取得部と、
取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記第一データと前記第二データとを記憶装置に格納することで前記学習データを作成するアノテーション付与部とを備え、
前記アノテーション付与部は、前記格納の際には、
（ａ）前記ポジティブデータとして前記イベントデータを格納し、
（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、
（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する
学習データ作成装置。
【請求項２０】
危険予測装置による危険予測のための学習装置であって、
請求項１９に記載の学習データ作成装置により作成された学習データを取得する学習データ取得部と、
取得した前記学習データを用いて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータそれぞれの特徴を学習することによって、認識モデルを構築する学習部を備える
学習装置。
【請求項２１】
車両に設置された車載センサにより撮影された静止画データ又は動画データを取得する撮影画像取得部と、
請求項２０に記載の学習装置によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する認識器とを備える
危険予測装置。
【請求項２２】
請求項１〜１６のいずれか１項に記載された学習データ作成方法をコンピュータに実行させるためのプログラム。
【請求項２３】
請求項１７に記載された学習方法をコンピュータに実行させるためのプログラム。
【請求項２４】
請求項１８に記載された危険予測方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラムに関する。
【背景技術】
【０００２】
自動車の運転支援技術、及び、自動運転技術が開発されつつある。これらの技術では、車載カメラにより車両の周囲を撮影し、車両の周囲にある物体を認識し、車両の走行の障害になり得る移動体を検出する技術が必要とされる。車両の周囲にある物体の認識には、機械学習（単に学習ともいう）が用いられ得る。
【０００３】
特許文献１は、車載カメラで撮像した映像から、事故映像（アクシデント映像ともいう）、又は、結果的に事故に至らなかったものの事故に至る可能性があったときの映像（インシデント映像ともいう、一般にヒヤリハット映像又はニアミス映像ともいう）の特徴に基づいて、この事故映像などを記録し、又は、抽出する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１３８６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される技術では、アクシデント映像又はインシデント映像の特徴に基づいて事故映像などを判別する。そのため、アクシデント又はインシデントが発生する前に、将来に発生するアクシデント又はインシデントなどの危険事象を予測することができないという問題がある。
【０００６】
そこで、本発明は、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測するための学習データ作成方法などを提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る学習データ作成方法は、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成方法であって、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得し、取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記イベントデータと前記非イベントデータとを記憶装置に格納することで前記学習データを作成し、前記格納の際には、（ａ）前記ポジティブデータとして前記イベントデータを格納し、（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する。
【０００８】
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００９】
本発明の学習データ生成方法は、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態における危険予測システムの構成を示す図である。
【図２】図２は、実施の形態における危険予測システムの機能構成を示すブロック図である。
【図３】図３は、実施の形態における画像データ格納部に格納される画像の第一例を示す説明図である。
【図４】図４は、実施の形態における画像データ格納部に格納される画像の第二例を示す説明図である。
【図５】図５は、実施の形態におけるアノテーション付与部によるアノテーションの付与の第一の説明図である。
【図６】図６は、実施の形態におけるアノテーション付与部によるアノテーションの付与の際に提示される画像の第一の説明図である。
【図７】図７は、実施の形態におけるアノテーション付与部によるアノテーションの付与の第二の説明図である。
【図８】図８は、実施の形態における車両の機能構成を示すブロック図である。
【図９】図９は、実施の形態における静止画データ又は動画データの分別処理を示すフロー図である。
【図１０】図１０は、実施の形態における学習データの生成処理を示すフロー図である。
【図１１】図１１は、実施の形態におけるアノテーション付与部によるアノテーションの付与の第三の説明図である。
【図１２】図１２は、実施の形態におけるアノテーション付与部によるアノテーションの付与の際に提示される画像の第二の説明図である。
【図１３】図１３は、実施の形態における車載機器の処理を示すフロー図である。
【図１４】図１４は、実施の形態の変形例に係る学習方法を示すフロー図である。
【図１５】図１５は、実施の形態に係る学習装置を示すブロック図である。
【図１６】図１６は、実施の形態の変形例に係る危険予測方法を示すフロー図である。
【図１７】図１７は、実施の形態の変形例に係る危険予測装置を示すブロック図である。
【発明を実施するための形態】
【００１１】
本発明の一態様に係る学習データ作成方法は、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成方法であって、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得し、取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記イベントデータと前記非イベントデータとを記憶装置に格納することで前記学習データを作成し、前記格納の際には、（ａ）前記ポジティブデータとして前記イベントデータを格納し、（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する。
【００１２】
上記態様によれば、非イベントデータのうちのイベントデータに類似しているものがポジティブデータとして学習に用いられる。従来の技術では、非イベントデータが一律にネガティブデータとして学習に用いられるので、非イベントデータのうちのイベントデータに類似しているものはネガティブデータとして学習に用いられる。その場合、互いに類似しているイベントデータと非イベントデータとの一方をポジティブデータとし、他方をネガティブデータとして学習をすると、学習により生成される認識モデルが不適切になることがある。そこで、イベントデータと非イベントデータとが類似しているときには、その両方をポジティブデータとして学習をすることで、認識モデルが不適切になることを回避し、適切な認識モデルが得られる。本発明の一態様に係る学習データ作成方法によれば、このように作成される学習データに基づく学習により、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００１３】
例えば、前記所定時間は、車両の運転手が危険を認識してから前記車両の制動措置をとるまでの時間である反応時間に基づいて定められてもよい。
【００１４】
上記態様によれば、所定時間として反応時間を用いることで、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００１５】
例えば、前記所定時間は、前記危険予測の処理を実行する危険予測装置の処理時間にさらに基づいて定められてもよい。
【００１６】
上記態様によれば、所定時間として、反応時間と危険予測装置の処理時間とを用いることで、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００１７】
例えば、前記複数のイベントデータのそれぞれは、動画データであり、前記複数の非イベントデータのそれぞれは、動画データであってもよい。
【００１８】
上記態様によれば、イベントデータ及び非イベントデータとして動画データを用いて学習データを作成することによって、イベントデータの特徴及び非イベントデータの特徴をより正確に学習することができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００１９】
例えば、第一データは、動画データであってもよい。
【００２０】
上記態様によれば、第一データとして動画データを用いることによって、非イベントデータである第二データとの類比判断をより正確に行うことができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００２１】
例えば、前記受け付けの際には、さらに、前記イベントデータにイベントが実際に映っているか否かについての判断結果を受け付け、前記格納の際には、受け付けた前記判断結果が、前記イベントデータにイベントが実際には映っていないことを示す場合には、前記ネガティブデータとして前記イベントデータを格納してもよい。
【００２２】
上記態様によれば、実際にはイベントが映っていないと判断されたイベントデータをネガティブデータとして学習する。これにより、認識モデルをより一層適切なものとすることができ、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００２３】
例えば、前記受け付けの際には、前記第一データと前記第二データとが類似しているか否かについての画像認識処理による判断結果を受け付けてもよい。
【００２４】
上記態様によれば、第一画像と第二画像との類比判断を画像認識処理によって自動的に行う。これにより、人手を介さずに一定の基準に則った類比判断を行うことができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００２５】
例えば、前記画像認識処理は、前記第一データ及び前記第二データが示す画像に写る移動体の数、位置関係及びオプティカルフローのうちの１つ以上を認識する処理を含んでもよい。
【００２６】
上記態様によれば、画像認識処理として、移動体の数、位置関係又はオプティカルフローを認識することで、より具体的な認識処理に基づいて、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００２７】
例えば、前記学習データ作成方法は、さらに、車両が備える車載センサが撮影により生成した複数の静止画データ又は動画データのそれぞれをイベントデータ又は非イベントデータに分別することで、前記複数のイベントデータ及び前記複数の非イベントデータを取得し、前記分別では、前記一の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両に他者が衝突した、又は、他者が急接近したことが、画像認識処理により認識された場合には、前記一の静止画データ又は動画データをイベントデータに分別してもよい。
【００２８】
上記態様によれば、車載センサにより取得した画像を分別することでイベントデータ及び非イベントデータを取得し、さらに、車両への他者の衝突、又は、他者の急接近に基づいて、イベントデータを分別することができる。このように、より容易に、車載センサにより取得した静止画データ又は動画データをイベントデータに分別し、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００２９】
例えば、前記分別では、前記一の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両において急ブレーキ又は急ハンドルがなされたことが、前記車両の加速度データから判定された場合には、前記一の静止画データ又は動画データをイベントデータに分別してもよい。
【００３０】
上記態様によれば、車両における急ブレーキ又は急ハンドルに基づいて、イベントデータを分別することができる。このように、より容易に、車載センサにより取得した静止画データ又は動画データをイベントデータに分別し、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００３１】
例えば、前記分別では、前記車両において急ブレーキ又は急ハンドルがなされたと判定された場合であっても、前記車両が車車間通信によって危険信号を受信していたときには、前記一の静止画データ又は動画データを非イベントデータに分別してもよい。
【００３２】
上記態様によれば、車車間通信によって危険信号を受信した場合には画像を非イベントデータに分別する。車両における急ブレーキ又は急ハンドルがなされた場合でも、車車間通信によって危険信号を受信した場合には、静止画データ又は動画データから危険予測に関する情報が得られないことがあるので、当該静止画データ又は当該動画データを学習の対象から除外するためである。
【００３３】
例えば、前記一の静止画データ又は動画データは、前記車両の前方を含む広角の静止画データ又は動画データであり、前記分別では、前記一の静止画データ又は動画データである広角の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両において急ブレーキがなされたことが、前記車両の加速度データから判定された場合には、前記広角の静止画データ又は動画データのうち、前記車両の前方を含む静止画データ又は動画データをイベントデータに分別してもよい。
【００３４】
上記態様によれば、車両の急ブレーキがかけられた場合に、広角の静止画データ又は動画データに含まれる車両の進行方向を含む静止画データ又は動画データがイベントデータに分別される。急ブレーキがなされる場合には、車両の進行方向に何らかの物体などが存在している可能性がある。よって、その物体の方向をイベントデータとして学習することで、危険事象を適切に学習し、予測することができる。
【００３５】
例えば、前記一の静止画データ又は動画データは、前記車両の前方を含む広角の静止画データ又は動画データであり、前記分別では、前記一の静止画データ又は動画データである広角の静止画データ又は動画データが前記車載センサにより撮影されたときに、前記車両の左右の一方への急ハンドルがなされたことが、前記車両の加速度データから判定された場合には、前記広角の静止画データ又は動画データのうち、前記車両の左右の前記一方と異なる他方を含む静止画データ又は動画データをイベントデータに分別してもよい。
【００３６】
上記態様によれば、広角の静止画データ又は動画データに含まれる、急ハンドルがなされた方向と反対方向を含む静止画データ又は動画データがイベントデータに分別される。急ハンドルがなされる場合には、その方向と反対方向に何らかの物体などが存在している可能性がある。よって、その物体の方向をイベントデータとして学習することで、危険事象を適切に学習し、予測することができる。
【００３７】
例えば、前記分別では、前記広角の静止画データ又は動画データのうちの、前記イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、前記一の画像が撮影されたときの前記車両の速度に基づいて決定されてもよい。
【００３８】
上記態様によれば、車両の速度に応じて変化する運転手の視界の広さに対応して、イベントデータとする画像の水平方向の幅を調整し得る。よって、車両の運転手の視界の広さの変化に基づいて広さが変化する静止画データ又は動画データをイベントデータとして、危険事象を適切に学習し、予測することができる。
【００３９】
例えば、前記分別では、前記広角の静止画データ又は動画データのうちの、前記イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、前記一の画像が撮影されたときの前記車両の速度が大きいほど小さくてもよい。
【００４０】
上記態様によれば、車両の速度に応じて変化する運転手の視界の広さに対応して、イベントデータとする画像の水平方向の幅を調整し得る。一般に、車両の速度が大きい場合、その車両の運転手の視界が狭くなるので、イベントはその狭くなった視界に含まれるからである。よって、車両の運転手の視界の広さが、車両の速度が大きいほど狭くなることを考慮して、水平方向の幅が変化する静止画データ又は動画データをイベントデータとして、危険事象を適切に学習し、予測することができる。
【００４１】
例えば、前記第二データを提示する際には、取得した前記複数の非イベントデータのうちから、画像認識処理に基づいて前記一の非イベントデータをあらかじめ選択し、選択した前記一の非イベントデータを提示してもよい。
【００４２】
上記態様によれば、画像認識処理に基づいて、ユーザに提示する適切な第二画像を選択することができる。これにより、第一画像と第二画像とのユーザによる類否判断がより適切になされ、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００４３】
また、本発明の一態様に係る学習方法は、危険予測装置による危険予測のための学習方法であって、上記の学習データ作成方法により作成された学習データを取得し、取得した前記学習データに基づいて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータの特徴を学習することによって、認識モデルを構築する。
【００４４】
上記態様によれば、学習データ作成方法によって作成された学習データを用いて適切に認識モデルを構築し、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００４５】
また、本発明の一態様に係る危険予測方法は、車両に設置された車載センサにより映された静止画データ又は動画データを取得し、上記の学習方法によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する。
【００４６】
上記態様によれば、構築された認識モデルを用いて、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【００４７】
また、本発明の一態様に係る学習データ作成装置は、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成装置であって、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得する学習データ取得部と、取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記第一データと前記第二データとを記憶装置に格納することで前記学習データを作成するアノテーション付与部とを備え、前記アノテーション付与部は、前記格納の際には、（ａ）前記ポジティブデータとして前記イベントデータを格納し、（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する。
【００４８】
上記態様により、上記学習データ作成方法と同様の効果を奏する。
【００４９】
また、本発明の一態様に係る学習装置は、危険予測装置による危険予測のための学習装置であって、上記の学習データ作成装置により作成された学習データを取得する学習データ取得部と、取得した前記学習データを用いて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータそれぞれの特徴を学習することによって、認識モデルを構築する学習部を備える。
【００５０】
上記態様により、上記学習方法と同様の効果を奏する。
【００５１】
また、本発明の一態様に係る危険予測装置は、車両に設置された車載センサにより撮影された静止画データ又は動画データを取得する撮影画像取得部と、上記の学習装置によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する認識器とを備える。
【００５２】
上記態様により、上記危険予測方法と同様の効果を奏する。
【００５３】
また、本発明の一態様に係るプログラムは、上記の学習データ作成方法をコンピュータに実行させるためのプログラムである。
【００５４】
上記態様により、上記学習方法と同様の効果を奏する。
【００５５】
また、本発明の一態様に係るプログラムは、上記の学習方法をコンピュータに実行させるためのプログラムである。
【００５６】
上記態様により、上記の学習データ作成方法と同様の効果を奏する。
【００５７】
また、本発明の一態様に係るプログラムは、上記の危険予測方法をコンピュータに実行させるためのプログラムである。
【００５８】
上記態様により、上記の危険予測方法と同様の効果を奏する。
【００５９】
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００６０】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００６１】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００６２】
（実施の形態）
本実施の形態において、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる学習データ作成方法、学習方法、及び、危険予測方法などについて説明する。
【００６３】
図１は、本実施の形態における危険予測システム１の構成を示すブロック図である。図２は、本実施の形態における危険予測システム１の機能構成を示すブロック図である。
【００６４】
本実施の形態における危険予測システム１は、車両１１にアクシデント又はインシデントなどの危険事象であるイベントが将来に発生するか否かを予測するシステムである。ここで、「将来」とは、例えば１０秒〜２０秒程度以内の未来を意味するが、この時間に限定されない。
【００６５】
図１及び図２に示されるように、危険予測システム１は、車両１１と、サーバ１２と、端末１３とを備え、これらは、インターネットなどのネットワークＮを介して接続されている。
【００６６】
車両１１の車載機器は、カメラを備え、そのカメラによる撮影によって画像を生成する。そして、車載機器は、その画像に基づいて、将来にイベントが発生するか否かの予測、つまり危険予測をする。車載機器による危険予測は、認識モデルを用いた認識に基づいてなされる。認識に用いる認識モデルは、サーバ１２からネットワークＮを介して取得される。
【００６７】
サーバ１２は、複数の学習用の静止画データ又は動画データ（単に静止画データ又は動画データともいう）を用いて認識モデルを構築する。サーバ１２は、複数の静止画データ又は動画データを取得して保存する。サーバ１２が取得する学習用画像は、車両１１、又は、車両１１以外の車両に備えられたカメラによる撮影によって得られたものである。サーバ１２は、このようにして得られた静止画データ又は動画データをネットワークＮを介して受信する。
【００６８】
そして、サーバ１２は、このように送信された静止画データ又は動画データを用いて、静止画データ又は動画データに映っている撮影対象に基づいて、将来にイベントが発生するか否かを学習することによって認識モデルを構築する。そして、サーバ１２は、その構築した認識モデルをネットワークＮを介して車両１１に送信する。
【００６９】
端末１３は、サーバ１２による認識モデルの構築のために、静止画データ又は動画データのユーザへの提示、及び、提示した静止画データ又は動画データについてのユーザによる類否判断などの結果の入力を受ける端末である。端末１３は、ユーザに学習用画像などを提示する表示装置１３１、および、学習用画像の類否判断の結果などをユーザからの入力を受ける入力デバイス１３２を備える。表示装置１３１、液晶ディスプレイまたは有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。入力デバイス１３２は、キーボード、マウス又はタッチパネルなどである。
【００７０】
図２を参照しながらサーバ１２の機能構成について詳細に説明する。
【００７１】
図２に示されるように、サーバ１２は、学習データ取得部１２０と、学習部１２７と、モデル格納部１２８と、制御部１２９とを備える。学習データ取得部１２０は、画像データ格納部１２１と、アノテーション付与部１２２と、学習データ格納部１２３とを備える。サーバ１２又は学習データ取得部１２０は、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成装置に相当する。
【００７２】
学習データ取得部１２０は、危険予測の学習に用いられる学習データを取得する。学習データ取得部１２０は、静止画データ又は動画データとして、例えば所定の時間長を有する動画データを取得する。所定の時間長は例えば２０秒間である。
【００７３】
学習データ取得部１２０は、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数の静止画データ又は動画データである複数のイベントデータ、及び、イベントがそれぞれに映っていない複数の静止画データ又は動画データである複数の非イベントデータとして取得する。なお、複数のイベントデータは動画データであってもよい。また、複数の非イベントデータは動画データであってもよい。
【００７４】
学習データ取得部１２０が取得する複数のイベントデータ及び複数の非イベントデータは、例えば、車両が備える車載センサ（例えばカメラ）が撮影により生成した一の静止画データ又は動画データをイベントデータ又は非イベントデータに分別することを、複数回繰り返して生成されたものである。上記分別は、例えば、車両が備える画像処理装置により行われる。この場合、画像処理装置は、車載センサが撮影により静止画データ又は動画データを生成したときに、当該静止画データ若しくは当該動画データ、又は、車両が備える他の車載センサ（例えば加速度センサ）により得た情報に基づいて分別を行う。
【００７５】
例えば、上記分別では、一の静止画データ又は動画データが車載センサにより撮影されたときに、車両に他者が衝突した、又は、他者が急接近したことが、画像認識処理により認識された場合には、当該一の静止画データ又は動画データをイベントデータに分別してもよい。
【００７６】
例えば、上記分別では、一の静止画データ又は動画データが車載センサにより撮影されたときに、車両において急ブレーキ又は急ハンドルがなされたことが、車両の加速度データから判定された場合には、当該一の静止画データ又は動画データをイベントデータに分別してもよい。
【００７７】
例えば、上記分別では、車両において急ブレーキ又は急ハンドルがなされたと判定された場合であっても、車両が車車間通信によって危険信号を受信していたときには、当該一の静止画データ又は動画データを非イベントデータに分別してもよい。ここで、危険信号とは、例えば、当該車両の近傍に位置する車両から受信する、車両の衝突などの危険を知らせるための信号である。
【００７８】
例えば、上記分別では、一の静止画データ又は動画データが車両の前方を含む広角の静止画データ又は動画データである場合には、一の静止画データ又は動画データである広角の静止画データ又は動画データが車載センサにより撮影されたときに、車両において急ブレーキがなされたことが、車両の加速度データから判定された場合には、広角の静止画データ又は動画データのうち、車両の前方を含む静止画データ又は動画データをイベントデータに分別してもよい。
【００７９】
例えば、上記分別では、一の静止画データ又は動画データが車両の前方を含む広角の静止画データ又は動画データである場合には、一の静止画データ又は動画データである広角の静止画データ又は動画データが車載センサにより撮影されたときに、車両の左右の一方への急ハンドルがなされたことが、車両の加速度データから判定された場合には、広角の静止画データ又は動画データのうち、車両の一方を含む静止画データ又は動画データをイベントデータに分別してもよい。
【００８０】
例えば、上記分別では、広角の静止画データ又は動画データのうちの、イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、当該一の画像が撮影されたときの車両の速度に基づいて決定されてもよい。
【００８１】
例えば、上記分別では、広角の静止画データ又は動画データのうちの、イベントデータに分別する静止画データ又は動画データの水平方向のサイズは、当該一の画像が撮影されたときの車両の速度が大きいほど小さくしてもよい。
【００８２】
画像データ格納部１２１は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）またはハードディスクなどのデータを記録するための記録媒体である。画像データ格納部１２１には、学習用画像として、複数のイベントデータと複数の非イベントデータとが学習データ取得部１２０により格納される。また、画像データ格納部１２１に格納された学習用画像は、アノテーション付与部１２２によって読み出される。
【００８３】
アノテーション付与部１２２は、静止画データ又は動画データに対してアノテーションを付与して、学習データ格納部１２３に格納する。アノテーションは、静止画データ又は動画データを、イベントが映っている静止画データ又は動画データとして扱うか、又は、イベント映っていない静止画データ又は動画データとして扱うかを示す情報である。アノテーション付与部１２２は、原則として、イベントデータにポジティブデータのアノテーションを付与し、非イベントデータにネガティブデータのアノテーションを付与する。さらに、アノテーション付与部１２２は、非イベントデータのうち、イベントデータと類似していると判断されるものにポジティブデータのアノテーションを付与する。
【００８４】
なお、ポジティブデータのアノテーションが付与された学習データを単にポジティブデータともいい、ネガティブデータのアノテーションが付与された学習データを単にネガティブデータともいう。ここで、ポジティブデータとは、後述する認識器１１２によりイベントが映っていると認識されるべきデータであり、ネガティブデータとは、認識器１１２によりイベントが映っていないと認識されるべきデータである。
【００８５】
アノテーション付与部１２２は、非イベントデータとイベントデータとの類否判断のために、複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データ、つまり所定時間前の撮影対象が映っている静止画データ又は動画データである第一データを提示する。また、アノテーション付与部１２２は、複数の非イベントデータのうちの一の非イベントデータを第二データとして提示する。第一データ及び第二データの提示の際には、アノテーション付与部１２２は、第一データ及び第二データを端末１３に送信し、表示装置１３１に表示することでユーザに提示する。そして、アノテーション付与部１２２は、提示した第一データ及び第二データが互いに類似しているか否かについてのユーザによる判断結果の入力を入力デバイス１３２により受け、端末１３から受信することで取得する。
【００８６】
言い換えれば、アノテーション付与部１２２は、イベントデータと非イベントデータとを学習データ格納部１２３に格納する際に、（ａ）ポジティブデータとしてイベントデータを格納し、（ｂ）受け付けた判断結果が、第一データと第二データとが類似していることを示す場合には、ポジティブデータとして非イベントデータを格納し、（ｃ）受け付けた判断結果が、第一データと第二データとが類似していないことを示す場合には、ネガティブデータとして非イベントデータを格納する。
【００８７】
なお、第一データ及び第二データの類否判断は、コンピュータによる画像認識処理によってなされてもよい。この画像認識処理は、第一データ及び第二データが示す画像に写る移動体の数、位置関係及びオプティカルフローのうちの１つ以上を認識する処理を含んでもよい。
【００８８】
また、第二データを提示する際には、取得した複数の非イベントデータのうちから、画像認識処理に基づいて上記一の非イベントデータをあらかじめ選択し、選択した一の非イベントデータを提示してもよい。この画像認識処理では、第一データ及び第二データが示す画像に写る移動体の数、位置関係及びオプティカルフローのうちの１つ以上を認識した上で、例えば、選択しようとする一の非イベントデータとともに端末１３によってユーザに提示される第一データと類似している第二データを選択する。
【００８９】
なお、所定時間は、車両の運転手が危険を認識してから当該車両の制動措置をとるまでの時間である反応時間に基づいて定められてもよい。また、所定時間は、危険予測の処理を実行する危険予測装置の処理時間にさらに基づいて定められてもよい。
【００９０】
なお、第一データは、動画データであってもよい。
【００９１】
学習データ格納部１２３は、ＲＡＭまたはハードディスクなどのデータを記録するための記録媒体である。学習データ格納部１２３には、アノテーションが付与された静止画データ又は動画データ、言い換えれば、ポジティブデータ及びネガティブデータが学習データとして格納される。
【００９２】
学習部１２７は、学習データを用いて危険予測の学習をする。すなわち、学習部１２７は、学習データ格納部１２３に格納されている学習データのうちのポジティブデータ及びネガティブデータの特徴を学習することによって、認識モデルを構築する。具体的には、学習部１２７は、将来にイベントが発生する画像の特徴をポジティブデータから学習し、また、後にイベントが発生しない画像の特徴をネガティブデータから学習することによって、認識モデルを構築する。学習部１２７は、構築した認識モデルをモデル格納部１２８に格納する。構築された認識モデルは、静止画データ又は動画データを入力データとして入力されると、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する認識モデルである。認識情報は、イベントが発生するか否かを２値で示す情報であってもよいし、イベントが発生する度合い又は確率を０〜１００のいずれかで示す情報であってもよい。
【００９３】
学習部１２７による学習は、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ、またはＧｅｎｅｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇなどの機械学習である。また、画像中の物体の認識およびセグメンテーションには、グラフカットなどを用いることができる。あるいは、Ｒａｎｄｏｍ  ＦｏｒｅｓｔまたはＧｅｎｅｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇによって作成された認識器などを用いてもよい。また、学習部１２７が構築する認識モデルは、ニューラルネットワークモデルであってもよい。
【００９４】
モデル格納部１２８は、ＲＡＭまたはハードディスクなどのデータを記録するための記録媒体である。このモデル格納部１２８には、学習部１２７によって構築された認識モデルが格納される。モデル格納部１２８に格納された認識モデルは、制御部１２９を介して車載機器１１０に提供される。
【００９５】
制御部１２９は、サーバ１２内の各機能の動作を制御する制御装置である。また、制御部１２９は、端末１３及び車両１１との通信をする通信インタフェースを備える。制御部１２９は、アノテーション付与部１２２と端末１３との間での静止画データ又は動画データと、類否判断の結果を示す情報とを送受信する。制御部１２９は、モデル格納部１２８に格納されている認識モデルを車両１１（より具体的には車載機器１１０）に提供する。
【００９６】
以降において、静止画データ又は動画データの生成及び分別、静止画データ又は動画データへのアノテーションの付与について詳しく説明する。
【００９７】
図３は、本実施の形態における画像データ格納部１２１に格納される画像の第一例を示す説明図である。図３の（ａ）及び（ｂ）は、車両Ａ及びＢ、並びに人Ｈを上空から見た位置関係を示した図である。図３の（ｃ）及び（ｄ）は、それぞれ、車両Ａなどが図３の（ａ）及び（ｂ）の位置関係にあるときに車両Ａの車載センサが車両Ａの前方を撮影した画像の一例である。
【００９８】
図３の（ａ）において、走行している自車両である車両Ａの前方に、他車両である車両Ｂが停車している。また、車両Ｂの前方には、人Ｈが左から右へ、道路を横切ろうとしている。この状態において、車両Ａの運転手は人Ｈの存在に気づいておらず、スピードを落とさずに車両Ｂの右を通り抜けようと考えている。
【００９９】
図３の（ｂ）は、図３の（ａ）の状態から数秒程度進んだ状態を示している。車両Ａが車両Ｂの右側を通り抜けようとしたときに、車両Ａの運転手が人Ｈの存在に気づき、急ブレーキをかけた状態である。
【０１００】
図３の（ｃ）は、図３の（ａ）の状態で車両Ａの車載センサが前方を撮影した画像の一例である。この画像には、車両Ｂが映っており、また、人Ｈの頭がわずかに映っている。
【０１０１】
図３の（ｄ）は、図３の（ｂ）の状態で車両Ａの車載センサが前方を撮影した画像の一例である。この画像には、車両Ｂが大きく映っており、また、人Ｈの全身が大きく映っている。
【０１０２】
このとき、車両Ａの車載センサは、図３の（ｃ）及び（ｄ）を含む所定時間の静止画データ又は動画データを取得している。また、車両Ａの加速度センサなどにより車両Ａが急ブレーキをかけたことが検知されたことに基づいて、この静止画データ又は動画データはイベントデータとして扱われる。よって、車両Ａは、この静止画データ又は動画データをイベントデータとしてサーバ１２に送信する。
【０１０３】
図４は、本実施の形態における画像データ格納部１２１に格納される画像の第二例を示す説明図である。図４の（ａ）〜（ｄ）は、それぞれ、図３におけるものと同様の位置関係及び画像を示している。
【０１０４】
図４の（ａ）は、図３の（ａ）と同じ位置関係を示している。この状態において、車両Ａの運転手は人Ｈの存在に気づき、スピードを落として車両Ｂの右を通り抜ける、又は、必要に応じて停車しようと考えている。
【０１０５】
図４の（ｂ）は、図４の（ａ）の状態から数秒程度進んだ状態を示している。車両Ａの運転手が、ゆっくりとブレーキをかけた状態である。
【０１０６】
図４の（ｃ）は、図３の（ｃ）と同じ画像を示している。
【０１０７】
図４の（ｄ）は、図４の（ｂ）の状態で車両Ａの車載センサが前方を撮影した画像の一例である。この画像には、車両Ｂが映っており、また、人Ｈの全身が映っている。ただし、図４の（ｄ）に映っている人Ｈの画像における寸法は、図３の（ｄ）に映っている人Ｈの画像における寸法より小さい。図４の（ｂ）及び（ｄ）のほうが、車両Ａから人Ｈまでの距離が大きいからである。
【０１０８】
このとき、車両Ａの車載センサは、図４の（ｃ）及び（ｄ）を含む所定時間の静止画データ又は動画データを取得している。また、車両Ａの加速度センサなどにより車両Ａが急ブレーキをかけたことが検知されないので、この静止画データ又は動画データは非イベントデータとして扱われる。よって、車両Ａは、この静止画データ又は動画データを非イベントデータとしてサーバ１２に送信する。
【０１０９】
サーバ１２は、上記のように得られたイベントデータ及び非イベントデータから学習データを作成する。一般的には、イベントデータ及び非イベントデータから学習データを作成する際に、イベントデータをポジティブデータとし、非イベントデータをネガティブデータとした学習データを作成する。
【０１１０】
しかしながら、単に、イベントデータをポジティブデータとし、非イベントデータをネガティブデータとして作成した学習データに基づく学習では、適切な認識モデルが構築されない場合がある。このことについて以下で説明する。
【０１１１】
例えば、図３に示されるイベントデータにおいて、図３の（ｃ）の画像は、この後に急ブレーキがなされるものであるので、イベントの発生が予測される状況を示している。よって、図３の（ｃ）の画像は、学習データに基づいて作成される認識モデルにおいて、イベントの発生が予測される画像であると認識される必要がある。一方、図４の（ｃ）の画像は、この後に急ブレーキがなされないものであるので、イベントの発生が予測されない状況を示している。よって、図４の（ｃ）の画像は、認識モデルにおいて、イベントの発生が予測されない画像であると認識される必要がある。
【０１１２】
しかし、図３の（ｃ）の画像と図４の（ｃ）の画像とは、同じ画像である。図３の（ｃ）の画像をイベントの発生が予測される画像として学習させる一方、図４の（ｃ）の画像をイベントの発生が予測されない画像として学習させることは、同一の画像について相反する内容の学習をさせることになり、適切な認識モデルが構築されない。
【０１１３】
そこで、本実施の形態のアノテーション付与部１２２は、非イベントデータであっても、その画像が、イベントデータと類似しているときには、ポジティブデータに分類する。これにより、上記のような、適切な認識モデルが構築されないケースを回避することができる。
【０１１４】
図５は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の第一の説明図である。図６は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の際に提示される画像の第一の説明図である。
【０１１５】
図５に示されるように、アノテーション付与部１２２は、画像データ格納部１２１に格納されている複数のイベントデータのうちの１つであるイベントデータ４１を取得する。また、アノテーション付与部１２２は、画像データ格納部１２１に格納されている複数の非イベントデータのうちの１つである非イベントデータ４２を取得する。
【０１１６】
そして、アノテーション付与部１２２は、イベントデータ４１と非イベントデータ４２とを制御部１２９を介して端末１３に送信し、表示装置１３１に表示させる（図６参照）。そして、ユーザによる、イベントデータ４１と非イベントデータ４２との類否の判断結果を受け付けるボタンの画像５１及び５２を表示する。また、このとき、表示装置１３１は、表示した２つの画像が類似しているか否かをユーザに問い合わせる文字列を含む画像５３を表示してもよい。ユーザによる類比判断に基づいてボタンの画像５１又は５２への操作がなされると、アノテーション付与部１２２は、その操作データを制御部１２９を介して受け付ける。ボタンの画像５１が操作された場合の操作データは「類似」であり、ボタンの画像５２が操作された場合の操作データは「非類似」である。
【０１１７】
操作データが「非類似」である場合について説明を続ける。
【０１１８】
操作データが「非類似」である場合、アノテーション付与部１２２は、非イベントデータ４２にネガティブデータのアノテーションを付与して学習データ格納部１２３に格納する。言い換えれば、アノテーション付与部１２２は、非イベントデータ４２をネガティブデータ４４として学習データ格納部１２３に格納する。また、アノテーション付与部１２２は、イベントデータ４１にポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。言い換えれば、アノテーション付与部１２２は、イベントデータ４１をポジティブデータ４３として学習データ格納部１２３に格納する。
【０１１９】
次に、操作データが「類似」である場合について説明する。
【０１２０】
図７は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の第二の説明図である。
【０１２１】
図７に示されるように、操作データが「類似」である場合、アノテーション付与部１２２は、非イベントデータ６２にポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。言い換えれば、アノテーション付与部１２２は、非イベントデータ６２をポジティブデータ６４として学習データ格納部１２３に格納する。イベントデータ６１については、上記の「類似」の場合と同様にポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。
【０１２２】
このようにすると、図３に示されるイベントデータ、及び、図４に示される非イベントデータがともにポジティブデータとして学習データ格納部１２３に格納される。そして、これらのデータがともに、イベントの発生が予測される画像として適切に学習される。
【０１２３】
なお、上記では、アノテーション付与部１２２はイベントデータ４１又は６１と、非イベントデータ４２又は６２とについての１回の類比判断に基づいて、非イベントデータ４２又は６２をネガティブデータとポジティブデータとのいずれかに決定する例を示した。しかし、アノテーション付与部１２２は、異なる複数のユーザによる類比判断を総合的に考慮してネガティブデータとポジティブデータとのいずれかに決定してもよい。例えば、複数のユーザのうちの所定（７０％〜８０％程度等）以上のユーザが類似と判断した場合に、類否判断の結果を類似とし、そうでない場合には類否判断の結果を非類似としてもよい。
【０１２４】
また、複数のイベントデータのうちのどのイベントデータと、複数の非イベントデータのうちのどの非イベントデータとをユーザに提示するかも任意である。
【０１２５】
なお、アノテーション付与部１２２は、イベントデータにネガディブデータのアノテーションを付与してもよい。これは、イベントデータに実際にはイベントが映っていない場合になされる処理である。この処理について以下で説明する。
【０１２６】
図８は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の第三の説明図である。図９は、本実施の形態におけるアノテーション付与部１２２によるアノテーションの付与の際に提示される画像の第二の説明図である。
【０１２７】
図８に示されるように、アノテーション付与部１２２は、画像データ格納部１２１に格納されている複数のイベントデータのうちの１つであるイベントデータ７１を取得する。
【０１２８】
そして、アノテーション付与部１２２は、イベントデータ７１を制御部１２９を介して端末１３に送信し、表示装置１３１に表示させる（図９参照）。そして、ユーザによる、イベントデータ７１に実際にイベントが映っているか否かの判断結果を受け付けるボタンの画像８１及び８２を表示する。また、このとき、表示装置１３１は、表示したイベントデータ７１にイベントが実際に映っているか否かをユーザに問い合わせる文字列を含む画像８３を表示してもよい。ユーザによる判断に基づいてボタンの画像８１又は８２への操作がなされると、アノテーション付与部１２２は、その操作データを制御部１２９を介して受け付ける。
【０１２９】
ユーザによる判断の結果が、イベントデータ７１にイベントが実際には映っていないことを示すものである場合、アノテーション付与部１２２は、イベントデータ７１にネガティブデータのアノテーションを付与して学習データ格納部１２３に格納する。言い換えれば、アノテーション付与部１２２は、イベントデータ７１をネガティブデータ７３として学習データ格納部１２３に格納する。
【０１３０】
一方、ユーザによる判断の結果が、イベントデータ７１にイベントが実際に映っていることを示す場合には、アノテーション付与部１２２は、図５のイベントデータ４１と同じように、ポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。
【０１３１】
このようにして学習データ格納部１２３に格納された学習データを用いて学習部１２７による学習がなされ、その結果として生成される認識モデルがモデル格納部１２８に格納される。
【０１３２】
次に、危険予測を行う車載機器１１０、及び、車載機器１１０を搭載した車両１１について説明する。
【０１３３】
図１０は、車両１１の機能構成を示すブロック図である。
【０１３４】
図１０に示されるように、車両１１は、車載機器１１０と、車両駆動機構１１５とを備える。
【０１３５】
車載機器１１０は、カメラ１１１と、認識器１１２と、提示装置１１３と、車両制御装置１１４とを備える。
【０１３６】
カメラ１１１は、車両１１の周囲を撮影するように車両１１に搭載されている。具体的には、カメラ１１１は、車両１１の前方を撮影できる位置及び向きで車両１１に搭載されている。カメラ１１１は、車両１１の前方を撮影したときには、その撮影によって生成される画像である撮影画像を認識器１１２に出力する。
【０１３７】
認識器１１２は、サーバ１２からネットワークＮを介して認識モデルを取得して保持している。ここで、認識器１１２が取得する認識モデルは、車両が撮影した画像に基づいて、当該画像が撮影された後に生じ得るイベントの発生を予測する認識モデルである。また、認識器１１２は、車両１１に搭載されたカメラ１１１による車両１１の前方の撮影によって生成される画像である撮影画像を取得する。そして、認識器１１２は、その撮影画像を入力データとして認識モデルに入力することによって、撮影画像が撮影された後にイベントが発生するか否かを検出し、予測情報を生成する。予測情報は、現時点より後にイベントが発生するか否かを示す情報である。そして、認識器１１２は、生成した予測情報を提示装置１１３と車両制御装置１１４とに出力する。予測情報は、例えば、この後にイベントが発生し得ることを文字又は図によって示す画像又は音などである。
【０１３８】
提示装置１１３は、情報を提示する提示装置であり、例えば、液晶ディスプレイ若しくは有機ＥＬディスプレイ等の表示装置、又は、スピーカ等の音出力装置を含む。ここでは、提示装置１１３が表示装置である場合を例として説明する。
【０１３９】
提示装置１１３は、認識器１１２から予測情報を取得すると、その予測情報を画像として表示し、車両１１の運転者に提示する。
【０１４０】
車両制御装置１１４は、車両１１の駆動、特に、車両１１の加速及び減速を制御する制御装置である。車両制御装置１１４は、認識器１１２から予測情報を取得すると、その予測情報に基づいて、車両制御装置１１４は、例えば車両１１を減速させる制御を行う。車両１１の駆動の制御は、車両駆動機構１１５によりなされる。
【０１４１】
車両駆動機構１１５は、車両１１の駆動を制御する制御装置である。車両駆動機構１１５は、車両制御装置１１４からの制御の下で、車両１１の駆動、具体的には、加減速及び操舵などの制御を行う。
【０１４２】
以上のように構成された危険予測システム１が実行する処理について説明する。
【０１４３】
図１１は、本実施の形態における静止画データ又は動画データの分別処理を示すフロー図である。この処理は、例えば、所定時間（例えば２０秒）ごとに車載機器により行われる。
【０１４４】
図１１に示されるようにステップＳ１０１において、車載機器は、車載センサにより静止画データ又は動画データを取得する。静止画データ又は動画データは、例えば、所定時間の時間長を有する動画データである。ここで、車載機器は、危険予測を行う認識器１１２を搭載した車両１１の車載機器１１０に限定されない。また、このとき、車載機器は、当該車載機器が搭載された車両の加速度データなども取得してもよい。
【０１４５】
ステップＳ１０２において、車載機器は、取得した静止画データ又は動画データをイベントデータとするか否かを判定する。この判定は、静止画データ又は動画データそのものを対象とした画像認識処理によりなされてもよいし、静止画データ又は動画データが取得されたときの車両の加速度データに基づいて急ブレーキ又は急ハンドルがなされたことを検出することでなされてもよい。取得した静止画データ又は動画データをイベントデータとすると判定された場合には、ステップＳ１０３に進み、そうでない場合には、ステップＳ１１１に進む。
【０１４６】
ステップＳ１０３において、車載機器は、ステップＳ１０１で取得した静止画データ又は動画データをイベントデータとしてサーバ１２に送信する。サーバ１２は、受信した静止画データ又は動画データをイベントデータとして画像データ格納部１２１に格納する。
【０１４７】
ステップＳ１１１において、車載機器は、ステップＳ１０１で取得した静止画データ又は動画データを非イベントデータとしてサーバ１２に送信する。サーバ１２は、受信した静止画データ又は動画データを非イベントデータとして画像データ格納部１２１に格納する。
【０１４８】
図１２は、本実施の形態における学習データの生成処理を示すフロー図である。
【０１４９】
図１２に示されるようにステップＳ２０１において、アノテーション付与部１２２は、画像データ格納部１２１からイベントデータと非イベントデータとを取得する。
【０１５０】
ステップＳ２０２において、アノテーション付与部１２２は、ステップＳ２０１で取得したイベントデータに含まれる、イベントより所定時間前の静止画データ又は動画データを端末１３に送信し、表示装置１３１により表示する。上記静止画データ又は上記動画データを第一データともいう。
【０１５１】
ステップＳ２０３において、アノテーション付与部１２２は、ステップＳ２０１で取得した非イベントデータを端末１３に送信し、表示装置１３１により表示する。上記非イベントデータを第二データともいう。
【０１５２】
ステップＳ２０４において、アノテーション付与部１２２は、第一データと第二データとが類似しているか否かについてのユーザによる判断結果を端末１３により取得する。
【０１５３】
ステップＳ２０５において、ステップＳ２０４で取得した類比判断の結果が、類似していることを示すか否かを判定する。類似していることを示す場合（ステップＳ２０５でＹｅｓ）にはステップＳ２０６に進み、そうでない場合（ステップＳ２０５でＮｏ）にはステップＳ２１１に進む。
【０１５４】
ステップＳ２０６において、アノテーション付与部１２２は、非イベントデータにポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。
【０１５５】
ステップＳ２０７において、アノテーション付与部１２２は、イベントデータにポジティブデータのアノテーションを付与して学習データ格納部１２３に格納する。
【０１５６】
ステップＳ２１１において、アノテーション付与部１２２は、非イベントデータにネガティブデータのアノテーションを付与して学習データ格納部１２３に格納する。ステップＳ２１１を終了したら、この一連の処理を終了する。
【０１５７】
なお、ステップＳ２０２及びＳ２０３の実行の順序は反対であってもよいし、同時並行的になされてもよい。
【０１５８】
図１３は、本実施の形態における車載機器１１０が行う危険予測方法に係る処理を示すフローチャートである。
【０１５９】
図１３に示されるようにステップＳ３０１において、車載機器１１０のカメラ１１１は、撮影によって撮影画像を生成する。
【０１６０】
ステップＳ３０２において、認識器１１２は、ステップＳ３０１でカメラ１１１が生成した撮影画像を入力データとして認識モデルに入力する。
【０１６１】
ステップＳ３０３において、認識器１１２は、ステップＳ３０２で撮影画像を認識モデルに入力したことにより出力される情報を得る。認識モデルから出力される情報は、ステップＳ３０２で認識モデルに入力された撮影画像の後にイベントが発生するか否かを示す予測情報を含む。認識器１１２は、認識モデルから出力される情報を得ることで、撮影画像の後にイベントが発生するか否かを示す予測情報を得る。
【０１６２】
ステップＳ３０４において、車載機器１１０は、ステップＳ３０３で得た予測情報を用いて、予測情報を含む画像の提示、又は、車両１１の制御を行う。
【０１６３】
このようにすることで、危険予測システム１では、サーバ１２による機械学習により生成した危険予測に関する認識モデルを用いて、車載機器１１０により、車両１１の走行に関する危険予測をより高い精度で検出することができる。
【０１６４】
以上のように、本実施の形態の危険予測方法によれば、非イベントデータのうちのイベントデータに類似しているものがポジティブデータとして学習に用いられる。従来の技術では、非イベントデータが一律にネガティブデータとして学習に用いられるので、非イベントデータのうちのイベントデータに類似しているものはネガティブデータとして学習に用いられる。その場合、互いに類似しているイベントデータと非イベントデータとの一方をポジティブデータとし、他方をネガティブデータとして学習をすると、学習により生成される認識モデルが不適切になることがある。そこで、イベントデータと非イベントデータとが類似しているときには、その両方をポジティブデータとして学習をすることで、認識モデルが不適切になることを回避し、適切な認識モデルが得られる。本発明の一態様に係る学習データ作成方法によれば、このように作成される学習データに基づく学習により、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１６５】
また、所定時間として反応時間を用いることで、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１６６】
また、所定時間として、反応時間と危険予測装置の処理時間とを用いることで、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１６７】
また、イベントデータ及び非イベントデータとして動画データを用いて学習データを作成することによって、イベントデータの特徴及び非イベントデータの特徴をより正確に学習することができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１６８】
また、第一データとして動画データを用いることによって、非イベントデータである第二データとの類比判断をより正確に行うことができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１６９】
また、実際にはイベントが映っていないと判断されたイベントデータをネガティブデータとして学習する。これにより、認識モデルをより一層適切なものとすることができ、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１７０】
また、第一画像と第二画像との類比判断を画像認識処理によって自動的に行う。これにより、人手を介さずに一定の基準に則った類比判断を行うことができる。これにより、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１７１】
また、画像認識処理として、移動体の数、位置関係又はオプティカルフローを認識することで、より具体的な認識処理に基づいて、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１７２】
また、車載センサにより取得した画像を分別することでイベントデータ及び非イベントデータを取得ことによって、より容易に、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１７３】
また、車両への他者の衝突、又は、他者の急接近に基づいて、イベントデータを分別することができる。このように、より容易に、車載センサにより取得した静止画データ又は動画データをイベントデータに分別し、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１７４】
また、車両における急ブレーキ又は急ハンドルに基づいて、イベントデータを分別することができる。このように、より容易に、車載センサにより取得した静止画データ又は動画データをイベントデータに分別し、その結果、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測することができる。
【０１７５】
また、車車間通信によって危険信号を受信した場合には画像を非イベントデータに分別する。車両における急ブレーキ又は急ハンドルがなされた場合でも、車車間通信によって危険信号を受信した場合には、静止画データ又は動画データから危険予測に関する情報が得られないことがあるので、当該静止画データ又は当該動画データを学習の対象から除外するためである。
【０１７６】
また、車両の急ブレーキがかけられた場合に、広角の静止画データ又は動画データに含まれる車両の進行方向を含む静止画データ又は動画データがイベントデータに分別される。急ブレーキがなされる場合には、車両の進行方向に何らかの物体などが存在している可能性がある。よって、その物体の方向をイベントデータとして学習することで、危険事象を適切に学習し、予測することができる。
【０１７７】
また、広角の静止画データ又は動画データに含まれる、急ハンドルがなされた方向と反対方向を含む静止画データ又は動画データがイベントデータに分別される。急ハンドルがなされる場合には、その方向と反対方向に何らかの物体などが存在している可能性がある。よって、その物体の方向をイベントデータとして学習することで、危険事象を適切に学習し、予測することができる。
【０１７８】
また、車両の速度に応じて変化する運転手の視界の広さに対応して、イベントデータとする画像の水平方向の幅を調整し得る。よって、車両の運転手の視界の広さの変化に基づいて広さが変化する静止画データ又は動画データをイベントデータとして、危険事象を適切に学習し、予測することができる。
【０１７９】
また、車両の速度に応じて変化する運転手の視界の広さに対応して、イベントデータとする画像の水平方向の幅を調整し得る。一般に、車両の速度が大きい場合、その車両の運転手の視界が狭くなるので、イベントはその狭くなった視界に含まれるからである。よって、車両の運転手の視界の広さが、車両の速度が大きいほど狭くなることを考慮して、水平方向の幅が変化する静止画データ又は動画データをイベントデータとして、危険事象を適切に学習し、予測することができる。
【０１８０】
（実施の形態の変形例）
本変形例では、実施の形態１の危険予測システム１等の一部又は全部の変形例を説明する。ただし、危険予測システム１などは、以下の記載に限定されない。
【０１８１】
図１４は、本変形例に係る危険予測学習方法を示すフロー図である。
【０１８２】
図１４に示されるように、本変形例に係る危険予測装置による危険予測のための学習方法は、上記の学習データ作成方法により作成された学習データを取得し（Ｓ４０１）、取得した学習データに基づいて、学習データに含まれるポジティブデータ及びネガティブデータの特徴を学習することによって、認識モデルを構築する（Ｓ４０２）。
【０１８３】
図１５は、本変形例に係る学習装置２００を示すブロック図である。
【０１８４】
図１５に示されるように、本変形例に係る危険予測装置による危険予測のための学習装置２００は、上記の学習データ作成方法により作成された学習データを取得する学習データ取得部２０１と、取得した学習データを用いて、学習データに含まれるポジティブデータ及びネガティブデータそれぞれの特徴を学習することによって、認識モデルを構築する学習部２０２を備える。
【０１８５】
図１６は、本変形例に係る危険予測方法を示すフロー図である。
【０１８６】
図１６に示されるように、本変形例に係る危険予測方法は、車両に設置された車載センサにより映された静止画データ又は動画データを取得し（Ｓ５０１）、上記の学習方法によって構築された認識モデルに、取得した静止画データ又は動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する（Ｓ５０２）。
【０１８７】
図１７は、本変形例に係る危険予測装置３００を示すブロック図である。
【０１８８】
図１７に示されるように、本変形例に係る危険予測装置３００は、車両に設置された車載センサにより撮影された静止画データ又は動画データを取得する撮影画像取得部３０１と、上記の学習装置２００によって構築された認識モデルに、取得した静止画データ又は動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する認識器３０２とを備える。
【０１８９】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の危険予測装置などを実現するソフトウェアは、次のようなプログラムである。
【０１９０】
すなわち、このプログラムは、コンピュータに、ポジティブデータとネガティブデータとを含む、危険予測のための学習データをコンピュータにより作成するための学習データ作成方法であって、複数の静止画データ又は動画データを、アクシデント又はインシデントであるイベントがそれぞれに映っている複数のイベントデータ、及び、前記イベントがそれぞれに映っていない複数の非イベントデータとして取得し、取得した前記複数のイベントデータのうちの一のイベントデータに含まれる静止画データ又は動画データであって、イベントより所定時間前の静止画データ又は動画データである第一データを提示し、取得した前記複数の非イベントデータのうちの一の非イベントデータを第二データとして提示し、前記第一データと前記第二データとが類似しているか否かについての判断結果を受け付け、前記イベントデータと前記非イベントデータとを記憶装置に格納することで前記学習データを作成し、前記格納の際には、（ａ）前記ポジティブデータとして前記イベントデータを格納し、（ｂ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していることを示す場合には、前記ポジティブデータとして前記非イベントデータを格納し、（ｃ）受け付けた前記判断結果が、前記第一データと前記第二データとが類似していないことを示す場合には、前記ネガティブデータとして前記非イベントデータを格納する学習データ作成方法を実行させる。
【０１９１】
また、このプログラムは、コンピュータに、危険予測装置による危険予測のための学習方法であって、上記の学習データ作成方法により作成された学習データを取得し、取得した前記学習データに基づいて、前記学習データに含まれる前記ポジティブデータ及び前記ネガティブデータの特徴を学習することによって、認識モデルを構築する学習方法を実行させる。
【０１９２】
また、このプログラムは、コンピュータに、車両に設置された車載センサにより映された静止画データ又は動画データを取得し、上記の学習方法によって構築された前記認識モデルに、取得した前記静止画データ又は前記動画データを入力データとして入力することで出力される、当該静止画データ又は当該動画データが映された時刻の後のイベントの発生についての予測情報を出力する危険予測方法を実行させる。
【０１９３】
以上、一つまたは複数の態様に係る学習データ作成方法などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１９４】
本発明は、将来に発生するアクシデント又はインシデントなどの危険事象を適切に予測するための学習データを作成する学習データ作成方法に利用可能である。より具体的には、自動運転車両に搭載される制御装置等に利用可能である。
【符号の説明】
【０１９５】
１    危険予測システム
１１、Ａ、Ｂ    車両
１２    サーバ
１３    端末
４１、６１、７１    イベントデータ
４２、６２    非イベントデータ
４３、６３、６４    ポジティブデータ
４４、７３    ネガティブデータ
５１、５２、５３、８１、８２、８３    画像
１１０    車載機器
１１１    カメラ
１１２、３０２    認識器
１１３    提示装置
１１４    車両制御装置
１１５    車両駆動機構
１２０、２０１    学習データ取得部
１２１    画像データ格納部
１２２    アノテーション付与部
１２３    学習データ格納部
１２７、２０２    学習部
１２８    モデル格納部
１２９    制御部
１３１    表示装置
１３２    入力デバイス
２００    学習装置
３００    危険予測装置
３０１    撮影画像取得部
Ｈ    人
Ｎ    ネットワーク
【図１】
2019179372.tif 000003
【図２】
2019179372.tif 000004
【図３】
2019179372.tif 000005
【図４】
2019179372.tif 000006
【図５】
2019179372.tif 000007
【図６】
2019179372.tif 000008
【図７】
2019179372.tif 000009
【図８】
2019179372.tif 000010
【図９】
2019179372.tif 000011
【図１０】
2019179372.tif 000012
【図１１】
2019179372.tif 000013
【図１２】
2019179372.tif 000014
【図１３】
2019179372.tif 000015
【図１４】
2019179372.tif 000016
【図１５】
2019179372.tif 000017
【図１６】
2019179372.tif 000018
【図１７】
2019179372.tif 000019