(57)【要約】【課題】走行中の車両にとって危険が発生しそうな危険領域を予測することができる危険予測方法を提供する。【解決手段】畳み込みニューラルネットワークを用いた危険予測器のコンピュータが行う危険予測方法であって、車両に搭載された車載カメラにより撮影された入力画像を、ニューラルネットワークに取得させる取得ステップと、畳み込みニューラルネットワークに、取得ステップ（Ｓ１）において取得した入力画像中の危険領域であって当該車両がそのまま走行した場合に走行経路中に運動物体が出現して当該車両と衝突する可能性のある危険領域と当該危険領域の特徴とを推定させ、入力画像に対して予測される危険度として出力させる出力ステップ（Ｓ２）とを含む。【選択図】図５
2017162438.tif 000002
【特許請求の範囲】
【請求項１】
畳み込みニューラルネットワークを用いた危険予測器のコンピュータが行う危険予測方法であって、
車両に搭載された車載カメラにより撮影された入力画像を、前記畳み込みニューラルネットワークに取得させる取得ステップと、
前記畳み込みニューラルネットワークに、前記取得ステップにおいて取得した前記入力画像中の危険領域であって前記車両がそのまま走行した場合に前記車両の走行経路中に運動物体が出現して前記車両と衝突する可能性のある危険領域と当該危険領域の特徴とを推定させ、前記入力画像に対して予測される危険度として出力させる出力ステップとを含む、
危険予測方法。
【請求項２】
前記出力ステップにおいて、前記畳み込みニューラルネットワークに、当該危険領域の特徴として、当該危険領域の危険度合いを推定させ、推定した前記危険領域および当該危険領域の危険度合いを示す尤度マップを前記危険度として出力させる、
請求項１に記載の危険予測方法。
【請求項３】
前記出力ステップにおいて、前記畳み込みニューラルネットワークに、当該危険領域の特徴として、前記危険領域に対応づけられる前記運動物体の種別を推定させ、推定した前記危険領域および前記種別を前記危険度として出力させる、
請求項１に記載の危険予測方法。
【請求項４】
前記危険予測方法は、さらに、
前記取得ステップを行う前に、前記危険領域を含む学習用画像と、前記学習用画像に前記危険領域を示すアノテーションが付されたアノテーション付き画像とを用いて、前記畳み込みニューラルネットワークに、前記学習用画像の中の前記危険領域と当該危険領域の前記特徴とを推定させるための当該畳み込みニューラルネットワークの重みを学習させる学習ステップを含む、
請求項１〜３のいずれか１項に記載の危険予測方法。
【請求項５】
前記学習ステップは、
前記学習用画像それぞれのうちの一部領域であって前記危険領域を示すアノテーションが付された領域の危険領域画像と当該アノテーションが付されていない領域の安全領域画像とを用いて、全結合層を有する畳み込みニューラルネットワークである第１ニューラルネットワークに、前記一部領域が安全領域であるまたは危険領域であると判定させるための当該第１ニューラルネットワークの第１重みを学習させる第１学習ステップと、
前記第１ニューラルネットワークの全結合層が畳み込み層に変更された構成からなる第２ニューラルネットワークの重みの初期値を、前記第１学習ステップにおいて学習された前記第１重みに更新し、前記危険領域を含む学習用画像と、前記学習用画像に前記危険領域を示すアノテーションが付されたアノテーション付き画像とを用いて、前記第２ニューラルネットワークに、前記学習用画像の中の前記危険領域と当該危険領域の前記特徴とを推定させるための当該第２ニューラルネットワークの第２重みを学習させることにより、前記第２ニューラルネットワークと同一構成である前記畳み込みニューラルネットワークの重みを学習させる第２学習ステップとを含む、
請求項４に記載の危険予測方法。
【請求項６】
前記危険予測方法は、さらに、
車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像を取得し、取得した前記複数の画像の少なくとも一部の画像に含まれる危険領域であって、前記車両がそのまま走行した場合に前記車両の走行経路中に運動物体が出現して前記車両と衝突する可能性のある危険領域を決定して、当該少なくとも一部の画像に対して、決定した危険領域を示すアノテーションを付与する付与ステップと、を含み、
前記学習ステップでは、前記付与ステップにおいてアノテーションが付与された当該少なくとも一部の画像、および、前記複数の画像のうち当該少なくとも一部の画像に対応する画像を、前記学習用画像および前記アノテーション付き画像として取得して、当該畳み込みニューラルネットワークの前記重みを学習させる、
請求項４または５に記載の危険予測方法。
【請求項７】
前記危険領域は、前記学習用画像中に存在する遮蔽物の領域の一部を含む領域であって、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前の領域である、
請求項４〜６のいずれか１項に記載の危険予測方法。
【請求項８】
前記危険領域は、人物を含む２以上の運動物体同士が接近すると前記車両の走行経路中を横切ることになる前記２以上の運動物体の間の領域である、
請求項４〜６のいずれか１項に記載の危険予測方法。
【請求項９】
前記アノテーションは、前記危険領域と前記危険領域に対応づけられる前記運動物体のカテゴリとを示す、
請求項４〜６のいずれか１項に記載の危険予測方法。
【請求項１０】
前記アノテーションは、前記危険領域と前記学習用画像の撮影時における前記車両のブレーキ強度またはハンドル角度を含む制御情報とを示す、
請求項４〜６のいずれか１項に記載の危険予測方法。
【請求項１１】
前記アノテーションは、前記危険領域のセグメント情報である、
請求項４〜６のいずれか１項に記載の危険予測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、危険予測方法に関する。
【背景技術】
【０００２】
例えば特許文献１では、車両を運転する運転者の安全確認を支援するための運転支援技術装置について開示されている。この運転支援技術によれば、例えば、交差点において信号が青から赤に変化する際、急に走り出す歩行者等といった、運転者の予想に反して急に速度を変化させ、事故に繋がる可能性が高い危険な移動物を、早いタイミングで精度良く検出できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９６７０１５号公報
【非特許文献】
【０００４】
【非特許文献１】Jonathan Long,Evan Shelhamer,Trevor Darrell，“Fully Convolutional Networks for Semantic Segmentation”;The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 3431-3440
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１における運転支援技術装置では、実際に視認できる移動物の速度変化を観測し危険状態を予測しているに過ぎないという問題がある。すなわち、上記特許文献１における運転支援技術装置では、停車しているバスの背後の領域など、バスから降車した歩行者が飛び出してくると車両と衝突してしまうといった危険が発生しそうな領域（危険領域）を検出できないという課題がある。
【０００６】
本開示は、上述の事情を鑑みてなされたもので、走行中の車両にとって危険が発生しそうな危険領域を予測することができる危険予測方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本開示の一形態に係る危険予測方法は、畳み込みニューラルネットワークを用いた危険予測器のコンピュータが行う危険予測方法であって、車両に搭載された車載カメラにより撮影された入力画像を、前記畳み込みニューラルネットワークに取得させる取得ステップと、前記畳み込みニューラルネットワークに、前記取得ステップにおいて取得した前記入力画像中の危険領域であって前記車両がそのまま走行した場合に前記車両の走行経路中に運動物体が出現して前記車両と衝突する可能性のある危険領域と当該危険領域の特徴とを推定させ、前記入力画像に対して予測される危険度として出力させる出力ステップとを含む。
【０００８】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００９】
本開示によれば、走行中の車両にとって危険が発生しそうな危険領域を予測することができる危険予測方法を実現できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１における危険予測器の構成の一例を示すブロック図である。
【図２】図２は、図１に示す危険予測器が用いる畳み込みニューラルネットワークの構造の概略を示す図である。
【図３】図３は、実施の形態１における危険予測器の予測結果の一例を示す図である。
【図４】図４は、実施の形態１における危険予測器の予測結果の別の一例を示す図である。
【図５】図５は、実施の形態１における危険予測器の予測処理の一例を示すフローチャートである。
【図６】図６は、実施の形態１における畳み込みニューラルネットワークの学習処理の概要を示すフローチャートである。
【図７Ａ】図７Ａは、ステップＳ１において準備される学習用データの説明図である。
【図７Ｂ】図７Ｂは、ステップＳ１において準備される学習用データの説明図である。
【図７Ｃ】図７Ｃは、ステップＳ１において準備される学習用データの説明図である。
【図７Ｄ】図７Ｄは、ステップＳ１において準備される学習用データの説明図である。
【図８】図８は、学習処理の結果として出力される危険領域とその特徴の一例を示す図である。
【図９】図９は、実施例における学習システムの構成の一例を示すブロック図である。
【図１０】図１０は、学習用データ作成装置が行うアノテーション付きデータの作成処理を示すフローチャートである。
【図１１】図１１は、学習装置が行う学習処理を示すフローチャートである。
【図１２Ａ】図１２Ａは、ステップＳ１において準備されるアノテーション付き画像の別の一例である。
【図１２Ｂ】図１２Ｂは、学習処理の結果として出力される危険領域とその特徴の別の一例を示す図である。
【図１３】図１３は、詳細領域情報の一例を示す図である。
【図１４Ａ】図１４Ａは、学習用画像の一例である。
【図１４Ｂ】図１４Ｂは、危険領域を示すアノテーションが付されたアノテーション付き画像の一例である。
【図１５Ａ】図１５Ａは、学習用画像の一例である。
【図１５Ｂ】図１５Ｂは、危険領域を示すアノテーションが付されたアノテーション付き画像の一例である。
【図１６Ａ】図１６Ａは、学習用画像の一例である。
【図１６Ｂ】図１６Ｂは、危険領域を示すアノテーションが付されたアノテーション付き画像の一例である。
【図１７Ａ】図１７Ａは、学習用画像の一例である。
【図１７Ｂ】図１７Ｂは、危険領域を示すアノテーションが付されたアノテーション付き画像の一例である。
【図１８】図１８は、実施の形態２における２段階の学習処理の概要を示すフローチャートである。
【図１９】図１９は、１段階目の学習処理を概念的に説明するための説明図である。
【図２０】図２０は、２段階目の学習処理を概念的に説明するための説明図である。
【図２１】図２１は、１段階目の学習処理を概念的に説明するための別の説明図である。
【発明を実施するための形態】
【００１１】
（本発明の一態様を得るに至った経緯）
近年、Deep Learningを使用することにより、画像認識の性能が劇的に向上している。Deep Learningは、多層のニューラルネットワークを使った機械学習の方法論として知られ、このような多層ニューラルネットワークには、畳み込みニューラルネットワーク（Convolutional Neural Network：CNN)が用いられることが多い。ここで、畳み込みニューラルネットワークは、局所領域の畳み込み(Convolution)とプーリング(Pooling)とを繰り返す多層のニューラルネットワークからなる。
【００１２】
ここで、畳み込みニューラルネットワークは、複数のフィルタによる畳み込み処理により特徴を抽出する畳み込み層と、一定領域の反応をまとめるプーリング処理により局所的なデータの不変性を獲得するプーリング層と、Softmax関数などによる確率を用いて認識を行う全結合層とを有する。
【００１３】
しかし、このような畳み込みニューラルネットワークを用いた画像認識の処理は、リアルタイムには実行できないという課題を有している。
【００１４】
それに対して、例えば非特許文献１では、畳み込みニューラルネットワークを構成する全結合層を畳み込み層にする畳み込みニューラルネットワークの構造が提案されている。この構造の畳み込みニューラルネットワーク（完全畳み込みニューラルネットワーク）を用いることにより画像認識の処理をリアルタイムに実行することできる。
【００１５】
そこで、発明者（ら）は、完全畳み込みニューラルネットワークを用いて、上述の課題を解決することについて想到した。
【００１６】
すなわち、本開示の一形態に係る危険予測方法は、畳み込みニューラルネットワークを用いた危険予測器のコンピュータが行う危険予測方法であって、車両に搭載された車載カメラにより撮影された入力画像を、前記畳み込みニューラルネットワークに取得させる取得ステップと、前記畳み込みニューラルネットワークに、前記取得ステップにおいて取得した前記入力画像中の危険領域であって前記車両がそのまま走行した場合に前記車両の走行経路中に運動物体が出現して前記車両と衝突する可能性のある危険領域と当該危険領域の特徴とを推定させ、前記入力画像に対して予測される危険度として出力させる出力ステップとを含む。
【００１７】
これにより、取得した入力画像に対する危険度を推定することができるので、走行中の車両にとって危険が発生しそうな危険領域を予測することができる危険予測方法を実現できる。
【００１８】
ここで、例えば、前記出力ステップにおいて、前記畳み込みニューラルネットワークに、当該危険領域の特徴として、当該危険領域の危険度合いを推定させ、推定した前記危険領域および当該危険領域の危険度合いを示す尤度マップを前記危険度として出力させるとしてもよい。
【００１９】
また、例えば、前記出力ステップにおいて、前記畳み込みニューラルネットワークに、当該危険領域の特徴として、前記危険領域に対応づけられる前記運動物体の種別を推定させ、推定した前記危険領域および前記種別を前記危険度として出力させるとしてもよい。
【００２０】
また、例えば、前記危険予測方法は、さらに、前記取得ステップを行う前に、前記危険領域を含む学習用画像と、前記学習用画像に前記危険領域を示すアノテーションが付されたアノテーション付き画像とを用いて、前記畳み込みニューラルネットワークに、前記学習用画像の中の前記危険領域と当該危険領域の前記特徴とを推定させるための当該畳み込みニューラルネットワークの重みを学習させる学習ステップを含むとしてもよい。
【００２１】
また、例えば、前記学習ステップは、前記学習用画像それぞれのうちの一部領域であって前記危険領域を示すアノテーションが付された領域の危険領域画像と当該アノテーションが付されていない領域の安全領域画像とを用いて、全結合層を有する畳み込みニューラルネットワークである第１ニューラルネットワークに、前記一部領域が安全領域であるまたは危険領域であると判定させるための当該第１ニューラルネットワークの第１重みを学習させる第１学習ステップと、前記第１ニューラルネットワークの全結合層が畳み込み層に変更された構成からなる第２ニューラルネットワークの重みの初期値を、前記第１学習ステップにおいて学習された前記第１重みに更新し、前記危険領域を含む学習用画像と、前記学習用画像に前記危険領域を示すアノテーションが付されたアノテーション付き画像とを用いて、前記第２ニューラルネットワークに、前記学習用画像の中の前記危険領域と当該危険領域の前記特徴とを推定させるための当該第２ニューラルネットワークの第２重みを学習させることにより、前記第２ニューラルネットワークと同一構成である前記畳み込みニューラルネットワークの重みを学習させる第２学習ステップとを含むとしてもよい。
【００２２】
また、例えば、前記危険予測方法は、さらに、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像を取得し、取得した前記複数の画像の少なくとも一部の画像に含まれる危険領域であって、前記車両がそのまま走行した場合に前記車両の走行経路中に運動物体が出現して前記車両と衝突する可能性のある危険領域を決定して、当該少なくとも一部の画像に対して、決定した危険領域を示すアノテーションを付与する付与ステップと、を含み、前記学習ステップでは、前記付与ステップにおいてアノテーションが付与された当該少なくとも一部の画像、および、前記複数の画像のうち当該少なくとも一部の画像に対応する画像を、前記学習用画像および前記アノテーション付き画像として取得して、当該畳み込みニューラルネットワークの前記重みを学習させるとしてもよい。
【００２３】
ここで、例えば、前記危険領域は、前記学習用画像中に存在する遮蔽物の領域の一部を含む領域であって、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前の領域である。
【００２４】
また、例えば、前記危険領域は、人物を含む２以上の運動物体同士が接近すると前記車両の走行経路中を横切ることになる前記２以上の運動物体の間の領域であるとしてもよい。
【００２５】
また、例えば、前記アノテーションは、前記危険領域と前記危険領域に対応づけられる前記運動物体のカテゴリとを示すとしてもよい。
【００２６】
また、例えば、前記アノテーションは、前記危険領域と前記学習用画像の撮影時における前記車両のブレーキ強度またはハンドル角度を含む制御情報とを示すとしてもよい。
【００２７】
また、例えば、前記アノテーションは、前記危険領域のセグメント情報であるとしてもよい。
【００２８】
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
【００２９】
（実施の形態１）
以下では、図面を参照しながら、実施の形態１における危険予測器１０の危険予測方法等の説明を行う。
【００３０】
［危険予測器１０の構成］
図１は、本実施の形態における危険予測器１０の構成の一例を示すブロック図である。図２は、図１に示す危険度測器１０が用いる畳み込みニューラルネットワークの構造の概略を示す図である。図３は、本実施の形態における危険予測器１０の予測結果の一例を示す図である。
【００３１】
図１に示す危険予測器１０は、畳み込みニューラルネットワークを用いた危険予測器であって、コンピュータ等で実現される。危険予測器１０が用いる畳み込みニューラルネットワークは、例えば図２に示すように、畳み込み層１０１と、全結合層が畳み込み層１０２に変更されている完全畳み込みニューラルネットワークである。
【００３２】
ここで、畳み込みニューラルネットワークは、画像認識分野でよく使われ、２次元画像に対してフィルタによる畳み込みを行うことで、画像から特徴量を抽出する。畳み込みニューラルネットワークは、上述したように、畳み込みとプーリングとを繰り返す多層ネットワークからなる。そして、畳み込みニューラルネットワークにおいて畳み込み層を構成する識別に有効なフィルタの係数（重み）を、大量の学習用画像などの大量の学習用データを用いて学習させる。当該係数（重み）は、大量のデータを用いて、フィルタによる畳み込みと、一定領域の反応をまとめるプーリングとを繰り返すことで多様な変形に対する不変性を獲得する学習を行うことにより得られる。なお、畳み込みニューラルネットワークの識別性能は、畳み込み層を構成するフィルタに依存することがわかっている。
【００３３】
図１に示す危険予測器１０は、車載カメラにより撮影された入力画像が入力されると、図２に示すような畳み込みニューラルネットワークを用いて、入力画像における走行中の車両にとっての危険領域とその特徴を推定し、予測した危険度として出力する。危険予測器１０は、過去に人の飛び出しが発生して危険となった画像の直前の画像の一部領域すなわち過去に危険に繋がった領域に近いほど高い危険度を予測する。
【００３４】
より具体的には、図１に示す危険予測器１０は、車両に搭載された車載カメラにより撮影された入力画像を取得する。危険予測器１０は、取得した入力画像中の危険領域であって当該車両がそのまま走行した場合に当該車両の走行経路中に運動物体が出現して当該車両と衝突する可能性のある危険領域と当該危険領域の特徴とを畳み込みニューラルネットワークで推定する。そして、危険予測器１０は、それを取得した入力画像に対して予測される危険度として出力する。ここで、危険予測器１０は、当該危険領域の特徴として、当該危険領域の危険度合いを推定し、推定した当該危険領域および当該危険領域の危険度合いを示す尤度マップを危険度として出力する。
【００３５】
本実施の形態では、危険予測器１０は、入力画像として、例えば図３に示すような画像５０すなわち停車しているバス５０１と、歩行者である人物５０２および５０３とが含まれる画像５０を取得したとする。この場合、危険予測器１０は、画像５０において、停車しているバス５０１の背後の領域と、人物５０２の領域と、人物５０３の領域とが危険領域であると推定する。そして、画像５０に対して推定した危険領域の危険度合い（尤度）を重畳させた画像５０ａを、予測した危険度として出力する。画像５０ａには、尤度マップとして、停車しているバス５０１の背後の領域の尤度５０４と、人物５０２の領域の尤度５０５と、人物５０３の領域の尤度５０６とが重畳されている。この尤度は、車両が衝突する可能性のあるリスク（危険度）を示している。本実施の形態では、この尤度により、人が見えていない領域であり飛び出しそうな領域に対しても危険に繋がった領域であるとして高い危険度（リスク）が示される。
【００３６】
なお、危険予測器１０が出力する危険度は、図３に示されるような危険領域とその危険度合いとを示す尤度マップに限らない。以下、この例を図４を用いて説明する。
【００３７】
図４は、本実施の形態における危険予測器１０の予測結果の別の一例を示す図である。なお、図３と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【００３８】
危険予測器１０は、入力画像として取得した画像５０に対して、停車しているバス５０１の背後の領域５０７と、人物５０２の領域５０８と、人物５０３の領域５０９とが危険領域であると推定し、画像５０に対して推定した危険領域とそのカテゴリを重畳させた画像５０ｂを出力する。つまり、危険予測器１０は、画像５０に対して領域５０７とそのカテゴリである危険領域（車）、領域５０８とそのカテゴリである危険領域（人）、領域５０９とそのカテゴリである危険領域（人）が重畳させた画像５０ｂを出力する。ここで、画像５０ｂにおいて、危険領域である領域５０７に対応付けられる運動物体の種別が車であることから、危険領域のカテゴリとして、危険領域（車）が重畳されている。同様に、画像５０ｂにおいて、危険領域である領域５０８および領域５０９に対応付けられる運動物体の種別が人物（人）であることから、危険領域のカテゴリとして、危険領域（人）が重畳されている。
【００３９】
このように、危険予測器１０は、当該危険領域の特徴として、当該危険領域に対応づけられる前記運動物体の種別を推定し、推定した当該危険領域および当該種別を危険度として出力してもよい。
【００４０】
［危険予測器１０の予測処理］
次に、本実施の形態の係る危険予測器１０の予測処理について、図を用いて説明する。
【００４１】
図５は、本実施の形態における危険予測器１０の予測処理の一例を示すフローチャートである。
【００４２】
図５に示すように、危険予測器１０のコンピュータは、まず、畳み込みニューラルネットワークに、車両に搭載された車載カメラにより撮影された入力画像を取得させる（Ｓ１）。本実施の形態では、危険予測器１０のコンピュータは、畳み込みニューラルネットワークに、例えば上述した図５に示す画像５０を入力画像として取得させる。
【００４３】
次に、危険予測器１０のコンピュータは、畳み込みニューラルネットワークに、危険領域とその特徴とを推定させ、入力画像に対して予測した危険度として出力させる（Ｓ２）。より具体的には、危険予測器１０のコンピュータは、畳み込みニューラルネットワークに、Ｓ１において取得させた入力画像中の危険領域であって車両がそのまま走行した場合に車両の走行経路中に運動物体が出現して車両と衝突する可能性のある危険領域と当該危険領域の特徴とを推定させる。そして、それを、入力画像に対して予測した危険度として出力させる。
【００４４】
本実施の形態では、危険予測器１０のコンピュータは、当該畳み込みニューラルネットワークに、当該危険領域の特徴として、当該危険領域の危険度合いを推定させ、推定した危険領域および当該危険領域の危険度合いを示す尤度マップを危険度として出力させる。例えば、危険予測器１０のコンピュータは、畳み込みニューラルネットワークに、例えば上述した図５に示す画像５０ａを予測した危険度として出力させる。
【００４５】
なお、危険予測器１０のコンピュータは、上述したように、当該畳み込みニューラルネットワークに、当該危険領域の特徴として、当該危険領域危険領域に対応づけられる前記運動物体の種別を推定させ、推定した危険領域および当該危険領域の種別を危険度として出力させてもよい。
【００４６】
［危険予測器１０の効果等］
以上のように、実施の形態１に係る危険予測器１０によれば、車両に搭載された車載カメラにより撮影された入力画像中の危険領域と当該危険領域の特徴とを推定することができる。特に、実施の形態１に係る危険予測器１０は、停車しているバスの背後の領域など、バスから降車した歩行者が見えていないが飛び出しそうな領域も、走行中の車両にとって危険が発生しそうな危険領域として予測することができる。
【００４７】
それにより、例えば自動運転中の車両が危険予測器１０を備える場合には、当該車両は、車載カメラの画像を用いて危険が発生しそうな危険領域を予測し、予測した危険領域を回避する制御を行うことができるので、より安全な走行が可能になる。
【００４８】
［危険予測器１０の学習処理］
以下、このような危険予測器１０を実現するための学習処理について説明する。学習処理が行われることにより、危険予測器１０に用いられる畳み込みニューラルネットワークとして機能する畳み込みニューラルネットワークを、畳み込みニューラルネットワーク１０ａと称して説明する。
【００４９】
図６は、本実施の形態における畳み込みニューラルネットワーク１０ａの学習処理の概要を示すフローチャートである。図７Ａ〜図７Ｄは、ステップＳ１において準備される学習用データの説明図である。図８は、学習処理の結果として出力される危険領域とその特徴の一例を示す図である。
【００５０】
まず、学習用データを準備する（Ｓ１１）。より具体的には、危険領域を含む学習用画像と、学習用画像に危険領域を示すアノテーションが付されたアノテーション付き画像とで構成される学習用データを準備する。
【００５１】
ここで、図７Ａ〜図７Ｄを用いて、学習用データについて説明する。
【００５２】
図７Ａおよび図７Ｂは、学習用画像の一例であり、過去に車載カメラにより撮影された複数の画像のうち危険につながった画像の一例である。図７Ｂに示す画像５２には、停車しているバス５１１と歩行者である人物５１２と、バス５１１の背後の領域から出現した歩行者である人物５１３とが示されている。図７Ａに示す画像５１には、停車しているバス５１１と歩行者である人物５１２とが示されており、人物５１３はバス５１１の背後の領域に存在するが見えていない。
【００５３】
図７Ｃに示す画像５１ａは、アノテーション付き画像の一例であり、画像５１の人物が出現する所定時間前の領域にアノテーションが付与されている。より具体的には、画像５１ａは、画像５１を撮影した車載カメラを搭載する車両がそのまま走行した場合に車両の走行経路中に人物５１３である運動物体が出現して当該車両と衝突する可能性のある危険領域を示すアノテーションが付与されている。
【００５４】
なお、危険領域を示すアノテーションは、図７Ｃの画像５１ａに示すように、見えていないが飛び出しそうな人物５１３を含むバス５１１の背後の領域５１４つまり飛び出しが発生する直前の領域５１４に付す場合に限らない。例えば図７Ｄに示すように、領域５１４に加えて、見えている人物５１２の領域５１５に対しての危険領域を示すアノテーションを付与し、その他の領域（例えば領域５１６）に対して安全領域を示すアノテーションを付与するとしてもよい。
【００５５】
以下、図６に戻って説明する。
【００５６】
次に、コンピュータは、学習用データを用いて、畳み込みニューラルネットワーク１０ａを、危険予測器１０として機能させるために、学習処理を行う（Ｓ１２）。より具体的には、危険領域を含む学習用画像と、学習用画像に危険領域を示すアノテーションが付されたアノテーション付き画像とを用いて、畳み込みニューラルネットワーク１０ａに、学習用画像の中の危険領域と当該危険領域の特徴とを推定させるための当該畳み込みニューラルネットワーク１０ａの重みを学習させる学習処理を行う。
【００５７】
例えば、図７Ａに示す画像５１を危険領域を含む学習用画像、図７Ｄに示す画像５１ｂを学習用画像に危険領域を示すアノテーションが付されたアノテーション付き画像として用いて畳み込みニューラルネットワーク１０ａに学習処理させたとする。この場合、畳み込みニューラルネットワーク１０ａは、図８の画像５１ｃに示されるような危険領域および当該危険領域の危険度合いを示す尤度マップを推定するための重みを学習する。ここで、図８の画像５１ｃにおいて、停車しているバス５１１の背後の領域と、人物５１２の領域とが危険領域であり、バス５１１の背後の領域の尤度５１７と、人物５１２の領域の尤度５１８とが重畳されている。
【００５８】
なお、学習用データの準備において、学習用画像に危険領域を示すアノテーションを付す作業は、例えばクラウドソーシングのワーカなどに依頼して行うなど、人手で行うが、一部または全部の作業をコンピュータにさせるとしてもよい。以下、学習システムのコンピュータが、学習用画像に危険領域を示すアノテーションを付す作業を行い、学習用データを用いて、畳み込みニューラルネットワーク１０ａに学習処理を行う場合を実施例として説明する。
【００５９】
（実施例）
［学習システムの構成］
図９は、実施例における学習システムの構成の一例を示すブロック図である。図９に示す学習システムは、学習用データ作成装置２０と学習装置３０とを備え、危険予測器１０を実現するための学習処理を行う。
【００６０】
学習用データ作成装置２０は、記憶部２０１、記憶部２０３と、アノテーション付与部２０２とを備え、映像データから学習用データを作成する。記憶部２０１は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やメモリ等で構成され、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像からなる映像データを記憶する。この映像データは学習用画像としても用いられる。記憶部２０３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やメモリ等で構成され、学習用画像（映像データ）に対して危険領域を示すアノテーションが付されたアノテーション付きデータを記憶する。アノテーション付与部２０２は、記憶部２０１から取得した学習用画像（映像データ）に危険領域を示すアノテーションを少なくとも付して記憶部２０３に記憶する。
【００６１】
学習装置３０は、誤差算出部３０１と、重み調整部３０２とを備え、学習用データ作成装置２０から取得した学習用データを用いて、畳み込みニューラルネットワーク１０ａに学習処理を行う。ここで、畳み込みニューラルネットワーク１０ａは、危険予測器１０に用いられる畳み込みニューラルネットワークと同一構成であり、学習処理の結果、危険予測器１０に用いられる畳み込みニューラルネットワークとして機能する。誤差算出部３０１は、畳み込みニューラルネットワーク１０ａが推定すべき学習用画像の中の危険領域および当該危険領域の特徴を示す値（正解値）と、畳み込みニューラルネットワーク１０ａが現に出力（推定）したもの（推定した危険度を示す値）との誤差を、誤差関数を用いて誤差を算出する。重み調整部３０２は、誤差算出部３０１で算出される誤差が小さくなるように畳み込みニューラルネットワーク１０ａの重みを調整する。
【００６２】
［学習システムの動作］
次に、以上のように構成された学習システムの動作について、図１０および図１１を用いて説明する。図１０は、学習用データ作成装置２０が行うアノテーション付きデータの作成処理を示すフローチャートである。図１１は、学習装置３０が行う学習処理を示すフローチャートである。なお、図１０は図９に示すＳ１１の詳細処理一例に該当し、図１１は図９に示すＳ１２の詳細処理の一例に該当する。
【００６３】
図１０に示すように、学習用データ作成装置２０は、まず、記憶部２０１に記憶されている映像データを取得する（Ｓ１１１）。より具体的には、学習用データ作成装置２０は、映像データとして車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像を取得する。
【００６４】
次に、学習用データ作成装置２０は、映像データに含まれる危険領域を決定する（Ｓ１１２）。より具体的には、学習用データ作成装置２０は、取得した複数の画像（映像データ）の少なくとも一部の画像に含まれる危険領域であって、当該複数の画像を撮影した車載カメラを搭載する車両がそのまま走行した場合に当該車両の走行経路中に運動物体が出現して当該車両と衝突する可能性のある危険領域を決定する。
【００６５】
次に、学習用データ作成装置２０は、映像データに対して危険領域を示すアノテーションを付与する（Ｓ１１３）。より具体的には、学習用データ作成装置２０は、当該少なくとも一部の画像に対して、決定した危険領域を示すアノテーションを付与する。そして、少なくとも一部の画像に危険領域を示すアノテーションを付与した映像データ（アノテーション付きデータ）を記憶部２０３に記憶する。本実施の形態では、学習用データ作成装置２０は、人物が出現する所定時間前の画像の一部領域に対して危険領域を示すアノテーションを付与するが、それに限らない。ボール、ハザードランプを付けた自動車または人物が映されたカーブミラーなど人物が出現する所定時間前の画像の特定物体領域に対して危険領域を示すアノテーションを付与してよい。いずれにせよ、映像データを撮影した車載カメラを搭載する車両がそのまま走行した場合に車両の走行経路中に人物５１３である運動物体が出現して当該車両と衝突する可能性のある危険領域を示すアノテーションを付すことになるからである。
【００６６】
続いて、図１１に示すように、学習装置３０は、学習用データ作成装置２０から学習用データを取得する（Ｓ１２１）。具体的には、学習装置３０は、Ｓ１１３においてアノテーションが付与された当該少なくとも一部の画像、および、複数の画像（映像データ）のうち当該少なくとも一部の画像に対応する画像を、学習用画像およびアノテーション付き画像として取得する。例えば、学習装置３０は、上述したように、図７Ａに示す危険領域を含む学習用画像と図７Ｄに示すアノテーション付き画像とを学習用データ作成装置２０から取得する。
【００６７】
次に、学習装置３０は、学習用画像を用いて、畳み込みニューラルネットワーク１０ａに、推定した危険度を示す値を出力させる（Ｓ１２２）。本実施の形態では、学習装置３０は、例えば図７Ａに示す危険領域を含む学習用画像に対して、畳み込みニューラルネットワーク１０ａに、推定させた危険度を示す値として、学習用画像の中の危険領域とその当該危険領域の特徴すなわち、危険領域とその危険度合い（尤度マップ）を示す値を出力させる。
【００６８】
次に、学習装置３０は、Ｓ１２２で出力させた値と、畳み込みニューラルネットワーク１０ａが推定すべき学習用画像の中の危険領域および当該危険領域の特徴を示す値（正解値）との差（誤差）を算出する（Ｓ１２３）。ここで、正解値は、図７Ｄに示す画像５１ｂを学習用画像に危険領域を示すアノテーションが付されたアノテーション付き画像から算出された図８の画像５１ｃに示される危険領域および当該危険領域の危険度合いを示す尤度マップを示す値である。
【００６９】
次に、学習装置３０は、Ｓ１２３で出力された危険度を示す値と正解値との差が最小でない場合（Ｓ１２４でＮｏ）、その差が小さくなるように畳み込みニューラルネットワーク１０ａの重みを更新する（Ｓ１２５）。そして、学習装置３０は、Ｓ１２２の処理から繰り返す回帰処理を行う。
【００７０】
一方、Ｓ１２２で出力された危険度を示す値と正解値との差が最小である場合には、処理を終了する。すなわち、学習装置３０は、Ｓ１２３において算出された誤差を最小にするように畳み込みニューラルネットワーク１０ａの重みを調整することにより、畳み込みニューラルネットワーク１０ａに重みを学習させる。そして、学習装置３０は、Ｓ１２３において算出された誤差が最小になった場合における畳み込みニューラルネットワーク１０ａの重みを、危険予測器１０に用いる畳み込みニューラルネットワークの重みとして決定する。
【００７１】
なお、図１０および図１１を説明する便宜上、一枚の画像に対する作成処理や学習処理について説明したが、これにかぎらない。１０〜２０枚の画像ごとに作成処理や学習処理を行ってもよい。また、誤差が最小になった畳み込みニューラルネットワーク１０ａの重みを、危険予測器１０に用いる畳み込みニューラルネットワークの重みとして決定するとして説明したが、それに限らない。上記の回帰処理を繰り返しても重みの値及び誤差が動かない場合、重みの値及び誤差が動かないときの畳み込みニューラルネットワークの重み１０ａを、危険予測器１０に用いる畳み込みニューラルネットワークの重みとして決定してもよい。また、誤差が最小とは、回帰処理の上限回数を決めた場合に、上限回数までの回帰処理における誤差の最小を意味するとしてもよい。
【００７２】
（変形例１）
図１２Ａは、ステップＳ１において準備されるアノテーション付き画像の別の一例である。図１２Ｂは、学習処理の結果として出力される危険領域とその特徴の別の一例を示す図である。なお、図７Ａ〜図８と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【００７３】
上述した危険予測器１０の学習処理では、図７Ａに示す画像５１および図７Ｄに示す画像５１ｂが学習用画像およびアノテーション付き画像の一例であり、正解値が図８に示す画像５１ｃにおける危険領域とその危険度合いを示す値である場合について説明したが、これに限らない。図７Ａに示す画像５１および図１２Ａに示す画像５１ｄを学習用画像およびアノテーション付き画像として、正解値が図１２Ｂに示す画像５１ｅにおける危険領域とそのカテゴリを示す値であるとしてもよい。
【００７４】
図１２Ａに示す画像５１において、停車しているバス５１１の背後の領域５１４ｄが、見えていない人物が飛び出して車両と衝突する可能性のある危険領域であり、危険カテゴリ１が危険領域のカテゴリを示すアノテーションである。また、画像５１ｄには、さらに、見えている人物５１２の領域５１５とその危険カテゴリ２とを示すアノテーションが付されている。人物５１２の領域５１５が車両と衝突する可能性のある危険領域に該当し、危険カテゴリ２が危険領域のカテゴリに該当する。また、画像５１ｄには、これら以外の領域（例えば領域５１６ｄ）に対して安全領域であることを示すアノテーションも付与されている。
【００７５】
図１２Ｂに示す画像５１ｅには、停車しているバス５１１の背後の領域５１９が危険領域であり、そのカテゴリが危険領域（車）であること、および、人物５１２の領域５２０が危険領域であり、そのカテゴリである危険領域（人）であることが示されている。
【００７６】
（変形例２）
学習用画像に付されるアノテーションは、実施例で説明した危険領域を示す情報（枠など）や変形例１で説明した危険領域に対応づけられる運動物体のカテゴリである場合に限らない。例えば、車両のハンドル角度やブレーキ強度など学習用画像が撮影されたときの車両の制御情報であってもよいし、図１３に示すような物体領域とは異なる詳細領域情報であってもよい。
【００７７】
図１３は、詳細領域情報の一例を示す図である。図１３に示す詳細領域情報は、例えば図７Ａに対するセグメント情報５４である。領域５４１が図７Ａに示すバス５１１の背後の領域が危険領域であることを示しており、領域５４２が図７Ａに示す人物５１２の領域が危険領域であることを示している。
【００７８】
このように、学習用画像に付されるアノテーションは、入力画像における危険領域と学習用画像の撮影時における車両のブレーキ強度またはハンドル角度を含む制御情報とを示してもよい。また、学習用画像に付されるアノテーションは、入力画像における危険領域のセグメント情報であってもよい。
【００７９】
（変形例３）
上記の実施の形態１、実施例、変形例１および２では、走行中の車両にとって危険が発生しそうな危険領域を、学習用画像中に存在する遮蔽物の領域の一部を含む領域であって、運動物体が隠れており当該運動物体が遮蔽物から走行経路中に出現する前の領域であるとして説明したが、これに限らない。危険領域は、人物を含む２以上の運動物体同士が接近すると車両の走行経路中を横切ることになる２以上の運動物体の間の領域であってもよい。
【００８０】
以下、このような危険領域を学習処理するために用いられる学習用画像とアノテーション付き画像とについて例示する。
【００８１】
図１４Ａ、図１５Ａ、図１６Ａおよび図１７Ａは、学習用画像の一例である。図１４Ｂ、図１５Ｂ、図１６Ｂおよび図１７Ｂは、危険領域を示すアノテーションが付されたアノテーション付き画像の一例である。
【００８２】
図１４Ａに示される学習用画像５６ａには、駐停車中の自動車５６１と人物５６２とが示されている。図１４Ｂに示されているアノテーション付き画像５６ｂには、学習用画像５６ａに対して、駐停車中の自動車５６１と人物５６２との間の領域５６３が危険領域であることを示すアノテーションが付されている。
【００８３】
図１５Ａに示される学習用画像５７ａには、人物５７１とバスの停留所を示す物体５７２と駐停車中の自動車５７３とが示されている。図１５Ｂに示されているアノテーション付き画像５７ｂには、学習用画像５７ａに対して、人物５７１とバスの停留所を示す物体５７２との間の領域５７４が危険領域であることを示すアノテーションが付されている。
【００８４】
また、図１６Ａに示される学習用画像５８ａには、子供である人物５８１とボールなど人物５８１が遊びに使う物体５８２とが示されている。図１６Ｂに示されているアノテーション付き画像５８ｂには、学習用画像５８ａに対して、人物５８１と人物５８１が遊びに使う物体５８２との間の領域５８３が危険領域であることを示すアノテーションが付されている。
【００８５】
また、図１７Ａに示される学習用画像５９ａには、子供である人物５９１と子供の親などの人物５９２とが示されている。図１７Ｂに示されているアノテーション付き画像５９ｂには、学習用画像５９ａに対して、人物５９１と人物５９２との間の領域５９３が危険領域であることを示すアノテーションが付されている。
【００８６】
このように、人物を含む２以上の運動物体同士が接近すると車両の走行経路中を横切ることになることから、２以上の運動物体の間の領域は、車両がそのまま走行した場合に車両の走行経路中に運動物体が出現して車両と衝突する可能性のある危険領域であると考えられる。したがって、危険予測器１０は、当該２以上の運動物体の間の領域を危険領域と予測してもよい。
【００８７】
（実施の形態２）
実施の形態１では、危険予測器１０に用いられる畳み込みニューラルネットワークと同一構成の畳み込みニューラルネットワーク１０ａのみを用いて学習処理を行うとして説明したが、これに限らない。まず、全結合層を有する畳み込みニューラルネットワークを用いて１段階目の学習処理を行い、次に、全結合層を畳み込み層に変更した畳み込みニューラルネットワークを用いて２段階目の学習処理を行うとしてもよい。以下、この場合について、実施の形態２として説明する。なお、以下では実施の形態１と異なるところを中心に説明する。
【００８８】
［学習処理］
危険予測器１０の構成等は上記実施の形態１で説明した通りであるの説明を省略する。実施の形態２では、実施の形態１に対して、コンピュータが学習用データを用いて行う学習処理が異なる。
【００８９】
図１８は、本実施の形態における２段階の学習処理の概要を示すフローチャートである。図１９は、１段階目の学習処理を概念的に説明するための説明図である。図２０は、２段階目の学習処理を概念的に説明するための説明図である。なお、図３および図７Ｄ等と同様の要素には同一の符号を付しており、詳細な説明は省略する。図１８は、図６に示すステップＳ１２の詳細処理の一例に該当する。また、図１９に示される第１ニューラルネットワーク１０ｂは、１段階目の学習処理で用いられる全結合層を有する畳み込みニューラルネットワークである。図２０に示される第２ニューラルネットワーク１０ｃは、２段階目の学習処理で用いられる畳み込みニューラルネットワークであり、第１ニューラルネットワーク１０ｂの全結合層を畳み込み層に変更したものに該当する。第２ニューラルネットワーク１０ｃは、危険予測器１０に用いられる畳み込みニューラルネットワークと同一構成である。
【００９０】
まず、コンピュータは、学習用データを用いて、第１ニューラルネットワーク１０ｂに重み（第１重み）を学習させる第１学習処理を行う（Ｓ２２１）。より具体的には、コンピュータは、学習用画像それぞれのうちの一部領域であって危険領域を示すアノテーションが付された領域の危険領域画像と当該アノテーションが付されていない領域の安全領域画像とを用いて、全結合層を有する畳み込みニューラルネットワークである第１ニューラルネットワーク１０ｂに、一部領域が安全領域であるまたは危険領域であると判定させるための当該第１ニューラルネットワークの第１重みを学習させる。
【００９１】
例えば、図１９に示す例では、コンピュータは、アノテーション付き画像である画像５１ｂの一部画像である危険領域画像６１を第１ニューラルネットワーク１０ｂに入力し、危険領域である判定を行わせるように第１ニューラルネットワーク１０ｂの第１重みを学習させている様子が示されている。
【００９２】
次に、コンピュータは、学習用データを用いて、第２ニューラルネットワーク１０ｃに第２学習処理を行う（Ｓ２２１〜Ｓ２２４）。より具体的には、まず、コンピュータは、第１ニューラルネットワークの全結合層を畳み込み層に変更した第２ニューラルネットワークを生成する（Ｓ２２２）。続いて、コンピュータは、Ｓ２２１で学習した第１ニューラルネットワークの重み（第１重み）を読み込み（Ｓ２２３）、Ｓ２２２で生成した第２ニューラルネットワークの重みの初期値を第１重みに更新する。続いて、コンピュータは、危険領域を含む学習用画像と、学習用画像に危険領域を示すアノテーションが付されたアノテーション付き画像とを用いて、第２ニューラルネットワーク１０ｃに、学習用画像の中の危険領域と当該危険領域の特徴とを推定させるための第２ニューラルネットワーク１０ｃの重み（第２重み）を学習させる（Ｓ２２４）。
【００９３】
例えば、図２０に示す例では、コンピュータは、学習用画像（入力画像）である画像５０を第２ニューラルネットワーク１０ｃに入力し、危険度として当該危険領域および当該危険領域の危険度合いを示す尤度マップを推定させるように第２ニューラルネットワーク１０ｃの第２重みを更新（学習）させている。
【００９４】
このような第２学習処理を行うことにより、第２ニューラルネットワークと同一構成である危険予測器１０に用いる畳み込みニューラルネットワークの重みを学習させることができる。
【００９５】
なお、第１学習処理において、危険領域を示すアノテーションが付された危険領域画像と当該アノテーションが付されていない安全領域画像とを学習用画像として用いて、第１ニューラルネットワーク１０ｂに、入力した学習用画像が安全であるか危険であると判定させる第１重みを学習させるとしたが、それに限らない。
【００９６】
例えば図２１に示すように、第１学習処理において、危険領域とそのカテゴリを示すアノテーションが付された学習用画像の一部領域を学習用画像として用いてもよい。そして、第１ニューラルネットワーク１０ｂに、入力した学習用画像が安全であるか危険であると判定させ、かつ危険であると判定した場合にはその学習用画像が示すカテゴリを判定させる第１重みを学習させてもよい。
【００９７】
ここで、図２１は、１段階目の学習処理を概念的に説明するための別の説明図である。
【００９８】
図２１に示される例では、コンピュータは、危険領域とそのカテゴリを示すアノテーション付き画像である画像５１ｄの一部領域である領域５１４ｄを切り取った危険領域画像６３を第１ニューラルネットワーク１０ｂに入力している。そして、コンピュータは、危険領域画像６３が危険領域である判定を行わせ、さらに、その危険領域画像６３が示すカテゴリ（図では危険カテゴリ（車））を判定させるように第１ニューラルネットワーク１０ｂの第１重みを学習させている様子が示されている。なお、危険領域は、上述したもの以外にも、種々のバリエーションが考えられるため、第１学習処理において、危険カテゴリを、物体の見え方毎などの個々のカテゴリ（詳細カテゴリ）に分割して学習させてもよい。
【００９９】
また、危険予測器１０が出力する危険度は、図２０に示されるような危険領域とその危険度合いとを示す尤度マップに限らない。つまり、第２学習処理において、危険領域とその特徴として、危険領域とその危険度合いとを示す尤度マップを出力させるように第２重みを学習させる場合に限らない。危険領域およびそのカテゴリを出力させるように第２重みを学習させてもよい。
【０１００】
［他の実施態様の可能性］
以上、実施の形態１〜３において本開示の危険予測方法について説明したが、各処理が実施される主体や装置に関しては特に限定しない。ローカルに配置された特定の装置内に組み込まれたプロセッサーなど（以下に説明）によって処理されてもよい。またローカルの装置と異なる場所に配置されているクラウドサーバなどによって処理されてもよい。
【０１０１】
また、学習用画像や危険予測時の入力画像としては、車載カメラで撮影された画像（全体画像）であってもよいし、全体画像の一部画像（部分画像）であってもよい。部分画像としては、上述したように危険と推定される領域の画像であってもよい。全体画像としては、危険状況が発生時または発生前の画像であってもよい。
【０１０２】
なお、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
【０１０３】
また、本開示は、さらに、以下のような場合も含まれる。
【０１０４】
（１）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１０５】
（２）上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１０６】
（３）上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１０７】
（４）また、本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１０８】
（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１０９】
また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１１０】
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１１１】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【０１１２】
本開示は、特に、自動運転を行うための車両に搭載される車載カメラ、システムや、運転支援を行うための装置やシステム等において、危険が発生しそうな危険領域の予測するための危険予測方法に利用できる。
【符号の説明】
【０１１３】
１０    危険予測器
１０ａ    畳み込みニューラルネットワーク
１０ｂ    第１ニューラルネットワーク
１０ｃ    第２ニューラルネットワーク
２０    学習用データ作成装置
３０    学習装置
５０、５０ａ、５０ｂ、５１、５１ａ、５１ｂ、５１ｃ、５１ｄ、５１ｅ、５２    画像
５４    セグメント情報
５６ｂ、５７ｂ、５８ｂ、５９ｂ    アノテーション付き画像
６１、６３    危険領域画像
１０１、１０２    畳み込み層
２０１、２０３    記憶部
２０２    アノテーション付与部
３０１    誤差算出部
３０２    重み調整部
５０１、５１１    バス
５０２、５０３、５１２、５１３、５６２、５７１、５８１、５９１、５９２    人物
５０４、５０５、５０６、５１７、５１８    尤度
５０７、５０８、５０９、５１４、５１４ｄ、５１５、５１５ｄ、５１６、５１６ｄ、５１９、５２０、５４１、５４２、５６３、５７４、５８３、５９３    領域
５６１、５７３    自動車
５７２、５８２    物体
【図１】
2017162438.tif 000003
【図２】
2017162438.tif 000004
【図３】
2017162438.tif 000005
【図４】
2017162438.tif 000006
【図５】
2017162438.tif 000007
【図６】
2017162438.tif 000008
【図７Ａ】
2017162438.tif 000009
【図７Ｂ】
2017162438.tif 000010
【図７Ｃ】
2017162438.tif 000011
【図７Ｄ】
2017162438.tif 000012
【図８】
2017162438.tif 000013
【図９】
2017162438.tif 000014
【図１０】
2017162438.tif 000015
【図１１】
2017162438.tif 000016
【図１２Ａ】
2017162438.tif 000017
【図１２Ｂ】
2017162438.tif 000018
【図１３】
2017162438.tif 000019
【図１４Ａ】
2017162438.tif 000020
【図１４Ｂ】
2017162438.tif 000021
【図１５Ａ】
2017162438.tif 000022
【図１５Ｂ】
2017162438.tif 000023
【図１６Ａ】
2017162438.tif 000024
【図１６Ｂ】
2017162438.tif 000025
【図１７Ａ】
2017162438.tif 000026
【図１７Ｂ】
2017162438.tif 000027
【図１８】
2017162438.tif 000028
【図１９】
2017162438.tif 000029
【図２０】
2017162438.tif 000030
【図２１】
2017162438.tif 000031