(57)【要約】      （修正有）【課題】多様な状況において音源の危険性をより高精度に予測することができる運転支援システムを提供する。【解決手段】運転支援システム１００は、それぞれ複数のマイク及びセンサを搭載している複数の車両２０，３０と、複数のマイクで録音された音声信号及びセンサで測定されたセンシングデータを取得する取得部を有するサーバ１０と、を備える。サーバ１０は、音声信号及びセンシングデータに音源の危険性を表す情報を関連付けた学習データを記憶する記憶部１２と、学習データを用いて、音声信号及びセンシングデータに基づいて、音源の危険性を予測する学習モデルを生成するモデル生成部１３と、危険性を複数の車両に提供する提供部１４と、を有する。【選択図】図２
2020144404.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ複数のマイク及びセンサを搭載している複数の車両と、
前記複数のマイクで録音された音声信号及び前記センサで測定されたセンシングデータを取得する取得部を有するサーバと、を備え、
前記サーバは、
前記音声信号及び前記センシングデータに音源の危険性を表す情報を関連付けた学習データを記憶する記憶部と、
前記学習データを用いて、前記音声信号及び前記センシングデータに基づいて、前記音源の危険性を予測する学習モデルを生成するモデル生成部と、
前記危険性を前記複数の車両に提供する提供部と、をさらに有する、
運転支援システム。
【請求項２】
前記モデル生成部は、新たに取得された前記音声信号及び前記センシングデータを含む前記学習データを用いて、前記学習モデルを更新する、
請求項１に記載の運転支援システム。
【請求項３】
前記センサは、前記車両の位置情報を測定し、
前記学習モデルは、前記音声信号及び前記位置情報に基づいて、前記危険性を予測する、
請求項１又は２に記載の運転支援システム。
【請求項４】
前記センサは、前記車両の周囲の画像を撮影し、
前記サーバは、
前記画像に基づいて、前記危険性を表す情報を生成する生成部をさらに有する、
請求項１から３のいずれか一項に記載の運転支援システム。
【請求項５】
前記サーバは、
前記車両に搭載された前記センサを制御して、前記音源の画像を撮影させる撮影部をさらに有する、
請求項４に記載の運転支援システム。
【請求項６】
前記取得部は、前記車両の周囲環境に関する情報をさらに取得し、
前記学習モデルは、前記音声信号及び前記周囲環境に関する情報に基づいて、前記危険性を予測する、
請求項１から５のいずれか一項に記載の運転支援システム。
【請求項７】
前記サーバは、
前記音源が、前記複数の車両のいずれかに接近する確率を算出し、前記確率が閾値以上である場合、当該車両を徐行させる徐行制御部をさらに有する、
請求項１から６のいずれか一項に記載の運転支援システム。
【請求項８】
前記徐行制御部は、前記危険性と、前記音声信号と、前記複数の車両のうち徐行制御中の車両の台数、前記確率が前記閾値以上となった履歴、前記音声信号が取得された日時に関する情報及び前記複数の車両が走行する周辺環境に関する情報のうち少なくともいずれかと、に基づいて、前記確率を算出する、
請求項７に記載の運転支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援システムに関する。
【背景技術】
【０００２】
従来、例えば下記特許文献１に記載されているように、自車両に接近する物体について、発する音の方向及び発信位置を同時に認識し、方向情報を含んだ接近情報を運転者に通知する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−３４４８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、音源の種類、接近の態様及び車両の周囲環境が多岐にわたるため、理想的な状況では音源の危険性が予測できても、実走行時には予測精度が高くないことがある。
【０００５】
そこで、本発明は、多様な状況において音源の危険性をより高精度に予測することができる運転支援システムを提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る運転支援システムは、それぞれ複数のマイク及びセンサを搭載している複数の車両と、複数のマイクで録音された音声信号及びセンサで測定されたセンシングデータを取得する取得部を有するサーバと、を備え、サーバは、音声信号及びセンシングデータに音源の危険性を表す情報を関連付けた学習データを記憶する記憶部と、学習データを用いて、音声信号及びセンシングデータに基づいて、音源の危険性を予測する学習モデルを生成するモデル生成部と、危険性を複数の車両に提供する提供部と、をさらに有する。
【０００７】
この態様によれば、複数の車両が実走行した際に録音された音声信号及びセンサで測定されたセンシングデータを学習データとして学習モデルを生成し、学習モデルによって音源の危険性を予測することで、多様な状況において音源の危険性をより高精度に予測することができる。
【０００８】
上記態様において、モデル生成部は、新たに取得された音声信号及びセンシングデータを含む学習データを用いて、学習モデルを更新してもよい。
【０００９】
この態様によれば、学習データを蓄積していき、学習モデルを継続的に更新していくことで、より多様な状況において取得された学習データを用いて学習モデルを生成することができ、音源の危険性をより高精度に予測することができる。
【００１０】
上記態様において、センサは、車両の位置情報を測定し、学習モデルは、音声信号及び位置情報に基づいて、危険性を予測してもよい。
【００１１】
この態様によれば、車両が走行する位置に応じて、音源の危険性をより高精度に予測することができる。
【００１２】
上記態様において、センサは、車両の周囲の画像を撮影し、サーバは、画像に基づいて、危険性を表す情報を生成する生成部をさらに有してもよい。
【００１３】
この態様によれば、音声信号及びセンシングデータに対するアノテーションを行うことができ、学習データを高速に蓄積していくことができる。
【００１４】
上記態様において、サーバは、車両に搭載されたセンサを制御して、音源の画像を撮影させる撮影部をさらに有してもよい。
【００１５】
この態様によれば、音源の画像を撮影することで、音源の種類を明らかにすることができ、学習データを充実させ、音源の危険性をより高精度に予測することができる学習モデルを生成することができる。
【００１６】
上記態様において、取得部は、車両の周囲環境に関する情報をさらに取得し、学習モデルは、音声信号及び周囲環境に関する情報に基づいて、危険性を予測してもよい。
【００１７】
この態様によれば、車両が走行する環境に応じて、音源の危険性をより高精度に予測することができる。
【００１８】
上記態様において、サーバは、音源が、複数の車両のいずれかに接近する確率を算出し、確率が閾値以上である場合、当該車両を徐行させる徐行制御部をさらに有してもよい。
【００１９】
この態様によれば、車両と音源の距離が近くなる前に、車両を徐行させることができ、安全性を向上させることができる。
【００２０】
上記態様において、徐行制御部は、危険性と、音声信号と、複数の車両のうち徐行制御中の車両の台数、確率が閾値以上となった履歴、音声信号が取得された日時に関する情報及び複数の車両が走行する周辺環境に関する情報のうち少なくともいずれかと、に基づいて、確率を算出してもよい。
【００２１】
この態様によれば、音源が車両に接近する確率をより正確に算出することができる。
【発明の効果】
【００２２】
本発明によれば、多様な状況において音源の危険性をより高精度に予測することができる運転支援システムを提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係る運転支援システムのネットワーク構成を示す図である。
【図２】本実施形態に係る運転支援システムの機能ブロックを示す図である。
【図３】本実施形態に係るサーバの物理的構成を示す図である。
【図４】本実施形態に係るサーバにより実行される第１処理のフローチャートである。
【図５】本実施形態に係るサーバにより実行される第２処理のフローチャートである。
【発明を実施するための形態】
【００２４】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００２５】
図１は、本発明の実施形態に係る運転支援システム１００の概要を示す図である。運転支援システム１００は、サーバ１０、第１車両２０及び第２車両３０を備える。第１車両２０及び第２車両３０は、それぞれ複数のマイク及びセンサを搭載している。第１車両２０及び第２車両３０は、自車両の位置を測定するセンサを搭載していてよく、例えばＧＰＳ（Global Positioning System）受信機を搭載していてよい。また、第１車両２０及び第２車両３０は、周囲の画像を撮影するセンサ（カメラ）を搭載していてよい。サーバ１０は、第１車両２０及び第２車両３０に搭載された複数のマイクで録音された音声信号と、第１車両２０及び第２車両３０の位置情報と、第１車両２０及び第２車両３０の周囲を撮影した画像とを取得し、音源の危険性を表す情報と関連付けて学習データとして蓄積する。図１に示す例では、音源５０は自転車である。この場合、音源５０の危険性は、音源５０が車両に接近する確率であってよい。サーバ１０は、学習データを用いて、音声信号及びセンシングデータ（位置情報等）に基づいて、音源５０の危険性を予測する学習モデルを生成する。なお、本実施形態では、運転支援システム１００に２台の車両が含まれる場合に説明するが、運転支援システム１００に含まれる車両の台数は任意である。
【００２６】
音源５０である自転車は、左側に森ＥＮＶ１があり、右側に住宅街ＥＮＶ２がある道路を走行しており、住宅街ＥＮＶ２に遮られて第２車両３０の死角となる位置から丁字路に接近している。このような場合、第２車両３０に搭載されたマイクで録音された音声信号のみでは、音源５０の危険性を高い精度で予測することが難しい。本実施形態に係るサーバ１０は、第１車両２０に搭載されたマイクで、森ＥＮＶ１を通して録音された音源５０の音声信号及び第１車両２０の位置情報に基づいて、音源５０の危険性を予測し、音源５０が第２車両３０の前方に現れる確率を算出する。そして、サーバ１０は、予測した音源５０の危険性を第１車両２０及び第２車両３０に提供する。これにより、第２車両３０のドライバは、音源５０が死角から接近していることを知ることができ、安全な走行ができる。
【００２７】
このように、本実施形態に係る運転支援システム１００によれば、複数の車両２０，３０が実走行した際に録音された音声信号及びセンサで測定されたセンシングデータを学習データとして学習モデルを生成し、学習モデルによって音源５０の危険性を予測することで、多様な状況において音源５０の危険性をより高精度に予測することができる。
【００２８】
図２は、本実施形態に係る運転支援システム１００の機能ブロックを示す図である。運転支援システム１００は、サーバ１０、第１車両２０及び第２車両３０を備える。サーバ１０は、取得部１１、記憶部１２、モデル生成部１３、提供部１４、生成部１５、撮影部１６及び徐行制御部１７を有する。第１車両２０は、第１マイク２１、第２マイク２２、第３マイク２３及びカメラ２４を有する。第２車両３０は、第１マイク３１、第２マイク３２及びカメラ３３を有する。
【００２９】
取得部１１は、複数のマイク（第１マイク２１、第２マイク２２、第３マイク２３、第１マイク３１及び第２マイク３２）で録音された音声信号及びセンサ（ＧＰＳ受信機（図示せず）、カメラ２４及びカメラ３３）で測定されたセンシングデータを取得する。取得部１１は、無線通信網を介して、第１車両２０及び第２車両３０から音声信号及びセンシングデータを取得してよい。取得部１１は、車両２０，３０の周囲環境に関する情報をさらに取得してもよい。周囲環境に関する情報は、例えば、車両２０，３０の位置情報に基づき、地図情報から抽出されてよく、図１に示す例の場合、森ＥＮＭ１及び住宅街ＥＮＶ２に関する情報であってよい。取得部１１は、音声信号及びセンシングデータを、取得した時間に関連付けて記憶部１２に記憶してよい。
【００３０】
記憶部１２は、音声信号及びセンシングデータに音源の危険性を表す情報を関連付けた学習データ１２ａを記憶する。学習データは、音声信号及び位置情報に音源の危険性を表す情報を関連付けたデータセットであってもよいし、音声信号及び周囲環境に関する情報に音源の危険性を表す情報を関連付けたデータセットであってもよいし、音声信号、位置情報及び周囲環境を表す情報に音源の危険性を表す情報を関連付けたデータセットであってもよい。記憶部１２は、モデル生成部１３により生成された学習モデル１２ｂを記憶する。
【００３１】
モデル生成部１３は、学習データを用いて、音声信号及びセンシングデータに基づいて、音源５０の危険性を予測する学習モデル１２ｂを生成する。モデル生成部１３は、新たに取得された音声信号及びセンシングデータを含む学習データ１２ａを用いて、学習モデル１２ｂを更新してよい。このように、学習データ１２ａを蓄積していき、学習モデル１２ｂを継続的に更新していくことで、より多様な状況において取得された学習データ１２ａを用いて学習モデル１２ｂを生成することができ、音源５０の危険性をより高精度に予測することができる。
【００３２】
車両２０，３０に搭載されたセンサにより、車両２０，３０の位置情報を測定する場合、モデル生成部１３は、音声信号及び位置情報に基づいて、音源５０の危険性を予測する学習モデル１２ｂを生成してよい。これにより、車両２０，３０が走行する位置に応じて、音源５０の危険性をより高精度に予測することができる。
【００３３】
また、モデル生成部１３は、音声信号及び周囲環境に関する情報に基づいて、音源５０の危険性を予測する学習モデル１２ｂを生成してよい。これにより、車両２０，３０が走行する環境に応じて、音源５０の危険性をより高精度に予測することができる。
【００３４】
提供部１４は、学習モデル１２ｂにより予測された危険性を複数の車両２０，３０に提供する。提供部１４は、無線通信網を介して、予測された音源５０の危険性を第１車両２０及び第２車両３０に提供してよい。これにより、複数の車両２０，３０のドライバは、死角にある音源５０の危険性を把握することができ、安全な走行ができる。
【００３５】
生成部１５は、カメラ２５，３３により撮影された画像に基づいて、音源５０の危険性を表す情報を生成する。生成部１５は、公知の画像認識技術を用いて、画像に写っている音源５０の名称を認識し、音源５０がいずれかの車両２０，３０に接近した度合いを示す数値を算出し、音源５０の危険性を表す情報を生成してよい。生成部１５によって、音声信号及びセンシングデータに対するアノテーションを行うことができ、学習データ１２ａを高速に蓄積していくことができる。
【００３６】
撮影部１６は、車両２０，３０に搭載されたセンサ（カメラ２４，３３）を制御して、音源５０の画像を撮影させる。撮影部１６は、音源５０の音声信号が複数の車両２０，３０で録音されている場合、それらの車両２０，３０に搭載されたカメラ２４，３３を制御して、音源５０の画像を撮影させてよい。音源５０の画像を撮影することで、音源５０の種類を明らかにすることができ、学習データ１２ａを充実させ、音源５０の危険性をより高精度に予測することができる学習モデル１２ｂを生成することができる。
【００３７】
徐行制御部１７は、音源５０が、複数の車両２０，３０のいずれかに接近する確率を算出し、その確率が閾値以上である場合、当該車両を徐行させる。ここで、記憶部１２は、音源５０のいずれかが、複数の車両２０，３０のいずれかに接近する確率が閾値以上となった場合に、その事象に関連する音声信号、位置情報、周囲環境に関する情報、音源５０の画像及び日時に関する情報を記憶してよい。徐行制御部１７は、例えば、音源５０が第２車両３０に接近する確率を算出し、その確率が閾値以上である場合、第２車両３０を強制的に徐行させてもよい。これにより、車両と音源の距離が近くなる前に、車両を徐行させることができ、安全性を向上させることができる。
【００３８】
徐行制御部１７は、学習モデル１２ｂにより予測された危険性と、音声信号と、複数の車両２０，３０のうち徐行制御中の車両の台数、音源５０が車両に接近する確率が閾値以上となった履歴、音声信号が取得された日時に関する情報及び複数の車両２０，３０が走行する周辺環境に関する情報のうち少なくともいずれかと、に基づいて、音源５０が車両に接近する確率を算出してよい。これにより、音源が車両に接近する確率をより正確に算出することができる。
【００３９】
図３は、本実施形態に係るサーバ１０の物理的構成を示す図である。サーバ１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例ではサーバ１０が一台のコンピュータで構成される場合について説明するが、サーバ１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、サーバ１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
【００４０】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、複数の車両から取得した音声信号及びセンシングデータに基づき、音源の危険性を予測するプログラム（運転支援プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
【００４１】
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、音声信号、位置情報及び車速情報といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
【００４２】
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば運転支援プログラムや、書き換えが行われないデータを記憶してよい。
【００４３】
通信部１０ｄは、サーバ１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークＮに接続されてよい。
【００４４】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
【００４５】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば生成部１５により生成された音源の危険性を表す情報を表示してよい。
【００４６】
運転支援プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。サーバ１０では、ＣＰＵ１０ａが運転支援プログラムを実行することにより、図２を用いて説明した取得部１１、モデル生成部１３、提供部１４、生成部１５、撮影部１６及び徐行制御部１７の動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、サーバ１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
【００４７】
図４は、本実施形態に係るサーバ１０により実行される第１処理のフローチャートである。第１処理は、学習モデルを新規に作成する処理又は学習モデルを更新する処理である。
【００４８】
はじめに、サーバ１０は、音声信号、位置情報、周囲環境に関する情報及び画像を取得する（Ｓ１０）。そして、サーバ１０は、画像に基づいて、音源の危険性を表す情報を生成する（Ｓ１１）。その後、サーバ１０は、音声信号、位置情報及び周囲環境に関する情報に音源の危険性を表す情報を関連付けた学習データを記憶する（Ｓ１２）。
【００４９】
学習データが所定量以上蓄積された場合、サーバ１０は、学習データを用いて、音声信号、位置情報及び周囲環境に関する情報に基づいて、音源の危険性を予測する学習モデルを生成する（Ｓ１３）。
【００５０】
その後、学習モデルを継続的に更新する場合（Ｓ１４：ＹＥＳ）、サーバ１０は、Ｓ１０〜Ｓ１３の処理を継続的に繰り返し実行する。一方、学習モデルを更新しない場合（Ｓ１４：ＮＯ）、第１処理は終了する。
【００５１】
図５は、本実施形態に係るサーバ１０により実行される第２処理のフローチャートである。第２処理は、生成された学習モデルによって、音源の危険性を予測する処理である。
【００５２】
はじめに、サーバ１０は、音声信号、位置情報及び周囲環境に関する情報を取得する（Ｓ２０）。そして、サーバ１０は、音声信号、位置情報及び周囲環境に基づいて、学習モデルによって音源の危険性を予測する（Ｓ２１）。サーバ１０は、予測した音源の危険性を複数の車両に提供する（Ｓ２２）。
【００５３】
また、サーバ１０は、音源が、複数の車両のいずれかに接近する確率を算出する（Ｓ２３）。そして、その確率が閾値以上である場合（Ｓ２４：ＹＥＳ）、当該車両を徐行させるように制御する（Ｓ２５）。あわせて、サーバ１０は、当該車両に搭載されたカメラで音源を撮影するように制御する（Ｓ２６）。サーバ１０は、撮影された音源の画像に基づいて、音源の危険性を表す情報を生成し、音声信号、位置情報及び周囲環境に関連付けて、新たな学習データとして記憶してよい。以上により、サーバ１０による第２処理が終了する。なお、サーバ１０は、第２処理を繰り返し行ってよい。
【００５４】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【００５５】
１０…サーバ、１１…取得部、１２…記憶部、１２ａ…学習データ、１２ｂ…学習モデル、１３…モデル生成部、１４…提供部、１５…生成部、１６…撮影部、１７…徐行制御部、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、２０…第１車両、２１…第１マイク、２２…第２マイク、２３…第３マイク、２４…カメラ、３０…第２車両、３１…第１マイク、３２…第２マイク、３３…カメラ、５０…音源、１００…運転支援システム
【図１】
2020144404.tif 000003
【図２】
2020144404.tif 000004
【図３】
2020144404.tif 000005
【図４】
2020144404.tif 000006
【図５】
2020144404.tif 000007