(57)【要約】      （修正有）【課題】音を検出し監視するシステム及び方法の提供。【解決手段】音を検出し監視するための方法及びシステム３００は、ビークル３０２に配置されるとともに、音データを検出するように構成された音センサ３０６と、音センサに接続されるとともに、検出された音データに基づいてイベントを識別し、識別されたイベントが緊急事態と関連するか否かを判別し、検出された音データに基づいて音位置データを決定するように構成された電子制御ユニット（ＥＣＵ３０４）と、緊急事態の表明、識別されたイベント及び音位置データを通信するように構成されたビークルのトランシーバ３０８および緊急事態の表明、識別されたイベント及び音位置データを受信し、識別されたイベントと関連する当局又は部局を決定し、識別されたイベント及び音位置データを当局又は部局と関連するデバイスに通信するように構成されたリモートデータサーバ３１２とを含む。【選択図】図３
2020098572.tif 000002
【特許請求の範囲】
【請求項１】
音を検出し監視するためのシステムであって、
ビークルに配置されるとともに、音データを検出するように構成された音センサと、
前記音センサに接続されるとともに、検出された前記音データに基づいてイベントを識別し、識別された前記イベントが緊急事態と関連するか否かを判別し、前記検出された音データに基づいて音位置データを決定するように構成された電子制御ユニット（ＥＣＵ）と、
前記ＥＣＵ及び前記音センサに接続されるとともに、緊急事態の表明、前記識別されたイベント及び前記音位置データを通信するように構成された前記ビークルのトランシーバと、
リモートデータサーバであって、
前記緊急事態の表明、前記識別されたイベント及び前記音位置データを受信し、
前記識別されたイベントと関連する当局又は部局を決定し、
前記識別されたイベント及び前記音位置データを前記当局又は部局と関連するデバイスに通信する、
ように構成されたリモートデータサーバと、
を備える、システム。
【請求項２】
前記音位置データが、音源位置、前記音源位置が位置する範囲、又は前記音源位置の前記ビークルに対する方向のうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項３】
前記音センサが既知の距離で分離された複数のマイクロフォンであり、前記ＥＣＵが更に、前記複数のマイクロフォンからの前記音データと、前記複数のマイクロフォンによる前記音データの検出のタイミングとに基づいて前記音位置データを決定するように構成される、請求項１に記載のシステム。
【請求項４】
更に、ビークル位置データを検出するように構成された前記ビークルのＧＰＳユニットを備え、
前記音位置データが前記ビークル位置データを含み、
前記リモートデータサーバが更に、
複数のビークルから複数の音位置データを受信し、
前記複数のビークルの前記ビークル位置データに基づいて音源位置が位置する境界を決定し、
前記当局又は部局と関連する前記デバイスに前記境界を通信する、
ように構成される、請求項１に記載のシステム。
【請求項５】
前記ビークルの前記トランシーバが更に、１又は複数の他のビークルから音位置データを受信するように構成され、
前記ＥＣＵが更に、前記検出された音データと、前記１又は複数の他のビークルからの受信した前記音位置データとに基づいて音源位置を決定するように構成される、
請求項１に記載のシステム。
【請求項６】
更に、前記ＥＣＵに接続されるとともに、前記検出された音データを記憶するように構成されたメモリを備え、
前記ＥＣＵが更に、閾値時間量が経過した後に前記検出された音データを周期的に消去するように構成される、
請求項１に記載のシステム。
【請求項７】
前記ビークルが自律運転又は半自律運転ビークルであり、
前記ＥＣＵが更に、前記識別されたイベントから離れる方向に前記ビークルを自動的に運転するように構成される、
請求項１に記載のシステム。
【請求項８】
音を検出し監視するためのシステムであって、
複数のビークルであって、各々が、
音データを検出し、
検出された前記音データに基づいてイベントを識別し、
識別された前記イベントが緊急事態と関連する否かを判別し、
前記検出された音データに基づいて音位置データを決定する、
ように構成された、複数のビークルと、
リモートデータサーバであって、
前記複数のビークルの各々からそれぞれの緊急事態の表明、それぞれの識別されたイベント及びそれぞれの音位置データを受信し、
前記識別されたイベントと関連する当局又は部局を決定し、
前記当局又は部局と関連するデバイスに前記識別されたイベント及び前記音位置データを通信する、
ように構成されたリモートデータサーバと、
を備える、システム。
【請求項９】
前記音位置データが、音源位置、前記音源位置が位置する範囲、又は前記音源位置の前記ビークルに対する方向のうちの少なくとも１つを含む、請求項８に記載のシステム。
【請求項１０】
各ビークルが、既知の距離で分離された複数のマイクロフォンを含み、前記ビークルが更に、前記複数のマイクロフォンからの前記音データと、前記複数のマイクロフォンによる前記音データの検出のタイミングとに基づいて前記音位置データを決定するように構成される、請求項８に記載のシステム。
【請求項１１】
前記リモートデータサーバが更に、
前記複数のビークルから受信したそれぞれの前記音位置データに基づいて音源位置を決定し、
前記音位置の閾値距離内に位置する１又は複数のデバイスに前記識別されたイベントを通信する、
ように構成される、請求項８に記載のシステム。
【請求項１２】
各ビークルが、ビークル位置データを検出するように構成されたＧＰＳユニットを含み、
前記音位置データが前記ビークル位置データを含み、
前記リモートデータサーバが更に、
複数のビークルから複数の音位置データを受信し、
前記複数のビークルの前記ビークル位置データに基づいて音源位置が位置する境界を決定し、
前記当局又は部局と関連する前記デバイスに前記境界を通信する、
ように構成される、
請求項８に記載のシステム。
【請求項１３】
前記複数のビークルの各ビークルが、
前記複数のビークルの１又は複数の他のビークルから音位置データを受信し、
決定された前記音位置データと、前記１又は複数の他のビークルから受信した音位置データとに基づいて音源位置を決定する、
ように構成される、請求項８に記載のシステム。
【請求項１４】
音を検出し監視する方法であって、前記方法が、
ビークルの音センサによって音データを検出することと、
前記ビークルの電子制御ユニット（ＥＣＵ）によって、検出された前記音データに基づいてイベントを識別することと、
前記ＥＣＵによって、識別された前記イベントが緊急事態と関連するか否かを判別することと、
前記ＥＣＵによって、前記検出された音データに基づいて音位置データを決定することと、
前記ビークルのトランシーバによって、緊急事態の表明、前記識別されたイベント及び前記音位置データをリモートデータサーバに通信することと、
前記リモートデータサーバによって、前記識別されたイベントと関連する当局又は部局を決定することと、
前記リモートデータサーバによって、前記識別されたイベント及び前記音位置データを前記当局又は部局と関連するデバイスに通信することと、
を含む、方法。
【請求項１５】
前記音位置データが、音源位置、前記音源位置が位置する範囲又は前記音源位置の前記ビークルに対する方向の少なくとも１つを含む、請求項１４に記載の方法。
【請求項１６】
前記ＥＣＵが、前記ビークルに配置された複数のマイクロフォンからの前記音データ及び前記複数のマイクロフォンによる前記音データの検出のタイミングに基づいて音位置データを決定する、請求項１４に記載の方法。
【請求項１７】
更に、前記ＥＣＵによって、前記識別されたイベントから離れる方向に前記ビークルを自動的に運転することを含む、請求項１４に記載の方法。
【請求項１８】
更に、
前記ビークルのＧＰＳユニットによってビークル位置データを検出し、前記音位置データが前記ビークル位置データを含む、検出することと、
前記リモートデータサーバによって、前記複数のビークルから複数の音位置データを受信することと、
前記リモートデータサーバによって、前記複数のビークルの前記ビークル位置データに基づき音源位置が位置する境界を決定することと、
前記リモートデータサーバによって、前記当局又は部局と関連する前記デバイスに前記境界を通信することと、
を含む、請求項１４に記載の方法。
【請求項１９】
更に、
前記トランシーバによって、１又は複数の他のビークルからの音位置データを受信することと、
前記ＥＣＵによって、前記検出された音データと、前記１又は複数の他のビークルから受信した前記音位置データとに基づいて音源位置を決定することと、
を含む、請求項１４に記載の方法。
【請求項２０】
更に、
前記ＥＣＵに接続されたメモリによって、前記検出された音データを記憶することと、
前記ＥＣＵによって、閾値時間量が経過した後に前記検出された音データを周期的に消去することと、
を含む、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
背景
１．分野
【０００２】
本開示は、ビークル（車両、乗り物、輸送体）を使用して音を検出し監視するためのシステム及び方法に関する。
【背景技術】
【０００３】
２．関連技術の説明
【０００４】
従来のビークルは、ビークルの外部に配置されたカメラを有してもよい。これらのカメラを、ビークルの周りの環境の画像をドライバに提供するために使用してもよい。これらのカメラは、特に、ビークルをパーキングするときに有益であってよい。他のイメージング又は空間検出センサを使用して、ビークルの周囲に関する情報をドライバに提供してもよい。例えば、ドライバの死角に在る他のビークルの存在を検出するためのセンサが、ドライバのビークルと他のビークルとの間の衝突を回避するのをアシスト又は支援してもよい。しかしながら、従来のビークルのカメラは、緊急イベントなど、アシストが望まれうるイベントを検出するのに使用されない。
【０００５】
従来のビークルは、ビークル内部、乗員室内部にマイクロフォンを有してもよい。このような内部マイクロフォンを、ドライバの音声コマンドを検出するために、又は、乗員とビークル外部の者との間の電話通話を容易にするために、使用してもよい。従来のビークルは、ビークル外部の音を記録するためのマイクロフォンを含まない。
【発明の概要】
【０００６】
概要
ここで説明されるのは、音を検出し監視するためのシステムである。システムは、ビークルに配置されるとともに、音データを検出するように構成された音センサを含む。システムは、音センサに接続されるとともに、検出された音データに基づいてイベントを識別し、識別されたイベントが緊急事態と関連するか否かを判別し、検出された音データに基づいて音位置データを決定するように構成された電子制御ユニット（ＥＣＵ）を含む。又、システムは、ＥＣＵ及び音センサに接続されるとともに、緊急事態の表明、識別されたイベント及び音位置データを通信するように構成されたビークルのトランシーバも含む。システムは、リモートデータサーバを含む。リモートデータサーバは、緊急事態の表明、識別されたイベント及び音位置データを受信し、識別されたイベントと関連する当局又は部局を決定し、識別されたイベント及び音位置データを当局又は部局と関連するデバイスに通信するように構成される。
【０００７】
音を検出し監視する方法についても説明される。方法は、ビークルの音センサによって音データを検出することを含む。方法は、又、ビークルの電子制御ユニット（ＥＣＵ）によって、検出された音データに基づいてイベントを識別することを含む。又、方法は、ＥＣＵによって、識別されたイベントが緊急事態と関連するか否かを判別することを含む。又、方法は、ＥＣＵによって、検出された音データに基づいて音位置データを決定することを含む。方法は、又、ビークルのトランシーバによって緊急事態の表明、識別されたイベント及び音位置データをリモートデータサーバに通信することを含む。又、方法は、リモートデータサーバによって、識別されたイベントと関連する当局又は部局を決定することを含む。又、方法は、リモートデータサーバによって、識別されたイベント及び音位置データを当局又は部局と関連するデバイスに通信することを含む。
【０００８】
又、音を検出し監視するためのシステムについて説明される。システムは、複数のビークルを含む。複数のビークルの各々は、音データを検出するように構成される。又、複数のビークルの各々は、検出された音データに基づいてイベントを識別するように構成される。又、複数のビークルの各々は、識別されたイベントが緊急事態と関連するか否かを判別するように構成される。複数のビークルの各々は、検出された音データに基づいて音位置データを決定するように構成される。又、システムは、リモートデータサーバを含む。リモートデータサーバは、複数のビークルの各々から、それぞれの緊急事態の表明、それぞれの識別されたイベント、及びそれぞれの音位置データを受信するように構成される。又、リモートデータサーバは、識別されたイベントと関連する当局又は部局を決定するように構成される。又、リモートデータサーバは、当局又は部局と関連するデバイスに識別されたイベント及び音位置データを通信するように構成される。
【０００９】
図面の簡単な説明
本発明の他のシステム、方法、特徴及び利点は、下記の図面及び詳細な説明を検証すれば当業者には明らかであろう。図面に示す構成部品は、必ずしも縮尺通りではなく、本発明の重要な特徴をよりよく説明するために誇張される場合がある。
【図面の簡単な説明】
【００１０】
【図１】本発明の様々な実施形態に従った、あるイベントによって生じた音と関連する音データを検出するビークルを示す図である。
【００１１】
【図２Ａ】本発明の様々な実施形態に従った、緊急事態を検出し報告するプロセスを図解する図である。
【図２Ｂ】本発明の様々な実施形態に従った、緊急事態を検出し報告するプロセスを図解する図である。
【図２Ｃ】本発明の様々な実施形態に従った、緊急事態を検出し報告するプロセスを図解する図である。
【図２Ｄ】本発明の様々な実施形態に従った、緊急事態を検出し報告するプロセスを図解する図である。
【００１２】
【図３】本発明の様々な実施形態に従った、音監視及び報告システムを図解する図である。
【００１３】
【図４】本発明の様々な実施形態に従った、音監視及び報告システムによって実施されるプロセスのフローチャートを示す図である。
【発明を実施するための形態】
【００１４】
詳細な説明
本開示において、音を検出し監視するためのシステム、ビークル及び方法を開示する。本開示において説明するシステム及び方法は、音データを検出するためにビークル外部の音センサを使用する。緊急、特異又は異常なイベントを識別するために音データが分析される。緊急イベントが識別されると、ビークルの占有者（１又は複数）に通知されてもよく、付近の当局又は部局（例えば、警察署又は消防署）に通知されてもよく、かつ／又は、ビークルの付近にある他のビークル又はモバイルデバイスに通知されてもよい。
【００１５】
複数のビークルの音センサを使用することによって、緊急イベント検出デバイスのネットワークを確立してもよい。その結果、ある者がスマートフォン又は電話などの従来の手段を使用して緊急事態を報告する場合よりも速やかに、緊急事態を検出し報告してもよい。更に、ビークルのコンピュータ処理能力は、スマートフォンのコンピュータ処理能力よりもかなり優れていてもよく、ビークルがカバーする、より広範囲のエリアでもって、スマートフォンによる緊急事態音の検出に比べて、改良されてもよい。緊急事態に応答するということは、特に緊急事態を検出し報告するために構成された強力なコンピューティングデバイスを使用することが必要な、時間に敏感なタスクなので、本開示において説明するシステム及び方法は、必ずコンピュータを必要とする。
【００１６】
本開示において説明するシステム及び方法を実現することによって、緊急事態が自動的に適切な当局又は部局に報告されうるので、コミュニティは、よりよくかつより迅速に緊急事態に応答可能であってもよい。例えば、発砲があったとき、普通の人は、（ａ）自分が聞いたものが発砲であったと認識しないか、（ｂ）発砲を聞いたことに対する措置をしそこねるか、（ｃ）発砲音を聞いたと思うということ及び現在自分がどこにいるのか以外に警察署に有益な情報を提供できない、おそれがある。しかし、本開示において説明するシステム及び方法は、発砲音を認識し、発砲場所を決定し、緊急事態の検出及び緊急事態の位置を報告するために自動的に警察署に連絡することができる。例として示すように、本開示において説明するシステム及び方法は、緊急事態が現在検出され報告される様式を大幅に改良する。
【００１７】
図１は、音監視及び報告システムを使用するビークルを示す。ビークル１０２は、１つ又は複数の音センサ１０４（例えば、前部音センサ１０４Ａ及び頂部音センサ１０４Ｂ）を含む。音センサ１０４は、マイクロフォン、又は、音データもしくは可聴データを検出するように構成されたその他のデバイスであってよい。ビークル１０２の前部、ビークル１０２の頂部又はビークル１０２の後部など、ビークル１０２の複数の場所に音センサ１０４を配置してもよい。
【００１８】
音センサ１０４同士間の距離は既知であってもよく、様々な音センサ１０４による特定の音の検出の時間差を使用して、ビークルからの音源の距離を決定してもよい。例えば、音１０６が発せられてもよい。音１０６は、波の形で進行して、まず前部音センサ１０４Ａによって検出され、次に頂部音センサ１０４によって検出されてもよい。頂部音センサ１０４Ｂは、前部音センサ１０４Ａよりも高い位置にあってよく、その背後にあってよい。前部音センサ１０４Ａと頂部音センサ１０４Ｂによる音１０６の検出のタイミングに基づいて、音１０６の音源位置１０８までの距離を決定してもよい。音センサ１０４は、最長約１．６ｋｍ（１マイル）以上離れた音１０６を検出可能であってもよい。
【００１９】
いくつかの実施形態において、ビークル１０２は、音源位置１０８を決定不能であってもよく、しかしながらビークル１０２の位置に対する音源位置１０８の概ねの方向及び／又は距離を決定可能であってもよい。概ねの方向は、ビークル１０２の方向に関し表現されてよく（例えば、ビークルの右）、又は方位（例えば、ビークルの北西）に関し表現されてもよい。概ねの方向は、正確な方向（例えば、ビークルの前部に対してビークルの右４５度）又は角度の範囲（例えば、ビークルの前部に対してビークルの右に５度からビークルの右に３０度）であってよい。概ねの距離は、ビークル１０２から約１５２メートル（約５００フィート）など、おおよその距離であってよい。
【００２０】
いくつかの実施形態において、音源位置１０８又はビークル１０２に対する音源位置１０８の方向を決定するために、音データに加えて又はその代わりに、補足データを使用してもよい。ビークル１０２は、画像データを検出するように構成されたカメラ１１８を含んでもよい。画像データは、例えば、店頭、ランドマーク又は道路標識１２０などの位置識別オブジェクトを含んでもよい。又、ビークル１０２は、ビークル１０２と関連する位置データを検出するように構成されたＧＰＳユニットを含んでもよい。
【００２１】
ビークル１０２は、音センサ１０４からの検出された音データに基づいてイベントを判別するように構成されてもよい。ビークル１０２は、イベントを識別するためにトレーニングデータ及び機械学習技術を使用してもよい。例えば、イベントは、クラッシュ音に基づくビークル事故、悲鳴に基づく惨事の兆候、発砲音に基づく狙撃、建物もしくは茂みが燃える音に基づく火災、爆発、又は人が発話した語の音に基づくその他のイベントであってよい。
【００２２】
本開示において更に説明するように、ビークル１０２が音と関連するイベントを識別したら、ビークル１０２は、識別されたイベントが緊急事態と関連するか否かを判別してもよい。緊急事態がイベントと関連してもよいとビークル１０２が判別したとき、ビークル１０２は、可能性のある緊急事態及び当該緊急事態の位置を報告するために、警察署、消防署又は民間のセキュリティ部署などの第三者に表明を通信してもよい。検出された音データ及びその他の補足データを通信してもよい。
【００２３】
例えば、音１０６は、音源位置１０８における発砲であってよい。ビークル１０２は、音センサ１０４を使用して、発砲と関連する音データを検出してもよい。ビークル１０２は、検出された音データが発砲と関連すると判別してもよく、発砲音が緊急事態と関連すると判別してもよい。したがって、ビークル１０２は、地域の警察署に表明を通信してもよい。連絡すべき適切な警察署を、ビークル１０２の位置に基づいて決定してもよい。
【００２４】
図２Ａから２Ｄは、複数のビークルで音監視及び報告システムを使用する例示的プロセスの俯瞰図である。ビークル２０２は、図１のビークル１０２と同様である。図には、リモートデータサーバ２１０、及び警察署として示される当局又は部局２１２も示す。
【００２５】
図２Ａに示すように、ビークル２０２は、音源位置２０８の付近にある。音源位置２０８において、音２０６が発せられる。音２０６は、ビークル２０２によって検出される。ビークル２０２の音センサ（例えば、音センサ１０４）は、音２０６と関連する音データを検出してもよい。ビークル２０２は、個別に、音２０６と関連するイベントを識別してもよく、識別されたイベントと緊急事態が関連するか否かを判別してもよい。又、ビークル２０２は、個別に、検出された音データに基づいて音位置データを決定してもよい。音位置データは、音源位置２０８又は検出された音の方向を含んでもよい。いくつかの実施形態において、本開示で説明するように、画像データ及び位置データなどの補足データを使用して、音位置データを決定してもよい。ビークル２０２は、ビークル２０２のそれぞれのＧＰＳユニットによって検出されたビークル位置データを使用して、音位置データを決定してもよい。
【００２６】
図２Ｂに示すように、ビークル２０２は、リモートデータサーバ２１０と通信してもよい。ビークル２０２は、緊急事態と関連する音が検出されたという表明（又は当該検出を示すもの）をリモートデータサーバ２１０へ通信してもよい。ビークル２０２は、更に、決定された音位置データを通信してもよい。いくつかの実施形態において、検出された音データは、当局又は部局２１２へ転送されるためにリモートデータサーバ２１０に通信される。いくつかの実施形態において、ビークル２０２は、検出された音データについて音分析を実施し、音分析データもリモートデータサーバ２１０に通信される。音分析データは、音２０６を発した火器のタイプ、音２０６を生じている火によって燃えている材料のタイプ、音２０６が悲鳴、叫び又はその他の発話された語であるときに検出された発話された語、又は音２０６を発した爆発物のタイプなど、音と関連する付加的情報を含んでもよい。
【００２７】
いくつかの実施形態において、複数のビークル２０２は、閾値精度の範囲内で音源位置２０８を決定できなくてもよく、代わりに個別に音源位置２０８と関連する範囲２２２を決定してもよい。例えば、第１のビークル２０２Ａは、音源位置２０８の第１の範囲２２２Ａを決定してもよい。第２のビークル２０２Ｂは、音源位置２０８の第２の範囲２２２Ｂを決定してもよい。第３のビークル２０２Ｃは、音源位置２０８の第３の範囲２２２Ｃを決定してもよい。第４のビークル２０２Ｄは、音源位置２０８の第４の範囲２２２Ｄを決定してもよい。複数の範囲２２２の重なりを音源位置２０８として決定してもよい。いくつかの実施形態において、リモートデータサーバ２１０がビークル２０２から範囲２２２を受信し、リモートデータサーバ２１０が音源位置２０８を決定する。いくつかの実施形態において、ビークル２０２は相互に通信することができ、範囲２２２は他のビークルに通信され、ビークル２０２のうちの１又は複数は、他のビークルとの共有範囲２２２に基づいて音源位置２０８を決定でき、決定された音源位置２０８は、リモートデータサーバ２１０に通信される。
【００２８】
いくつかの実施形態において、ビークル２０２は、閾値程度内の精度で音源位置２０８を決定できなくてもよく、その代わりに、音源位置２０８を決定するために、音を検出したビークルの位置を使用してもよい。例えば、第１のビークル２０２Ａは第１のビークル位置を有してもよく、第２のビークル２０２Ｂは第２のビークル位置を有してもよく、第３のビークル２０２Ｃは第３のビークル位置を有してもよく、第４のビークル２０２Ｄは第４のビークル位置を有してもよい。音源位置２０８が位置するおそれのあるエリアの境界としてビークル位置を使用することが、当局又は部局２１２が調査しかつ／又は援助を与えるのに十分に正確であることもある。いくつかの実施形態において、リモートデータサーバ２１０がビークル２０２からそれぞれの位置を受信し、リモートデータサーバ２１０が、音源位置２０８が位置するおそれのあるエリアの境界を決定する。いくつかの実施形態において、ビークル２０２は相互に通信することができ、それぞれのビークルの位置は相互に通信され、ビークル２０２のうちの１又は複数は、他のビークルの共有する位置に基づいて、音源位置２０８が位置するおそれのあるエリアの境界を決定することができ、音源位置２０８が位置するおそれのあるエリアの決定された境界は、リモートデータサーバ２１０に通信される。
【００２９】
図２Ｃに示すように、リモートデータサーバ２１０が、緊急事態と関連する音が検出されたという表明及び音位置データを受信したら、リモートデータサーバ２１０は、その後の表明を１つ又は複数のデバイスに通信する。リモートデータサーバ２１０は、緊急事態と関連する音が検出されたという表明及び音位置データを、当局又は部局２１２内のコンピューティングデバイスへ通信してもよい。例えば、当局又は部局２１２は、警察署であってよく、警察署は、１又は複数人の警察官を音源位置２０８に派遣してもよい。リモートデータサーバ２１０は、音と関連する、判別された緊急事態に基づいて、連絡すべき当局又は部局２１２を決定してもよい。例えば、判別された緊急事態が発砲である場合、警察署に連絡してもよい。別の実施例において、判別された緊急事態が火災である場合、消防署に連絡してもよい。ビークル２０２及び／又はリモートデータサーバ２１０が、緊急事態のタイプ及び／又は対応する連絡すべき当局又は部局を決定してもよい。
【００３０】
リモートデータサーバ２１０は、緊急事態と関連する音が検出されたという表明を通信してもよく、リモートデータサーバ２１０は当局又は部局と関連する１又は複数台の緊急ビークル２１４に音場所データを通信してもよい。例えば、緊急事態が発砲と関連する場合には、緊急ビークル２１４は、１又は複数台の警察ビークルであってよい。連絡すべき緊急ビークル２１４の決定は、緊急ビークル２１４の位置に基づいてもよい。例えば、音源位置２０８に一番近い緊急ビークルに連絡してもよく、又は音源位置２０８の特定半径内の全てのビークルに連絡してもよい。いくつかの実施形態において、リモートデータサーバ２１０は、どの１又は複数台の緊急ビークルに連絡すべきかを決定するために、１又は複数台の位置を知っている。緊急ビークル２１４は、リモートデータサーバ２１０からの音位置データの受信に応答して、音源位置２０８までの方向をターンバイターン式に、緊急ビークル２１４のドライバに自動的に与えてもよい。
【００３１】
リモートデータサーバ２１０は、緊急事態と関連する音が検出されたという表明を通信してもよく、リモートデータサーバ２１０は、音源位置２０８を１つ又は複数のモバイルデバイス２１６に通信してもよい。モバイルデバイス２１６は、ビークルと関連していてもよく、又は音源位置２０８の閾値距離内で働く又は居住する者と関連していてもよい。例えば、ビークル２０２のドライバ又は乗員に、音を発したおそれのあるもの、音の位置、及び当局又は部局に連絡済みであること、を知らせるために、ビークル２０２のドライバ又は乗員のモバイルデバイスに警報を発してもよい。別の実施例において、付近の住民は、その住宅の閾値距離内の緊急事態に関する自動警告をオプトイン又は了承してもよい。音を発したおそれのあるもの、音の位置、及び当局又は部局に連絡済みであること、の表明でもって、住民のモバイルデバイスにより、住民に警報を発してもよい。
【００３２】
図２Ｄは、ビークル２０２が、緊急事態と関連する音が検出されたという表明及び音源位置２０８を当局又は部局２１２と直接通信する実施形態を示す。ビークル２０２は、ビークルのそれぞれの位置に基づいて、及びマップデータを使用して最寄りの当局又は部局２１２を決定することによって、連絡すべき当局又は部局を決定してもよい。このようにして、リモートデータサーバ２１０の関与が不要にされ、当局又は部局２１２との通信を容易にするのにリモートデータサーバ２１０が使用される場合よりも速やかに、当局又は部局２１２に通知してもよい。この実施例において、コンピュータ計算の実質的に全てが複数のビークル２０２によって実施されるので、コンピュータ計算の実質的に全てがリモートデータサーバ２１０によって実施されるシステムに比べて、コンピュータ計算の効率が改良される。リモートデータサーバ２１０を使用する図２Ｂ及び２Ｃに示すプロセスにおいても、コンピュータ計算のほとんどがビークルによって実施されるので、リモートデータサーバ２１０がコンピュータ計算の実質的に全てを実施するシステムに比べて、コンピュータ計算の障害が実質的に減少したシステムが得られる。
【００３３】
いくつかの実施形態において、閾値数のビークル（例えば、少なくとも３台）が緊急事態の検出の同様の識別を通信しない限り、リモートデータサーバ２１０は、緊急事態と関連する音が検出されたという表明を当局又は部局２１２、緊急ビークル２１４又はモバイルデバイス２１６に通信しなくてもよい。このようにして、他のビークルは、単一ビークルからの緊急イベントの検出を裏付ける機能を果たしてもよい。
【００３４】
このような状況において、リモートデータサーバ２１０は、互いに異なるイベントの識別を受信する可能性がある。例えば、リモートデータサーバ２１０が第１のビークルから爆発の識別を受信する可能性があり、リモートデータサーバ２１０が第２のビークルから火災の識別を受信する可能性がある。いくつかの実施形態において、リモートデータサーバ２１０は、全ての識別されたイベントと関連する当局又は部局の全てに連絡する。実施例において、リモートデータサーバ２１０は、第１のビークルから受信した識別に基づいて警察署に連絡してもよく、第２のビークルから受信した識別に基づいて消防署へも連絡してよい。いくつかの実施形態において、リモートデータサーバ２１０がビークル２０２から異なるイベントの識別を受信した場合、９１１などのデフォルトの当局又は部局に連絡される。いくつかの実施形態において、リモートデータサーバ２１０は、ビークル２０２から受信したイベントの識別の数に基づいて、連絡すべき当局又は部局を決定する。例えば、リモートデータサーバ２１０が火災の識別を３つ及び発砲の識別を１つ受信した場合、リモートデータサーバ２１０は、火災と関連する当局又は部局（例えば、消防署）に連絡してもよい。
【００３５】
緊急事態を検出したビークル２０２が自律運転又は半自律運転ビークルである場合、ビークル２０２は、緊急事態の位置から離れる方向に自動的に運転してもよい。いくつかの実施形態において、自律又は半自律ビークルが、検出された音データが緊急事態と関連すると判別したら、ビークルは、緊急イベントの位置から離れる方向に自動的に運転される。いくつかの実施形態において、自律又は半自律ビークルは、検出された音データが実際に緊急事態と関連するという確認又は承認をリモートデータサーバ２１０から受信し、これに応答して、自律又は半自律ビークルは、緊急イベントの位置から離れる方向に自動的に運転される。
【００３６】
図３は、システム３００のブロック図である。システム３００は、図１に示すビークル１０２及び図２に示すビークル２０２と同様のビークル３０２を含む。
【００３７】
ビークル３０２は、自動又は手動トランスミッションを有してもよい。ビークル３０２は、人、物体、又は永久的もしくは一時的に付加された装置を運搬することが可能な輸送機関である。ビークル３０２は、乗用車、スポーツユーテリティビークル、トラック、バス、バン又はその他のモータ又はバッテリ駆動式ビークルなどの自動推進ホイール付き輸送機関であってよい。例えば、ビークル３０２は、電動ビークル、ハイブリットビークル、プラグインハイブリッドビークル、燃料電池ビークル、又はモータ／ジェネレータを含む他の任意のタイプのビークルであってよい。ビークルの他の例は、自転車、列車、飛行機又はボート及び輸送能力を持つ他の形式の輸送機関を含む。ビークル３０２は、半自律ビークル又は自律ビークルであってよい。即ち、ビークル３０２は、自動操縦であってよく、人によるインプットなしに航行してもよい。自律ビークルは、自律的に運転するために１つ又は複数のセンサ及び／又はナビゲーションユニットを使用してもよい。
【００３８】
ビークル３０２は、ＥＣＵ３０４であって、音センサ３０６、トランシーバ３０８、メモリ３１０、カメラ３１１及びＧＰＳユニット３３０に接続されたＥＣＵ３０４を含む。ＥＣＵ３０４は、ビークルの１つ又は複数の作動を制御するために適切にプログラミングされた１つ又は複数のＥＣＵであってよい。１つ又は複数のＥＣＵ３０４は、単一のＥＣＵ又は複数のＥＣＵとして実装されてもよい。ＥＣＵ３０４は、ビークルの構成要素のいくつか又は全てに電気結合されてもよい。いくつかの実施形態において、ＥＣＵ３０４は、ビークル全体の１つ又は複数の作動を制御するように構成された中央ＥＣＵである。いくつかの実施形態において、ＥＣＵ３０４は、ビークル内に配置された複数のＥＣＵであり、各々はビークルの１つ又は複数の局部的作動を制御するように構成される。いくつかの実施形態において、ＥＣＵ３０４は、非一時的メモリ３１０に記憶された命令を実行するように構成された１つ又は複数のコンピュータプロセッサ又はコントローラである。
【００３９】
音センサ３０６は、１つ又は複数の音センサ（例えば、音センサ１０４）を含んでもよい。本開示において説明するように、音センサ３０６は、１つ又は複数のマイクロフォン、又は音データもしくは可聴データを検出するように構成されたその他のデバイスであってよい。音センサ３０６は、ビークル３０２の前部、ビークル３０２の頂部及び／又はビークル３０２の後部などビークル３０２の任意の場所に配置されてもよい。音センサ３０６は、ビークルに対する方向のあらかじめ定められた範囲内の音を検出するように構成された複数の指向性音センサであってよい。指向性音センサが使用される場合、音検出の強さを比較することによって、音源位置のおおよその位置及び方向を決定してもよい。
【００４０】
ビークル３０２は、ネットワークに結合されてもよい。ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、セルラネットワーク、デジタル短距離通信（ＤＳＲＣ）、インターネット又はこれらの組合せなどのネットワークが、ビークル３０２をリモートデータサーバ３１２に接続する。
【００４１】
トランシーバ３０８は、ＷｉＦｉユニット、Ｂｌｕｅｔｏｏｔｈ（登録商標）ユニット、無線認識（ＲＦＩＤ）タグもしくはリーダ、ＤＳＲＣユニット、又はセルラネットワーク（３Ｇ又は４Ｇなど）にアクセスするためのセルラーネットワークユニットのうちの１又は複数などの、通信ポートまたはチャンネルを含んでもよい。トランシーバ３０８は、ビークルに物理的に接続されないデバイス及びシステムとの間でデータを送受信してもよい。例えば、ＥＣＵ３０４は、リモートデータサーバ３１２と通信してもよい。更に、トランシーバ３０８は、リモートデータサーバ３１２も接続されるネットワークにアクセスしてもよい。
【００４２】
ＧＰＳユニット３３０は、ＥＣＵ３０４に接続され、位置データを決定するように構成される。ＥＣＵ３０４は、ビークルの位置を決定するためにメモリに記憶されたマップデータと一緒に位置データを使用してもよい。他の実施形態において、ＧＰＳユニット３３０は、マップデータにアクセスでき、ビークルの位置を決定してもよく、ビークルの位置をＥＣＵ３０４に提示してもよい。
【００４３】
ＥＣＵ３０４は、音と関連する音位置データを決定するために、ＧＰＳユニット３３０からの位置データ及び検出された音の方向及び距離を使用してもよい。ＥＣＵ３０４は、ＧＰＳユニットを使用してビークル３０２の位置を１又は複数の他のビークル３０２及び／又はリモートデータサーバ３１２に単に提示してもよく、したがって１又は複数の他のビークル３０２及び／又はリモートデータサーバ３１２はビークル３０２の位置データを使用して音源位置を決定してもよい。
【００４４】
メモリ３１０は、ＥＣＵ３０４に接続され、ビークルの他の任意の構成要素に接続されてもよい。メモリ３１０は、音データ、画像データ、マップデータ、位置データ、及びビークル３０２のトランシーバ３０８を介してリモートデータサーバ３１２から受信した任意のデータなど、本開示において説明する任意のデータを記憶するように構成してもよい。メモリ３１０は、特定の識別されたイベントが緊急事態であるか否かを示す表を記憶してもよい。又、メモリ３１０は、音データに基づいてイベントを識別するためにＥＣＵ３０４によって使用される複数の音プロフィルを記憶してもよい。
【００４５】
いくつかの実施形態において、ＥＣＵ３０４は、より最新の検出されたデータが利用可能なデータ記憶スペースを作るために、閾値時間量が経過した後に、記憶されたデータ（例えば、記憶された音データ及び画像データ）をメモリ３１０から周期的に消去する。例えば、音データ及び／又は画像データが検出されてから１時間後、ＥＣＵ３０４は、検出された音データ及び／又は画像データを消去するようメモリ３１０に命令してもよい。
【００４６】
音位置データ、緊急事態と関連する音が検出されたという表明、ビークル位置データ、画像データ、補足データ及び／又は音データを、ビークル３０２のトランシーバ３０８及びリモートデータサーバ３１２のトランシーバ３１６を介してビークル３０２からリモートデータサーバ３１２に通信してもよい。
【００４７】
リモートデータサーバ３１２は、トランシーバ３１６及びメモリ３１８に接続されたプロセッサ３１４を含む。プロセッサ３１４（及び本開示において説明する任意のプロセッサ）は、非一時的メモリに記憶された命令を実行するように構成された１つまたは複数のコンピュータプロセッサであってよい。メモリ３１８は、音位置データ、緊急事態と関連する音が検出されたという表明、ビークル位置データ、画像データ、補足データ及び／又は音データなど、音検出及び発生と関連するデータを記憶するように構成された非一時的メモリであってよい。メモリ３１８は、ビークルから受信した識別されたイベントに対応する当局及び部局の表を記憶してもよい。プロセッサ３１４は、ビークル３２０から受信した識別されたイベントに対応する当局又は部局を決定するためにメモリ３１８によって記憶された表を使用してもよい。トランシーバ３１６は、トランシーバ３０８と同様にデータを送受信するように構成されてもよい。
【００４８】
リモートデータサーバ３１２のプロセッサ３１４は、音源位置がビークル３０２によってリモートデータサーバ３１２に提示されないときに音源位置を決定するように構成されてもよい。いくつかの実施形態において、ビークル３０２（ビークル３０２と同様の他の１又は複数台のビークルと一緒に）は、音源位置がありうる範囲（例えば、範囲２２２）をリモートデータサーバ３１２に通信する。リモートデータサーバ３１２のプロセッサ３１４は次いで、複数のビークルから受信した範囲に基づいて音源位置を決定してもよい。いくつかの実施形態において、ビークル３０２（ビークル３０２と同様の１又は複数台の他のビークルと一緒に）は、ビークル位置をリモートデータサーバ３１２に通信する。リモートデータサーバ３１２のプロセッサ３１４は、複数のビークル位置を使用して、音源位置が位置しうるエリアの境界を決定してもよい。
【００４９】
リモートデータサーバ３１２は、当局又は部局３２０、モバイルデバイス３２２及び／又は緊急ビークル３２４のコンピューティングデバイスに通信可能に結合されてもよい。リモートデータサーバ３１２は、リモートデータサーバ３１２が、ビークル３０２から緊急事態と関連する音の表明を受信した後に、１又は複数のデバイスにその後の表明を通信してもよい。
【００５０】
当局又は部局３２０は、サービス部局又は政府当局であってよい。例えば、当局又は部局３２０は警察署であってよく、警察署は、リモートデータサーバ３１２からの通信を受信した後に音源位置に１又は複数人の警察官を派遣してもよい。いくつかの実施形態において、リモートデータサーバ３１２のメモリ３１８は、所与の状況について連絡すべき当局又は部局の表を記憶してもよく、リモートデータサーバ３１２のプロセッサ３１４は、状況に基づいて連絡すべき当局又は部局３２０を決定してもよい。例えば、判別された緊急事態が発砲である場合、警察署に連絡されてもよい。別の実施例において、判別された緊急事態が火災である場合、消防署に連絡されてもよい。いくつかの実施形態において、ビークル３０２のメモリ３１０は、所与の状況について連絡すべき当局又は部局の表を記憶してもよく、ビークル３０２のＥＣＵ３０４は、状況に基づいて連絡すべき当局又は部局３２０を決定してもよい。
【００５１】
１台のビークル３０２しか図示しないが、任意の数のビークルを使用してもよい。同様に、１つのリモートデータサーバ３１２しか示さないが、相互に通信する任意の数のリモートデータサーバを使用してもよい。複数のリモートデータサーバに亘って記憶されるデータの記憶容量を増大するために、又は複数のリモートデータサーバに亘って計算負荷を分散することによってリモートデータサーバのコンピュータ計算効率を向上するために、複数のリモートデータサーバを使用してもよい。リモートデータサーバ３１２のプロセッサ３１４が検討する音源位置データ、ビークルデータ、音データ、補足データ及びビークル位置データのロバスト性を向上するために複数のビークルを使用してもよい。
【００５２】
本開示において使用される場合、「ユニット」は、非一時的メモリに記憶された命令を実行するように構成された１つまたは複数のコンピュータプロセッサ、コントローラ又はコンピューティングデバイスなどのハードウェア構成要素を意味してもよい。
【００５３】
図４は、音を検出し監視するためのプロセスのフローチャート４００である。ビークル（例えば、ビークル３０２）の音センサ（例えば、音センサ３０６）は、音データを検出する（ステップ４０２）。音センサは、ビークルの外部に配置された１つ又は複数のマイクロフォンであってよい。
【００５４】
ビークルのＥＣＵ（例えば、ＥＣＵ３０４）は音センサに接続され、ＥＣＵは検出された音データに基づいてイベントを識別する（ステップ４０４）。ＥＣＵは、イベントを識別するために、検出された音データを既知音のデータベースと比較してもよい。いくつかの実施形態において、検出された音データに基づいてイベントを識別するために、ＥＣＵによって機械学習が使用される。
【００５５】
ＥＣＵは、識別されたイベントが緊急事態と関連するか否かを判別する（ステップ４０６）。いくつかの実施形態において、ＥＣＵは、イベント及びイベントが緊急事態か否かの表を記憶するメモリ（例えば、メモリ３１０）に接続される。
【００５６】
ＥＣＵは、検出された音データに基づいて音位置データを決定する（ステップ４０８）。いくつかの実施形態において、音位置データは、検出された音データの源となる位置の表明を含む。いくつかの実施形態において、音位置データは、検出された音データの源となる位置のおおよその範囲を含む。いくつかの実施形態において、音位置データは、音データの源となる位置のビークルに対する概ねの方向を含む。音位置データは、ビークルの複数の音センサからの音データの検出に基づいてＥＣＵによって決定されてもよい。音センサを分離するタイミング及び距離を使用して、検出された音データが進行した距離を算定してもよい。
【００５７】
識別されたイベントが緊急事態と関連するとＥＣＵが判別すると、ビークル内部に配置されたディスプレイ画面は、緊急事態検出の警告及び緊急事態の位置の表明を、ドライバに表示してもよい。ディスプレイ画面は、ビークルのインフォテイメントユニットの一部であってよい。ディスプレイ画面は、ビークルのＥＣＵに通信可能に結合されるモバイルデバイスのディスプレイ画面であってよい。
【００５８】
ビークルのトランシーバ（例えば、トランシーバ３０８）は、緊急事態の表明、識別されたイベント及び音位置データをリモートデータサーバ（例えば、リモートデータサーバ３１２）に通信する（ステップ４１０）。リモートデータサーバは、識別されイベントと関連する当局又は部局を決定する（ステップ４１２）。リモートデータサーバは、特定の識別されたイベントに対応する当局又は部局の表を記憶するように構成されたメモリ（例えば、メモリ３１８）を有してもよい。リモートデータサーバのプロセッサは、受信した識別されたイベントに対応する当局又は部局を決定するためにメモリにアクセスしてもよい。
【００５９】
リモートデータサーバは、識別されたイベント及び音位置データを当局又は部局と関連するデバイス（ステップ４１４）に通信する（ステップ４１４）。当局又は部局と関連するデバイスは、当局又は部局のコンピュータ、モバイルデバイス又はビークルであってよい。
【００６０】
方法／システムの模範的実施形態を例示的に開示した。したがって、全体を通じて使用される用語は、非限定的に解釈すべきである。本開示の教示に対する些細な修正が、当業者には思い浮かぶだろうが、本特許の範囲内に含まれると意図しているのは、本出願が寄与する技術の進歩の範囲内に当然に属する全ての実施形態であり、その範囲は、特許請求の範囲及びその均等に則する以外に、限定されないものとする。
【図１】
2020098572.tif 000003
【図２Ａ】
2020098572.tif 000004
【図２Ｂ】
2020098572.tif 000005
【図２Ｃ】
2020098572.tif 000006
【図２Ｄ】
2020098572.tif 000007
【図３】
2020098572.tif 000008
【図４】
2020098572.tif 000009
【外国語明細書】
2020098572000001.pdf