(57)【要約】  本方法及び／又はシステムは、センサ、マシンラーニングセンタ（ＭＬＣ）、及びクラウドベースネットワーク（ＣＢＮ）を含むバーチャスサイクルによってトレーニングされた推測注意（ＩＡ）モデルによるメタデータ抽出を通して、車両安全性を改善することができる。一態様では、システムは、外向きカメラ、内向きカメラ、及び車両搭載コンピュータ（ＶＯＣ）一式を含む。外向きカメラは、車両が動作する周囲環境を表す外部画像を収集する。内向きカメラは、少なくともオペレータの注意を表すオペレータの顔の表情を含む内部画像を収集する。車両搭載コンピュータ（ＶＯＣ）は、収集された内部画像及び収集された外部画像に応じて、オペレータの注意を識別するように構成される。【選択図】図１Ａ
2019530061.tif 000002
【特許請求の範囲】
【請求項１】
推測注意モデルにより管理されるメタデータ抽出を通じて、安全性を高めるシステムであって、
車両に搭載され、前記車両が動作する周囲環境を表す外部画像を収集する、複数の外向きカメラと、
前記車両の内部に搭載され、少なくとも、オペレータの注意を表す前記オペレータの顔の表情を含む内部画像を収集する、複数の内向きカメラと、
前記複数の外向きカメラ及び前記複数の内向きカメラに接続され、収集された前記内部画像及び収集された前記外部画像に応じて、前記オペレータの注意を識別するように構成された、車両搭載コンピュータ（ＶＯＣ）と、を備えるシステム。
【請求項２】
前記車両搭載コンピュータ（ＶＯＣ）に接続され、音声データに関連付けられたメタデータを提供するように構成された、複数の音声センサを、更に備える請求項１に記載のシステム。
【請求項３】
前記複数の音声センサは、前記車両の外側の外部音を収集する外部音声センサと、前記車両の内側の内部音を収集する内部音声センサと、を含む、請求項２に記載のシステム。
【請求項４】
前記外部画像を収集することは、道路、建物、信号機、歩行者、及び小売業者のうちの少なくとも１つに関連付けられたリアルタイム画像を取得することを含む、請求項１に記載のシステム。
【請求項５】
前記内部画像を収集することは、オペレータの視線、顔の表情、運転者、及び通路のうちの少なくとも１つに関連付けられたデータを取得する１組の内部センサを含む、請求項１に記載のシステム。
【請求項６】
前記オペレータの視線、顔の表情、運転者、及び通路のうちの少なくとも１つに関連付けられるデータを取得することは、少なくとも１つのカメラを含み、前記オペレータが見ている方向を検出することができる、請求項５に記載のシステム。
【請求項７】
前記車両搭載コンピュータ（ＶＯＣ）は、クラウドデータと通信可能なインターネットに無線で接続される、請求項１に記載のシステム。
【請求項８】
前記車両搭載コンピュータ（ＶＯＣ）は、前記推測注意モデルを修正するためにバーチャスサイクルと通信するように構成される、請求項１に記載のシステム。
【請求項９】
前記オペレータの注意を識別するように構成された前記車両搭載コンピュータ（ＶＯＣ）は、前記内向きカメラによって収集された前記オペレータが見ている方向と、前記外向きカメラによって取得された外部オブジェクトと、に基づいて、前記オペレータが何を見ているかを識別可能なパイプラインプロセッサを含む、請求項１に記載のシステム。
【請求項１０】
前記車両搭載コンピュータ（ＶＯＣ）は、前記外向きカメラによって取得された前記外部画像及び前記内向きカメラによって収集された前記内部画像に基いて警告音を発することができる警告部品を提供する、請求項９に記載のシステム。
【請求項１１】
推測注意（ＩＡ）モデルによって処理されるメタデータ抽出を通して車両の動作を支援する方法であって、
前記車両が動作する地理的環境を表す外部周囲画像を記録するために、車両に搭載された１組の外向きカメラを起動するステップと、
前記車両の内部画像を収集するために、車両に搭載された１組の内向きカメラのうちの少なくとも１つを選択的に動作可能にするステップと、
前記推測注意（ＩＡ）モデルが管理する前記内部画像及び格納データに基づいて、オペレータの視線で焦点を合わせる目標方向を特定するステップと、
前記外部周囲画像及び前記目標方向に応じて外部目標を決定するステップと、
前記外部目標及び前記推測注意（ＩＡ）モデルによって供給される情報に基づいて、前記オペレータの視線が見ているオブジェクトを特定するステップと、を備える方法。
【請求項１２】
バーチャスサイクルで育成された前記推測注意（ＩＡ）モデルが提供する前記外部周囲画像や情報に応じて周囲環境事象を追跡するステップを、更に含む、請求項１１に記載の方法。
【請求項１３】
前記周囲環境事象に応答して車両衝突の可能性を識別するステップを更に含む、請求項１２に記載の方法。
【請求項１４】
前記車両衝突の可能性が判断された場合に、空間相関音声警告を前記オペレータに提供するステップを更に含む、請求項１３に記載の方法。
【請求項１５】
前記空間相関音声警告が起動されたときに、内部エンターテイメントボリュームの自動調整を提供するステップを更に含む、請求項１４に記載の方法。
【請求項１６】
前記車両衝突の可能性が判断された場合に、空間相関視覚的警告をオペレータに提供することを更に含む、請求項１３に記載の方法。
【請求項１７】
クラウドコンピューティングを通して、前記バーチャスサイクルによってトレーニングされる前記推測注意（ＩＡ）モデルによって促進される１組の所定の衝突回避ポリシーに従って、衝突の可能性を回避するように前記車両の移動方向を調整するステップを更に含む、請求項１３に記載の方法。
【請求項１８】
埋め込みセンサによって生成されるメタデータを通して差し迫った機械故障の予測を容易にする方法であって、
機械部品から前記メタデータを収集するために、車両の内部の機械部品に取り付けられた少なくとも１つの前記埋め込みセンサを起動するステップと、
ローカルパイプライン処理ユニットによって前記メタデータを処理することで、メタデータフォーマットを転送可能なメタデータフォーマットに変換するステップと、
前記機械部品に関連付けられた複数の故障サンプルに従って、無線通信ネットワークを通して前記変換されたメタデータをクラウドにアップロードし、変換されたメタデータを分析することを含む故障予測モデルをトレーニングするために、ステップと、
機械の故障が差し迫っていることを示す故障予測を前記車両に追加するステップと、
を備える方法。
【請求項１９】
前記車両が動作する外部の地理的環境に関連付けられた画像の所定のセットを集約するための、複数の外向きビデオカメラを起動するステップと、
必要な保守を検出するために、前記集約された画像を、無線通信ネットワークを通してクラウドにアップロードするステップと、を更に備える請求項１８に記載の方法。
【請求項２０】
注意状態の識別を容易にする方法であって、
車両の外部の第１のコンテキスト状態を表す第１のリアルタイムオブジェクトモデルを構築するように構成された、第１のソフトウェアアプリケーション層を提示するステップと
前記車両の内部の第２のコンテキスト状態を表す第２のリアルタイムオブジェクトモデルを構築するように構成された、第２のソフトウェアアプリケーション層を提示するステップと、
前記車両の乗員の前記注意状態を表す第３のリアルタイムオブジェクトモデルを構築するために第３のソフトウェアアプリケーションを生成するステップと、
前記第１のコンテキスト状態及び前記第２のコンテキスト状態と前記車両の乗員の前記注意状態との間の関係に従って注意状態を判断するステップと、を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
＜優先権の主張＞
本出願は、２０１６年８月１０日出願の米国仮特許出願第６２／３７２，９９９号である「収集され格納されたメタデータを用いて情報を提供する方法及びシステム」に基づく優先権を主張し、その全体を参照して本明細書に組み込まれる。
【０００２】
本発明は通信ネットワークの分野に関し、特にクラウド、マシンラーニング、及びコンテナ化センサの間のバーチャスサイクルを使用してインテリジェントを動作させることに関する。
【背景技術】
【０００３】
電子機器、ＩｏＴ（Internet of Things）、スマートビークル、スマートフォン、ドローン、モバイルデバイス、飛行機、人工知能（ＡＩ）などの自動化及びインテリジェント電子デバイスの人気が高まるにつれて、インテリジェント機械及びより高速なリアルタイム応答の需要が増加している。マシンラーニングを適切に行うためには、データ管理、モデルトレーニング、データ収集などのかなり多くの部分を改良する必要がある。
【０００４】
従来のマシンラーニングのタイプは、それ自体、畳み込み、ＲＮＮ（recurrent neural network）などの異なる種類のモデルを試行することを含む得る探索プロセスである。マシンラーニング又はトレーニングは、通常、モデル及びトレーニング特性の形態を変化させる多種多様なハイパーパラメータに関係する。モデルトレーニングは一般に、集中的な計算を必要とする。したがって、マシンラーニングモデルを介したリアルタイム応答は困難な場合がある。
【０００５】
従来の自動車や車両に関連する欠点は、車両が、通常、それが動作する状況や環境の限られた知見だけで何らかの決定を行うことである。又、ユーザ又はオペレータエクスペリエンスの作成に関して車両ができ得ることは限定的である。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の一実施形態は、センサ、マシンラーニングセンタ（ＭＬＣ）、及びクラウドベースネットワーク（ＣＢＮ）を含むバーチャスサイクルによってトレーニングされたＩＡモデルによるメタデータ抽出を通して車両安全性を高めることができる方法及び／又は推測注意システム（ＩＡＳ）を開示する。一態様では、ＩＡＳは、外向きカメラ、内向きカメラ、及び車両搭載コンピュータ（ＶＯＣ）のセットを含む。外向きカメラは、車両が動作する周囲環境を示す外部画像を収集する。外部画像を収集するステップは、道路、建物、信号機、歩行者、及び小売業者のうちの少なくとも１つに関するリアルタイム画像を取得するステップを含む。
【０００７】
内向きカメラは、少なくともオペレータの注意を示しているオペレータの顔の表情を含む内部画像を収集する。内部画像を収集するステップは、オペレータの視線、表情、運転者、及び通路のうちの少なくとも１つに関するデータを取得することができる１組の内部センサを含む。オペレータの視線、表情、運転者、及び通路のうちの少なくとも１つに関する取得データは、オペレータが見ている方向を検出することができる少なくとも１つのカメラを更に含む。
【０００８】
ＶＯＣは、収集された内部画像及び収集された外部画像に応答して、オペレータの注意を識別するように構成される。一態様では、ＶＯＣは、ＩＡモデルを修正するためのバーチャスサイクルなどのクラウドデータと通信することができるインターネットに無線で接続される。ＶＯＣは、内部カメラによって収集されたオペレータが見ている方向及び外部カメラによって取り込まれた外部オブジェクトに基づいて、オペレータが見ているものを識別することができるパイプラインプロセッサを含む。更に、ＶＯＣは、外部カメラによって取得された外部データと、内部カメラによって収集された内部データとに基づいて警告音を発することができる警告コンポーネントを有する。
【０００９】
システム、すなわちＩＡＳは、ＶＯＣに結合され、音声データに関するメタデータを提供するように構成された１組の音声センサも含む。音声センサは、車両の外側の外部音を収集する外部音声センサと、車両の内側の内部音を収集する内部音声センサとを含む。
【００１０】
本発明の一実施形態では、ＩＡによって処理されるメタデータ抽出を通して車両動作を支援する方法を開示する。この方法は、車両が動作する地理的環境を表す外部周囲画像を記録するために、車両に搭載された１組の外向きカメラを起動することができる。更に、車両に搭載された１組の内向きカメラのうちの少なくとも１つは、車両の内部画像を収集するために選択的に作動する。内部画像とＩＡモデルが管理する記憶データとに基づいて、オペレータの視線が焦点を合わせる目標方向を特定すると、外部周囲画像と目標方向とに応じて、外部目標が決定される。オペレータの視線が見ている物体は、外部目標と、ＩＡモデルによって供給される情報とに基づいて識別される。
【００１１】
バーチャスサイクルによってトレーニングされたＩＡモデルによって提供される外部周囲画像及び情報に従って周囲環境事象を追跡し監視した後、周囲環境事象に応答して車両衝突の可能性が識別される。一実施形態では、本方法は、車両衝突の可能性が判定された場合に、空間相関音声警告をオペレータに提供することができる。又、この方法は、空間相関音声警告が活性化されたときに、室内エンターテイメントボリュームの自動調整を提供する。車両衝突の可能性が判断された場合に、空間相関視覚的警告をオペレータに提供すると、プロセスは、クラウドコンピューティングを介したバーチャスサイクルによってトレーニングされるＩＡモデルによって容易となる１組の所定の衝突回避手段に従って、衝突を回避するように車両の移動方向を調整することができる。
【００１２】
本発明の他の実施形態では、埋め込みセンサによって生成されたメタデータを通して差し迫った機械故障の予測を容易にするプロセスを開示する。このプロセスは、例えば、機械部品からメタデータを収集するために、車両内の機械部品に取り付けられた少なくとも１つの埋め込みセンサを作動させることができる。ローカルパイプライン処理ユニットでメタデータを処理することにより、メタデータフォーマットを転送可能なメタデータフォーマットに変換した後、プロセスは、無線通信ネットワークを通して変換されたメタデータをクラウドにアップロードする。そして、機械部品に関連付けられた複数の故障サンプルに従って、変換されたメタデータを分析することを含む、故障予測モデルをトレーニングする。故障予測は、差し迫った機械故障を示すために車両に追加されてもよい。車両が動作する外部の地理的環境に関連付けられた所定の画像一式を集計するために、外向きビデオカメラのセットを起動すると、集計された画像は、必要な保守を検出するために、無線通信ネットワークを通してクラウドにアップロードされる。
【００１３】
本発明の一実施形態は、注意状態の識別を容易にすることができる。車両の外部の第１のコンテキスト状態を表す第１のリアルタイムオブジェクトモデルを構築するように構成された第１のソフトウェアアプリケーション層に提示すると、車両の内部の第２のコンテキスト状態を表す第２のリアルタイムオブジェクトモデルを構築するように構成された第２のソフトウェアアプリケーション層が提示される。車両の乗員の注意状態を表す第３のリアルタイムオブジェクトモデルを構築するための第３のソフトウェアアプリケーションを生成した後、第１のコンテキスト状態及び第２のコンテキスト状態と乗員の注意状態との間の関係に従って、注意状態が決定される。
【００１４】
本発明の一実施形態の更なる特徴及び効果は、以下の詳細な説明、図面、及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１５】
本発明の一実施形態は、以下に与えられる詳細な説明、及び本発明の様々な実施形態の添付の図面からより完全に理解されるが、これらの実施形態は、本発明を特定の実施形態に限定するものではなく、説明及び理解のためだけのものであると解釈されるべきである。
【００１６】
【図１Ａ】本発明の一実施形態によるバーチャスサイクルによってトレーニングされたＩＡモデルを通して、推測注意システム（ＩＡＳ）を容易にするバーチャスサイクルが、オペレータの注意を識別することを可能とすることを示すブロック図である。
【図１Ｂ】本発明の一実施形態によるバーチャスサイクルによってトレーニングされたＩＡモデルを通して、推測注意システム（ＩＡＳ）を容易にするバーチャスサイクルが、オペレータの注意を識別することを可能とすることを示すブロック図である。
【図１Ｃ】本発明の一実施形態によるバーチャスサイクルを通して、内向きカメラ及び外向きカメラを使用する様々な部品を含む、ＩＡモデルを示すブロック図である。
【図１Ｄ】本発明の一実施形態によるバーチャスサイクルを通して、内向きカメラ及び外向きカメラを使用する様々な部品を含む、ＩＡモデルを示すブロック図である。
【図１Ｅ】本発明の一実施形態によるバーチャスサイクルを通して、内向きカメラ及び外向きカメラを使用する様々な部品を含む、ＩＡモデルを示すブロック図である。
【図１Ｆ】本発明の一実施形態によるバーチャスサイクルを使用して検出された物体を識別し分類することができる外向きカメラのパイプラインプロセスを示すブロック図である。
【図１Ｇ】本発明の一実施形態によるバーチャスサイクルを使用して検出された物体を識別し分類することができる外向きカメラのパイプラインプロセスを示すブロック図である。
【図１Ｈ】本発明の一実施形態によるバーチャスサイクルを使用して検出された物体を識別し分類することができる外向きカメラのパイプラインプロセスを示すブロック図である。
【図２Ａ】本発明の一実施形態によるＩＡモデル検出を容易にすることができるバーチャスサイクルを示すブロック図である。
【図２Ｂ】本発明の一実施形態によるＩＡモデル検出を容易にすることができるバーチャスサイクルを示すブロック図である。
【図３】本発明の一実施形態によるＩＡモデルを改善するためのクラウドソーシングアプローチを使用するクラウドベースのネットワークを示すブロック図である。
【図４】本発明の一実施形態によるバーチャスサイクルを利用するＩＡモデルやシステムを示すブロック図である。
【図５】本発明の一実施形態に従うＩＡデータを関連付けされたさせるプロセスの一例を示すブロック図である。
【図６】本発明の一実施形態によるＩＡモデルのリアルタイムデータ管理のプロセスの一例を示すブロック図である。
【図７】クラウドソースアプリケーションモデルを示すブロック図である。
【図８】本発明の一実施形態による地理空間格納装置を用いてＩＡ関連データを格納する方法を示すブロック図である。
【図９】本発明の一実施形態によるＩＡデータを分析する分析エンジンのアプローチの一例を示すブロック図である。
【図１０】本発明の１つの実施形態によるＩＡ関連情報を感知するために使用されるコンテナ化センサネットワークの一例を示すブロック図である。
【図１１】本発明の一実施形態によるバーチャスサイクルを容易にするための車両に搭載可能な処理装置又はコンピュータシステムを示すブロック図である。
【図１２】本発明の一実施形態による、オペレータの注意を識別することができるＩＡモデルやシステムのプロセスを示すフローチャートである。
【発明を実施するための形態】
【００１７】
本発明の一実施形態は、クラウドベースのネットワーク、コンテナ化されたセンシングデバイス、及びマシンラーニングセンタ（ＭＬＣ）を含むバーチャスサイクルによって連続的にトレーニングされたＩＡモデルを使用して、推測注意システム（ＩＡＳ）を通してオペレータの注意の検出を容易にするための方法及び／又は装置に関して本明細書で説明される。
【００１８】
以下の詳細な説明の目的は、本発明の１つ以上の実施形態の理解を提供することである。当業者は、以下の詳細な説明が例示に過ぎず、決して限定することを意図しないことを理解するであろう。他の実施形態は、本開示及び／又は説明の利益を有する当業者に自らを容易に示唆するであろう。
【００１９】
ここに記述されている実施形態の手順の特長が、全てを説明してはいないことは、明確である。当然のことながら、そのような実際の実装の開発では、アプリケーション及びビジネス関連の制約の遵守など、開発者の特定の目標を達成するために、多数の実装固有の決定を行うことができ、これらの特定の目標は、実装ごとに、又開発者ごとに異なることが理解されよう。更に、そのような開発努力は複雑で時間がかかるかもしれないが、それにもかかわらず、本開示の実施形態（複数可）の利益を有する当技術分野の通常の技能を有する者にとっては、日常的な工学の仕事であることは理解されるであろう。
【００２０】
図面に示される本発明の様々な実施形態は、一定の縮尺で描かれていない場合がある。むしろ、様々な特徴の寸法は、明確にするために拡大又は縮小することができる。更に、図面のいくつかは、明瞭化のために簡略化されている。従って、図面は、所与の装置（例えば、デバイス）又は方法の構成要素のすべてを示すとは限らない。尚、図面全体及び以下の詳細な説明を通して、同一の図面の符号は、同一又は同様の部分を指し示すために、使用される。
【００２１】
本発明の実施形態によれば、本明細書で説明するコンポーネント、プロセスステップ、及び／又はデータ構造は、様々なタイプのオペレーティングシステム、コンピューティングプラットフォーム、コンピュータプログラム、及び／又は汎用マシンを使用して実装することができる。更に、当業者は、ハードウェア装置、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などの汎用性の低い装置も、本明細書に開示される本発明の概念の範囲及び着想から逸脱することなく使用できることを認識するであろう。一連の処理ステップを含む方法が、コンピュータ又は機械によって実施され、それらの処理ステップが、機械によって読み取り可能な一連の命令として格納され得る場合、それらは、コンピュータメモリデバイス（例えば、ＲＯＭ（読み取り専用メモリ）、ＰＲＯＭ（プログラム可能な読み取り専用メモリ）、ＥＥＰＲＯＭ（電気的にプログラム消去可能な読み取り専用メモリ）、フラッシュメモリ、ジャンプドライブなど）、磁気記憶媒体（例えば、テープ、磁気ディスクドライブなど）、光記憶媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、紙カード、紙テープなど）、及び他の既知のタイプのプログラムメモリなどの有形媒体に格納され得る。
【００２２】
用語「システム」又は「装置」は、本明細書では、任意の数のコンポーネント、エレメント、サブシステム、装置、パケットスイッチエレメント、パケットスイッチ、アクセススイッチ、ルータ、ネットワーク、コンピュータ及び／又は通信装置もしくはメカニズム、又はそれらのコンポーネントの組み合わせを記述するために総称的に使用される。「コンピュータ」という用語は、命令を実行することができるプロセッサ、メモリ、及びバスを含み、コンピュータは、コンピュータ、パーソナルコンピュータ、ワークステーション、メインフレーム、又はそれらのコンピュータの組み合わせの１つ又はクラスタを指す。
【００２３】
本発明の一実施形態は、センサ、ＭＬＣ、及びクラウドベースネットワーク（ＣＢＮ）を含むバーチャスサイクルによってトレーニングされたＩＡモデルによるメタデータ抽出を通して車両安全性を高めることができるＩＡＳを開示する。一態様では、システム、すなわちＩＡＳは、外向きカメラ、内向きカメラ、及び車両搭載コンピュータ（ＶＯＣ）の一式を含む。外向きカメラは、車両が動作する周囲環境を表す外部画像を収集する。内向きカメラは、少なくともオペレータの注意を示すオペレータの顔の表情を含む内部画像を収集する。ＶＯＣは、収集された内部画像及び収集された外部画像に応答して、オペレータの注意を識別するように構成される。
【００２４】
本発明の他の実施形態では、埋め込みセンサによって生成されるメタデータを通して、差し迫った機械故障の予測を容易にするＩＡプロセスを開示する。このプロセスは、例えば、機械部品からメタデータを収集するために、車両内の機械部品に取り付けられた少なくとも１つの埋め込みセンサを作動させることができる。ローカルパイプライン処理ユニットによってメタデータを処理することによりメタデータフォーマットを転送可能なメタデータフォーマットに変換した後、プロセスは、無線通信ネットワークを通して変換されたメタデータをクラウドにアップロードする。そして、機械部品に関連付けられた複数の故障サンプルに従って変換されたメタデータを分析することを含む故障予測モデルをトレーニングする。故障予測は、差し迫った機械故障を示すために車両に追加されてもよい。
【００２５】
更に、車両が動作する外部の地理的環境に関連付けられた所定の画像一式を集計するために外向きビデオカメラ一式を起動すると、集計された画像は、必要な保守を検出するために無線通信ネットワークを通してクラウドにアップロードされる。
【００２６】
図１Ａは、本発明の一実施形態によるバーチャスサイクルによってトレーニングされたＩＡモデルを通して、ＩＡＳを容易にするバーチャスサイクルが、オペレータの注意を識別することを可能とすることを示すブロック図１００である。図１００は、車両１０２、ＣＢＮ１０４、及びＭＬＣ１０６を含むバーチャスサイクルを示す。一態様では、ＭＬＣ１０６は、遠隔して、又はクラウド内に配置することができる。あるいは、ＭＬＣ１０６はＣＢＮ１０４の一部であってもよい。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（回路又は要素）がブロック図１００に追加されたり、又はブロック図１００から除去されたりしても変化しないことに留意されたい。
【００２７】
車両１０２は、一例として、自動車、自動車、バス、列車、ドローン、飛行機、トラックなどであり、地理的にＡ地点からＢ地点まで移動することができる。前述の説明を簡潔にするために、用語「車両」又は「自動車」が使用される。車両１０２は、ＡＢＳ（アンチロックブレーキシステム）付きホイール、ボディ、ステアリングホイール１０８、外部又は外向きカメラ１２５、内部視野３６０度のカメラ又は内向きカメラ１２６、アンテナ１２４、車載コントローラ又はＶＯＣ１２３、及びオペレータ（又は運転者）１０９を含む。外向きカメラ及び／又は内向きカメラ１２５〜１２６は、車両１０２の前面、側面、一対で、及び内側に設置できることに留意されたい。一例では、車両１０２は、車両の状態に関する情報、車両の状態、運転者の行動を感知する様々なセンサも含む。例えば、（図１Ａには示されていないが）センサは、音声、ＡＢＳ、ステアリング、ブレーキ、加速、トラクション制御、ウインドシールドワイパー、ＧＰＳ（全地球測位システム）、レーダー、超音波、ライダー（光検出及び距離測定）などの情報を収集することができる。
【００２８】
ＶＯＣ又は搭載コントローラ１２３は、ＣＰＵ（中央処理ユニット）、ＧＰＵ（グラフィック処理ユニット）、メモリ、及び、外向き又は外向きカメラ１２５、内向き又は内向きカメラ１２６、音声センサ、ＡＢＳ、トラクション制御、ステアリングホイール、ＣＡＮバスセンサなどからデータを収集する役割のディスクを含む。一態様では、ＶＯＣ１２３は、ＭＬＣ１０６から受信したＩＡモデルを実行し、アンテナ１２４と接続され、無線通信ネットワーク１１０を通してＣＢＮ１０４と通信する。無線通信ネットワークは、ＷｉＦｉ、セルラーネットワーク、Bluetooth（登録商標）ネットワーク、衛星ネットワークなどを含むが、これらに限定されないことに留意されたい。ＶＯＣ１２３の機能は、車両１０２が移動しているときに、リアルタイムの周囲情報ならびに外部情報を収集、取得することである。
【００２９】
ＣＢＮ１０４は、サーバファーム１２０、ルータ／スイッチ１２１、クラウドアドミニストレータ１１９、接続されたコンピューティング装置１１６〜１１７、及びネットワーク素子１１８などの、デジタルコンピューティングシステムを含む（但し、これらに限定されるものではない）。ＣＢＮ１０４の機能は、膨大なコンピューティング能力及びリソースを有するオンデマンドインターネットベースのコンピューティングサービスと見なすことができる、クラウドコンピューティングを提供することである。ＣＢＮ１０４の別の機能は、取得されたリアルタイムデータを、クラウドデータと関連付けることを通して、ＩＡラベル付けされたデータを改良し精緻化することである。精緻化されたＩＡラベル付けされたデータは、その後、接続１１２を通してＭＬＣ１０６に渡され、モデルトレーニングがなされる。
【００３０】
一実施形態では、ＭＬＣ１０６は、ＣＢＮ１０４から提供されるＩＡラベル付きデータなどの情報又はデータに基づいて、ＩＡモデルのようなモデル１１５を提供、精緻化、トレーニング、及び／又は配信する。マシンラーニングは、現在のデータと同様に履歴データも使用して、様々な計算アルゴリズムによって生成及び維持されるモデルに基づいて予測を行うことに留意されたい。ＭＬＣ１０６の機能は、改訂されたＩＡモデルなどの情報を、リアルタイムで無線通信ネットワーク１１４を通して車両１０２に追加することができることである。
【００３１】
車両１０２のオペレータの注意を識別し収集するために、ＶＯＣ１２３の内部に存在し得る車載ＩＡモデルは、これらに限定されるものではないが、ＡＢＳ、車輪の滑りやすさ、旋回状態、エンジン状態などのような内蔵センサからトリガ事象を受信する。トリガ事象又は事象には、ＡＢＳの作動、急激な操舵、急ブレーキ、過大なホイールスリップ、緊急停止の作動、及びオンが含まれる。車両状態信号を通してトリガ事象を受信すると、内向きカメラ又は３６０度視野カメラによって取り込まれた記録中又は記録された画像は、トリガ事象の受信につながる以前のタイムスタンプから巻き戻され、危険な運転であるとみなされる画像を含むＩＡラベル付きデータを識別する。ＩＡラベル付きデータがＣＢＮにおける履歴サンプリングデータと関連付けされた後、ＭＬＣ１０６においてＩＡモデルが再トレーニングされ、精緻化される。再トレーニングされたＩＡモデルは、その後、車両１０２に再度追加される。
【００３２】
一実施形態では、トリガ事象は、不注意又は注意散漫の運転者を示す。例えば、危険事象の可能性を検出すると、ＣＢＮ１０４は、例えば触覚信号を通して運転者又はオペレータ１１０９に警告信号を発し、又は衝突可能性を通知するショックをオペレータ１０９に発する。加えて、危険な事象は報告のために記録される。危険事象に関係する運転者の行動と共に発生数を記述する報告が有用であることに留意すべきである。例えば、保険監査のために保険会社が、事故防止のために法執行機関が、交通物流のために都市技術者が、又は患者安全のために医療スタッフが、そのような報告を得ることができる。
【００３３】
動作中、内向きカメラ１２６は、オペレータの視線が焦点を合わせている位置を含む運転者又はオペレータ１０９の顔画像を取り込む。ＣＢＮ１０４を検証することにより、オペレータ１０９の焦点方向１０７が識別され、焦点方向１０７に関する外部画像を取得し処理した後、見られた位置の中の可能な軌道１０５が得られる。軌道１０５及び焦点方向１０７は、引き続き、クラウド内に格納されたデータに従って処理され結合され、オペレータ１０９が見ていた物体が識別される。この例では、物体は道路の近くの家１０３である。
【００３４】
ＩＡＳを使用する利点は、交通事故を減らし、公共の安全を高めることである。ＩＡＳの採用により、車両の内外の完全なコンテキストは、非常に豊富な情報となる。それは、ペダル位置、ステアリングホイール位置、ミラー設定、シート設定、エンジン回転数、シートベルトが装着されているかどうか、内部及び外部温度などのような、車両における多数のセンサの現在値のような単純なものを包含する。マシンラーニングの出現により、幅広い分野の派生データ及びメタデータがセンサから抽出され、車両に搭乗又は運転するユーザエクスペリエンスを改善するために使用することができる。抽出されたデータは、マシンラーニングモデルが発信する各データ要素に関する信頼度及び確率基準を含むことに留意されたい。そのようなデータは、リアルタイムで変化するので、リアルタイムで車両の完全なコンテキストを使用できるアプリケーション層に提示される。
【００３５】
図１Ｂは、本発明の一実施形態による、バーチャスサイクルを通してオペレータの注意の識別が可能なＩＡＳによって監視されるオペレータ又は運転者を示すブロック図１４０である。図１４０は、運転者１４８、内向きカメラ１４２、及び外部カメラ１４４を示す。一態様では、カメラ１４２は、内部カメラ又は３６０度視野カメラとしても知られており、運転者の顔の表情１４６及び／又は運転者（又はオペレータ）のボディランゲージを監視し取得する。安定状態の加速度計、前方注視、ステアリングホイール上の手（テクスチングなし）を示すＩＡステータス１４９を読み取ると、ＩＡＳは運転者が正常に行動していると結論づける。
【００３６】
一実施形態では、ＩＡＳは、運転者１４８がどの方向を見ているか、運転者１４８が注意散漫になっているかどうか、運転者１４８がショートメッセージのやり取りをしているかどうか、運転者のアイデンティティが顔認識プロセスを通して判定されるかどうか、及び／又は運転者１４８がどこで注意を払うか、を検出することができる。車両は、３６０度の視野でキャプチャすることができる複数の前向きカメラ（又は３６０度視野カメラ）１４４を含み得る。この３６０度の視野は、他の視野と関連付けをすることで、運転者１４８がバックミラーをチェックして車両の後方車両を見るか、又は車両が旋回するときに車両の側方視野でチェックするか、を識別することができることに留意されたい。自動車の走行ルートに基づいて正しい点を見ていることを示すラベル付けされたデータは、観察されたＩＡに基づいて、運転者が注意を払う場所を示すことができる。あるいは、収集された画像又はラベル付けされたデータを使用して、運転者１４８の安全性の格付けを予測し得るＩＡモデルを再トレーニングすることができる。
【００３７】
動作中、内向きのカメラ１４２によって取り込まれた内部画像は、オペレータ１４８の相対的な目の位置に基づいて、オペレータ１４８の視線が焦点を合わせている位置を示すことができる。方向１４５のような位置の方向が、一旦識別されると、ＩＡＳは、外側を向いたカメラ１４４によって取り込まれた外部画像を取得する。画像１４５が、オペレータが方向１４５に基づいて注意を払う場所を識別した後、画像１４５が記録され、処理される。あるいは、オペレータ１４８が現在の走行速度、条件、可視性、及び交通状況に基づいて方向１４５を見ることをＩＡＳが期待されるが、オペレータ１４８が、実際には、キャプチャされた画像に基づいて軌道ビュー１４３に基づいて家１４１を見ているとき、警告信号が起動される。
【００３８】
ラベル付けされたデータは、交差点を横断する前に運転者が左及び／又は右を見るかどうか、及び／又は運転者が運転中に正しい位置を注視するかどうか、などの様々な安全パラメータを含むべきであることに留意されたい。ＩＡＳは、多重センサ、複数のセンサ、ライダー、レーダー、ソナー、温度計、音声検出器、圧力センサ、空気流、光学センサ、赤外線リーダー、速度センサ、高度センサなども含む。ＩＡに関する情報は、車両又は自動車における搭乗者の振る舞いに基づいて変更することができる。例えば、搭乗者が、騒々しい、ラジオを大音量にする、叫んでいる、飲食している、踊っている場合、搭乗者の振る舞いは、ＩＡ全体に影響を与え、悪い運転中の振る舞いの一因となり得る。
【００３９】
図１Ｃは、本発明の一実施形態による、バーチャスサイクルを通して内向き及び外向きカメラを使用する様々な構成要素を含むＩＡモデルを示すブロック図１８０である。図１８０は、ＩＡモデル１８１及びバーチャスサイクル１８９を有するＩＡＳを含む。ＩＡモデル１８１を含むＩＡＳは、車両、バーチャスサイクル１８９、又はその両方に配置することができる。本発明の一実施形態の基本的な着想は、１つ以上のブロック（構成要素又は要素）が図１８０に追加されたり、図１８０から除去されたりしても変化しないことに留意されたい。
【００４０】
内向き及び外向きセンサ１８２を含むＩＡモデル１８１は、一態様では、空間相関警告コンポーネント１８３、音声調整１８４、故障予測コンポーネント１８５、ポリシーフェンシングコンポーネント１８６、音声検出器１８７、及び／又は必要な保守の探知器１８８などの複数のコンポーネントを含むが、これらに限定されるものではない。空間相関警告コンポーネント１８３は、エミュレートされたリアルタイムの空間効果を使用して警告を提供することができ、音声調整１８４は、検出された外部事象に基づいて車内エンターテイメントボリュームを自動的に調整するように構成される。故障予測コンポーネント１８５は、一態様では、機械又は装置の中、又はその周囲の複数の埋め込みマイクロフォンを使用して、収集及び格納されたデータに基づいて、差し迫った機械故障を予測する。ポリシーフェンシングコンポーネント１８６は、検出され格納されたデータに基づいて車両性能の特定の挙動を制限するために使用される任意のルールのセットである。音声検出器１８７は、タイヤ内の釘及び／又はねじを監視し検出するように構成される。必要な保守の探知器１８８は、外向きのセンサに基づいて必要可能性があるメンテナンスを識別するように構成される。
【００４１】
＜内向き及び外向きの動画メタデータ＞
ＩＡＳは、１つ以上のビデオカメラ及び／又は入力センサを有する内向き及び外向きセンサを含み、人間のオペレータ（車両の運転者、歩行者、機械オペレータなど）の視野で起きていることに関する情報を抽出する。更に、オペレータに面するビデオカメラは、頭のポーズ、注視方向、ショートメッセージのやり取りをすること、電話で話すこと、音声システムと対話すること、モバイルデバイスを見ること、などのオペレータに関するメタデータを抽出する。抽出されたメタデータストリーム（内向き及び外向き）を組み合わせることにより、オペレータが注意を集中した場所のＩＡモデルをリアルタイムで構築することができる。一例では、ＩＡモデルを使用して、スマートアラートや警告システムを考案することができる。例えば、運転者が彼らの携帯電話を見ており、来る交通信号が緑色から黄色に変化するとき、警報信号が発せられるべきである。
【００４２】
ＩＡモデルは、一実施形態では、システム、すなわちＩＡＳを通って流れるデータ及びメタデータを提供する。ソフトウェアコンポーネントは、オペレータの注意が現在集中している場所のリアルタイムの「モデル」を作成することができる。システム、すなわちＩＡＳは、オペレータの視線が現在どこに注視しているか、目が開いているか閉じているか、目がいつまばたいているかの履歴、及び各まばたきがどれだけ長く続いたかを知ることができる。ＩＡモデルは又、パイプラインコンピューティングへの他の入力からの情報を含むことができる。例えば、音声マイクロフォンは、オペレータが話しているか、又はタッチスクリーン装置を使用しているかを検出することができる。ユーザの注意のモデル、すなわちＩＡモデルは、又、ユーザエクスペリエンスを考案するために、別のソフトウェアコンポーネントによって使用され得る。これは、現在のユーザ状態のこの理解を利用する警告及びアラートを含み、ユーザエクスペリエンス及びシステムのパフォーマンスを最適化し改善する。
【００４３】
一実施形態では、ＩＡＳは、図１Ｃには示されていない周囲環境事象及び外部状況モデルを含み、ユーザの注意が集中している場所を追跡するリアルタイムソフトウェアモデルである。外部で何が起こっているかのモデルも、抽出されたメタデータパケットを使用して構築される。例えば、外部事象は、「歩行者が時間ｔにおいて位置ｘ、ｙにいる」、又は「１２０フィート離れた光が緑から黄色に変化する」、又は「２人が現在部屋にいる」、又は「雨が降っている」ことを示すことができる。このようなメタデータ事象は、リアルタイムで抽出し処理することができることに留意されたい。
【００４４】
ＩＡＳは又、ＩＡモデル及び外部状況モデルの両方を使用するユーザエクスペリエンス及びアラートを処理するためのソフトウェアコンポーネントを含む。一例では、コンポーネントは、現在の状況に適切に応答するために、何が起こっているかについてのより高いレベルの理解を使用することができる。例えば、自動車を運転するユーザの場合、いつ信号が赤に変わるかをユーザが気にしていることを、システムが知っていれば、警告を発する必要はない。しかし、信号が変化するときにユーザが自分の携帯電話を見下ろしていることを、システムが知っていると交通信号について運転者に音声警告を発する。
【００４５】
＜空間相関音声警告＞
ＩＡＳは、一態様では、マルチスピーカシステムを使用して、脅威又は警告が発する方向に、特に関連付けられた警告音又は警告メッセージを生成する空間相関警告コンポーネントを含む。マルチカメラシステムを使用して、車両の外部で何が起こっているかに関するリアルタイムメタデータを抽出し、アラートを生成している活動の位置を使用して、車両内の音声警告を局所化することができる。例えば、自転車が車両の右前側に衝突しようとしている場合、警告音は、運転者には右前側から来ているように聞こえるように音場内に置くことができる。空間相関警告システムを使用する利点は、直接的にオペレータ又は運転者の注意を重要な方向に素早く集中させるオペレータ又は運転者に指示することである。
【００４６】
マルチスピーカシステムにおける個々のスピーカのレベル制御を管理するために、抽出された高レベルメタデータは、動画、音声、及び他のセンサ、並びにその情報を統合するソフトウェアコンポーネントを含む。警告又はアラートを発するソフトウェアコンポーネントは、アラートをトリガする事象の位置及び方向に関する情報を有するべきである。ステレオ又はクアドラフォニックスピーカシステムでは、個々のスピーカの音量を独立して調整することができる。同じ信号が種々の音量で一組のスピーカに送られると、音源の見かけ上の位置を聴取者に「置く」ことになる。システムは、危険や状況が発生した方向と同じ方向から発せられる警告又はアラートトーン又は音をもたらすように、各スピーカに対する適切な相対減衰値を計算する。
【００４７】
図１Ｄは、本発明の一実施形態による、バーチャスサイクルを使用する、内向きカメラ及び外向きカメラによる空間相関警告コンポーネントのプロセスを示すブロック図１９０である。図１９０は、車両１９３及び救急車サイレン音源１９２を含む。車両１９３は更に、４つのスピーカ１９４−１９７を含む。一実施形態では、ＩＡＳは、サイレン音源の地理的位置を計算し、自動車１９３の周囲環境１９１に基づいて自動車１９３の内側のサイレンをエミュレートすることができる。例えば、抽出されたデータ及び記憶されたデータに基づいて、一旦、周囲環境が確立されると、ＩＡＳは、各スピーカに対して独立して音声ボリュームを調整することができる。例えば、サイレンを模倣するために、スピーカ１９５を８０％の音量に調整し、スピーカ１９７を４０％の音量に調整し、スピーカ１９４を１６％の音量に設定し、スピーカ１９６を８％に下げる。
【００４８】
あるいは、追加のメタデータが利用可能になると、そのようなデータは、運転者の視野に関連付けされた特定の「場所」で何が起こっているかの理解を容易にすることもできる。例えば、視野は、真っ直ぐ前方、左に３０度、右に６０度、又は運転者の背後から来る、とすることができる。「空間的に位置付けられた」メタデータは、一例では、音声（複数のマイクロフォン）から導出されるか、又は車内の他のセンサによって合成することができる。別の例では、車両のドアの１つが半開きで音が出ている場合、ＩＡＳ、すなわちシステムは、問題があるドアが存在する「方向」を合成することができる。一旦、この位置メタデータを知ると、メタデータはユーザエクスペリエンスをより充実させることができる。
【００４９】
空間相関音声及び視覚警告を有するＩＡＳを使用する利点は、ＩＡＳが、起こっている何か、や、車両が特定の場所（車の内側又は外側のいずれか）で起こっていることについての警告音を発するときに、事象の方向へ運転者やオペレータの注意を向け直させることを容易にすることである。車両は、キャビン全体に亘って配置された少なくとも４つの独立したスピーカを有するので、これらのスピーカは、車内の３６０度のいずれの場所に警告音を「配置する」ように音声信号で駆動することができる。
【００５０】
空間相関音声警告の１つの利点は、音声警告を空間に配置することによって、より多くの情報が伝達されることである。例えば、どのシートでシートベルトを締結していないか、又はどのドアが音を出すているかを示す警告を発するために、ＩＡＳは、空間相関音声効果を使用して、事象の発生位置を識別する指向性のある警告を鳴らす。
【００５１】
図１Ｅは、本発明の一実施形態による、バーチャスサイクルを使用して視覚的通知を提供する位置的なメタデータを使用して警告するＩＡＳプロセスを示すブロック図である。図１３５は、車両の内側に取り付けられたステアリングホイール及びダッシュボードを示す。ダッシュボードは、一実施形態では、オペレータに面するダッシュボードに沿って取り付けられた色変化照明可能バー１３６を含む。図１３５の色変化照明可能バー１３６は、運転者が適切に前方を視認したことを示すために、緑色光などの通常色の光を放射する。色が変化する照明可能バー１３６は、図１３７の赤色光などの警告光１３８を発し、運転者が曲がる前に右側を確認せずに右折したことを示す。
【００５２】
図２５０は、左側バックミラーインジケータ、右側バックミラーインジケータ、及び中央バックミラーインジケータを含む。図２５０の全てのインジケータは、運転者が適切な間隔でミラーをチェックしていることを示すノルムライトを点灯する。図２５２のほとんどのインジケータは、運転者が適切な間隔で右側バックミラーを点検できなかったことを示す赤色などの警告色で指示するバックミラー２５６を除いて、ノルム光を照明する。
【００５３】
一実施形態では、ＩＡＳ、すなわちシステムは、自動車の前方ダッシュを横切る多色光バーを使用する。通常、多色光バー全体が緑色であり、これは前方方向の全範囲にあることを示す。緑色のバーは、ユーザ又は運転者が、所定の時間間隔（すなわち、最後のＮ秒）内に、ユーザの注視及び注意を適切に集中したことを示す。図１３７に示されるように、運転者が右折する前に右方向を見ることができなかった場合、ライトバーの右側は、緑色ではなく瞬間的に赤色にすることができる。ＩＡＳは、運転者が通常の条件下で緑を見る効果を提供する。運転者が方向転回前に正しい方向をチェックしない、前方を見ない期間が長すぎる（すなわち、ショートメッセージのやり取りをすること）と、運転者は瞬間的に赤色のライトバーを見ることになる。ＩＡＳは、オペレータが道路に適切に注意を払っていないときに、位置メタデータを使用して、オペレータを微妙に「トレーニング」又は「警告」する。
【００５４】
あるいは、ＩＡＳ及び／又はシステムは、一実施形態では、位置メタデータの視覚的表示を使用して、１つ又は複数のバックミラーの緑色／赤色光バー又はリムを提供する。運転者が十分に頻繁にそれらをチェックしている場合、バーは緑色になる。しかし、運転者が所定の間隔内に十分な回数だけミラーをチェックしない場合、バーは、赤色光を時々点灯させることによって通知を発することができる。運転者に視覚的に知らせるための位置メタデータの適用は、同様に、内装部品又は車両に適用することができる。例えば、多色光の境界は、ナビゲーション／インフォテインメントシステムの周囲又は近傍に設置することができる。通常状態では、多色光は、現在の状態を示す緑色に光っている。運転者がナビゲーション／インフォテインメントシステムを注視しすぎたり、長く留まったりすると、ナビゲーション／インフォテインメントシステムの境界付近の多色光が赤くなり始め、道路に注意を払うべき運転者に知らせる。内部コンテキスト及び外部コンテキストの両方のメタデータオブジェクトモデルは、オブジェクトモデルの上に精緻なポリシーを作成することを可能にすることに留意されたい。例えば、このポリシーは、ある状況下では運転者がナビゲーションシステムを３秒間見ることができるが、黄色から赤色に変化する交通信号灯に車両が近づいているときのような他の状況下では見ることができない。
【００５５】
＜車内エンターテインメント音量の自動調整＞
ＩＡＳは、事象を検出すると車内エンターテインメント音量を自動的に調整することができる自動調整を含む。１つ又は複数のカメラ、及び／又は、１つ又は複数のマイクロフォンを使用する音量調整コンポーネントは、車両の内外で何が起こっているかに関するリアルタイムのメタデータを抽出することができる。次いで、車内エンターテイメントシステム音量は、リアルタイム状況に基づいて低く調整又は消音にすることができる。例えば、緊急車両サイレン（音声）又はフラッシュライト（ビデオ）の検出は、サウンドシステムの自動音声停止を起動することができ、これにより、運転者及び搭乗者が彼らの注意を適切に集中させることが可能になる。激しい雨や交通の急速な減速などの他の外部状況も（ビデオ及び音声からのメタデータ抽出を通して）自動的に検出することができ、ＩＡＳは、エンタテインメントシステムの音声を消音することによって、専ら運転業務に焦点を合わせるように運転者に警告する。
【００５６】
以下のサンプルコードロジックは、車両のユーザエクスペリエンス「ポリシー」に影響を及ぼすように使用することができるリアルタイムコンテキストオブジェクトモデルの一実施形態を示す。
// 
// hard rain -> max volume at 50%
// 
If (CarObjectModel.exterior.rainning.level >0.8) 
setMaximumVolume(max Volume * 0.5); 
// 
// mute audio if emergency vehicle I sdetected either visually of audibly
// 
if (CarObjectModel . exterior, emergency VehiclePresent) 
setMaximumVolume(O.O); 
【００５７】
＜タイヤにおける釘又はねじの音声検出＞
一実施形態では、ＩＡＳは、タイヤの釘又はねじに関する音声を検出することができる複数の音声センサを有する音声検出器を含む。音声検出器のシステムは、例えば、タイヤの近くに配置されたマイクロフォンから音声データストリームを取得し、マイクロフォンは、タイヤに埋め込まれた釘又はねじの存在を監視又は検出することができる。音声の周波数分析を使用し、それを車両の現在の速度と組み合わせて（ＯＢＤ（オンボード診断）データバスへの接続を通して）、釘又はねじ又は他の埋め込まれた物体の存在を検出することができる。釘又はねじを検出すると、システムは、タイヤの全体的な故障を事前に運転者に警告する。
【００５８】
一態様では、音声検出器は、回転に関連付けられる音声異常を検出することができる。異常を検出するために、ソフトウェアの音声メタデータを抽出する部分は、デジタルサウンドサンプルを取り、それらをＦＦＴ（高速フーリエ変換）に通して、入力音声信号の周波数成分を表す一連の係数に変換する。タイヤの円周に基づいた予想される比率で変調される高周波成分は、マシンラーニングモデル又は従来のパターン認識ソフトウェア技術のいずれかによって識別することができる。例えば、タイヤがＣインチの円周を有し、車が速度Ｖ（マイル／時）で走行している場合、タイヤは毎秒Ｎ回回転し、ここでＮ＝（Ｖ*５２８０／３６００）／（Ｃ／１２）である。したがって、高周波音声異常は、毎秒Ｎ回現れると予想され、重要なことに、車両が速度を変えるにつれて、音声異常は、その発生頻度（Ｎ）を速度と一致するようにシフトする。速度に関連付けられる音声異常を識別するために、音声データストリームをデータの複数のブロックに分割することができ、そのサイズは、タイヤの単一回転が要すると予想される時間に基づいて計算される。ピアソン積モーメント係数などの技法を使用してこれらのデータブロック間の相関度を計算することによって、時間に関連付けられる音声異常の存在を、音声異常が現れるサンプル内の正確な位置を識別することとは無関係に検出することができる。この技法に加えて、音声及び現在の速度入力を取り、音声を周波数に依存する異常を含むものとして分類するようにトレーニングされたマシンラーニングモデルも可能であることに留意されたい。
【００５９】
釘がタイヤに埋め込まれると、漏れが非常に遅くなる可能性があることに留意されたい。これが起こると、車両のホイールウェルに配置された外向きの音声センサ又はマイクロフォンは、車両の現在のコンテキストを推測するために使用される外向きのカメラと同様に動作することができる。この例では、マイクロフォンセンサは、タイヤ内に釘を有するか否かの特徴のいずれかとして、音声信号を分類することができるマシンラーニングモデルに供給する。分類されたメタデータは、システムにおいて利用可能になる。一実施形態では、メタデータを使用して、釘について運転者又はオペレータに知らせ、どのタイヤに釘が埋め込まれているかを運転者に知らせることができる。
【００６０】
他の実施形態では、音声検出器は、タイヤがフラットになる前に、車両がどれだけ長く及び／又は何マイル移動できるかを予測することができる。故障の予測は、検出されたデータ、記憶されたデータ、ならびにバーチャスサイクルを通したモデルを含む。
【００６１】
音声検出器を使用する利点は、やがて、タイヤの１つが平坦になろうとしていることを運転者に警告することである。
【００６２】
＜部品故障の予側＞
ＩＡＳは、収集されたデータならびに履歴（記憶）データに基づいて差し迫った装置故障を予測することができる故障予測コンポーネント（predictive failure component）を含む。一例では、故障予測コンポーネントは、マシンラーニングモデルをトレーニングする目的でデータストリームを取得するために、機械（車両など）内の様々なコンポーネント上に戦略的に配置されたマイクロフォンなどの複数のセンサを使用する。取得された音声データは、周波数分析され、他の利用可能なセンサデータと共に集合体で収集される。更に、スケジュール化されたメンテナンス及びスケジュール化されていないメンテナンス（故障した部品又はコンポーネントの交換）に基づいて収集されたデータを使用して、音声データ及びセンサデータを分類する。収集されたデータは、軽微な故障に先立って、部品の故障を識別することができるモデルのトレーニングを可能にするべきであることに留意されたい。
【００６３】
一態様では、動作中の機械の音響プロファイルを使用して、引用文献「既知の良好な」システムと比較したシステムの「健全性」を決定することができる。部品又はシステムが故障するまで待つ場合よりも、はるかに早く、任意の数の故障可能性を可聴音プロフィールによって診断することができる。例えば、ベルトが破損し、オルタネータ又はウォータポンプを回転させることができないとき、システムの内部の「音」が変化する。ブレーキパッドが、摩耗を検出するために埋め込まれている金属まで摩耗すると、システムの「音」が変化する。これらの音の全ては、内部カメラで分析するのと同じ又は類似の方法で分析される。収集されたデータ並びに履歴データによる分析は、自動車の様々な構成要素がどのように行われているかのリアルタイムオブジェクトモデルをもたらすことができる。システムは、このオブジェクトモデルを使用して、運転者が車両の差し迫った故障に対処するのを助けるユーザエクスペリエンスを作り出すことができる。
【００６４】
＜複合センサデータに基づくポリシーフェンシング＞
ＩＡＳは、事前定義された事象のセットを検出すると、所定の活動を制限することができるポリシーフェンシングコンポーネントを含む。カメラ、マイクロフォン、及び他のセンサ入力を使用するＩＡＳやシステムは、装置や自動車のオペレータの現在の状況に関するリアルタイムのメタデータを抽出する。システムは、入力データに基づいてポリシールールを記述し、これらのルールを使用して、ユーザ又はシステム制約が適用されるべき状況を識別する方法を有する。
【００６５】
ＩＡＳ又はシステムは、（ＧＰＳ、加速度計、ＣＡＮバスデータ入力のような）直接センサ入力を通して外部からデータを収集し、ビデオカメラ及びマイクロフォンなどの入力センサデータからメタデータを導出する。抽出されたメタデータは、「ユーザが現在自動車で走行している」、「ユーザが現在、３５マイル／時で走行する往来がある道路上を歩いている」、「音声入力は、緊急車両が近隣で活動していることを示す」、又は「ユーザが現在、急加速中である」など、様々な事象を含む。但し、これらに限定されるものではない。
【００６６】
ポリシーフェンシングコンポーネントは、収集されたデータ及び所定のポリシーのセットに従って、ポリシーフェンシングを提供する。一態様では、ポリシーは、宣言型及び手続き型の両方があり、システム及びオペレータの両方に適用されるべき「現在のシステム制約」のリアルタイム導出を可能にする。例えば、「現在の速度が１２マイル／時を超えると、オペレータは現在のビデオゲームをプレイできない」というポリシーを定義することができるが、そのポリシーは、システムがビデオカメラ入力を通して、オペレータが車両の搭乗者であり、運転者ではないことを伝えることができる場合、制約が適用されないように改良することができる。別の例は、拡張現実モバイルアプリケーションゲームのプレーヤのためのポリシーとすることができる。システムは、ユーザが往来に近いときや、通りの横断歩道において、ゲームプレイが許可されないことを決定することができる。他の例は、単純なジオフェンシングであり得、ゲームプレイが許可されないエリアを定義するＧＰＳロケーションによる有界セットである。
【００６７】
すべてのセンサ入力と抽出されたメタデータとの組合せを使用して、１つ以上の入力制約に依存するポリシーのセットを定義することができることに留意されたい。所定の活動がどのくらい長く行われたかといった履歴メタデータは、データストリームの一部であることに留意されたい。例えば、制約は、「ユーザが位置Ｚ内にない限り、ユーザがＹ時間のプレイ時間を超えた後はＸを行うことができない（この場合、ユーザはＸを行うことが許可される）」というものであり得る。
【００６８】
＜必要な保守点検＞
ＩＡＳは、収集されたデータ及び履歴（記憶された）データに基づいて、修理又は保守が必要になりそうな物体を識別することができる必要な保守の探知器を含む。例えば、ＩＡＳは、移動車両群からメタデータを抽出して、修理を必要とする道路、建物、又は他のインフラストラクチャを識別し、スケジュール化することができる。例えば、自動車が窪みを越える場合、自動車は、その窪みの長さ及び重大度についてのデータを収集することができる。この情報をクラウドに送信するこのような車両群は、地方自治体又は他の利害関係者が必要な修理を特定することを可能にする。緊急事態、例えば、建材の積荷がトラックから混雑した高速道路上に落下した場合、車両の湾曲のパターン、ならびに上記の多くのシナリオで説明した外向きビデオカメラから抽出されたメタデータによって識別することもできる。
【００６９】
自動車内でより良いユーザエクスエクスペリエンスを提供するために、生成されたリアルタイムメタデータのすべてを使用することに加えて、メタデータは又、集約及び分析のためにクラウドサービスに送信される。集約されたデータは、単一の車両からは見つけられない付加的な意味を有することができる。
【００７０】
図１Ｆは、本発明の一実施形態による、バーチャスサイクルを使用して検出された物体を識別し、分類することができる外向きカメラのパイプラインプロセス１５０を示す論理ブロック図である。外向きカメラ１５１は画像を収集し、その画像は待ち行列１５２に格納される。画像スケーリングコンポーネント１５３によって画像をスケーリングした後、スケーリングされた画像はオブジェクト検出器１５４に送られる。オブジェクト検出器１５４は、待ち行列１５５に転送されるオブジェクト情報の収集物を生成する。境界ボックス、オブジェクトカテゴリ、オブジェクト方向、及びオブジェクト距離を含むオブジェクト情報は、コンポーネント１５６及びルータ１５７に転送される。コンポーネント１５６でオブジェクト情報を分類すると、分類されたデータはマップ１５８に転送される。マップ１５８に基づいてオブジェクトを認識した後、レコグナイザはルータ１５７に転送される。ルータ１５７におけるルーティング情報の後、出力画像はブロック１５９に転送され、ブロック１５９は分類器１３０〜１３１を用いて画像及び／又はオブジェクトを分類する。
【００７１】
パイプラインプロセス１５０は、入ってくるデータを処理し、フレームごとに又はデータパケットごとにメタデータを抽出し、フレーム及びメタデータパケットの両方を、パイプラインを通して転送する目的で例示される論理処理フローを示す。パイプラインの各ステージは、現在の音声、ビデオ、又はセンサデータフレームに対して動作を実行するソフトウェア要素を含むことができる。パイプライン内の要素は、パイプラインが動作している間に挿入又は除去することができ、これにより、アプリケーションに応じて異なる動作を実行することができる適応パイプラインとすることができる。パイプラインプロセスは、状況に応じて存在し得る様々なシステム制約を適応させるように構成される。更に、パイプライン内の要素は、リアルタイムで更新されたそれらの内部設定を有することができ、要素を「オフ」、「オン」にする、又はオンザフライでそれらの構成設定を調整する能力を提供する。例えば、パイプライン内の所与の要素は、データストリーム内の１０番目のフレーム毎に動作するような設定を有することができ、そのような設定は、異なるフレームレートに調整するためにリアルタイムで変更することができる。データストリーム内の要素は、新たに構築されたデータパケットをストリーム内に放出することもできる。一実施形態では、パイプラインプロセス１５０は、ストリームからより高いレベルの意味を抽出し、より高レベルで事象を処理するソフトウェアコンポーネントに転送することを可能にする。例えば、パイプライン要素は、ビデオのフレームにおける「ストップライト」を認識し、そのフレームにおいて現在の状態が「黄色」であるという決定を行うことができる。そのような要素は、その情報を含むメタデータパケットを構築し、後続の下流ソフトウェアコンポーネントは、そのパケットを受信し、それに基づいて動作することができる。
【００７２】
パイプラインプロセス１５０は、システムを通って流れる抽出されたリアルタイムメタデータの自己記述形式及び機械及び人間が読み取り可能な形式の両方を作成するために使用されるアレイ及び構造のような任意のネスティング及び基本プリミティブデータタイプを有する名前／値の対を含むメタデータパケットスキーマを含む。そのような一般化されたスキーマは、複数のソフトウェアコンポーネントが、システムによって取得され、分析され、作用される高レベル事象をどのように記述するかについて合意することを可能にする。例えば、スキーマは、人の目、鼻、口、あごの輪郭などのビデオフレーム内の個々の位置を記述するように構築される。そのようなデータ構造は、ダウンストリームソフトウェアコンポーネントが、「この人は水平線から３４°上方を見上げている」、又は「この人は中央から１８°左を見ている」など、更に高レベルで事象を推論することを可能にする。その後、プロセスは、追加のメタデータパケットを構築し、それらをストリームに挿入することができ、その結果、システムがそれに基づいて動作することができるより高レベルの意味的メタデータが得られる。
【００７３】
図１Ｇは、本発明の一実施形態による、顔認証、頭部及び視線の方向、及び口の特徴を、バーチャスサイクルを使用して識別及び分類することができるパイプラインプロセス１６０を示す論理ブロック図である。内向きカメラ１６１は画像を収集し、その画像は待ち行列１６２に格納される。画像スケーリングコンポーネント１６３によって画像をスケーリングした後、スケーリングされた画像は、顔及び頭部検出１６４に転送される。検出１６４の出力は、画像変換（Ｉ）成分１６５〜１６６に転送される。変換後、変換された画像はブロック１６９〜１７０に転送される。ブロック１６９における顔の特徴抽出の後、特徴マップは、姿勢正規化のためにブロック１６７に転送される。ブロック１６８は、ＩＴコンポーネント１６５から顔画像を受信し、ブロック１６７から変換された画像を受信し、正規化された顔画像はブロック１７２に転送される。ブロック１７２で、埋め込みネットワークで正規化された顔を処理すると、顔ＩＤが識別される。
【００７４】
ブロック１７０は、口の特徴を抽出し、運転者の口の特徴を生成する。ブロック１７１は、スケーリングされた画像及びシールされていない画像の両方を有する情報を受信するＩＴコンポーネント１６６の出力に基づいて、頭部及び注視を処理する。一例では、ブロック１７１は、注視、頭部、目の数、眼鏡などの様々な特徴を生成することができる。
【００７５】
パイプラインプロセス１６０は、一例では、自動エンターテイメントサウンドシステムの音量調整のプロセスを含む。例えば、一連のソフトウェア要素を通って流れている、音声、ビデオ、及びセンサデータのデータパイプライン、リアルタイム抽出メタデータの１つのタイプは、近くに緊急車両が存在することである。ソフトウェア要素を抽出する音声メタデータは、デジタルサウンドサンプルを取り、それらをＦＦＴ（高速フーリエ変換）に通して、入力音声信号の周波数成分を表す一連の係数に変換する。このようなデータは、緊急車両サイレンに典型的な時系列のフィンガープリントについて分析することができ、この時系列のフィンガープリントは、周波数ランプ及び交互の周波数からなる。このデータは、サイレンなどの音パターンを識別することができるマシンラーニング分類モデルへの入力として提供することもできる。又、聴取者に対して移動する車両は、相対運動の速度及び方向の関数である周波数シフトを有するので、「ドップラーシフト」効果は、これらのレコグナイザソフトウェア要素に分解されることに留意されたい。音声サイレンの検出に加えて、パイプラインを通って流れるビデオフレームは、緊急車両によって典型的に使用されるフラッシングライトの存在を検出することができる。活動中の緊急車両の存在が近傍で検出されると、サウンドシステムは消音され、これにより運転者は緊急車両に気付くことができる。
【００７６】
一態様では、パイプラインプロセス１６０は、様々なマイクロフォンを様々な内部構成要素に取り付けるプロセスを更に含む。例えば、一連のソフトウェア要素を通って流れる音声、ビデオ、及びセンサデータのデータパイプライン、多数の音声ソースは、機械の内部機構の様々なポイントにマイクロフォンを配置することによって得ることができる。自動車では、マイクロフォンは、エンジン及び車体フレーム内の各ホイールウェル、モータ、及び／又は他の様々な点に配置することができる。これらのマイクロフォンの各々からの音声は、動作中に取り付けられた装置の振動パターンをピックアップすることができる。音声メタデータ抽出ソフトウェア要素は、デジタルサウンドサンプルを取り、それらをＦＦＴ（高速フーリエ変換）に通して、入力音声信号の周波数成分を表す一連の係数に変換する。ＦＦＴ符号化信号パターンは、クラウドベースのデータリポジトリにアップロードすることができ、クラウドベースのデータリポジトリでは、同様のタイプの他のマシンから収集されたデータセットと集約して、ニューラルネットを学習するマシンを、正常パターン及び異常パターンを認識するようにトレーニングすることができる。更に、機械がスケジュール化されたメンテナンス又はスケジュール化されていないメンテナンスを受けるとき、それらのメンテナンス事象は、符号化された音声ストリームに対する分類データとして働く。一態様では、プロセスは、マシンラーニングコンポーネントが、差し迫った又は初期の部品故障を「予測」することを可能にする。例えば、自動車製造業者がこの技術を数十万台の車両に適用する場合、部品の故障に先行するパターンを事前に予測することができる。破損しやすい回転部品が、破壊的な故障に至るまでに十分に先行して、所定の振動パターンを生成する傾向があると仮定する。その振動パターンは、取り付けられたマイクロフォンによってピックアップされ、デジタル化された音声信号は、そのようなパターンを検出することができるマシンラーニングモデルに供給される。このモデルは、破壊的な故障がまだ発生していない機械に適用されると、故障に先立って部品を検査し、可能な限り交換すべきであることを示す警告を発することができる。
【００７７】
図１Ｈは、本発明の一実施形態による、バーチャスサイクルを使用して検出されたオブジェクトを分類するプロセスを示す論理ブロック図１７５である。ブロック１７６は、外向きカメラによって取り込まれた収集された外部画像に基づいて歩行者を分類するために使用されるソフトウェア要素である。収集されたデータ及び履歴データに基づいて、歩行者を特定することができる。ブロック１７７は、外向きカメラによって取り込まれた収集された外部画像に基づいて車両を分類するために使用されるソフトウェア要素である。収集されたデータ及び履歴データに基づいて、車両情報を識別することができる。分類情報には、車種、ナンバープレート、車両状況等が含まれる。更に、ウィンカ、ブレーキライト、及びヘッドライトなどの構成も、バーチャスサイクルの容易化により、分類することができる。ブロック１７８は、外向きカメラによって取り込まれた収集された外部画像に従って交通信号や交通状況を分類するために使用されるソフトウェア要素である。例えば、収集されたデータ及び履歴データに従って、交通信号を分類することができる。分類の例としては、標識、速度制限、停止標識などが挙げられる。
【００７８】
図２Ａは、本発明の一実施形態による、ＩＡを検出又は監視することができるバーチャスサイクルを示すブロック図２００である。図１Ａに示す図１００に類似する図２００は、コンテナ化されたセンサネットワーク２０６、実世界スケールデータ２０２、及び連続マシンラーニング２０４を含む。一実施形態では、連続マシンラーニング２０４は、リアルタイムモデルを符号２１０で示すようにコンテナ化センサネットワーク２０６に追加する。コンテナ化センサネットワーク２０６は、リアルタイム又はバッチ形式でアップロードしながら、キャプチャされたデータ又は画像を実世界スケールデータ２０２に連続的に供給する。実世界スケールデータ２０２は、符号２１２で示すように、一定モデルトレーニングのための連続マシンラーニング２０４にラベル付けされたデータを提供する。本発明の一実施形態の基本的な着想は、１つ以上のブロック（又は要素）が図２Ａに追加されたり、図２Ａから除去されたりしても変化しないことに留意されたい。
【００７９】
図２００に示されるバーチャスサイクルは、一実施形態では、コンテナ化センサネットワーク２０６が図１Ａに示す車両１０２と同様であり、実世界スケールデータ２０２が図１Ａに示すＣＢＮ１０４と同様であるＩＡＳを実施するように構成される。又、連続マシンラーニング２０４は、図１Ａに示すＭＣＬ１０６と同様である。一態様では、自動車又は車などのコンテナ化センサネットワーク２０６は、自動車が動いているときに搭載センサ又はセンサネットワークを使用して周囲の情報又は画像を収集することができるコンテナ化センシングデバイスを含む。ＩＡモデルに基づいて、収集された周囲情報を選択的に記録することが、ローカルストレージ又はメモリに選択的に記録される。
【００８０】
コンテナ化されたセンシングデバイスに無線で結合されるクラウド又はＣＢＮなどの実世界スケールデータ２０２は、クラウドデータ及びラベル付きデータを生成するために最近取得されたＩＡデータと関連付けることができる。例えば、実世界スケールデータ２０２は、過去のＩＡクラウドデータと、コンテナ化されたセンシングデバイスから送信された周囲情報とに基づいて、ＩＡラベル付きデータを生成する。
【００８１】
ＭＬＣ又はクラウドなどの連続マシンラーニング２０４は、実世界スケールデータ２０２からのラベル付きデータに基づいてＩＡモデルをトレーニングし、改善するように構成される。連続してデータを収集し、ＩＡモデルをトレーニングすることにより、ＩＡＳは、集団サンプルについて利用可能なすべてのＩＡを学習し、取得し、及び／又は収集することができる。
【００８２】
一実施形態では、バーチャスサイクルは、区分化可能なマシンラーニングネットワーク、区分化ネットワークのトレーニング、サブモジュールを用いたネットワークの区分化、及び区分化ネットワークの構成を含む。例えば、バーチャスサイクルは、装置からのデータ収集、データからのインテリジェントな挙動の作成、及びインテリジェンスの展開を含む。一例では、区分アイデアは、「危険な運転」を複数のモデルに配置し区分することができる運転者の年齢を知っていることを含み、それは「年齢検出器」によって選択的に配備することができる。そのような区分モデルを使用する利点は、議論領域が現在より小さいので、モデルが同じリソースでより良い認識のジョブを実行できるはずであることである。いくつかの挙動が年齢によって重複する場合であっても、区分モデルは、共通の認識コンポーネントを有することができることに留意されたい。
【００８３】
収集されるコンテキスト情報が多いほど、より良い認識ジョブが生成され得ることに留意されたい。例えば、「危険運転」は、気象条件、時刻、交通状況などによって更に区分することができる。「危険運転」シナリオでは、危険運転のカテゴリは、「不注意」、「強引な運転」、「狭い車間距離」、「進路から逸れること」、「低速すぎる運転」、「頻繁な休憩」、減速、ＡＢＳ事象などに区分することができる。
【００８４】
例えば、不安定なステアリング操作に抵抗することによって、自動車は、運転者の操作に関する直接フィードバックを運転者に与える。その抵抗が適度であり、そしてステアリング操作が意図的であるならば（例えば、小動物の上を走ることを回避しようとする）、運転者は引き続き不規則な動作を行うことができる。しかし、運転者がテキストメッセージのやり取りをしている、又は無反応である場合、その修正は、運転者にそれらの操作を警告し、彼らの注意を引くことができる。同様に、他の車に近づきすぎて運転している「道路の怒り」に関係する人は、アクセルペダルに抵抗を感じることがある。ＩＡＳを使用する利点は、原因（テキストメッセージのやり取りをなど）を認識するのではなく、運転者の「危険な行動」の結果を識別することである。機械知能は、是正処置を提供するための解析の一部として原因を認識すべきである。
【００８５】
一態様では、ＩＡモデルなどのモデルは、より大きな問題（例えば、気象検出、交通検出、道路タイプなど）とは別個にトレーニングされるいくつかの個々のブロックを含み、それらのブロックを組み合わせることにより、より大きなモデルを生成することができる。なお、サンプルデータには、明らかに不良な挙動（ＡＢＳ事象、急減速、中央線はみ出し、前方車に近すぎ、等）が含まれていてもよい。一実施形態では、１つ以上のサブモジュールが構築される。モデルは、「危険運転」に対する「補正ベクトル」のような付加的なモジュールインテリジェンスのための気象状態検出や交通検出を含む。
【００８６】
バーチャスサイクルを使用する利点は、現実世界におけるＩＡのようなオブジェクトを学習し、検出することができることである。
【００８７】
図２Ｂは、本発明の一実施形態による、ＩＡを検出することができる他のバーチャスサイクルの一例を示すブロック図２３０である。図２３０は、外部データソース２３４、センサ２３８、クラウドソーシング２３３、及びインテリジェントモデル２３９を含む。一態様では、点線２３１より上のコンポーネント／アクティビティは、クラウド内コンポーネントとしても知られるとおり、クラウド２３２内で動作する。点線２３１より下のコンポーネント／アクティビティは、装置内又は車内コンポーネントとして知られるとおり、車２３６内で動作する。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（又は要素）が図２Ｂに追加されたり、図２Ｂから除去されたりしても変化しないことに留意されたい。
【００８８】
一態様では、クラウド内コンポーネント及び装置内コンポーネントは、所望のユーザ固有のタスクを実行するように調整する。クラウド内コンポーネントは、大規模であることを活用して着信装置情報を処理するが、クラウドアプリケーションは、クラウドソースデータを活用してアプリケーションを生成する。外部データソースは、知的クラウドソーシングを容易にするためにアプリケーションをコンテキスト化するために使用することができる。例えば、バーチャスサイクルの車内（又は電話内、又は装置内）部分は、インテリジェントデータ収集をエッジアプリケーションに追加する。例えば、エッジアプリケーションは、インテリジェントデータ収集並びにインテリジェント車内処理を実行することができる。データ収集の量は、エッジにロードすることができるインテリジェントモデルだけでなく、センサデータにも依存することができることに留意されたい。
【００８９】
図３は、本発明の一実施形態による、ＩＡモデルを改善するためにクラウドソーシングアプローチを使用するクラウドベースのネットワークを示すブロック図３００である。図３００は、車両３０２の母集団、サンプル母集団３０４、モデル展開３０６、関連付けされたコンポーネント３０８、及びクラウドアプリケーション３１２を含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（又はサンプル）が図３に追加されたり、図３から除去されたりしても変化しないことに留意されたい。
【００９０】
クラウドソーシングは、他のクラウド又はインターネットユーザから生成、提供された様々なソーシングや特定のモデルを使用して必要なサービスを実現するプロセスである。例えば、クラウドソーシングは、データ３０２を供給するために、大量の車両、電話、又は他の装置の利用可能性に依存する。例えば、サンプル３０４などの利用可能な装置のサブセットは、データ収集タスクを実行するための位置などの何らかの基準によって選択される。より効率的にデータを収集するために、インテリジェントモデルは、限られた数の車３０６に配備され、クラウドにおける大量のデータのアップロード及び処理の必要性を削減する。車３０６などの選択された装置は、インテリジェントモデルを用いて環境をモニタし、何が観察されたかに関する圧縮されたデータを作成することに留意されたい。インテリジェントモデルによって生成されたデータは、符号３０８によって示されるように、関連付けされたデータストアにアップロードされる。アップロードは、リアルタイムで行われる所定の情報や、交通状況などの必要性に応じて、後で行われる他のタイプの情報があることに留意されたい。
【００９１】
関連付けされたコンポーネント３０８は、関連付けされたデータストレージを含み、このデータストレージは、アップロードされたデータを格納し、問い合わせる仕組みを提供することができる。クラウドアプリケーション３１２は、一実施形態では、関連付けされたデータを活用して、新しいインテリジェントモデルを生成し、クラウドソースアプリケーションを作成し、他のタイプの分析を行う。
【００９２】
図４は、本発明の一実施形態によるバーチャスサイクルを使用するＩＡＳを示すブロック図４００である。図４００は、関連付けされたデータストア４０２、マシンラーニングフレームワーク４０４、及びセンサネットワーク４０６を含む。関連付けされたデータストア４０２、マシンラーニングフレームワーク４０４、及びセンサネットワーク４０６は、無線通信ネットワーク４１０、４１２、４１６によって結合され、円環４２０によって示されるように、バーチャスサイクルを形成する。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（回路又は要素）が図４に追加されたり、図４から除去されたりしても変化しないことに留意されたい。
【００９３】
一実施形態では、関連付けされたデータストア４０２は、データ間の関連付けが保持されるように、データのリアルタイムストリームを管理する。センサネットワーク４０６は、車両、電話、固定センサ、及び他の装置の集合を表し、無線を通して関連付けされたデータストア４０２にリアルタイム事象をアップロードすることができる。
リアルタイム又はバッチ形式の通信ネットワーク４１２。一態様では、静止センサは、地方自治体カメラ、オフィス及びビルのウェブカメラ、駐車場カメラ、セキュリティカメラ、及びリアルタイム画像を収集することができる交通カムを含むが、これらに限定されない。
【００９４】
都市カメラやオフィス内のウェブカメラなどの静止カメラは、通常、街路、建物、駐車場を指すように構成され、このような静止カメラによって取り込まれた画像は、正確なラベリングのために使用することができる。車両によって取り込まれた動画像と静止カメラによって取り込まれた静止画像とを融合させることにより、車などの物体をより正確に追跡することができる。静止センサと車両センサとの組合せや融合は、ラベリングデータと、静止「ファブリック」としても知られる静止サンプリングの履歴データとの両方を提供することができる。クラウドソーシングアプリケーションの間、静止データ（例えば、静止カメラは、車の速度及び位置を収集することができる）をリアルタイム動画と融合することは、ＭＬプロセスを改善することができることに留意されたい。
【００９５】
マシンラーニング（ＭＬ）フレームワーク４０４は、センサネットワーク４０６を管理し、ＭＬモデルの分析及びトレーニングのためのメカニズムを提供する。ＭＬフレームワーク４０４は、トレーニングモード及び／又はラベル付きデータ分析のために、無線通信ネットワーク４１０を通して関連付けされたデータストア４０２からデータを引き出す。ＭＬフレームワーク４０４は、データ収集モジュールを配備して、特定のデータを収集するとともに、以前に収集されたデータに基づいてＭＬモデルを配備することができる。データアップロード、トレーニング、及びモデル展開サイクルは、モデルの継続的な改善を可能にする。
【００９６】
図５は、本発明の一実施形態による、ＩＡデータを関連付けするプロセスの一例を示すブロック図５００である。図５００は、ソース入力５０４、リアルタイムデータ管理５０８、履歴ストア５１０、及びクラウドソースアプリケーション５１２、５１４、５１６を含む。例えば、ソース入力５０４は、自動車、電話、タブレット、腕時計、コンピュータなどを含み、これらは矢印５０６が示すように、リアルタイムデータ管理５０８を通る大量のデータ又は画像を収集することができる。本発明の一実施形態の基本的な着想は、１つ以上のブロック（又は要素）が図５に追加されたり、図５から除去されたりしても変化しないことに留意されたい。
【００９７】
一態様では、関連付けシステムは、リアルタイム部分と、バッチ／履歴部分とを含む。リアルタイム部分は、新しいデータをほぼリアルタイムで活用することを目的とする。リアルタイムコンポーネント、すなわちリアルタイムデータ管理５０８は、自動車、電話、及び他の装置等のソース入力５０４から送られる大量の流入データ５０６を管理するように構成される。一態様では、リアルタイムでデータを取り込んだ後、リアルタイムデータ管理５０８は、処理されたデータを一括してバッチ／履歴ストア５１０に送信し、データをリアルタイムでクラウドソースアプリケーション５１２、５１４、５１６に送信する。
【００９８】
一実施形態では、クラウドソースアプリケーション５１２、５１４、５１６は、リアルタイム事象を利用して、ユーザ、クライアント、及び／又はサブスクライバに提供され得る情報を追跡、分析、及び記憶する。関連付けされた履歴ストア５１０のバッチ履歴側は、リアルタイムフレームワークによって消費される実質的にすべての事象の履歴記録を維持する。例えば、履歴データは、リアルタイムストリームから収集することができ、高性能、低コスト、及び耐久性のあるストレージである履歴ストア５１０に格納することができる。一態様では、接続５０２によって結合されたリアルタイムデータ管理５０８及び履歴ストア５１０は、点線によって示されるように、ＡＰＳデータ関連付けを実行するように構成される。
【００９９】
図６は、本発明の一実施形態による、ＩＡＳのリアルタイムデータのプロセスの一例を示すブロック図６００である。図６００は、データ入力６０２、ゲートウェイ６０６、ノーマライザ６０８、待ち行列６１０、ディスパッチャ６１６、ストレージ変換６２０、及び履歴データストレージ６２４を含む。リアルタイムデータ管理のプロセスは、パブリッシュ及びサブスクライブのためのコンポーネント６１４を更に含む。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（回路又は要素）が図６に追加されたり、図６から除去されたりしても変化しないことに留意されたい。
【０１００】
一実施形態では、リアルタイムデータ管理は、６０４で示すように、クラウドへの多数の（すなわち、１０００万の）レポート事象を処理することができる。ＡＰＩ（application program interface）ゲートウェイ６０６は、クラウドに追加された事象のクライアント認証及び負荷分散などの複数の機能を処理することができる。リアルタイムデータ管理は、標準的なＨＴＴＰプロトコルを活用することができる。事象は、符号６０８によって示されるように、データスクラビング及び正規化を実行するために、ステートレスサーバに送られる。複数のソース６０２からの事象は、数字６１０によって示されるように、スケーラブル／耐久性／一貫性のある待ち行列にまとめられる。イベントディスパッチャ６１６は、クラウドソースアプリケーション６１８にパブリッシュ／サブスクライブモデルを提供し、このクラウドソースアプリケーション６１８は各アプリケーションが事象タイプの小さなサブセットを見ることを可能にする。例えば、異種イベントストリームは取得され、ボックス６２０によって示されるように、長期ストレージのためのファイルに変換される。長期ストレージ６２４は、履歴データのためのスケーラブルで耐久性のあるリポジトリを提供する。
【０１０１】
図７は、本発明の一実施形態による、ＩＡのクラウドソースアプリケーションモデルを示すブロック図７００である。図７００は、ゲートウェイ７０２、イベントハンドラ７０４、状態キャッシュ７０６、状態ストア７０８、クライアントリクエストハンドラ７１０、ゲートウェイ７１２、及びソース入力７１４を含む。一例では、ゲートウェイ７０２は、イベントディスパッチャからイベントストリームを受信し、ＡＰＩゲートウェイ７１２は、ソース入力７１４から情報／データを受信する。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（又は要素）が図７に追加されたり、図７から除去されたりしても変化しないことに留意されたい。
【０１０２】
クラウドソースアプリケーションモデルは、一実施形態では、リアルタイムデータマネージャからクラウドソースアプリケーションを経由する事象を推進する。例えば、事象は、単純なプッシュコールを使用してゲートウェイ７０２に入る。複数の事象が１つ又は複数のサーバによって処理されることに留意されたい。一態様では、事象は、共通状態ストアへの挿入又は修正に変換される。状態ストア７０８は、複数のアプリケーションからのデータを保持することができ、スケーラブルで耐久性がある。例えば、状態ストア７０８は、履歴データの他に、現在のデータ、「将来のデータ」に関する情報、及び／又は予測ＡＩ（人工知能）などのアプリケーション間で共有することができるデータを格納するように構成される。
【０１０３】
一実施形態では、状態ストア７０８に格納され、通常リクエストされるデータへの高速アクセスを提供するために。状態キャッシュ７０６が使用される。アプリケーションはクライアントが使用できることに留意されたい。ＡＰＩゲートウェイ７１２は、認証及び負荷分散を提供する。クライアントリクエストハンドラ７１０は、状態ストア７０８を活用して、クライアントデータを提供する。
【０１０４】
一実施形態では、車載ＩＡモデルは、トリガ事象に基づくリアルタイムのＩＡ検出を処理することができる。例えば、ＩＡ検出のためのＭＬモデル又はＩＡモデルが、車両の全て又は大部分に配備された後、配備されたＭＬモデルは、危険な事象（複数可）に対するリアルタイム警告の発行を促進するＩＡＳを示す収集データに、報告する。リアルタイム危険事象又はＩＡＳに関する情報又はデータは、状態ストア７０８に格納される。ＩＡ検出を探す車両７１４は、例えば、ゲートウェイ７１２を使用してＩＡＳにアクセスすることができる。
【０１０５】
図８は、本発明の一実施形態による、地理空間オブジェクトストレージを使用してＩＡ関連データを記憶する方法を示すブロック図８００である。図８００は、ゲートウェイ８０２、初期オブジェクト８０４、プットコール８０６、ファインドコール８０８、ゲットコール８１０、ＳＱＬ（Structured Query Language）８１２、非ＳＱＬ８１４、及び地理空間オブジェクトストレージ８２０を含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（回路又は要素）が図８に追加されたり、図８から除去されたりしても変化しないことに留意されたい。
【０１０６】
地理空間オブジェクトストレージ８２０は、一態様では、期間、空間的範囲、補助情報、及び任意選択のリンクされたファイルを含み得るオブジェクトを記憶、保持する。一実施形態では、地理空間オブジェクトストレージ８２０は、ＵＵＩＤ（universally unique identifier）８２２、バージョン８２４、開始及び終了時間８２６、境界８２８、プロパティ８３０、データ８３２、及びファイルパス８３４を含む。例えば、ＵＵＩＤ８２２はオブジェクトを識別するが、すべてのオブジェクトは、スキーマが将来変化することを可能にするバージョン８２４を有する。開始及び終了時間８２６は、開始時間及び終了時間を有する任意の期間を示す。任意選択の境界ジオメトリ８２８は、オブジェクトの空間的範囲を指定するために使用される。プロパティ８３０のオプションのセットは、名前／値の対を指定するために使用される。データ８３２は、バイナリデータとすることができる。オプションのファイルパス８３４を使用して、ＭＰＥＧ（Moving Picture Experts Group）ストリームなどの関連情報を含むファイルのオブジェクトに関連付けることができる。
【０１０７】
一実施形態では、ＡＰＩゲートウェイ８０２は、サービスへのアクセスを提供するために使用される。オブジェクトがストアに追加される前に、オブジェクトには、初期オブジェクト呼出しによって提供されるＵＵＩＤが割り当てられる。新しいオブジェクトに対してＵＵＩＤが確立されると、プットコール８０４は、オブジェクト状態を記憶する。状態は、ＵＵＩＤと共に非ＳＱＬストア８１４に長期的に格納される。ＵＵＩＤの一部は、スケールアウトのためのハッシュパーティションとして使用される。インデックス化可能なプロパティは、バージョン、持続時間、境界、及びインデックス化のためにスケーラブルＳＱＬストア８１２に挿入されるプロパティを含む。非ＳＱＬストア８１４は、フルオブジェクト状態を含むために使用される。非ＳＱＬストア８１４は、例えば、パーティションキーとしてＵＵＩＤを使用してスケールアウトされる。
【０１０８】
ＳＱＬストア８１２は、問合せを実行するために使用可能なインデックステーブルを作成するために使用される。ＳＱＬストア８１２は、情報、境界、及びプロパティを含む３つのテーブル８１６を含むことができる。例えば、情報は、プライマリキー、オブジェクトボイド、作成タイムスタンプ、オブジェクトの状態、及びオブジェクトプロパティ「バージョン」及び「継続時間」を保持する。境界は、オブジェクトからの境界ジオメトリと、関連付けられた情報テーブルエントリのＩＤを保持する。プロパティは、関連付けられた情報テーブルエントリのＩＤと共に、行毎に１つの名前／値の対として格納されたオブジェクトからのプロパティの名前／値の対を、保持する。
【０１０９】
一実施形態では、検索呼び出し８０８は、問合せを受け入れ、結果一式を返し、ＳＱＬ問合せをＳＱＬストア８１２に発行し、問合せと一致するＵＵＩＤを含む結果セットを返す。
【０１１０】
図９は、本発明の一実施形態による、ＩＡデータを分析する分析エンジンのアプローチの一例を示すブロック図９００である。図９００は、履歴ストア９０２、分析エンジン９０４、及び地理空間オブジェクトストア９０６を含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（回路又は要素）が図９に追加されたり、図９から除去されたりしても変化しないことに留意されたい。
【０１１１】
図９００は、分析エンジン９０４の一態様を示し、この分析エンジン９０４は、リアルタイムで取り込まれたＩＡデータ及び履歴データに基づいてラベル付きデータを分析可能なＭＬトレーニングコンポーネントを含む。データ変換エンジンは、例えば、地理空間オブジェクトストア９０６と対話して、関連するデータを見つけ、履歴ストアと対話して、データを処理する。変換されたデータを記憶することができれば、なお良い。
【０１１２】
リアルタイムデータ並びに履歴サンプルを使用して連続モデルトレーニングを提供し、１人又は複数の加入者にＩＡ検出モデルを配信するために、ＭＬトレーニングコンポーネントを使用するバーチャスサイクルに留意されたい。バーチャスサイクルの特徴は、モデルを連続してトレーニングすることができ、リアルタイム又はほぼリアルタイムの結果を提供することができる。このバーチャスサイクルは、ビジネスインテリジェンス、法執行、医療サービス、軍事用途など（これらに限定されるものではないが）、様々な他の分野に適用可能であることに留意されたい。
【０１１３】
図１０は、本発明の一実施形態による、ＩＡＳ関連情報を感知するために使用されるコンテナ化センサネットワークの一例を示すブロック図１０００である。図１０００は、センサバス１００２、ストリーミングパイプライン１００４、及びアプリケーション層１００６を含み、センサバス１００２は、低帯域幅信号及び高帯域幅信号を受信することができる。ストリーミングパイプライン１００４は、一実施形態では、モデル１００８などの一意のモデルを生成することができるＭＬを含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（回路又は要素）が図１０に追加されたり、図１０から除去されたりしても変化しないことに留意されたい。
【０１１４】
図１１は、本発明の一実施形態による、バーチャスサイクルを容易にするための車載カメラ、ＣＡＮ（Controller Area Network）バス、慣性測定ユニット、ライダーなどをサポートするために車両にインストール可能な処理装置又はコンピュータシステムを示すブロック図１１００である。コンピュータシステム又はＩＡＳ１１００は、処理ユニット１１０１、インターフェースバス１１１２、及び入力／出力（Ｉ／Ｏ）ユニット１１２０を含むことができる。処理ユニット１１０１は、プロセッサ１１０２、メインメモリ１１０４、システムバス１１１１、スタティックメモリデバイス１１０６、バス制御ユニット１１０５、Ｉ／Ｏ装置１１３０、及びＩＡＳ装置１１８５を含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（回路又は要素）が図１１に追加されたり、除去されたりしても、変化しないことに留意されたい。
【０１１５】
バス１１１１は、データ処理のために種々のコンポーネントとプロセッサ１１０２との間で情報を送信するために使用される。プロセッサ１１０２は、ARM（登録商標）埋め込み型プロセッサ、Intel（登録商標） Core（商標）Duo、Core（商標）Quad、Xeon（登録商標）、Pentium（商標）マイクロプロセッサ、Motorola（商標）６８０４０、AMD（登録商標）ファミリープロセッサ、又はPower PC（商標）マイクロプロセッサなど、多種多様な汎用プロセッサ、埋め込み型プロセッサ、又はマイクロプロセッサのいずれかとすることができる。
【０１１６】
メインメモリ１１０４は、複数レベルのキャッシュメモリを含んでいてもよく、頻繁に使用されるデータ及び命令を格納する。メインメモリ１１０４は、ＲＡＭ（ランダムアクセスメモリ）、ＭＲＡＭ（磁気ＲＡＭ）、又はフラッシュメモリであってもよい。スタティックメモリ１１０６は、バス１１１１に結合され、スタティック情報及び／又は命令を格納するＲＯＭ（リードオンリーメモリ）であってもよい。バス制御ユニット１１０５は、バス１１１１、１１１２に結合され、メインメモリ１１０４又はプロセッサ１１０２などの、どのコンポーネントがバスを使用できるかを制御する。バス制御ユニット１１０５は、バス１１１１とバス１１１２との間の通信を管理する。
【０１１７】
一実施形態では、Ｉ／Ｏユニット１１２０は、ディスプレイ１１２１、キーボード１１２２、カーソル制御装置１１２３、及び通信装置１１２５を含む。ディスプレイ１１２１は、液晶デバイス、陰極線管（ＣＲＴ）、タッチスクリーンディスプレイ、又は他の適切なディスプレイ装置であり得る。ディスプレイ１１２１は、グラフィカルプランニングボードの画像を投影又は表示する。キーボード１１２２は、、従来の英数字入力装置であってよく、コンピュータシステム１１００とコンピュータオペレータとの間で情報を通信するためのものである。別のタイプのユーザ入力装置としては、カーソル制御装置１１２３があり、従来のマウス、タッチマウス、トラックボール、又はシステム１１００とユーザとの間で情報を通信するための他のタイプのカーソルなどがある。
【０１１８】
一実施形態では、ＩＡ装置１１８５は、バス１１１１に結合され、ＩＡ検出を容易にするためにバーチャスサイクルと接続して構成される。例えば、ＩＡＳ１１００が自動車に設置される場合、ＩＡ装置１１８５は、クラウドベースのネットワークと接続すると共に、ＩＡモデルを操作するためにも使用される。ＩＡＳ１１００がクラウドベースのネットワークに配置される場合、ＩＡ装置１１８５は、ラベル付きデータを生成するために関連付けられたプロセスを処理するように構成することができる。
【０１１９】
通信装置１１２５は、バス１１１１に結合され、広域ネットワークを通して、サーバ又は他のコンピュータなどのリモートコンピュータ又はサーバからの情報にアクセスする。この通信装置１１２５は、モデム、ネットワークインターフェース装置、又はコンピュータシステム１１００とネットワークとの間の通信を容易にする他の類似の装置を含み得る。コンピュータシステム１１００は、インターネットなどのネットワークインフラストラクチャを通していくつかのサーバに結合され得る。
【０１２０】
本発明の一実施形態は、以下に説明される様々な処理ステップを含む。この一実施形態のステップは、機械又はコンピュータ実行可能なインストラクションで実施することができる。インストラクションを使用して、汎用又は専用のシステムをプログラムし、この一実施形態のステップを実行することができる。あるいは、本発明の一実施形態のステップは、ステップを実行するためのハードワイヤードロジックを含む特定のハードウェアコンポーネントによって、又はプログラムされたコンピュータコンポーネントとカスタムハードウェアコンポーネントとの任意の組合せによって、実行可能である。
【０１２１】
図１２は、本発明の一実施形態による、ＩＡＳプロセスのフローチャート１２００を示し、このＩＡＳプロセスは、ＩＡモデルによって処理されるメタデータ抽出を通して、車両動作を支援可能である。ブロック１２０２は、車両に搭載された外向きカメラのセットを起動するプロセスであり、車両が動作する地理的環境を表す外部周囲画像を記録する。ブロック１２０４において、車両に搭載された１組の内向きカメラのうちの少なくとも１つが選択的に動作可能とされ、車両の内部画像を収集する。ブロック１２０６で、プロセスは、内部画像及びＩＡモデルによって管理される格納されたデータに従って、オペレータの視線が焦点を合わせる目標方向を識別する。ブロック１２０８で、外部周囲画像及び目標方向に応じて外部目標が決定される。ブロック１２１０において、プロセスは、外部目標及びＩＡモデルによって供給された情報に基づいて、オペレータの視線が見ているオブジェクトを識別する。
【０１２２】
一実施形態では、プロセスは、更に、バーチャスサイクルによってトレーニングされたＩＡモデルによって提供される外部周囲画像及び情報に従って、周囲の環境事象を追跡することができる。例えば、周囲の環境事象に応じて車両衝突の可能性を識別すると、車両衝突の可能性があると判断されたことを運転者に警告するために、空間相関音声警告が発せられるか又は提供される。又、空間的に関連付けられた音声警告が起動されると、室内エンターテイメントボリュームの自動調整が供給され動作可能となる。このプロセスは更に、クラウドコンピューティングを介したバーチャスサイクルによってトレーニングされるＩＡモデルによって促進される１組の所定の衝突回避ポリシーに従って、衝突の可能性を回避するように車両の移動方向を調整することができる。
【０１２３】
本発明の特定の実施形態を示し、説明したが、本明細書の教示に基づいて、本発明の一実施形態及びそのより広い態様から逸脱することなく、変更及び修正を行うことができることは、当業者には明らかであろう。したがって、添付の特許請求の範囲は、本発明の一実施形態（単数又は複数）の本質的な着想及び範囲内にあるそのようなすべての変更及び修正をその範囲内に包含することが意図される。
【図１Ａ】
2019530061.tif 000003
【図１Ｂ】
2019530061.tif 000004
【図１Ｃ】
2019530061.tif 000005
【図１Ｄ】
2019530061.tif 000006
【図１Ｅ】
2019530061.tif 000007
【図１Ｆ】
2019530061.tif 000008
【図１Ｇ】
2019530061.tif 000009
【図１Ｈ】
2019530061.tif 000010
【図２Ａ】
2019530061.tif 000011
【図２Ｂ】
2019530061.tif 000012
【図３】
2019530061.tif 000013
【図４】
2019530061.tif 000014
【図５】
2019530061.tif 000015
【図６】
2019530061.tif 000016
【図７】
2019530061.tif 000017
【図８】
2019530061.tif 000018
【図９】
2019530061.tif 000019
【図１０】
2019530061.tif 000020
【図１１】
2019530061.tif 000021
【図１２】
2019530061.tif 000022
【国際調査報告】
2019530061.tif 000023
2019530061.tif 000024