(57)【要約】  センサ、マシンラーニングセンタ（ＭＬＣ）、及びクラウドベースのネットワーク（ＣＢＮ）を含むバーチャスサイクルにより管理されるＧＰＳリファインメント（ＧＲ）モデルを使用して、抽出されたメタデータを通して車両を誘導するための全地球測位システム（ＧＰＳ）情報を高精度化することができる、方法又はシステムであって、ＧＲシステムは、一組の外向きカメラと、車両搭載コンピュータ（ＶＯＣ）と、ＧＲモデルと、を含み、車両に搭載された外向きカメラは、車両が動作する周囲環境を表す外部画像を収集することができ、ＶＯＣは、外部画像及びＣＢＮから得られた履歴格納データに従って、周囲環境に対する車両位置を生成するように構成され、ＧＲモデルは、車両位置とＧＰＳデータとの組み合わせ情報に基づいて、走行案内を生成するように構成される、方法又はシステム。【選択図】図１Ｃ
2019525185.tif 000002
【特許請求の範囲】
【請求項１】
抽出されたメタデータを通して車両の全地球測位システム（ＧＰＳ）ナビゲーションガイダンスを改良するためのシステムであって、
車両が動作する周囲環境を表す外部画像を収集する、前記車両に搭載された複数の外向きカメラと、
前記外部画像及びクラウドベースネットワーク（ＣＢＮ）から得られた履歴格納データに従って、前記周囲環境に対する車両位置を生成するように構成された、前記複数の外向きカメラに接続された車両搭載コンピュータ（ＶＯＣ）と、
前記車両搭載コンピュータ（ＶＯＣ）に接続され、前記車両位置と全地球測位システム（ＧＰＳ）データとの組み合わせ情報に基づいて、走行案内を生成するように構成されたＧＰＳリファインメント（ＧＲ）モデルと、を備えるシステム。
【請求項２】
前記外部画像は、前記周囲環境内の目印、道路状況、車線数、及び近隣の建物を含む、請求項１に記載のシステム。
【請求項３】
前記車両位置は、前記クラウドベースネットワーク（ＣＢＮ）及び前記全地球測位システム（ＧＰＳ）の読み取りから前記周囲環境に関連付けられた履歴データに基づいて計算される、請求項１に記載のシステム。
【請求項４】
前記車両位置は、調査された道路標識のデータベース及びナビゲーションの読み取りに基づいて計算される、請求項１に記載のシステム。
【請求項５】
前記車両位置は、２つの異なる外向きカメラによって取り込まれた２つの外部画像からの２つの光線の計算に応答して算出される、請求項１に記載のシステム。
【請求項６】
前記車両位置は、空間内の点と現在の道路の既知の測量位置との間の三角測量のプロセスにより計算される、請求項１に記載のシステム。
【請求項７】
前記ＧＰＳリファインメント（ＧＲ）モデルは、少なくとも部分的に前記車両搭載コンピュータ（ＶＯＣ）に存在するハードウェア、ソフトウェア、及びハードウェアとソフトウェアの組み合わせ、のうちの１つである、請求項１に記載のシステム。
【請求項８】
前記走行案内は、前記車両が現在走行している車線を示す、請求項１に記載のシステム。
【請求項９】
前記車両の運転者、搭乗者、及び室内に関する内部画像を取り込むことができる複数の内向きカメラを更に含む、請求項１に記載のシステム。
【請求項１０】
センサ、マシンラーニングセンタ（ＭＬＣ）、及びクラウドベースのネットワーク（ＣＢＮ）を含むバーチャスサイクルを利用するメタデータ抽出による目標指向ナビゲーションガイダンスのための方法であって、
全地球測位システム（ＧＰＳ）ナビゲーションシステムから得られる情報に従って、予め設定された目的地に近づく車両を検出するステップと、
前記車両が動作する周囲環境を表す外部画像を取り込むために、前記車両に取り付けられた外向きのカメラの少なくとも一部を起動するステップと、
現在の時刻、交通状況、事象、歩行状況に応じて、予め設定された目的地付近の駐車場の選択肢をバーチャスサイクルから取得し、前記全地球測位システム（ＧＰＳ）ナビゲーションシステムのパーキングコンパスを通して前記駐車場の選択肢を表示し、駐車場の候補地を運転者に知らせるステップと、を備える方法。
【請求項１１】
前記パーキングコンパスでの駐車スペースの確率を、車両がどの方向に進むかに基づいて提示するステップを、更に備える、請求項１０に記載の方法。
【請求項１２】
前記パーキングコンパスによって示される方向に基づいて近くの駐車スペースの探索を続けるために、前記ＧＰＳナビゲーションシステムによって設定される所定の様式を変更するステップを、更に備える、請求項１０に記載の方法。
【請求項１３】
前記車両、前記マシンラーニングセンタ（ＭＬＣ）、及び前記クラウドベースのネットワーク（ＣＢＮ）に接続されたＧＰＳリファインメント（ＧＲ）モデルを起動して、前記予め設定された目的地付近の駐車スペースへの探索経路を生成するステップを、更に備える、請求項１０に記載の方法。
【請求項１４】
無線通信ネットワークを通して車両搭載コンピュータ（ＶＯＣ）から前記バーチャスサイクルに前記外部画像をアップロードするステップを、更に備える、請求項１０に記載の方法。
【請求項１５】
前記予め設定された目的地に接近する前記車両を検出することは、前記予め設定された目的地に関連付けられた前記クラウドベースのネットワーク（ＣＢＮ）からの履歴データに従って、前記予め設定された目的地が駐車場を提供するかどうかを決定するステップを含む、請求項１０に記載の方法。
【請求項１６】
前記外向きカメラの少なくとも一部を起動するステップが、前記車両が動作する前記周囲環境からの音声データを記録するために音声センサを起動するステップを含む、請求項１０に記載の方法。
【請求項１７】
前記バーチャスサイクルから前記駐車場の選択肢を取得するステップは、街路安全性、条件、駐車価格、駐車場発見の可能性、及び近隣犯罪率に従って、前記予め設定された目的地付近の適切な駐車場所を受信するステップを含む、請求項１０に記載の方法。
【請求項１８】
センサ、マシンラーニングセンタ（ＭＬＣ）、及びクラウドベースネットワーク（ＣＢＮ）を含むバーチャスサイクルに結合されたクラウドソースデータ（ＣＤ）モデルによって容易化されるクラウドソースデータを管理するように構成された方法であって、
前記クラウドソースデータ（ＣＤ）モデルからインセンティブメッセージを受信し、その位置に関連付けられたリアルタイムビデオを収集するための前記位置を通過するように車両に要求するステップと、
前記車両が前記位置を通過する周囲環境を表す外部リアルタイム画像を取り込むために、車両に取り付けられた外向きカメラの少なくとも一部を起動するステップと、
前記外部リアルタイム画像をクラウドベースのプロセッサにアップロードして、前記位置を含む地理的エリアの取得された前記リアルタイムビデオ及び前記リアルタイム画像の情報を処理及び分類するステップと、
前記位置のモニタ記録を記述するレポートを加入者に転送するステップと、を備える方法。
【請求項１９】
前記位置を通過して前記インセンティブメッセージを受信するための入札プロセスを生成するプロセスを更に備える、請求項１８に記載の方法。
【請求項２０】
定期的に前記位置をカバーするように経路の再探索をするステップを更に備える、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
＜優先権の主張＞
本出願は、２０１６年８月１０日出願の米国仮特許出願第６２／３７２，９９９号である「収集され格納されたメタデータを用いて情報を提供する方法及びシステム」に基づく優先権を主張し、その全体を参照して本明細書に組み込まれる。
【０００２】
本発明は通信ネットワークの分野に関し、特にクラウド、マシンラーニング、及びコンテナ化センサの間のバーチャスサイクルを使用してインテリジェント機械を動作させることに関する。
【背景技術】
【０００３】
電子機器、ＩｏＴ（Internet of Things）、スマートビークル、スマートフォン、ドローン、モバイルデバイス、飛行機、人工知能（ＡＩ）などの自動化及びインテリジェント電子デバイスの人気が高まるにつれて、インテリジェント機械及びより高速なリアルタイム応答の需要が増加している。マシンラーニングを適切に行うためには、データ管理、モデルトレーニング、データ収集などのかなり多くの部分を改良する必要がある。
【０００４】
従来のマシンラーニングのタイプは、それ自体、畳み込み、ＲＮＮ（recurrent neural network）などの異なる種類のモデルを試行することを含む得る探索プロセスである。マシンラーニング又はトレーニングは、通常、モデル及びトレーニング特性の形態を変化させる多種多様なハイパーパラメータに関係する。モデルトレーニングは一般に、集中的な計算を必要とする。したがって、マシンラーニングモデルを介したリアルタイム応答は困難な場合がある。
【０００５】
従来のナビゲーションシステムに付随する欠点は、車が現在どの車線を走行しているかを決定するための十分に高い分解能なしに、交差点などでの進行方向指示及び特定の車線命令を提供することである。典型的なＧＰＳ（Global Positioning System:全地球測位システム）ナビゲーションシステムの別の欠点は、生のＧＰＳが、特に都市地域において、一般的に広い分散、誤差を有することである。現在のナビゲーションシステムの別の問題は、車両をどこに駐車するかに関する情報を全く用いずに、目的地である指定された住所へ向かう指示を与えるところにある。例えば、より実質的な目的地は、できるだけ住所の近くに車を駐車し、次いで、運転者に指定された住所まで歩かせることである。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の一実施形態は、センサ、マシンラーニングセンタ（ＭＬＣ）、及びクラウドベースのネットワーク（ＣＢＮ）を含むバーチャスサイクルによって管理されるＧＰＳリファインメント（ＧＲ）モデルを使用して、抽出されたメタデータを通して車両を誘導するための全地球測位システム（ＧＰＳ）情報をリファインすることができる方法又はシステムを開示する。ＧＲシステムは、一組の外向きカメラと、車両搭載コンピュータ（ＶＯＣ）と、ＧＲモデルとを含む。車両に搭載された外向きカメラは、車両が動作する周囲環境を表す外部画像を収集することができる。例えば、外部画像は、周囲環境内の目印、道路状況、車線数、及び近隣の建物を含む。
【０００７】
ＶＯＣは、外部画像及びＣＢＮから得られた履歴格納データに従って、周囲環境に対する車両位置を生成するように構成される。例えば、車両位置は、ＣＢＮ及びＧＰＳ読み取りからの周囲環境に関連付けられた履歴データに基づいて計算される。又、理論的車両位置は、調査された道路標識のデータベース及びナビゲーションの読み取りに基づいて計算することもできる。更に、車両位置は、２つの異なる外向きカメラによって取り込まれた２つの外部画像からの２つの光線の計算に応答して算出される。又、車両位置は、空間内の点と現在の道路の既知の測量位置との間の三角測量のプロセスにより計算される。
【０００８】
ＧＲモデルは、一実施形態では、車両位置とＧＰＳデータとの組み合わせ情報に基づいて走行案内を生成するように構成される。ＧＲモデルは、少なくとも部分的にＶＯＣに存在するハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせとすることができる。なお、走行案内は、車両が現在どの車線を走行しているかを示すことができる。ＧＲシステムは、更に、運転者、搭乗者、及び車両の内部に関連する内部画像を取り込むことができる内向きカメラを含む。
【０００９】
他の実施形態において、センサ、ＭＬＣ、及びＣＢＮを含むバーチャスサイクルを利用するメタデータ抽出により、目標指向のナビゲーションガイダンスを行うＧＲプロセスは、ＧＰＳナビゲーションシステムから得られる情報に従って、予め設定された目的地に近づく車両を検出することができる。例えば、プロセスは、予め設定された目的地に関連付けられたＣＢＮからの履歴データに従って、予め設定された目的地が駐車場を提供しているかどうかを判定することができる。このプロセスは、車両が動作する周囲環境を表す外部画像を取り込むために、車両に取り付けられた外向きカメラの少なくとも一部を起動する。一態様では、音声センサは、車両が動作する周囲環境からの音声データを記録するように作動される。プロセスは、現在の時間、交通状況、事象、及び歩行状況に従って、予め設定された目的地の近くの駐車場に関する情報を、バーチャスサイクルから取得する。例えば、予め設定された目的地付近の適切な駐車場が、条件、駐車価格、駐車場が見つかる可能性、及び近隣犯罪率に関係なく、街路安全性に従って受信される。駐車場の選択肢は、ＧＰＳナビゲーションシステムのパーキングコンパスで表示され、駐車場の候補地を運転者に知らせる。一実施形態では、プロセスは、車両が向く方向に基づいて、パーキングコンパス上に駐車スペースの確率を提示することができる。例えば、パーキングコンパスによって示される方向に基づいて近くの駐車スペースを探すようにＧＰＳナビゲーションシステムによって設定された所定の様式を変更した後、車両、ＭＬＣ、及びＣＢＮに接続されたＧＲモデルが起動されて、予め設定された目的地の近くの駐車スペースへの探索経路が生成される。なお、外部画像は、無線通信ネットワークを通してＶＯＣからバーチャスサイクルにアップロードされる。
【００１０】
本発明の他の実施形態では、センサ、ＭＬＣ、及びＣＢＮを含むバーチャスサイクルに接続されたクラウドソースデータ（ＣＤ）モデルにより容易化される、クラウドソースデータの管理を構成されたプロセスを開示する。一態様では、車両に要求するインセンティブメッセージをＣＤモデルから受信し、位置と関連付けられたリアルタイムビデオの収集場所を通過した後、プロセスは、車両に取り付けられた外向きカメラの少なくとも一部を起動し、車両がその位置を通過する周囲環境を表す外部リアルタイム画像を取得することができる。外部リアルタイム画像をクラウドベースのプロセッサにアップロードして、その場所を含む地理的エリアに関する取得されたリアルタイムビデオ及び画像情報を処理及び分類すると、その場所のモニタ記録を記述するレポートが加入者に転送される。あるいは、プロセスは、その場所を走行するためのインセンティブを受け取るための入札プロセスを作成することができる。又、ＣＤモデルは、定期的にその場所をカバーするように経路の再探索をすることができる。
【００１１】
本発明の一実施形態の更なる特徴及び効果は、以下の詳細な説明、図面、及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１２】
本発明の一実施形態は、以下に与えられる詳細な説明、及び本発明の様々な実施形態の添付の図面からより完全に理解されるが、これらの実施形態は、本発明を特定の実施形態に限定するものではなく、説明及び理解のためだけのものであると解釈されるべきである。
【００１３】
【図１Ａ】本発明の一実施形態によるバーチャスサイクルを通して、ＧＰＳナビゲーションガイダンスの高精度化が可能なＧＲシステムを容易にするバーチャスサイクルを示すブロック図である。
【図１Ｂ】本発明の一実施形態によるバーチャスサイクルを通して、ＧＰＳナビゲーションガイダンスの高精度化が可能なＧＲシステムを容易にするバーチャスサイクルを示すブロック図である。
【図１Ｃ】本発明の一実施形態によるバーチャスサイクルを通し、内向き及び／又は外向きカメラを用いて、ＧＰＳの高精度化を提供するＧＲモデルを示す図である。
【図１Ｄ】本発明の一実施形態によるバーチャスサイクルを通し、内向き及び／又は外向きカメラを用いて、ＧＰＳの高精度化を提供するＧＲモデルを示す図である。
【図１Ｅ】本発明の一実施形態によるバーチャスサイクルを通し、内向き及び／又は外向きカメラを用いて、ＧＰＳの高精度化を提供するＧＲモデルを示す図である。
【図１Ｆ】本発明の一実施形態によるバーチャスサイクルを用いて、検出されたオブジェクトを識別し、分類することができる外向きカメラのパイプラインプロセスを示すブロック図である。
【図１Ｇ】本発明の一実施形態によるバーチャスサイクルを用いて、検出されたオブジェクトを識別し、分類することができる外向きカメラのパイプラインプロセスを示すブロック図である。
【図１Ｈ】本発明の一実施形態によるバーチャスサイクルを用いて、検出されたオブジェクトを識別し、分類することができる外向きカメラのパイプラインプロセスを示すブロック図である。
【図２Ａ】本発明の一実施形態によるＧＲモデルの検出を容易にするバーチャスサイクルを示すブロック図である。
【図２Ｂ】本発明の一実施形態によるＧＲモデルの検出を容易にするバーチャスサイクルを示すブロック図である。
【図３】本発明の一実施形態によるＧＲモデルを改善するクラウドソーシングアプローチを使用したクラウドベースのネットワークを示すブロック図である。
【図４】本発明の一実施形態によるバーチャスサイクルを利用するＧＲモデルやシステムを示すブロック図である。
【図５】本発明の一実施形態によるＧＲデータを関連付けするプロセスの一例を示すブロック図である。
【図６】本発明の一実施形態によるＧＲモデルのリアルタイムデータ管理のプロセスの一例を示すブロック図である。
【図７】本発明の一実施形態によるＧＲモデルのクラウドソースアプリケーションモデルを示すブロック図である。
【図８】本発明の一実施形態による地理空間オブジェクトストレージを用いてＧＲ関連データを格納する方法を示すブロック図である。
【図９】本発明の一実施形態によるＧＲデータを分析する分析エンジンのアプローチの一例を示すブロック図である。
【図１０】本発明の１つの実施形態によるＧＲ関連情報を感知するために使用されるコンテナ化センサネットワークの一例を示すブロック図である。
【図１１】本発明の一実施形態によるバーチャスサイクルを容易にし、車両に搭載可能な、処理装置又はコンピュータシステムを示すブロック図である。
【図１２】本発明の一実施形態による高精度化されたＧＰＳ情報に駐車場の選択肢を提供可能なＧＲシステムのプロセスを示すフローチャートである。
【発明を実施するための形態】
【００１４】
本発明の一実施形態は、クラウドベースのネットワーク、コンテナ化されたセンシングデバイス、及びマシンラーニングセンタ（ＭＬＣ）を含むバーチャスサイクルによって連続的にトレーニングされるＧＲモデルを使用して、外向きカメラを使用する車両のためのＧＰＳナビゲーションガイダンスを高精度化するための方法及び／又は装置に関して、本明細書で説明される。
【００１５】
以下の詳細な説明の目的は、本発明の１つ以上の実施形態の理解を提供することである。当業者は、以下の詳細な説明が例示に過ぎず、決して限定することを意図しないことを理解するであろう。他の実施形態は、本開示及び／又は説明の利益を有する当業者に自らを容易に示唆するであろう。
【００１６】
ここに記述されている実施形態の手順の特長が、全てを説明してはいないことは、明確である。当然のことながら、そのような実際の実装の開発では、アプリケーション及びビジネス関連の制約の遵守など、開発者の特定の目標を達成するために、多数の実装固有の決定を行うことができ、これらの特定の目標は、実装ごとに、又開発者ごとに異なることが理解されよう。更に、そのような開発努力は複雑で時間がかかるかもしれないが、それにもかかわらず、本開示の実施形態（複数可）の利益を有する当技術分野の通常の技能を有する者にとっては、日常的な工学の仕事であることは理解されるであろう。
【００１７】
図面に示される本発明の様々な実施形態は、一定の縮尺で描かれていない場合がある。むしろ、様々な特徴の寸法は、明確にするために拡大又は縮小することができる。更に、図面のいくつかは、明瞭化のために簡略化されている。従って、図面は、所定の装置（例えば、デバイス）又は方法の構成要素のすべてを示すとは限らない。尚、図面全体及び以下の詳細な説明を通して、同一の図面の符号は、同一又は同様の部分を指し示すために、使用される。
【００１８】
本発明の実施形態によれば、本明細書で説明するコンポーネント、プロセスステップ、及び／又はデータ構造は、様々なタイプのオペレーティングシステム、コンピューティングプラットフォーム、コンピュータプログラム、及び／又は汎用マシンを使用して実装することができる。更に、当業者は、ハードウェア装置、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などの汎用性の低い装置も、本明細書に開示される本発明の概念の範囲及び精神から逸脱することなく使用できることを認識するであろう。一連の処理ステップを含む方法が、コンピュータ又は機械によって実施され、それらの処理ステップが、機械によって読み取り可能な一連の命令として格納され得る場合、それらは、コンピュータメモリデバイス（例えば、ＲＯＭ（読み取り専用メモリ）、ＰＲＯＭ（プログラム可能な読み取り専用メモリ）、ＥＥＰＲＯＭ（電気的にプログラム消去可能な読み取り専用メモリ）、フラッシュメモリ、ジャンプドライブなど）、磁気記憶媒体（例えば、テープ、磁気ディスクドライブなど）、光記憶媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、紙カード、及び紙テープなど）、及び他の既知のタイプのプログラムメモリなどの有形媒体に格納され得る。
【００１９】
用語「システム」又は「装置」は、本明細書では、任意の数のコンポーネント、エレメント、サブシステム、装置、パケットスイッチエレメント、パケットスイッチ、アクセススイッチ、ルータ、ネットワーク、コンピュータ及び／又は通信装置もしくはメカニズム、又はそれらのコンポーネントの組み合わせを記述するために総称的に使用される。「コンピュータ」という用語は、命令を実行することができるプロセッサ、メモリ、及びバスを含み、コンピュータは、コンピュータ、パーソナルコンピュータ、ワークステーション、メインフレーム、又はそれらのコンピュータの組み合わせの１つ又はクラスタを指す。
【００２０】
本発明の一実施形態は、センサ、マシンラーニングセンタ（ＭＬＣ）、及びクラウドベースのネットワーク（ＣＢＮ）を含むバーチャスサイクルによって管理されるＧＰＳリファインメント（ＧＲ）モデルを使用して、抽出されたメタデータを通して車両を誘導するための全地球測位システム（ＧＰＳ）情報を高精度化することができる方法又はシステムを開示する。ＧＲシステムは、一組の外向きカメラと、車両搭載コンピュータ（ＶＯＣ）と、ＧＲモデルとを含む。車両に搭載された外向きカメラは、車両が動作する周囲環境を表す外部画像を収集する。ＶＯＣは、ＣＢＮから得られた外部画像及び履歴格納データに従って、周囲環境に対する車両位置を生成するように構成される。ＧＲモデルは、車両位置とＧＰＳデータとの組み合わせ情報に基づいて、走行案内を生成するように構成される。
【００２１】
図１Ａは、本発明の一実施形態によるバーチャスサイクルを通して、ＧＰＳナビゲーションガイダンスを高精度化し、ＧＲシステムを容易にするバーチャスサイクルを示すブロック図１００である。図１００は、車両１０２、ＣＢＮ１０４、及びＭＬＣ１０６を含むバーチャスサイクルを示す。一態様では、ＭＬＣ１０６は、遠隔して、又はクラウド内に配置することができる。あるいは、ＭＬＣ１０６はＣＢＮ１０４の一部であってもよい。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（回路又は装置）が図１００に追加されたり、又は図１００から除去されたりしても変化しないことに留意されたい。
【００２２】
車両１０２は、一例として、自動車、自動車、バス、列車、ドローン、飛行機、トラックなどであり、地理的にＡ地点からＢ地点まで移動することができ、前述の説明を簡単にするために、用語「車両」又は「自動車」が使用される。車両１０２は、ＡＢＳ（アンチロックブレーキシステム）付きホイール、ボディ、ステアリングホイール１０８、外部又は外向きカメラ１２５、内部視野３６０度のカメラ又は内向きカメラ１２６、アンテナ１２４、車載コントローラ又はＶＯＣ１２３、及びオペレータ（又は運転者）１０９を含む。外向きカメラ及び／又は内向きカメラ１２５〜１２６は、車両１０２の前面、側面、一対で、及び内側に設置できることに留意されたい。例えば、車両１０２は、車両の状態に関する情報、車両の状態、運転者の行動を感知する様々なセンサも含み、例えば、（図１Ａには示されていないが）センサは、音声、ＡＢＳ、ステアリング、ブレーキ、加速、トラクション制御、ウインドシールドワイパー、ＧＰＳ（全地球測位システム）、レーダー、超音波、ライダー（光検出及び距離測定）などの情報を収集することができる。
【００２３】
ＶＯＣ又は搭載コントローラ１２３は、ＣＰＵ（中央処理装置）、ＧＰＵ（グラフィック処理装置）、メモリ、及び外向きカメラ又は外部カメラ１２５、内向きカメラ又は内部カメラ１２６、音声センサ、ＡＢＳ、トラクション制御、ステアリングホイール、ＣＡＮバスセンサなどからデータを収集する役割を果たすディスクを含む。一態様では、ＶＯＣ１２３は、ＭＬＣ１０６から受信したＧＲモデルを実行し、アンテナ１２４と接続され、無線通信ネットワーク１１０を通してＣＢＮ１０４と通信する。無線通信ネットワークは、ＷｉＦｉ、セルラーネットワーク、Bluetooth（登録商標）ネットワーク、衛星ネットワークなどを含むが、これらに限定されないことに留意されたい。ＶＯＣ１２３の機能は、車両１０２が移動しているときに、リアルタイムの周囲情報並びに外部情報を収集、取得することである。
【００２４】
ＣＢＮ１０４は、サーバファーム１２０、ルータ／スイッチ１２１、クラウドアドミニストレータ１１９、接続されたコンピューティング装置１１６〜１１７、及びネットワーク装置１１８などの、様々なデジタルコンピューティングシステムを含む（但し、これらに限定されるものではない）。ＣＢＮ１０４の機能は、膨大なコンピューティング能力及びリソースを有するオンデマンドインターネットベースのコンピューティングサービスとみなすことができる、クラウドコンピューティングを提供することである。ＣＢＮ１０４の別の機能は、取得されたリアルタイムデータを、クラウドデータと関連付けることによって、ＧＲラベル付きデータを改良し、高精度化することである。高精度化されたＧＲラベル付きデータは、その後、接続１１２を通してモデルトレーニングのためにＭＬＣ１０６に渡される。
【００２５】
一実施形態では、ＭＬＣ１０６は、ＣＢＮ１０４から提供されるＧＲラベル付きデータなどの情報又はデータに基づいて、ＧＲモデルなどのモデル１１５を提供、高精度化、トレーニング、及び／又は配信する。マシンラーニングは、現在のデータと同様に履歴データも使用して、様々な計算アルゴリズムによって生成及び維持されるモデルに基づいて、ＧＲモデルを作成することに留意されたい。ＭＬＣ１０６の機能は、改訂されたＧＲモデルなどの情報をリアルタイムで無線通信ネットワーク１１４を通して車両１０２に追加することができることである。
【００２６】
車両１０２を通して現在のオペレータの運転スタイルを識別又は収集するために、ＶＯＣ１２３の内部に存在し得る車載ＧＲモデルは、運転者のボディランゲージ、外部周囲条件、内部検出画像、ＡＢＳ、車輪の滑りやすさ、旋回状態、エンジン状態などのような内蔵センサからトリガ事象を受け取る。トリガ事象は、ＡＢＳの作動、ショートメールの操作、飲酒、喫煙、口論している、遊んでいる、喧嘩、急ハンドル、急ブレーキ、過度の車輪スリップ、緊急停止の作動などを含むことができるが、これらに限定されない。車両状態信号を通してトリガ事象を受信すると、内向きカメラ又は３６０度視野カメラによって取り込まれた記録又は記録された画像は、トリガ事象の受信につながる以前のタイムスタンプから巻き戻され、例えば、運転者の頭部位置又は正常事象の画像を含むＧＲラベル付きデータを識別する。ラベル付けされたデータとＣＢＮにおける履歴サンプリングデータとを関連付けた後、ＧＲモデルは、ＭＬＣ１０６において再トレーニングされ、高精度化される。再トレーニングされたＧＲモデルは、その後、車両１０２に追加される。
【００２７】
動作中、外向きのカメラ１２５は、目印、道路、家、ラジオタワーなどの外部画像を取り込む。外部画像をクラウド処理センタにアップロードすると、車両のより正確な物理的位置が識別される。高精度化されたＧＰＳナビゲーション情報に基づいて、車線２の中にある車両、などの車両の正確な位置が決定され、車線１への変更又は現車線に留まるなどの適切な案内指示が提供され得る。
【００２８】
ＧＲシステムを使用する利点は、より正確で有用な交通案内を提供することである。
【００２９】
図１Ｂは、本発明の一実施形態によるバーチャスサイクルを通して、高精度化されたＧＰＳナビゲーションガイダンスを表示するために、ＧＲシステムによってモニタされるオペレータ又は運転者を示すブロック図１４０である。図１４０は、運転者１４８、内向きカメラ１４２、ナビゲーションディスプレイ１４３、及び外部カメラ１４４を示す。一態様では、カメラ１４２は、内部カメラ又は３６０度視野カメラとしても知られ、運転者の顔の表情１４６及び／又は運転者（又はオペレータ）の頭部位置などのボディランゲージをモニタし、取得する。安定状態の加速度計、前方注視、ステアリングホイール上の手（テクスチングなし）を示す状態１４９を読み取ると、モデルは、運転者の振る舞いが、正常か、又は異常か、を判断することができる。
【００３０】
動作中、外向きカメラ１４４によって取り込まれた外部画像は、オペレータ１４８の相対的な目の位置に基づいて、オペレータ１４８が焦点を合わせている位置を示すことができる。外部画像をクラウドにアップロードすると、フレーム１４５に示されるように、道路又は車線に関する車両位置が計算される。ＧＰＳデータと、計算された車両位置と、を組み合わせた後、高精度化されたＧＰＳナビゲーションガイダンスを提供することができる。
【００３１】
図１Ｃは、本発明の一実施形態によるバーチャスサイクルを通し、外向きカメラを使用してＧＰＳの高精度化を提供することができるＧＲモデルのプロセスを示すブロック図１８０である。図１８０は、４つの車線１８５〜１８８と、車両１８２と、２台の車１８３〜１８４と、ＧＰＳ１９５と、バーチャスサイクル１９６とを含む。１つの例では、車線１８５は車線１であり、車線１８８は車線４であり、車線１〜２は出口ランプ１８９〜１９０を有する。本発明の一実施形態の基本的な着想は、１つ以上のブロック（構成要素又は要素）が図１８０に追加されたり、図１８０から除去されたりしても変化しないことに留意されたい。
【００３２】
一実施形態では、ＧＰＳ１９５からＧＰＳ情報を絶えず受信する車両１８２は、近づく出口ランプから出ることを望む。ＧＰＳ１９５からのＧＰＳ情報は、ＧＰＳ１９５が、現在どの車線上に車両があるかを正確には知らないので、車両１８２が車線１８６上に留まるべきか、又は車線１８５に移動するべきかについての情報を提供しない。しかしながら、車両１８２内のＧＲシステムは、外向きカメラを通して外部画像を取得し、その後、無線接続１９１〜１９２を通してバーチャスサイクル１９６に外部画像をアップロードする。計算の際に、バーチャスサイクル１９６は、無線接続１９３〜１９４を通して、車両位置を車両１８２に追加する。ＧＰＳ情報と車両位置とを組み合わせた後、ＧＲモデルは、車両が車線１８６を走行中という高精度化されたＧＰＳナビゲーションガイダンスを表示し、車両を、近づく出口１９０に導くことができる。
【００３３】
従来のナビゲーションシステムは、交差点などでの進行方向指示及び特定の車線の指示を提供することに留意されたい。しかしながら、ＧＰＳの分解能は、どの車線に車があるかを決定するためには十分ではない。ＧＲモデルを使用することによって、ナビゲーションシステムは、適切なときに車線を変更するように運転者に警告することができる。例えば、生のＧＰＳ位置ポイント、実際の車両位置、頭上出口標識などの検出された基準オブジェクト、及び車線マーキングを使用して、ＧＰＳデータと車両位置データとを組み合わせることに基づいて、より使いやすい交通案内システムを導出することができる。
【００３４】
一実施形態によるＧＲシステムは、よりリアルタイムで正確な位置決め情報を提供するために、ビデオカメラからリアルタイムで抽出された視覚的な目印を使用する。例えば、車両の前向きカメラは、道路上の車線区画線を検出する。従って、車両が１つの車線としてではなく、最も右側の車線にあるかどうかを「知る」ことができる。一般的なＧＰＳ分解能は、その程度までは分解できない。更に、測量された道路標識のデータベースは、現在の距離を計算するための基準として使用することができ、複数のそのようなオブジェクトは、非常に正確な位置情報を三角測量及び計算するために使用することができる。
【００３５】
ＧＲモデルは、外向きカメラを使用して、ビデオ、音声、及び他のセンサからなる入力ストリームから高水準のメタデータを抽出し、並びに、その情報を統合するソフトウェアコンポーネントは、詳細な位置情報を推測することができる。例えば、前向きカメラは、様々な車線区画線（実線又は破線のいずれかの白線及び黄線）を検出し、どの車線で自動車が現在走行しているかを「知る」。この情報は、ＧＰＳ信号を通して利用可能なより細かい粒状の位置情報を表す。詳細な位置情報は、交差点などで進行方向を支持するときに運転者に知らせる、より良い情報を提供するために使用することができる。例えば、ナビゲーションシステムが運転者に自動車道路から特定の出口に進むように指示している場合、ＧＰＳの限られた分解能では、車両が現在出口に向かう正しい車線内にあるかどうかをシステムが検出することはできない。本実施形態のシステムからの付加的な位置情報を用いると、ナビゲーションシステムは、「１つ右の車線に移動し、１／４マイルで出る」ことをアナウンスすることができる。
【００３６】
一実施形態によるＧＲモデルは、単一又は複数のカメラソースからの三角測量も使用する。例えば、カメラの焦点距離は既知の量であり、１つ以上のカメラは、既知の目印及びそれらの絶対寸法のデータベースを使用して、車両の正確な位置を計算することができる。例えば、高速道路の出口標識のサイズが外部調査によって知られていて、そのサイズがデータベースに取り込まれている場合、それを使用して、カメラレンズが標識からどれだけ離れているかを計算することができる。単一のカメラに可視の多数の指標、又は複数のカメラに可視の多数の指標又は単一の指標を組み合わせることによる、三角測量のプロセスを使用して、空間内の点又は円弧に、可能な位置の範囲を狭めることができる。円弧の場合、現在の道路の既知の測量位置とその円弧との交差により、非常に具体的な位置情報の計算が可能になる。
【００３７】
本発明の一実施形態によるバーチャスサイクルを通して、駐車確率プロセスを提供可能であり、ＧＰＳの高精度化を提供するＧＲモデルを示す論理ブロック図である。パーキングコンパス１６１２は、リアルタイムパーキング有効性データベース１６０２、現在位置１６０４、現在の方位１６０６、目的地１６０８、及び目標位置１６１０から入力を受信する。とられる経路の履歴１６１０は、パーキングコンパスモードが起動されていることを示す。入力を処理すると、パーキングコンパスの判断エンジンは結果を生成し、その結果は、続いて、ブロック１６１４に送信され、車両の移動方向に基づいて駐車の確率を評価する。例えば、ブロック１６１６は左折する時の左折駐車確率を提供し、ブロック１６２０は車両が右折するときの右折駐車確率を提供する。ブロック１６１８は、車両が直進したときの直進駐車確率を提供する。ブロック１６２２は、ＧＰＳナビゲーションシステムの一部であり得る対話型パーキングコンパスのようなユーザインターフェースを通して判断を提示する。
【００３８】
図１Ｅは、本発明の一実施形態によるＧＲモデルによって容易化される、２つのパーキングコンパス表示１６５０〜１６５２の一例を示す。図１６５０は、左折駐車の可能性、右折駐車の可能性、及び直進駐車の可能性のシナリオを示す。図１６５２は、右折のシナリオがこの時点で最良の駐車場の選択肢であることを示す。
【００３９】
一実施形態では、ＧＲモデルは、ナビゲーションセッションの「最後の分岐」の方向を提供する。従来のナビゲーションシステムは、通常、所望の場所（アドレス又はＧＰＳ座標など）を入力として取り込み、その場所に到達するまで交差点などでの進行方向指示（turn-by-turn）の支援をユーザに提供する。例示されたシステムは、経路の最終部分で充実した様式を可能にする。しばしば、オペレータがある場所への道案内を望むとき、目的地に近づくと、最も便利な駐車場又は利用可能な駐車場への案内を好む。例示されたシステムは、近くの駐車場が通常利用可能な場所ついての格納された統計モデルを使用することができ、又、ユーザに指示するためにリアルタイムクラウドベースのデータベースにアクセスすることができる。ときには、ＧＲシステムは、正確な所望の住所に到着する前に、ユーザに駐車するように指示することができる。
【００４０】
一実施形態では、ＧＲモデルは、外部カメラを使用して、ビデオ、音声、及び他のセンサを含む入力ストリームから、高水準のメタデータであり得るリアルタイムメタデータ、並びにその情報を統合するソフトウェアコンポーネントを抽出する。ＧＲシステムは、ユーザが選択した場所に近づくと、様式を変更することができる。車両がある距離内にあるとき、システムは、最終目的地に至る交差点などでの進行方向指示の提示を停止することができる。代わりに、システムは、２つのデータセットを使用して、どのように進むかを決定することができる。１）リアルタイムで抽出されたメタデータを使用して、システムは、来るべき空の駐車スペースを「点表示」し、運転者をその場所に導くことができ、２）統計的に生成された、どこに、及び一般的に空いている駐車場所がある場合に、システムは、空いている駐車スペースを見つける確率を最大化するように設計されている、一連の交差点などでの進行方向指示を構築することができる。例えば、最終目的地はメインストリート１２３にあるかもしれないが、履歴からは、現在の時刻及び日にそのストリート上に駐車場を見つけることは非常に困難である。代わりに、システムは、１ブロックだけ離れて隣接する通りに、通常、利用可能な十分な空き駐車場所を有することを知ることができる。システムは、その情報を使用して、利用可能な駐車場を有する可能性が高い通りを含む、最終目的地付近の「探索経路」を選択する。
【００４１】
ＧＰＳの生情報は、特に都市部において、大きなばらつき及び誤差を有することに留意すべきである。外向きカメラ及びオブジェクト検出を使用する高精度化により、精度及び解像度を高めることができる。更に、ＧＰＳ位置、外向カメラから抽出されたメタデータ、及びクラウドベースのデータを使用して、比較結果から適切なナビゲーション支援を提供することができる。
【００４２】
ＧＲシステムの利点は、指定されたアドレスに指示を与える現在のナビゲーションシステムを高精度化又は補償することである。しかしながら、ときには、目的が車両を正確な住所に到達させることではない場合がある。目的は、車両をできるだけ住所の近くに駐車させ、次いで、運転者に指定された住所まで歩行させることである。この「最後の１００ヤード」問題は、ＧＲシステムの適用によって解決される。車両が問合せの住所に「十分に近い」場合、ナビゲーションシステムは「駐車場探索」モードに切り替わる。クラウドベースの駐車場利用可能性サービスと通信することによって、システムは、どの方向に、空き駐車スペースを見つける可能性が最も高いかを知ることができる。
【００４３】
このシステムの１つの様式は「パーキングコンパス」と呼ばれ、その表示は、各交差点において、ナビゲーションシステムが、どのオプション（左折、直進、右折）が駐車場を見つける確率が最も高いかを運転者に単に知らせることである。アルゴリズムには「メモリ」があり、選択肢のセットが、目的の住所の近くにとどまり、同じブロックを進むという重複を最小限に抑える経路をもたらすことに留意されたい。例外としては、ブロックのいくつかが既知の高解約率（新しいスペースが頻繁に空く）を有する場合があり、駐車スペースを検索するときにそのブロックを複数回通ることが許容される。
【００４４】
所定のブロックの利用可能な駐車スペースのリアルタイム検出（外向きカメラからの）には、２つの用途があることに留意されたい。ユーザエクスペリエンスは、スペースを検出することによって、空きスペースの位置を運転者に報告することができ、又は運転者が目で道路上を見ることのより多くの時間を費やすことを可能にする。第２に、駐車スペースの利用可能性に関して収集されたデータは、そのデータを集約するクラウドサービスにアップロードされ、他の自動車の「パーキングコンパス」システムに知らせるリアルタイム駐車マップを作成する。この同じデータを使用して、空き駐車スペースの履歴モデルを作成し、これを使用して、運転者が利用可能な様々な方向における駐車場を見つける確率を計算する。なお、駐車場の利用可能性は時刻によって劇的に変化するので、このデータのすべてが時刻ごとに分析されることに留意されたい。
【００４５】
ＧＲモデルを使用する利点は、高精度化されたＧＰＳナビゲーションガイダンスが、率先的な駐車、及び／又は、リアルタイムの車線変更支援、を提供することである。
【００４６】
本発明の他の実施形態では、センサ、ＭＬＣ、及びＣＢＮを含むバーチャスサイクルを使用して、クラウドソースデータを管理するように構成されたクラウドソースデータ（ＣＤ）モデルを開示する。一態様では、位置と関連付けられたリアルタイムビデオを収集するために、その位置を通過することを車両に要求するインセンティブメッセージをＣＤモデルから受信した後、プロセスは、車両がその位置を通過する周囲環境を表す外部リアルタイム画像を取得するために、車両に取り付けられた外向きカメラの少なくとも一部を起動することができる。外部リアルタイム画像をクラウドベースのプロセッサにアップロードして、その位置を含む地理的エリアに関する取得されたリアルタイムビデオ及び画像情報を処理及び分類すると、その位置のモニタ記録を記述するレポートが加入者に転送される。あるいは、プロセスは、その位置を走行するためのインセンティブを受け取るための入札プロセスを作成することができる。又、ＣＤモデルは、定期的にその場所をカバーするように経路を再探索することができる。
【００４７】
一態様では、ＣＤシステムは、静止カメラの集合が、車両群に加えて、所定の地理的エリアに関するリアルタイムのビデオ及び画像情報を収集するグループとして働く。これは、必ずしも主要な目的である必要はなく、例えば、相乗り車両の大きなグループが、顧客を場所から場所に移動する事業を行う間に、街頭観測データを収集し、それをリアルタイムでクラウドにアップロードすることができることに留意されたい。関心のあるすべてのポイントにおいて、適切なレベルのリアルタイム更新を維持するために、システムは、参加者が必要な画像を供給するための「入札」又はインセンティブを作成することを可能にする。例えば、４番街とメインストリートの交差点のイメージが１５分古く、システムが１２分以内のデータを維持しようとしている場合、ドライバのセット（アイドル（idle）又はその他）にインセンティブを提供し、それらを必要な場所を通過させることができる。又、既に計画された経路の単純なルート再探索は運転者を遅らせないが、その代わりに、必要とされるリアルタイム画像を供給することによる追加収入が彼らの収益を上げる。ビジネス、又は個人家庭における静止外向きカメラもこのネットワークに参加することができることに留意されたい。
【００４８】
ＣＤシステムを使用することの利点は、様々な移動車両が、セキュリティ、確証、警告などの様々な目的のために、リアルタイム画像、音、臭気、温度などを継続して取得し、及び／又は収集することを、容易にすることである。
【００４９】
他の実施形態では、センサ、ＭＬＣ、ＣＢＮ、及び様々な専門化された処理装置を含むバーチャスサイクルによって容易化されるモデルが連続的にトレーニングされ、アプリケーションに基づいて独自のタスクを実行することができる。一態様では、連続的にトレーニングされたモデルは、内向きのセンサと、バーチャスサイクルによって管理される外向きのセンサとを使用して、体調不良がある運転者の適応可能な検出の機能を提供するように構成することができる。
【００５０】
体調不良がある運転者又はオペレータの適応可能な検出の機能を提供することができるシステムは、１つ以上のカメラ、１つ以上のマイクロフォン、及び／又は他の感覚入力を使用して、運転者の現在の挙動に関するリアルタイムメタデータを抽出し、並びに車両を囲む外部状況に関するメタデータを抽出する。システムは、様々な様式又は運転状況における特定の運転者の「典型的なパターン」を取得するモデルを構築する。例えば、システムは、運転者がブレーキ、アクセルをどのように使用するか、車両がどれだけ近接して交通に追従するか、車両が通常どのような速度で走るか、運転者がどのような頻度でまばたきをするか、運転者がどのような頻度でウィンカを使用するか、などのモデルを構築することができる。運転者の体調不良がある場合、それがアルコール、規制薬物、睡眠不足、薬物療法のいずれによるものであっても、そのパターンは通常の運転行動とは異なるはずである。システムは、この差異を検出し、それに応じてそのような情報を使用することができる。例えば、システムは、車両が停止しているときに、運転を継続するために十分に良好に感じているかどうかを、運転者に問い合わせることができる。
【００５１】
一実施形態では、システムは、外部カメラを使用して、ビデオ、音声、及び他のセンサを含む入力ストリームから高水準のメタデータなどのリアルタイムメタデータ、並びにその情報を統合するソフトウェアコンポーネントを抽出する。システムは、特定の運転者を認識し、その運転者に関連付けられたデータパターンを収集することができる。これらのデータパターンは、ローカルに格納されるか、又はクラウドに転送され、クラウドで直接使用され得るか、又はニューラルネットワークベースのマシンラーニングモデルをトレーニングするために使用され得る。次いで、そのモデルを車両に「追加」し、車両ローカル計算装置によって使用することができる。システムは、車両の現在の状態から、運転者の行動に影響を及ぼす特定のパターンを有し得る、使用の「様式」を識別する。例えば、夜間に、運転者は、日中よりも一貫して遅く運転するかもしれないし、日中よりも追従性が低いかもしれない。問題の運転者にとって損なわれた性能を示す運転選択のパターンを検出するために比較が行われる場合、これらの様式が考慮される。その結果は、体調不良がある運転者が正常に運転している方法を知らなくても、体調不良がある運転者を検出するための「一般的な」試みよりも。はるかに良好に体調不良がある運転を検出することができるシステムである。
【００５２】
不具合を検出するための記述されたメトリックに加えて、外向き事象の相対的タイミング及び運転者の動作（反応時間）を測定し、関連付けることができる。システムは、「前方の自動車のブレーキライトが点灯した」、「明るく黄色になった」などの外部事象を検出し、次いでブレーキを踏むなどの運転者側の反応挙動に気付くことができるので、運転者挙動をモデル化するためにその反応時間の測定値を使用し、運転者も体調不良があるかどうかを判定するためにそのモデルを使用するように設計することができる。
【００５３】
システムは、運転前の異常挙動の検出を通して運転者の体調不良を感知することもできる。例えば、運転パターンのメトリックは、実際には、運転が開始される前でさえも分類することができる。運転者が自動車に入り、エンジンを始動し、シートベルト等と相互作用するベースラインタイミングは、ユーザ毎に記録され、このようなベースラインタイミングは、システムが、自動車が運転される前に体調不良のある運転者を検出することを可能にすることができる。
【００５４】
他の態様では、連続的にトレーニングされたモデルは、バーチャスサイクルによって管理される内向きのセンサ及び外向きのファンシングセンサを使用して、リテールとラフィック解析の機能を提供するように構成することができる。例えば、リテールとラフィック解析を提供することができるシステムは、ＧＰＳ位置特定アプリケーション及びリアルタイム抽出メタデータに基づいて車両位置を識別するために、移動カメラ並びに静止カメラを使用する。車両位置、運転者の好みの履歴データ、搭乗者の好みの履歴データ、及び位置内の保持器の存在に基づいて、モデルは、広告、交通統計、及び利用可能性などの、運転者と保持器との間の商業的通信を容易にすることができる。モデルによって促進され得る商業活動は、プロモーションの分析、ターゲット広告、及び走行案内を含む。クーポン及び販売促進戦略は、競争的ベンチマーキングと同様に分析することができることに留意されたい。
【００５５】
図１Ｆは、本発明の一実施形態による、バーチャスサイクルを使用して検出されたオブジェクトを識別し、分類することができる外向きカメラのパイプラインプロセス１５０を示す論理ブロック図である。外向きカメラ１５１は画像を収集し、その画像は待ち行列１５２に格納される。画像スケーリングコンポーネント１５３によって画像をスケーリングした後、スケーリングされた画像はオブジェクト検出１５４に送られる。オブジェクト検出１５４は、待ち行列１５５に転送される一群のオブジェクション情報を生成する。バウンディングボックス、オブジェクトカテゴリ、オブジェクト方向、及びオブジェクト距離を含むオブジェクト情報は、コンポーネント１５６及びルータ１５７に転送される。ブロック１５６でオブジェクト情報を分類すると、分類されたデータはマップ１５８に転送される。マップ１５８に基づいてオブジェクトを認識した後、レコグナイザはルータ１５７に転送される。ルータ１５７におけるルーティング情報の後、出力画像はブロック１５９に転送され、ブロック１５９は分類器１３０〜１３１を用いて画像及び／又はオブジェクトを分類する。
【００５６】
パイプラインプロセス１５０は、入ってくるデータを処理し、フレームごとに又はデータパケットごとにメタデータを抽出し、フレーム及びメタデータパケットの両方を、パイプラインを通して転送する目的の論理処理フローを、具体化して示す。パイプラインの各ステージは、現在の音声、ビデオ、又はセンサデータフレームに対して動作を実行するソフトウェア要素を含むことができる。パイプライン内の要素は、パイプラインが動作している間に挿入又は除去することができ、これにより、アプリケーションに応じて異なる動作を実行することができる適応可能なパイプラインが可能になる。パイプラインプロセスは、状況に応じて存在し得る様々なシステム制約に適応させるように構成される。更に、パイプライン内の要素は、リアルタイムで更新されたそれらの内部設定を有することができ、要素を「オフ」「オン」にする、又はその場でそれらの構成設定を調整する能力を提供する。
【００５７】
パイプラインプロセス１５０は、システムを通って流れる抽出されたリアルタイムメタデータの自己記述形式、及び機械及び人間が読み取り可能な形式、の両方を作成するために使用されるアレイ構造のような任意のネスティング及び基本プリミティブデータタイプを有する名前／値の対を含むメタデータパケットスキーマを含む。そのような一般化されたスキーマは、複数のソフトウェアコンポーネントが、システムによって取得され、分析され、作用される高レベル事象をどのように記述するかについて合意することができる。例えば、スキーマは、人の目、鼻、口、あごの輪郭などのビデオフレーム内の個々の位置を記述するように構築される。そのようなデータ構造は、受信ソフトウェアコンポーネントが、「この人は水平線から３４°上方を見上げている」、又は「この人は中央から１８°左を見ている」など、更に高レベルの事象を推論することを可能にする。その後、プロセスは、追加のメタデータパケットを構築し、それらをストリームに挿入することができ、その結果、システムがそれに基づいて動作することができるよりも、高水準のセマンティックメタデータが得られる。
【００５８】
図１Ｇは、本発明の一実施形態による、顔検出、頭部及び視線の向き、及び口の特徴を、バーチャスサイクルを使用して識別及び分類することができるパイプラインプロセス１６０を示す論理ブロック図である。内向きカメラ１６１は画像を収集し、その画像は待ち行列１６２に格納される。画像スケーリングコンポーネント１６３によって画像をスケーリングした後、スケーリングされた画像は、顔及び頭部検出１６４に転送される。検出１６４の出力は、画像変換（ＩＴ）コンポーネント１６５〜１６６に転送される。変換後、変換された画像はブロック１６９〜１７０に転送される。ブロック１６９における顔の特徴抽出の後、特徴マップは、姿勢正規化のためにブロック１６７に転送される。ブロック１６８は、ＩＴコンポーネント１６５から顔画像を受信し、ブロック１６７から変換された画像を受信し、正規化された顔画像はブロック１７２に転送される。ブロック１７２で、埋め込みネットワークで正規化された顔を処理すると、顔ＩＤが識別される。
【００５９】
ブロック１７０は、口の特徴を抽出し、運転者の口の特徴を生成する。ブロック１７１は、スケーリングされた画像及びスケーリングされていない画像の両方を有する情報を受信するＩＴコンポーネント１６６の出力に基づいて、頭部及び視線を処理する。例えば、ブロック１７１は、視線、頭部、目の数、眼鏡などの様々な特徴を生成することができる。
【００６０】
図１Ｈは、本発明の一実施形態による、バーチャスサイクルを使用して検出されたオブジェクトを分類するプロセスを示す論理ブロック図１７５である。ブロック１７６は、外向きカメラによって取り込まれ収集された外部画像に基づいて、歩行者を分類するために使用されるソフトウェア要素である。収集されたデータ及び履歴データに基づいて、歩行者を特定することができる。ブロック１７７は、外向きカメラによって取り込まれ収集された外部画像に基づいて車両を分類するために使用されるソフトウェア要素である。収集されたデータ及び履歴データに基づいて、車両情報を識別することができる。分類情報には、車両の機種、ナンバープレート、車両登録状況などが含まれる。更に、ウィンカ、ブレーキライト、及びヘッドライトなどの形成も、バーチャスサイクルの容易化によって分類することができる。ブロック１７８は、外向きカメラによって取り込まれ収集された外部画像に従って、交通信号又は状態を分類するために使用されるソフトウェア要素である。例えば、収集されたデータ及び履歴データに従って、交通信号を分類することができる。分類の例は、標識、速度制限、停止標識などを含む。
【００６１】
図２Ａは、本発明の一実施形態による、ＧＲシステムを検出又はモニタすることができるバーチャスサイクルを示すブロック図２００である。図１Ａに示す図１００に類似する図２００は、コンテナ化されたセンサネットワーク２０６、実世界スケールデータ２０２、及び連続マシンラーニング２０４を含む。一実施形態では、連続マシンラーニング２０４は、リアルタイムモデルを符号２１０で示すようにコンテナ化センサネットワーク２０６に追加する。コンテナ化センサネットワーク２０６は、リアルタイム又はバッチ形式でアップロードしながら、取得されたデータ又は画像を実世界スケールデータ２０２に連続的に供給する。実世界スケールデータ２０２は、符号２１２で示すように、一定のモデルトレーニングのための連続マシンラーニング２０４にラベル付けされたデータを提供する。本発明の一実施形態の基本的な着想は、１つ以上のブロック（又は要素）が図２Ａに追加されたり、図２Ａから除去されたりしても変化しないことに留意されたい。
【００６２】
図２００に示されるバーチャスサイクルは、一実施形態では、コンテナ化センサネットワーク２０６が図１Ａに示す車両１０２と同様であり、実世界スケールデータ２０２が図１Ａに示すＣＢＮ１０４と同様であるＧＲシステムを実装するように構成される。又、連続マシンラーニング２０４は、図１Ａに示すＭＬＣ１０６と同様である。一態様では、自動車又は車などのコンテナ化センサネットワーク２０６は、自動車が動いているときに搭載センサ又はセンサネットワークを使用して周囲の情報又は画像を収集することができるコンテナ化センシングデバイスを含む。ＧＲモデルに基づいて、収集された周囲情報を選択的に記録することが、ローカルストレージ又はメモリに選択的に記録される。
【００６３】
コンテナ化されたセンシングデバイスに無線で結合されるクラウド又はＣＢＮなどの実世界スケールデータ２０２は、クラウドデータ及びラベル付きデータを生成するために最近取得されたＧＲデータと相関することができる。例えば、実世界スケールデータ２０２は、過去のＧＲクラウドデータと、コンテナ化されたセンシングデバイスから送信された周囲情報とに基づいて、ＧＲラベル付きデータを生成する。
【００６４】
ＭＬＣ又はクラウドなどの連続マシンラーニング２０４は、実世界スケールデータ２０２からのラベル付きデータに基づいてＧＲモデルをトレーニングし、改善するように構成される。連続的にデータを収集し、ＧＲモデルをトレーニングすることにより、ＧＲシステムは、母集団サンプルに関する全ての利用可能なデータを学習し、取得し、及び／又は収集することができる。
【００６５】
一実施形態では、バーチャスサイクルは、区分化可能なマシンラーニングネットワーク、区分化ネットワークのトレーニング、サブモジュールを用いたネットワークの区分化、及び区分化ネットワークの構成を含む。例えば、バーチャスサイクルは、装置からのデータ収集、データからのインテリジェントな挙動の作成、及びインテリジェンスの展開を含む。例えば、区分アイデアは、「危険な運転」を複数のモデルに配置又は区分し、「年齢検出器」によって選択的に配備することができる運転者の年齢を知ることを含む。そのような区分モデルを使用する利点は、議論の領域が現在より小さいので、モデルが同じリソースでより良い認識のジョブを実行できるであろうことである。いくつかの挙動が年齢によって重複する場合であっても、区分モデルは、共通の認識コンポーネントを有することができることに留意されたい。
【００６６】
収集されるコンテキスト情報が多いほど、より良い認識ジョブが生成され得ることに留意されたい。例えば、「危険運転」は、気象条件、時刻、交通状況などによって更に区分することができる。「危険運転」シナリオでは、危険運転のカテゴリは、「不注意」、「強引な運転」、「狭い車間距離」、「進路から逸れること」、「低速すぎる運転」、「頻繁な休憩」、「減速」、ＡＢＳ事象などに区分することができる。
【００６７】
例えば、不安定なステアリング操作に抵抗することによって、自動車は、運転者の挙動に関する直接フィードバックを運転者に与える。その抵抗が適度であり、そしてステアリング操作が意図的であれば（例えば、小動物の上を走ることを回避しようとする）、運転者は引き続き不規則な動作を行うことができる。しかし、運転者がショートメールを書いているか又は無言である場合、その修正は、運転者にそれらの挙動を警告し、彼らの注意を引くことができる。同様に、他の車に近づきすぎて運転している「道路の怒り」に関係する人は、アクセルペダルに抵抗を感じることがある。
【００６８】
一態様では、ＧＲモデルなどのモデルは、より大きな問題（例えば、気象検出、交通検出、道路タイプなど）とは別個にトレーニングされるいくつかの個々のブロックを含む。それらのブロックを組み合わせることにより、より大きなモデルを生成することができる。なお、サンプルデータには、明らかに不良な挙動（ＡＢＳ事象、急減速、中央線はみ出し、前方車に近すぎ、等）が含まれていてもよい。一実施形態では、１つ以上のサブモジュールが構築される。モデルは、「危険運転」のための「補正ベクトル」のような付加的なモジュールインテリジェンスのための気象状態検出及び交通検出を含む。
【００６９】
バーチャスサイクルを使用することの利点は、現実世界でＧＲなどのオブジェクトを学習し、検出することができることである。
【００７０】
図２Ｂは、本発明の一実施形態による、ＧＲを検出することができる他のバーチャスサイクルの一例を示すブロック図２３０である。図２３０は、外部データソース２３４、センサ２３８、クラウドソーシング２３３、及びインテリジェントモデル２３９を含む。一態様では、点線２３１より上のコンポーネント／アクティビティは、クラウド内コンポーネントとしても知られるクラウド２３２内で動作する。点線２３１より下のコンポーネント／アクティビティは、装置内又は車内コンポーネントとしても知られるとおり、車２３６内で動作する。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（又は要素）が図２Ｂに追加されたり、図２Ｂから除去されたりしても変化しないことに留意されたい。
【００７１】
一態様では、クラウド内コンポーネント及び装置内コンポーネントは、所望のユーザ固有のタスクを実行するように調整する。クラウド内コンポーネントは、大規模であることを活用して着信装置情報を処理するが、クラウドアプリケーションは、クラウドソースデータを活用してアプリケーションを生成する。外部データソースは、知的クラウドソーシングを容易にするためにアプリケーションをコンテキスト化するために使用することができる。例えば、バーチャスサイクルの車内（又は電話内、又は装置内）部分は、インテリジェントデータ収集をエッジアプリケーションに追加する。例えば、エッジアプリケーションは、インテリジェントデータ収集並びにインテリジェント車内処理を実行することができる。データ収集の量は、エッジにロードすることができるインテリジェントモデルだけでなく、センサデータにも依存することができることに留意されたい。
【００７２】
図３は、本発明の一実施形態による、ＧＲモデルを改善するためにクラウドソーシングアプローチを使用するクラウドベースのネットワークを示すブロック図３００である。図３００は、車両３０２の母集団、サンプル母集団３０４、モデル展開３０６、関連付けされたコンポーネント３０８、及びクラウドアプリケーション３１２を含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（又はサンプル）が図３に追加されたり、図３から除去されたりしても変化しないことに留意されたい。
【００７３】
クラウドソーシングは、他のクラウド又はインターネットユーザから生成、提供された様々なソーシングや特定のモデルを使用して必要なサービスを実現するプロセスである。例えば、クラウドソーシングは、データ３０２を供給するために、大量の車両、電話、又は他の装置の利用可能性に依存する。例えば、サンプル３０４などの利用可能な装置のサブセットは、データ収集タスクを実行するための位置などの何らかの基準によって選択される。より効率的にデータを収集するために、インテリジェントモデルは、クラウドにおける大量のデータのアップロード及び処理の必要性を削減する。そのため、限られた数の車両３０６に配備され、車３０６などの選択された装置は、インテリジェントモデルを用いて環境をモニタし、何が観察されたかにに関する圧縮されたデータを作成することに留意されたい。インテリジェントモデルによって生成されたデータは、符号３０８によって示されるように、関連付けされたデータストアにアップロードされる。アップロードは、リアルタイムで行われる所定の情報や、交通状況などの必要性に応じて、後で行われる他のタイプの情報があることに留意されたい。
【００７４】
関連付けされたコンポーネント３０８は、関連付けされたデータストレージを含み、このデータストレージは、アップロードされたデータを格納し、問い合わせる仕組みを提供することができる。クラウドアプリケーション３１２は、一実施形態では、関連付けされたデータを活用して、新しいインテリジェントモデルを生成し、クラウドソースアプリケーションを作成し、他のタイプの分析を行う。
【００７５】
図４は、本発明の一実施形態によるバーチャスサイクルを使用するＧＲシステムを示すブロック図４００である。図４００は、関連付けされたデータストア４０２、マシンラーニングフレームワーク４０４、及びセンサネットワーク４０６を含む。関連付けされたデータストア４０２、マシンラーニングフレームワーク４０４、及びセンサネットワーク４０６は、無線通信ネットワーク４１０、４１２、４１６によって結合され、円環４２０によって示されるように、バーチャスサイクルを形成する。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（回路又は要素）が図４に追加されたり、図４から除去されたりしても変化しないことに留意されたい。
【００７６】
一実施形態では、関連付けされたデータストア４０２は、データ間の関連付けが保持されるように、データのリアルタイムストリームを管理する。センサネットワーク４０６は、車両、電話、固定センサ、及び他の装置の集合を表し、リアルタイム又はバッチ形式で、無線通信ネットワーク４１２を通して関連付けされたデータストア４０２にリアルタイム事象をアップロードすることができる。一態様では、静止センサは、地方自治体カメラ、オフィス及びビルのウェブカメラ、駐車場カメラ、セキュリティカメラ、及びリアルタイム画像を収集することができる交通カムを含むが、これらに限定されない。
【００７７】
都市カメラやオフィス内のウェブカメラなどの静止カメラは、通常、街路、建物、駐車場を指すように構成され、このような静止カメラによって取り込まれた画像は、正確なラベリングのために使用することができる。車両によって取り込まれた動画像と静止カメラによって取り込まれた静止画像とを融合させることにより、車などのオブジェクトをより正確に追跡することができる。静止センサと車両センサとの組合せや融合は、ラベリングデータと、静止「ファブリック」としても知られる静止サンプリングの履歴データとの両方を提供することができる。クラウドソーシングアプリケーションの間、静止データ（例えば、静止カメラは、車の速度及び位置を収集することができる）をリアルタイム動画と融合することは、ＭＬプロセスを改善することができることに留意されたい。
【００７８】
マシンラーニング（ＭＬ）フレームワーク４０４は、センサネットワーク４０６を管理し、ＭＬモデルの分析及びトレーニングのためのメカニズムを提供する。ＭＬフレームワーク４０４は、トレーニングモード及び／又はラベル付きデータ分析のために、無線通信ネットワーク４１０を通して関連付けされたデータストア４０２からデータを引き出す。ＭＬフレームワーク４０４は、データ収集モジュールを配備して、特定のデータを収集するとともに、以前に収集されたデータに基づいてＭＬモデルを配備することができる。データアップロード、トレーニング、及びモデル展開サイクルは、モデルの継続的な改善を可能にする。
【００７９】
図５は、本発明の一実施形態による、ＧＲデータを関連付けるプロセスの一例を示すブロック図５００である。図５００は、ソース入力５０４、リアルタイムデータ管理５０８、履歴ストア５１０、及びクラウドソースアプリケーション５１２、５１４、５１６を含む。例えば、ソース入力５０４は、自動車、電話、タブレット、腕時計、コンピュータなどを含み、符号５０６が示すように、リアルタイムデータ管理５０８を通る大量のデータ又は画像を収集することができる。本発明の一実施形態の基本的な着想は、１つ以上のブロック（又は要素）が図５に追加されたり、図５から除去されたりしても変化しないことに留意されたい。
【００８０】
一態様では、関連付けシステムは、リアルタイム部分と、バッチ／履歴部分とを含む。リアルタイム部分は、新しいデータをほぼリアルタイムで活用することを目的とする。リアルタイムコンポーネント、すなわちリアルタイムデータ管理５０８は、自動車、電話、及び他の装置５０４から来る大量の流入データ５０６を管理するように構成される。一態様では、リアルタイムでデータを取り込んだ後、リアルタイムデータ管理５０８は、処理されたデータを一括してバッチ／履歴ストア５１０に送信し、データをリアルタイムでクラウドソースアプリケーション５１２、５１４、５１６に送信する。
【００８１】
一実施形態では、クラウドソースアプリケーション５１２、５１４、５１６は、リアルタイム事象を利用して、ユーザ、クライアント、及び／又は加入者に提供され得る情報を追跡、分析、及び記憶する。関連付けされた履歴ストア５１０のバッチ履歴側は、リアルタイムフレームワークによって消費される実質的にすべての事象の履歴記録を維持する。例えば、履歴データは、リアルタイムストリームから収集することができ、高性能、低コスト、及び耐久性のあるストレージである履歴ストア５１０に格納することができる。一態様では、接続５０２によって結合されたリアルタイムデータ管理５０８及び履歴ストア５１０は、点線によって示されるように、ＧＲデータの関連付けを実行するように構成される。
【００８２】
図６は、本発明の一実施形態による、ＧＲシステムのためのリアルタイムデータのプロセスの一例を示すブロック図６００である。図６００は、データ入力６０２、ゲートウェイ６０６、ノーマライザ６０８、待ち行列６１０、ディスパッチャ６１６、ストレージ変換６２０、及び履歴データストレージ６２４を含む。リアルタイムデータ管理のプロセスは、パブリッシュ及びサブスクライブのためのコンポーネント６１４を更に含む。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（回路又は要素）が図６に追加されたり、図６から除去されたりしても変化しないことに留意されたい。
【００８３】
一実施形態では、リアルタイムデータ管理は、６０４で示すように、クラウドへの多数の（すなわち、１０００万の）レポート事象を処理することができる。ＡＰＩ（application program interface）ゲートウェイ６０６は、クラウドに追加された事象のクライアント認証及び負荷分散などの複数の機能を処理することができる。リアルタイムデータ管理は、標準的なＨＴＴＰプロトコルを活用することができる。事象は、符号６０８によって示されるように、データスクラビング及び正規化を実行するために、ステートレスサーバに送られる。複数のソース６０２からの事象は、数字６１０によって示されるように、スケーラブル／耐久性／一貫性のある待ち行列にまとめられる。イベントディスパッチャ６１６は、クラウドソースアプリケーション６１８のためのパブリッシュ／サブスクライブモデルを提供し、このクラウドソースアプリケーション６１８は、各アプリケーションが事象タイプの小さなサブセットを見ることを可能にする。例えば、異種イベントストリームは取得され、参照符号６２０によって示されるように、長期ストレージのためのファイルに変換される。長期ストレージ６２４は、履歴データのためのスケーラブルで耐久性のあるリポジトリを提供する。
【００８４】
図７は、本発明の一実施形態による、ＧＲモデルのためのクラウドソースアプリケーションモデルを示すブロック図７００である。図７００は、ゲートウェイ７０２、イベントハンドラ７０４、状態キャッシュ７０６、状態ストア７０８、クライアンリクエストハンドラ７１０、ゲートウェイ７１２、及びソース入力７１４を含む。例えば、ゲートウェイ７０２は、イベントディスパッチャからイベントストリームを受信し、ＡＰＩゲートウェイ７１２は、入力ソース７１４から情報／データを受信する。本発明の一実施形態の基本的な着想は、１つ又は複数のブロック（又は要素）が図７に追加されたり、図７から除去されたりしても変化しないことに留意されたい。
【００８５】
クラウドソースアプリケーションモデルは、一実施形態では、リアルタイムデータマネージャからクラウドソースアプリケーションを経由する事象を推進する。例えば、事象は、単純なプッシュコールを使用してゲートウェイ７０２に入る。複数の事象が１つ又は複数のサーバによって処理されることに留意されたい。一態様では、事象は、共通状態ストアへの挿入又は修正に変換される。状態ストア７０８は、複数のアプリケーションからのデータを保持することができ、スケーラブルで耐久性がある。例えば、状態ストア７０８は、履歴データの他に、現在のデータ、「将来のデータ」に関する情報、及び／又は予測ＡＩ（人工知能）などのアプリケーション間で共有することができるデータを格納するように構成される。
【００８６】
一実施形態では、状態ストア７０８に格納され、通常リクエストされるデータへの高速アクセスを提供するために、状態キャッシュ７０６が使用される。アプリケーションはクライアントによって使用できることに留意されたい。ＡＰＩゲートウェイ７１２は、認証及び負荷分散を提供する。クライアント要求ハンドラ７１０は、クライアントデータを提供するために状態ストア７０８を活用する。
【００８７】
一実施形態では、車載ＧＲモデルは、トリガ事象に基づいてリアルタイムＧＲ検出を処理することができる。例えば、ＧＲ検出のためのＭＬモデル又はＧＲモデルが、車両の全て又は大部分に配備された後、配備されたＭＬモデルは、危険な事象（複数可）に対するリアルタイム警告の発行を促進するＧＲシステムを示す収集データに、報告する。リアルタイム危険事象又はＧＲシステムに関する情報又はデータは、状態ストア７０８に格納される。ＧＲ検出を探す車両７１４は、例えば、ゲートウェイ７１２を使用してＧＲシステムにアクセスすることができる。
【００８８】
図８は、本発明の一実施形態による、地理空間オブジェクトストレージを使用してＧＲ関連データを記憶する方法を示すブロック図８００である。図８００は、ゲートウェイ８０２、初期オブジェクト８０４、プットコール８０６、ファインドコール８０８、ゲットコール８１０、ＳＱＬ（Structured Query Language）８１２、非ＳＱＬ８１４、及び地理空間オブジェクトストレージ８２０を含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（回路又は要素）が図８に追加されたり、図８から除去されたりしても変化しないことに留意されたい。
【００８９】
地理空間オブジェクトストレージ８２０は、一態様では、期間、空間的範囲、補助情報、及び任意選択のリンクされたファイルを含む得るオブジェクトを記憶、保持する。一実施形態では、地理空間オブジェクトストレージ８２０は、ＵＵＩＤ（universally unique identifier）８２２、バージョン８２４、開始及び終了時間８２６、境界８２８、プロパティ８３０、データ８３２、及びファイルパス８３４を含む。例えば、ＵＵＩＤ８２２はオブジェクトを識別するが、すべてのオブジェクトは、スキーマが将来変化することを可能にするバージョン８２４を有する。開始及び終了時間８２６は、開始時間及び終了時間を有する任意の期間を示す。任意選択の境界ジオメトリ８２８は、オブジェクトの空間的範囲を指定するために使用される。プロパティ８３０のオプションのセットは、名前／値の対を指定するために使用される。データ８３２は、バイナリデータとすることができる。オプションのファイルパス８３４を使用して、ＭＰＥＧ（Moving Picture Experts Group）ストリームなどの関連情報を含むファイルのオブジェクトに関連付けることができる。
【００９０】
一実施形態では、ＡＰＩゲートウェイ８０２は、サービスへのアクセスを提供するために使用される。オブジェクトがストアに追加される前に、オブジェクトには、初期オブジェクト呼出しによって提供されるＵＵＩＤが割り当てられる。新しいオブジェクトに対してＵＵＩＤが確立されると、プットコール８０４は、オブジェクト状態を記憶する。状態は、ＵＵＩＤと共に非ＳＱＬストア８１４に長期的に格納される。ＵＵＩＤの一部は、スケールアウトのためのハッシュパーティションとして使用される。インデックス化可能なプロパティは、バージョン、持続時間、境界、及びインデックス化のためにスケーラブルＳＱＬストア８１２に挿入されるプロパティを含む。非ＳＱＬストア８１４は、フルオブジェクト状態を含むために使用される。非ＳＱＬストア８１４は、例えば、パーティションキーとしてＵＵＩＤを使用してスケールアウトされる。
【００９１】
ＳＱＬストア８１２は、問合せを実行するために使用可能なインデックステーブルを作成するために使用される。ＳＱＬストア８１２は、情報、境界、及びプロパティを含む３つのテーブル８１６を含むことができる。例えば、情報は、プライマリキー、オブジェクトボイド、作成タイムスタンプ、オブジェクトの状態、及びオブジェクトプロパティ「バージョン」及び「継続時間」を保持する。境界は、オブジェクトからの境界ジオメトリと、関連付けられた情報テーブルエントリのＩＤを保持する。プロパティは、関連付けられた情報テーブルエントリのＩＤと共に、行毎に１つの名前／値の対として格納されたオブジェクトからのプロパティ名／値の対を、保持する。
【００９２】
一実施形態では、検索呼び出し８０８は、問合せを受け入れ、結果一式を返し、ＳＱＬ問合せをＳＱＬストア８１２に発行し、問合せと一致するＵＵＩＤを含む結果一式を返す。
【００９３】
図９は、本発明の一実施形態によるＧＲデータを分析する分析エンジンのアプローチの一例を示すブロック図９００である。図９００は、履歴ストア９０２、分析エンジン９０４、及び地理空間オブジェクトストア９０６を含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（回路又は要素）が図９に追加されたり、図９から除去されたりしても変化しないことに留意されたい。
【００９４】
図９００は、分析エンジン９０４の一態様を示し、この分析エンジン９０４は、リアルタイムで取り込まれたＧＲデータ及び履歴データに基づいてラベル付きデータを分析可能なＭＬトレーニングコンポーネントを含む。データ変換エンジンは、例えば、地理空間オブジェクトストア９０６と対話して、関連するデータを見つけ、履歴ストアと対話して、データを処理する。変換されたデータを記憶することができれば、なお良い。
【００９５】
リアルタイムデータ並びに履歴サンプルを使用して連続モデルトレーニングを提供し、１人又は複数の加入者にＧＲ検出モデルを配信するために、ＭＬトレーニングコンポーネントを使用するバーチャスサイクルに留意されたい。バーチャスサイクルの特徴は、モデルを連続してトレーニングすることができ、リアルタイム又はほぼリアルタイムの結果を提供することができる。このバーチャスサイクルは、ビジネスインテリジェンス、法執行、医療サービス、軍事用途など（これらに限定されるものではない）、様々な他の分野に適用可能であることに留意されたい。
【００９６】
図１０は、本発明の一実施形態による、ＧＲシステム関連情報を感知するために使用されるコンテナ化センサネットワークの一例を示すブロック図１０００である。図１０００は、センサバス１００２、ストリーミングパイプライン１００４、及びアプリケーション層１００６を含み、センサバス１００２は、低帯域幅信号及び高帯域幅信号を受信することができる。ストリーミングパイプライン１００４は、一実施形態では、モデル１００８などの一意のモデルを生成することができるＭＬを含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（回路又は要素）が図１０に追加されたり、図１０から除去されたりしても変化しないことに留意されたい。
【００９７】
図１１は、本発明の一実施形態による、バーチャスサイクルを容易にするための車載カメラ、ＣＡＮ（Controller Area Network）バス、慣性測定ユニット、ライダーなどをサポートするために車両にインストールすることができる処理装置又はコンピュータシステムを示すブロック図１１００である。コンピュータシステム又はＧＲシステム１１００は、処理ユニット１１０１、インターフェースバス１１１２、及び入力／出力（Ｉ／Ｏ）ユニット１１２０を含むことができる。処理ユニット１１０１は、プロセッサ１１０２、メインメモリ１１０４、システムバス１１１１、スタティックメモリデバイス１１０６、バス制御ユニット１１０５、Ｉ／Ｏ装置１１３０、及びＧＲ装置１１８５を含む。本発明の一実施形態の基本的な着想は、１つ以上のブロック（回路又は装置）が図１１に追加されたり、図１１から除去されたりしても変化しないことに留意されたい。
【００９８】
バス１１１１は、データ処理のために様々なコンポーネントとプロセッサ１１０２との間で情報を送信するために使用される。プロセッサ１１０２は、ARM（登録商標）埋め込み型プロセッサ、Intel（登録商標）Core（商標）Duo、Core（商標）Quad、Xeon（登録商標）、Pentium（商標）マイクロプロセッサ、Motorola（商標）６８０４０、AMD（登録商標）ファミリープロセッサ、又はPower PC（商標）マイクロプロセッサなど、多種多様な汎用プロセッサ、埋め込み型プロセッサ、又はマイクロプロセッサのいずれかとすることができる。
【００９９】
メインメモリ１１０４は、複数レベルのキャッシュメモリを含むことができ、頻繁に使用されるデータ及び命令を記憶する。メインメモリ１１０４は、ＲＡＭ（ランダムアクセスメモリ）、ＭＲＡＭ（磁気ＲＡＭ）、又はフラッシュメモリであってもよい。スタティックメモリ１１０６は、バス１１１１に結合され、スタティック情報及び／又は命令を格納するＲＯＭ（リードオンリーメモリ）であってもよい。バス制御ユニット１１０５は、バス１１１１、１１１２に結合され、メインメモリ１１０４又はプロセッサ１１０２などの、どのコンポーネントがバスを使用できるかを制御する。バス制御ユニット１１０５は、バス１１１１とバス１１１２との間の通信を管理する。
【０１００】
一実施形態では、Ｉ／Ｏユニット１１２０は、ディスプレイ１１２１、キーボード１１２２、カーソル制御装置１１２３、及び通信装置１１２５を含む。ディスプレイ１１２１は、液晶デバイス、陰極線管（ＣＲＴ）、タッチスクリーンディスプレイ、又は他の適切なディスプレイデバイスであり得る。ディスプレイ１１２１は、グラフィカルプランニングボードの画像を投影又は表示する。キーボード１１２２は、従来の英数字入力装置であってよく、コンピュータシステム１１００とコンピュータオペレータとの間で情報を通信するためのものである。別のタイプのユーザ入力装置としては、カーソル制御デバイス１１２３があり、従来のマウス、タッチマウス、トラックボール、又はシステム１１００とユーザとの間で情報を通信するための他のタイプのカーソルなどがある。
【０１０１】
一実施形態では、ＧＲ装置１１８５は、バス１１１１に結合され、ＧＲ性能を容易にするためにバーチャスサイクルとインターフェースするように構成される。例えば、ＧＲシステム１１００が自動車に設置される場合、ＧＲ装置１１８５は、クラウドベースのネットワークと接続すると共に、ＧＲモデルを操作するためにも使用される。ＧＲシステム１１００がクラウドベースのネットワークに配置される場合、ＧＲ装置１１８５は、ＧＲデータのラベル付きデータを生成するための関連付けられたプロセスを処理するように構成することができる。
【０１０２】
通信デバイス１１２５は、広域ネットワークを通して、サーバ又は他のコンピュータなどのリモートコンピュータ又はサーバからの情報にアクセスするバス１１１１に結合される。この通信装置１１２５は、モデム、ネットワークインターフェース装置、又はコンピュータシステム１１００とネットワークとの間の通信を容易にする他の類似のデバイスを含み得る。コンピュータシステム１１００は、インターネットなどのネットワークインフラストラクチャを通していくつかのサーバに結合され得る。
【０１０３】
本発明の一実施形態は、以下に説明される様々な処理ステップを含む。この一実施形態のステップは、機械又はコンピュータ実行可能なインストラクションで実施することができる。インストラクションを使用して、汎用又は専用のシステムをプログラムし、本発明の一実施形態のステップを実行させることができる。あるいは、本発明の一実施形態のステップは、ステップを実行するためのハードワイヤードロジックを含む特定のハードウェアコンポーネントによって、又はプログラムされたコンピュータコンポーネントとカスタムハードウェアコンポーネントとの任意の組合せによって実行することができる。
【０１０４】
図１２は、本発明の一実施形態によるＧＲシステムのプロセスを示すフローチャート１２００を示し、高精度化されたＧＰＳ情報を駐車場の選択肢に提供可能である。ブロック１２０２において、センサ、ＭＬＣ、及びＣＢＮを含むバーチャスサイクルを利用したメタデータ抽出による目標指向ナビゲーションガイダンスのプロセスは、ＧＰＳナビゲーションシステムから得られる情報に従って、予め設定された目的地に近づく車両を検出することができる。例えば、プロセスは、予め設定された目的地に関連付けられたＣＢＮからの履歴データに従って、予め設定された目的地が駐車場を提供しているかどうかを判定することができる。
【０１０５】
ブロック１２０４で、プロセスは、車両が動作する周囲環境を表す外部画像を取り込むために、車両に取り付けられた外向きカメラの少なくとも一部を起動する。一態様では、音声センサは、車両が動作する周囲環境からの音声データを記録するように作動される。
【０１０６】
ブロック１２０６で、プロセスは、現在の時間、交通状況、事象、及び歩行状況に従って、予め設定された目的地の近くの駐車場の選択肢に関する情報を、バーチャスサイクルから取得する。例えば、予め設定された目的地付近の適切な駐車場所が、条件、駐車価格、駐車場発見の可能性、及び近隣犯罪率に関係なく、通りの安全性に従って受信される。
【０１０７】
ブロック１２０８において、駐車場の選択肢は、駐車できるの可能性がある位置を運転者知らせるために、ＧＰＳナビゲーションシステムのパーキングコンパスを通して表示される。一実施形態では、プロセスは、車両がどの方向に向かっているかに基づいて、パーキングコンパスに駐車スペースの確率を提示することができる。例えば、パーキングコンパスによって示される方向に基づいて、ＧＰＳナビゲーションシステムにより設定される、近くの駐車スペースを探す所定の様式に変更した後、車両、ＭＬＣ、及びＣＢＮに接続されたＧＲモデルが起動されて、予め設定された目的地の近くの駐車スペースへの探索経路が生成される。なお、外部画像は、無線通信ネットワークを通してＶＯＣからバーチャスサイクルにアップロードされる。
【０１０８】
本発明の特定の実施形態を示し、説明したが、本明細書の教示に基づいて、本発明の一実施形態及びそのより広い態様から逸脱することなく、変更及び修正を行うことができることは、当業者には明らかであろう。したがって、添付の特許請求の範囲は、本発明の一実施形態（単数又は複数）の本質的な着想及び範囲内にあるそのようなすべての変更及び修正をその範囲内に包含することが意図される。
【図１Ａ】
2019525185.tif 000003
【図１Ｂ】
2019525185.tif 000004
【図１Ｃ】
2019525185.tif 000005
【図１Ｄ】
2019525185.tif 000006
【図１Ｅ】
2019525185.tif 000007
【図１Ｆ】
2019525185.tif 000008
【図１Ｇ】
2019525185.tif 000009
【図１Ｈ】
2019525185.tif 000010
【図２Ａ】
2019525185.tif 000011
【図２Ｂ】
2019525185.tif 000012
【図３】
2019525185.tif 000013
【図４】
2019525185.tif 000014
【図５】
2019525185.tif 000015
【図６】
2019525185.tif 000016
【図７】
2019525185.tif 000017
【図８】
2019525185.tif 000018
【図９】
2019525185.tif 000019
【図１０】
2019525185.tif 000020
【図１１】
2019525185.tif 000021
【図１２】
2019525185.tif 000022
【国際調査報告】
2019525185.tif 000023
2019525185.tif 000024