(57)【要約】【課題】外部演算装置の演算リソースを利用するビークルシステムの提供。【解決手段】ここに記述されるシステムは、１つ以上の画像を撮影するように構成されている１つ以上の撮像装置を備えるビークルと、ビークルに、通信するように結合された第１のモバイル演算装置と、を含む。第１のモバイル演算装置は、１つ以上のプロセッサ、１つ以上のメモリモジュール、および機械可読および実行可能命令を含んでおり、この命令は、１つ以上のプロセッサにより実行されると、第１のモバイル演算装置に、ビークルから外部物体を含む１つ以上の画像を受信することと、外部物体の識別を決定するために画像を処理することと、外部物体の識別についての情報をリモートサーバまたはビークルに送信することと、を実行させる。【選択図】図３
2020129369.tif 000002
【特許請求の範囲】
【請求項１】
システムであって、
１つ以上の画像を撮影するように構成されている１つ以上の撮像装置を備えるビークルと、
前記ビークルに通信するように結合された第１のモバイル演算装置であって、
１つ以上のプロセッサと、
１つ以上のメモリモジュールと、
機械可読および実行可能命令であって、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記ビークルから前記１つ以上の画像を受信することと、
前記１つ以上の画像における外部物体の識別を決定するために、前記１つ以上の画像を処理することと、
前記外部物体の前記識別についての情報をリモートサーバに送信することと、
を実行させる機械可読および実行可能命令と、
を備える第１のモバイル演算装置と、
を備える、システム。
【請求項２】
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記ビークルとの通信を開始することと、
前記第１のモバイル演算装置の利用可能な演算リソースについての情報を、前記ビークルに送信することと、
を実行させる、請求項１に記載のシステム。
【請求項３】
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記外部物体の前記識別についての前記情報を前記ビークルに送信すること、
を実行させる、請求項１又は２に記載のシステム。
【請求項４】
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記ビークルに、前記外部物体の前記識別についての前記情報を出力するための命令を送信すること、
を実行させる、請求項１から３までのいずれか１項に記載のシステム。
【請求項５】
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記第１のモバイル演算装置のＧＰＳ装置により決定される前記第１のモバイル演算装置の現在の場所に基づいて、前記外部物体の場所を決定することと、
前記外部物体の前記場所を前記リモートサーバに送信することと、
を実行させる、請求項１から４までのいずれか１項に記載のシステム。
【請求項６】
前記外部物体は、道路上の障害物又は道路標識である、請求項１から５までのいずれか１項に記載のシステム。
【請求項７】
前記ビークルは、
１つ以上のプロセッサと、
１つ以上のメモリモジュールと、
機械可読および実行可能命令であって、前記ビークルの前記１つ以上のプロセッサにより実行されると、前記ビークルに、
前記ビークルの利用可能な演算リソースと、前記第１のモバイル演算装置の利用可能な演算リソースとを比較することと、
前記ビークルの前記利用可能な演算リソースと、前記第１のモバイル演算装置の前記利用可能な演算リソースとの比較に基づいて、前記１つ以上の撮像装置により撮影された前記１つ以上の画像を前記第１のモバイル演算装置に送信することと、
を実行させる機械可読および実行可能命令と、
を備える、請求項１から６までのいずれか１項に記載のシステム。
【請求項８】
第２のモバイル演算装置を更に備え、
前記ビークルは、
１つ以上のプロセッサと、
１つ以上のメモリモジュールと、
機械可読および実行可能命令であって、前記ビークルの前記１つ以上のプロセッサにより実行されると、前記ビークルに、
前記第１のモバイル演算装置の利用可能な演算リソース情報および前記第２のモバイル演算装置の利用可能な演算リソース情報を受信することと、
１つ以上の撮像装置により撮影された前記１つ以上の画像を、前記第１のモバイル演算装置の前記利用可能な演算リソース情報および前記第２のモバイル演算装置の前記利用可能な演算リソース情報に基づいて、前記第１のモバイル演算装置および前記第２のモバイル演算装置に割り当てることと、
を実行させる機械可読および実行可能命令と、
を備える、請求項１から７までのいずれか１項に記載のシステム。
【請求項９】
前記１つ以上の撮像装置は、前方を向いているカメラおよび後方を向いているカメラを含んでおり、
前記前方を向いているカメラは、撮影画像を前記第１のモバイル演算装置に送信し、
前記後方を向いているカメラは、撮影画像を前記第２のモバイル演算装置に送信する、
請求項８に記載のシステム。
【請求項１０】
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記ビークルから診断コード受信することと、
前記ビークルのステータスを決定するために、前記診断コードを処理することと、
前記ビークルの前記ステータスについての情報を前記ビークルに送信することと、
を実行させる、請求項１から９までのいずれか１項に記載のシステム。
【請求項１１】
ビークルであって、
１つ以上の画像を撮影するように構成されている１つ以上の撮像装置と、
１つ以上のプロセッサと、
１つ以上のメモリモジュールと、
機械可読および実行可能命令であって、前記１つ以上のプロセッサにより実行されると、前記ビークルに、
第１のモバイル演算装置との通信を開始することと、
前記１つ以上の撮像装置で画像を撮影することと、
前記第１のモバイル演算装置の利用可能な演算リソースについての情報を受信することと、
前記ビークルの利用可能な演算リソースと、前記第１のモバイル演算装置の利用可能な演算リソースとを比較することと、
前記１つ以上の撮像装置により撮影された前記１つ以上の画像を、前記ビークルの前記利用可能な演算リソースと、前記第１のモバイル演算装置の前記利用可能な演算リソースとの前記比較に基づいて、前記第１のモバイル演算装置に送信することと、
を実行させる機械可読および実行可能命令と、
を備える、ビークル。
【請求項１２】
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記ビークルに、
前記第１のモバイル演算装置から、前記１つ以上の画像における物体についての情報を受信すること、
を実行させる、請求項１１に記載のビークル。
【請求項１３】
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記ビークルに、
前記第１のモバイル演算装置から、前記物体の場所についての情報を受信すること、
を実行させる、請求項１２に記載のビークル。
【請求項１４】
モバイル演算装置によるイメージング処理のための方法であって、
前記モバイル演算装置により、ビークルから１つ以上の画像を受信することと、
前記モバイル演算装置により、前記１つ以上の画像における外部物体の識別を決定するために、前記１つ以上の画像を処理することと、
前記モバイル演算装置により、前記外部物体の前記識別についての情報をリモートサーバに送信することと、
を含む、方法。
【請求項１５】
更に、
前記モバイル演算装置により、前記ビークルとの通信を開始することと、
前記モバイル演算装置により、前記モバイル演算装置の利用可能な演算リソースについての情報を、前記ビークルに送信することと、
を含む、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
分野
本明細書は概して、画像を処理するためのビークルシステムに関し、より具体的には、ビークル（車両、乗り物、輸送機関）におけるモバイル演算装置を使用して、撮像装置により撮影された画像を処理するためのビークルシステムに関する。
【背景技術】
【０００２】
背景
ビークルには、例えば、自律運転、外部物体検出などを含む、先端技術を駆使した機能を含んでいるものがある。これらの機能は、相当な量の演算リソースを要求する。限られた演算リソースしか有していないビークルは、これらの機能を、リアルタイムで、または迅速に実行できないおそれがある。
【発明の概要】
【０００３】
従って、外部演算装置の演算リソースを利用するビークルシステムに対する需要が存在する。
【０００４】
概要
１実施形態においては、システムは、１つ以上の画像を撮影するように構成されている１つ以上の撮像装置、およびビークルに、通信するように結合されている第１のモバイル演算装置を備えているビークルを含んでいる。第１のモバイル演算装置は、１つ以上のプロセッサ、１つ以上のメモリモジュール、および機械可読および実行可能命令を含んでおり、この命令は、１つ以上のプロセッサにより実行されると、第１のモバイル演算装置に、ビークルから、外部物体を含んでいる１つ以上の画像を受信させ、外部物体の識別を決定するために、その画像を処理させ、外部物体の識別についての情報を、リモートサーバまたはビークルに送信させる。
【０００５】
他の実施形態においては、ビークルは、１つ以上の画像を撮影するように構成されている１つ以上の撮像装置、１つ以上のプロセッサ、１つ以上のメモリモジュール、および機械可読および実行可能命令を含んでおり、この命令は、１つ以上のプロセッサにより実行されると、ビークルに、第１のモバイル演算装置との通信を開始させ、1つ以上の撮像装置で画像を撮影させ、第１のモバイル演算装置の利用可能な演算リソースについての情報を受信させ、ビークルの利用可能な演算リソースと、第１のモバイル演算装置の利用可能な演算リソースとを比較させ、ビークルの利用可能な演算リソースと、第１のモバイル演算装置の利用可能な演算リソースとの比較に基づいて、１つ以上の撮像装置により撮影された１つ以上の画像を、第１のモバイル演算装置に送信させる。
【０００６】
更に他の実施形態においては、方法は、モバイル演算装置により、ビークルから、外部物体を含んでいる１つ以上の画像を受信することと、モバイル演算装置により、外部物体の識別を決定するために、その１つ以上の画像を処理することと、モバイル演算装置により、外部物体の識別についての情報を、リモートサーバに送信することを含んでいる。
【０００７】
本開示の実施形態により提供される、これらの、および追加的な特徴は、図面と連携して、下記の詳細な記述を考慮することにより、より完全に理解されるであろう。
【０００８】
図面の簡単な説明
図面において記述される実施形態は、本質的に説明のためであり、例であり、この開示を制限するものではない。例としての実施形態の下記の詳細な記述は、類似の構造は、類似の参照番号により示されている下記の図面と連携して読まれるときに理解できる。
【図面の簡単な説明】
【０００９】
【図１】ここに示され且つ記述される１つ以上の実施形態に係る、モバイル演算装置と通信するビークルを模式的に示している。
【００１０】
【図２】ここに示され且つ記述される１つ以上の実施形態に係るビークルシステムを模式的に示している。
【００１１】
【図３】ここに示され且つ記述される１つ以上の実施形態に従う、ビークル、モバイル演算装置、およびリモートサーバの間の通信のためのフローチャートを示している。
【００１２】
【図４】ここに示され且つ記述される１つ以上の実施形態に従う、ビークルからの画像を処理するモバイル演算装置を示している。
【００１３】
【図５Ａ】ここに示され且つ記述される１つ以上の実施形態に従う、ビークルからの画像を処理し、画像における外部物体の場所を突き止めるモバイル演算装置を示している。
【００１４】
【図５Ｂ】ここに示され且つ記述される１つ以上の実施形態に従う、ビークルからの画像を処理し、画像における外部物体の場所を突き止めるモバイル演算装置を示している。
【発明を実施するための形態】
【００１５】
詳細な説明
ここに開示される実施形態は、外部演算装置の演算リソースを利用するビークルシステムを含んでいる。図１および図２を全体的に参照すると、システムは、１つ以上の画像を撮影するように構成されている１つ以上の撮像装置と、ビークルに通信するように結合されている第１のモバイル演算装置と、を備えているビークルを含んでいる。第１のモバイル演算装置は、１つ以上のプロセッサ、１つ以上のメモリモジュール、および機械可読および実行可能命令を含んでおり、この命令は、１つ以上のプロセッサにより実行されると、第１のモバイル演算装置に、ビークルから、外部物体を含んでいる１つ以上の画像を受信させ、外部物体の識別を決定するために、その画像を処理させ、外部物体の識別についての情報を、リモートサーバまたはビークルに送信させる。ビークルは、ビークルの利用可能な演算リソースと、第１のモバイル演算装置の利用可能な演算リソースとを比較し、その比較に基づいて（例えば、オンボード演算装置の利用可能な演算リソースは、第１のモバイル演算装置の利用可能な演算リソースよりも少ないと決定することに応答して）、１つ以上の撮像装置により撮影された１つ以上の画像を、第１のモバイル演算装置に送信する。ビークルは、外部モバイル演算装置の演算リソースを利用し、モバイル演算装置から処理されたデータを受信するので、ビークルが非常に少ない利用可能な演算リソースしか有していない、または全く有していない場合でも、ビークルは、自律運転、外部物体認識などのような、ハイエンド機能を実行できる。
【００１６】
図１を参照すると、ここに示され且つ記述される１つ以上の実施形態に係る、１つ以上のモバイル演算装置の演算リソースを利用するビークル１０が示されている。ビークル１０は、例えば、撮像装置１１８および／または撮像装置１２０のような、ビークル１０の他の構成要素と通信できる電子制御ユニット（ＥＣＵ）１０１を含んでいる。ＥＣＵ１０１は、１つ以上のプロセッサ１０２および１つ以上のメモリモジュール１０６を含んでいる（図２）。ＥＣＵ１０１の詳細は、図２を参照して下記に記述される。
【００１７】
撮像装置１１８は、ビークル１０の前部（例えば、ビークル１０のフロントガラス）に置かれている前方を向いているカメラであってよい。撮像装置１１８は、ビークル１０の前景の画像を撮影できる。撮像装置１２０は、ビークル１０の後部に置かれている後方を向いているカメラであってよい。撮像装置１２０は、ビークル１０の後景の画僧を撮影できる。図１は、２つの撮像装置１１８および１２０を示しているが、ビークル１０は、より少ない、または、３つ以上の撮像装置を含むことができる。例えば、ビークル１０は、１つのみの撮像装置を含むことができる（例えば、撮像装置１１８）。他の例として、ビークル１０は、ビークル１０の側部に追加的撮像装置を含むことができる。撮像装置の詳細は、図２を参照して下記に記述される。
【００１８】
実施形態において、ＥＣＵ１０１は、例えば、第１のモバイル演算装置１２２および第２のモバイル演算装置１２４のような、１つ以上のモバイル演算装置と通信できる。第１のモバイル演算装置１２２および第２のモバイル演算装置１２４は、それらの利用可能な演算リソースについての情報をＥＣＵ１０１に提供できる。第１のモバイル演算装置１２２および第２のモバイル演算装置１２４の利用可能な演算リソースについての情報に基づいて、ＥＣＵ１０１は、第１のモバイル演算装置１２２および第２のモバイル演算装置１２４に作業を割り当てることができる。例えば、ＥＣＵ１０１は、利用可能な演算リソースについての情報に基づいて、モバイル演算装置に画像処理作業を割り当てることができる。ＥＣＵ１０１は、撮像装置１１８により撮影された画像を、第１のモバイル演算装置１２２に送信できる。第１のモバイル演算装置１２２は、画像に対してイメージング処理を実行でき、画像から情報を抽出できる。そして、第１のモバイル演算装置１２２は、抽出された情報を、ＥＣＵ１０１に返すことができる。
【００１９】
幾つかの実施形態においては、撮像装置のそれぞれは、モバイル演算装置のうちの１つに排他的に専用である。例えば、撮像装置１１８は、第１のモバイル演算装置１２２と排他的に通信し、撮像装置１２０は、第２のモバイル演算装置１２４と排他的に通信する。ビークル１０内のモバイル演算装置の数に基づいて、ビークル１０は、モバイル演算装置と通信することにより、画像処理を実行するために利用可能な演算リソースを増やすことができる。
【００２０】
ここで図２を参照すると、ビークルシステム１００の実施形態が模式的に示されている。ビークルシステム１００は、孤立して示されているが、ビークルシステム１００は、幾つかの実施形態においては、例えば、図１のビークル１０内のように、ビークル内に含むことができるということには留意されたい。ビークルシステム１００がビークル内に含まれている実施形態においては、ビークルは、例えば、陸上ビークル、水上もしくは水中ビークル、および／または空中ビークルのような、自律ビークル、または任意の他の乗用ビークル、または非乗用ビークルであってよい。幾つかの実施形態においては、ビークルは、わずかな人間による入力でもって、または人間による入力なしで、その環境を通行するする自律ビークルである。
【００２１】
ビークルシステム１００は、１つ以上のプロセッサ１０２を含んでいる。１つ以上のプロセッサ１０２のそれぞれは、機械可読および実行可能命令を実行できる任意の装置であってよい。従って、１つ以上のプロセッサ１０２のそれぞれは、コントローラ、集積回路、マイクロチップ、コンピュータ、または任意の他の演算装置であってよい。１つ以上のプロセッサ１０２は、システムの種々のモジュール間で信号相互接続性を提供する通信経路１０４に結合されている。従って、通信経路１０４は、任意の数のプロセッサ１０２を互いに、通信するように結合でき、通信経路１０４に結合されているモジュールが、分散演算環境において動作することを可能にできる。具体的には、モジュールのそれぞれは、データを送り、および／または受信できるノードとして動作できる。ここに使用されているように、「通信するように結合されている」という語句は、結合されている構成要素は、例えば、伝導性媒体を介して電気信号を、空気を介して電磁信号を、光導波管を介して光信号を、などのように、データ信号を互いに交換できるということを意味している。
【００２２】
従って、通信経路１０４は、例えば、伝導性ワイヤ、伝導性トレース、光導波管などのような、信号を送信できる任意の媒体から形成できる。幾つかの実施形態においては、通信経路１０４は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）などの、ワイヤレス信号の送信を容易にすることができる。更に、通信経路１０４は、信号を送信できる媒体の組み合わせから形成できる。１つの実施形態においては、通信経路１０４は、電気データ信号を、プロセッサ、メモリ、センサ、入力装置、出力装置、および通信装置などの構成要素に送信することを可能にするために協働する、伝導性トレース、伝導性ワイヤ、コネクタ、および、バスの組み合わせを備えている。従って、通信経路１０４は、例えば、ＬＩＮバス、ＣＡＮバス、ＶＡＮバスなどのようなビークルバスを備えることができる。追加的に、「信号」という語句は、ＤＣ、ＡＣ、正弦波、三角波、方形波、振動などの、媒体を通して進行できる波形（例えば、電気的、光学的、磁気的、機械的、または電磁的）を意味するということに留意されたい。
【００２３】
ビークルシステム１００は、通信経路１０４に結合されている１つ以上のメモリモジュール１０６を含んでいる。１つ以上のメモリモジュール１０６は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードドライブ、または、機械可読および実行可能命令に、１つ以上のプロセッサ１０２がアクセスできるように、機械可読および実行可能命令を格納できる任意の装置を備えることができる。機械可読および実行可能命令は、例えば、プロセッサにより直接実行できる機械言語または、アセンブリ言語、オブジェクト指向プログラミング（ＯＯＰ）、スクリプト言語、マイクロコードなど、機械可読および実行可能命令にコンパイルまたはアセンブルでき、１つ以上のメモリモジュール１０６上に格納できる、任意の世代（例えば、１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬ、または５ＧＬ）の任意のプログラミング言語で記述されている論理またはアルゴリズムを備えることができる。代替的に、機械可読および実行可能命令は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）構成または特定用途向け集積回路（ＡＳＩＣ）の何れか、またはそれらの等価物を介して実現される論理のような、ハードウェア記述言語（ＨＤＬ）において記述できる。従って、ここに記述される方法は、任意の従来のコンピュータプログラミング言語において、予めプログラムされているハードウェア要素、または、ハードウェアおよびソフトウェア構成要素の組み合わせとして実現できる。
【００２４】
更に図２を参照すると、ビークルシステム１００は、例えば、マップ、ナビゲーション、エンタテイメント、外部装置から受信したデータ、またはそれらの組み合わせなどのような視覚的出力を提供するためのディスプレイ１０８を備えている。ディスプレイ１０８は、対応する機能の選択に応答して、マップ、ナビゲーション、エンタテイメント、および外部装置から受信したデータの１つを出力できる。ディスプレイ１０８は、通信経路１０４に結合できる。従って、通信経路１０４はディスプレイ１０８を、ビークルシステム１００の他のモジュールに、通信するように結合する。ディスプレイ１０８は、例えば、陰極線管、発光ダイオード、液晶ディスプレイ、プラズマディスプレイなどのような、光学的出力を送信できる任意の媒体を含むことができる。更に、ディスプレイ１０８は、光学的情報を提供することに加えて、ディスプレイの表面上、またはディスプレイに隣接している表面上の、触覚的入力の存在および場所を検出するタッチスクリーンであってよい。従って、ディスプレイ１０８は、ディスプレイにより提供される光学的出力の直接上の機械的入力を受信できる。
【００２５】
ビークルシステム１００は、通信経路１０４が、衛星アンテナ１１４を、ビークルシステム１００の他のモジュールに、通信するように結合するように、通信経路１０４に結合されている衛星アンテナ１１４を備えている。衛星アンテナ１１４は、全地球測位システム衛星から信号を受信するように構成されている。具体的には、１つの実施形態においては、衛星アンテナ１１４は、全地球測位システム衛星により送信される電磁信号と相互作用する１つ以上の伝導性要素を含んでいる。受信した信号は、１つ以上のプロセッサ１０２により、衛星アンテナ１１４、または衛星アンテナ１１４の近くに位置している物体の場所（例えば、緯度および経度）を示すデータ信号に変換される。追加的に、衛星アンテナ１１４は、１つ以上のプロセッサ１０２および１つ以上のメモリモジュール１０６の少なくとも１つを含むことができるということに留意されたい。幾つかの実施形態においては、ビークルシステム１００は、衛星アンテナ１１４を含んでいない。
【００２６】
図１を更に参照すると、幾つかの実施形態においては、ビークルシステム１００は、ネットワーク１３０により、リモートサーバ１４０（例えば、ソーシャルメディアネットワークサーバ）に、通信するように結合できる。１つの実施形態においては、ネットワーク１３０は、１つ以上のコンピュータネットワーク（例えば、パーソナルエリアネットワーク、ローカルエリアネットワーク、またはワイドエリアネットワーク）、セルラーネットワーク、衛星ネットワークおよび／または全地球測位システム、およびそれらの組み合わせを含むことができる。従って、ビークルシステム１００は、ワイドエリアネットワークを介して、ローカルエリアネットワークを介して、パーソナルエリアネットワークを介して、セルラーネットワークを介して、衛星ネットワークを介してなど、ネットワーク１３０に、通信するように結合できる。適切なローカルエリアネットワークは、有線Ｅｔｈｅｒｎｅｔ（登録商標）および／または、例えば、ワイヤレスフィデルティ（Ｗｉ−Ｆｉ（登録商標））のようなワイヤレス技術を含むことができる。適切なパーソナルエリアネットワークは、例えば、ＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｒｅｌｅｓｓ  ＵＳＢ、Ｚ−Ｗａｖｅ、ＺｉｇＢｅｅ（登録商標）、および／または、他の近距離無線通信プロトコルのようなワイヤレス技術を含むことができる。適切なセルラーネットワークは、下記に制限されないが、ＬＴＥ、ＷｉＭＡＸ（登録商標）、ＵＭＴＳ、ＣＤＭＡ、およびＧＳＭ（登録商標）のような技術を含んでいる。
【００２７】
図１を更に参照すると、ビークルシステム１００は、ビークルシステム１００をサーバ１４０に、通信するように結合するためのネットワークインタフェースハードウェア１１６を備えている。ネットワークインタフェースハードウェア１１６は、通信経路１０４に、通信するように結合でき、ネットワークを介してデータを送信および／または受信できる任意の装置であってよい。従って、ネットワークインタフェースハードウェア１１６は、任意の有線またはワイヤレス通信を送る、および／または受信するための通信トランシーバを含むことができる。例えば、ネットワークインタフェースハードウェア１１６は、アンテナ、モデム、ＬＡＮポート、Ｗｉ−Ｆｉ（登録商標）カード、ＷｉＭａｘ（登録商標）カード、モバイル通信ハードウェア、近距離無線通信ハードウェア、衛星通信ハードウェア、および／または、他のネットワークおよび／または装置と通信するための、任意の有線またはワイヤレスハードウェアを含むことができる。１つの実施形態においては、ネットワークインタフェースハードウェア１１６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ワイヤレス通信プロトコルに従って動作するように構成されているハードウェアを含んでいる。幾つかの実施形態は、ネットワークインタフェースハードウェア１１６を含んでいなくてもよい。
【００２８】
図１を更に参照すると、ビークルシステム１００は、撮像装置１１８を更に備えることができる。撮像装置１１８は通信経路１０４に結合され、１つ以上のプロセッサ１０２に、通信するように結合されている。撮像装置１１８は、紫外線波長帯域、可視光波長帯域、または赤外線波長帯域における放射線を検出できる感知装置（例えば、画素）のアレイを有している任意の装置であってよい。撮像装置１１８は任意の解像度を有することができる。撮像装置１１８は、全方向性カメラまたはパノラマカメラを含むことができる。幾つかの実施形態においては、ミラー、魚眼レンズ、または任意の他のタイプのレンズのような、１つ以上の光学構成要素を、撮像装置１１８に光学的に結合できる。撮像装置１１８は、例えば、図１に示されているように、ビークルの前景を撮影するように構成されている前方を向いているカメラであってよい。撮像装置１１８は、撮影画像を、１つ以上のメモリモジュール１０６に送信でき、または、例えば、第１のモバイル演算装置１２２または第２のモバイル演算装置１２４が、画像についての情報を抽出するために撮影画像に対する画像処理を実現するように、第１のモバイル演算装置１２２または第２のモバイル演算装置１２４のような外部装置に送信できる。
【００２９】
図１を更に参照すると、ビークルシステム１００は、撮像装置１２０を更に備えることができる。撮像装置１２０は通信経路１０４に結合され、１つ以上のプロセッサ１０２に、通信するように結合されている。幾つかの実施形態においては、撮像装置１２０は撮像装置１１８と類似している。撮像装置１２０は、例えば、図１に示されているように、ビークルの後景を撮影するように構成されているバックアップカメラであってよい。撮像装置１２０は、撮影画像を、１つ以上のメモリモジュール１０６に送信でき、または、例えば、第１のモバイル演算装置１２２または第２のモバイル演算装置１２４が、画像についての情報を抽出するために撮影画像に対する画像処理を実現するように、第１のモバイル演算装置１２２または第２のモバイル演算装置１２４のような外部装置に送信できる。
【００３０】
実施形態においては、ビークルシステム１００は、可聴プロンプトまたは可聴情報を、ビークルの運転手に出力するなどのために、データ信号を機械的振動に変換するためのスピーカ１２６を含んでいる。スピーカ１２６は通信経路１０４に結合され、ＥＣＵ１０１に、通信するように結合されている。
【００３１】
図１を更に参照すると、ビークルシステム１００は、第１のモバイル演算装置１２２に、通信するように結合されている。例えば、ビークルシステム１００は、ネットワーク１３０を介して、第１のモバイル演算装置１２２に、通信するように結合できる。上述したように、ネットワーク１３０は、１つ以上のコンピュータネットワーク（例えば、パーソナルエリアネットワーク、ローカルエリアネットワーク、またはワイドエリアネットワーク）、セルラーネットワーク、衛星ネットワーク、および／または、全地球測位システム、およびそれらの組み合わせを含むことができる。幾つかの実施形態においては、第１のモバイル演算装置１２２は、通信経路１０４が第１のモバイル演算装置１２２を、ビークルシステム１００の他のモジュールに、通信するように結合するように、通信経路１０４に結合されている。第１のモバイル演算装置１２２は、制限はされないが、スマートフォン、タブレット、パーソナルメディアプレーヤ、または、ワイヤレス通信機能を含んでいる任意の他の電気装置を含むことができる。幾つかの実施形態においては、第１のモバイル演算装置１２２は、ビークル１０にプラグで接続でき、有線接続を介して、ビークルシステム１００の構成要素と通信できる。
【００３２】
第１のモバイル演算装置１２２は、１つ以上のプロセッサ１２３および１つ以上のメモリモジュール１２５を含んでいる。１つ以上のプロセッサ１２３のそれぞれは、機械可読および実行可能命令を実行できる任意の装置であってよい。従って、１つ以上のプロセッサ１２３のそれぞれは、コントローラ、集積回路、マイクロチップ、コンピュータ、または任意の他の演算装置であってよい。１つ以上のプロセッサ１２３は、第１のモバイル演算装置１２２の種々のモジュール間の信号相互接続性を提供する通信経路１２１に結合されている。従って、通信経路１２１は、任意の数のプロセッサ１２３を互いに、通信するように結合でき、通信経路１２１に結合されているモジュールが、分散演算環境において動作することを可能にできる。
【００３３】
通信経路１２１は、例えば、伝導性ワイヤ、伝導性トレース、光導波管などのような、信号を送信できる任意の媒体から形成できる。１つの実施形態においては、通信経路１２１は、プロセッサ、メモリ、センサ、入力装置、出力装置、および通信装置などのような構成要素への電気データ信号の送信を可能にするために協働する、伝導性トレース、伝導性ワイヤ、コネクタ、およびバスの組み合わせを備えている。従って、通信経路１２１は、例えば、ＬＩＮバス、ＣＡＮバス、ＶＡＮバスなどのようなビークルバスを備えることができる。追加的に、「信号」という語句は、ＤＣ、ＡＣ、正弦波、三角波、方形波、振動などの、媒体を通して進行できる波形（例えば、電気的、光学的、磁気的、機械的、または電磁的）を意味するということに留意されたい。
【００３４】
１つ以上のメモリモジュール１２５は、通信経路１２１に結合されている。１つ以上のメモリモジュール１２５は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードドライブ、または、機械可読および実行可能命令に、１つ以上のプロセッサ１２３がアクセスできるように、機械可読および実行可能命令を格納できる任意の装置を備えることができる。機械可読および実行可能命令は、例えば、プロセッサにより直接実行できる機械言語または、アセンブリ言語、オブジェクト指向プログラミング（ＯＯＰ）、スクリプト言語、マイクロコードなど、機械可読および実行可能命令にコンパイルまたはアセンブルでき、１つ以上のメモリモジュール１２５上に格納できる、任意の世代（例えば、１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬ、または５ＧＬ）の任意のプログラミング言語で記述されている論理またはアルゴリズムを備えることができる。代替的に、機械可読および実行可能命令は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）構成または特定用途向け集積回路（ＡＳＩＣ）の何れか、またはそれらの等価物を介して実現される論理のような、ハードウェア記述言語（ＨＤＬ）において記述できる。従って、ここに記述される方法は、任意の従来のコンピュータプログラミング言語において、予めプログラムされているハードウェア要素、または、ハードウェアおよびソフトウェア構成要素の組み合わせとして実現できる。
【００３５】
１つ以上のメモリモジュール１２５は、画像処理アルゴリズムを含むことができる。１つ以上のプロセッサ１２３は、受信した画像に対して、画像処理アルゴリズムを実現できる。任意の既知の、または現時点で未開発の映像および画像処理アルゴリズムを、物または状況を識別するために画像データに適用できる。例としての映像および画像処理アルゴリズムは、下記に制限されないが、カーネルに基づく追跡（例えば、ｍｅａｎ−ｓｈｉｆｔ（平均シフト）追跡など）および輪郭処理アルゴリズムを含んでいる。一般的に、映像および画像処理アルゴリズムは、物体および動きを、画像データの連続するフレームから、または個々のフレームから検出できる。１つ以上の物体認識アルゴリズムを、物体を抽出して、それらの互いの相対的な場所を決定するために画像データに適用できる。任意の既知の、または現時点で未開発の物体認識アルゴリズムを、画像データから物体を抽出するため、または、光学的特性および画像さえも抽出するために使用できる。例としての物体認識アルゴリズムは、下記に制限されないが、スケール不変特徴変換（「ＳＩＦＴ」）、頑強な特徴量の高速化（「ＳＵＲＦ」）、およびエッジ検出アルゴリズムを含んでいる。
【００３６】
第１のモバイル演算装置１２２は、第１のモバイル演算装置１２２をビークルシステム１００に、通信するように結合するためのネットワークインタフェースハードウェア１２９を備えている。ネットワークインタフェースハードウェア１２９は、通信経路１２１に、通信するように結合でき、ネットワークを介してデータを送信または受信できる任意の装置であってよい。従って、ネットワークインタフェースハードウェア１２９は、任意の有線またはワイヤレス通信を送る、および／または受信するための通信トランシーバを含むことができる。例えば、ネットワークインタフェースハードウェア１２９は、アンテナ、モデム、ＬＡＮポート、Ｗｉ−Ｆｉ（登録商標）カード、ＷｉＭａｘ（登録商標）カード、モバイル通信ハードウェア、近距離無線通信ハードウェア、衛星通信ハードウェア、および／または、他のネットワークおよび／または装置と通信するための任意の有線またはワイヤレスハードウェアを含むことができる。１つの実施形態においては、ネットワークインタフェースハードウェア１２９は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ワイヤレス通信プロトコルに従って動作するように構成されているハードウェアを含んでいる。
【００３７】
第１のモバイル演算装置１２２は、通信経路１２１が、衛星アンテナ１２７を、第１のモバイル演算装置１２２の他のモジュールに、通信するように結合するように、通信経路１２１に結合されている衛星アンテナ１２７を備えている。衛星アンテナ１２７は、全地球測位システム衛星から信号を受信するように構成されている。具体的には、１つの実施形態においては、衛星アンテナ１２７は、全地球測位システム衛星により送信される電磁信号と相互作用する１つ以上の伝導性要素を含んでいる。受信した信号は、１つ以上のプロセッサ１２３により、衛星アンテナ１２７、または衛星アンテナ１２７の近くに位置している物体の場所（例えば、緯度および経度）を示すデータ信号に変換される。
【００３８】
ビークルシステム１００は、第２のモバイル演算装置１２４に結合できる。例えば、ビークルシステム１００は、ネットワーク１３０を介して、第２のモバイル演算装置１２４に、通信するように結合できる。第２のモバイル演算装置１２４は、１つ以上のプロセッサ、１つ以上のメモリモジュール、衛星アンテナ、およびネットワークインタフェースハードウェアを含んでおり、これらは、第１のモバイル演算装置１２２の１つ以上のプロセッサ１２３、１つ以上のメモリモジュール１２５、衛星アンテナ１２７、およびネットワークインタフェースハードウェア１２９に類似している。
【００３９】
図３は、ここに示され且つ記述される１つ以上の実施形態に係る、ビークル内のモバイル演算装置による画像処理のためのフローチャートを示している。
【００４０】
ステップ３１０において、ビークル１０および第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は通信を開始する。実施形態においては、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）などを介して、ワイヤレスにビークル１０に接続できる。
【００４１】
幾つかの実施形態においては、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、ビークル１０と通信するためのアプリケーションを格納しており、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４のユーザがそのアプリケーションを実行すると、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、ワイヤレスにビークル１０に接続する。幾つかの実施形態においては、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、ワイヤを介してビークル１０にプラグで接続できる。第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４がプラグで接続されると、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４、およびビークル１０は通信を開始する。
【００４２】
ステップ３２０において、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、それらの利用可能な演算リソースについての情報をビークル１０に送信する。例えば、第１のモバイル演算装置１２２および第２のモバイル演算装置１２４のそれぞれは、ＣＰＵおよび／またはＧＰＵの機能および／または利用可能なリソース、メモリモジュールの利用可能なリソースなどについての情報を送信できる。幾つかの実施形態においては、利用可能な演算リソースについての情報は、使用されていない演算パワーの百分率、実行できる演算量の数値表示などを含むことができる。
【００４３】
ステップ３２２において、ビークル１０は、撮像装置を使用して画像を撮影する。例えば、ビークル１０は、図１における撮像装置１１８および１２０それぞれを使用して、ビークル１０の前景および／または後景の画像を撮影できる。ステップ３２４において、ビークル１０は、ビークル１０の利用可能な演算リソースと、第１のモバイル演算装置１２２の利用可能な演算リソースとを比較する。実施形態においては、ビークル１０は、比較に基づいて、モバイル演算装置に撮影画像を送信するか否かを決定できる。幾つかの実施形態においては、比較は、現在利用可能な、ビークル１０の演算リソースの百分率と、現在利用可能な、第１のモバイル演算装置１２２の演算リソースの百分率との間であってよい。幾つかの実施形態においては、比較は、現在利用可能な、ビークル１０の演算リソースの量と、現在利用可能な、第１のモバイル演算装置１２２の演算リソースの量との間であってよい。幾つかの実施形態においては、比較は、ビークル１０および第１のモバイル演算装置１２２の、現在のそれぞれの演算能力および演算負荷が分かれば、ビークル１０により、指定された時間で完了できる演算の量と、第１のモバイル演算装置１２２により、指定された時間で完了できる演算の量との間であってよい。同様に、ビークルは、ビークル１０の利用可能な演算リソースと、第２のモバイル演算装置１２４の利用可能な演算リソースとを比較できる。
【００４４】
ステップ３３０において、ビークル１０は、ビークル１０の利用可能な演算リソースと、第１のモバイル演算装置１２２の利用可能な演算リソースとの比較に基づき、撮影画像を、第１のモバイル演算装置１２２に送信する。例えば、幾つかの実施形態においては、ビークル１０は、ビークル１０の利用可能な演算リソースが第１のモバイル演算装置１２２の利用可能な演算リソースよりも少ないと決定したことに応答して、撮影画像を第１のモバイル演算装置１２２に送信する。例えば、ビークル１０はＧＰＵを含んでいないが、第１のモバイル演算装置１２２がＧＰＵを含んでいる場合、ビークル１０は、画像は第１のモバイル演算装置１２２により処理される必要があると決定して、撮影画像を第１のモバイル演算装置１２２に送信する。他の例として、ビークル１０および第１のモバイル演算装置１２２の両者がＧＰＵを含んでいるが、第１のモバイル演算装置１２２のＧＰＵの利用可能な演算リソースの方が、ビークル１０のＧＰＵの利用可能な演算リソースよりも多い場合、ビークル１０は、第１のモバイル演算装置１２２により画像は処理される必要があると決定して、撮影画像を第１のモバイル演算装置１２２に送信する。他の例として、ビークル１０のＧＰＵの演算リソースは、例えば、自律運転のような他の機能のために使用でき、ビークル１０のＧＰＵの利用可能な演算リソースは、第１のモバイル演算装置１２２の利用可能な演算リソースと比べて、相対的に少なくてよい。この場合、ビークル１０は、第１のモバイル演算装置１２２が、画像に対してイメージング処理を実行できるように、画像を第１のモバイル演算装置１２２に送信できる。
【００４５】
ステップ３３５において、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、受信した画像に対して画像処理を実行する。任意の既知の、または現時点で未開発の映像および画像処理アルゴリズムを、物または状況を識別するために画像データに適用できる。例としての映像および画像処理アルゴリズムは、下記に制限されないが、カーネルに基づく追跡（例えば、ｍｅａｎ−ｓｈｉｆｔ（平均シフト）追跡など）および輪郭処理アルゴリズムを含んでいる。一般的に、映像および画像処理アルゴリズムは、物体および動きを、画像データの連続するフレームから、または個々のフレームから検出できる。１つ以上の物体認識アルゴリズムを、物体を抽出して、それらの互いの相対的な場所を決定するために画像データに適用できる。任意の既知の、または現時点で未開発の物体認識アルゴリズムを、画像データから物体を抽出するため、または、光学的特性および画像さえも抽出するために使用できる。例としての物体認識アルゴリズムは、下記に制限されないが、スケール不変特徴変換（「ＳＩＦＴ」）、頑強な特徴量の高速化（「ＳＵＲＦ」）、およびエッジ検出アルゴリズムを含んでいる。
【００４６】
ステップ３４０において、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、受信した画像における１つ以上の物体を識別する。例えば、図４を参照すると、撮像装置１１８は、ビークル１０の前景の画像を撮影でき、撮影画像を第１のモバイル演算装置１２２に送信できる。第１のモバイル演算装置１２２は、撮影画像に対して画像処理を実行でき、画像における路面の穴４１０を識別できる。図４は、道路上の路面の穴を示しているが、動物の死骸、路面のでこぼこ、瓦礫、タイヤなどのような他の物体も、第１のモバイル演算装置１２２により撮影でき識別できる。撮像装置１２０は、後景の画像を撮影でき、撮影画像を第２のモバイル演算装置１２４に送信できる。第２のモバイル演算装置１２４は、撮影画像に対して画像処理を実行でき、自転車４２０に乗っている人間を識別できる。
【００４７】
図３に戻り、ステップ３５０において、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、識別された物体についての情報をビークル１０に送信する。例えば、図４を再び参照すると、第１のモバイル演算装置１２２は、識別された路面の穴についての情報を、ビークル１０のＥＣＵ１０１に送信できる。第２のモバイル演算装置１２４は、識別された自転車についての情報を、ビークル１０のＥＣＵ１０１に送信できる。幾つかの実施形態においては、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、外部の物体の識別についての情報を出力するための命令をビークル１０に送信できる。例えば、第１のモバイル演算装置１２２はディスプレイ１０８に、ビークルの前方の識別された路面の穴４１０についての情報を表示するように命令できる。この命令に応答して、ディスプレイ１０８は、「路面の穴が前方にあるので、要注意」という警告を表示できる。他の例として、第２のモバイル演算装置１２４はスピーカ１２６に、物体についての可聴警告を出力するように命令できる。この命令に応答して、スピーカ１２６は、「自転車が接近しているので、要注意」という可聴警告を出力できる。
【００４８】
図３に戻り、ステップ３６０において、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、識別された物体についての情報を、リモートサーバ１４０に送信する。例えば、図４を再び参照すると、第１のモバイル演算装置１２２は、識別された路面の穴についての情報を、リモートサーバ１４０に送信できる。第２のモバイル演算装置１２４は、識別された自転車についての情報を、リモートサーバ１４０に送信できる。
【００４９】
幾つかの実施形態においては、第１のモバイル演算装置１２２および／または第２のモバイル演算装置１２４は、識別された物体についての情報を、識別された物体に関連する他の情報と共に、リモートサーバ１４０に送信する。ここで、図５Ａを参照すると、撮像装置１１８は、路面の穴５１０を含む、ビークル１０の前景の画像を撮影でき、撮影画像を第１のモバイル演算装置１２２に送信できる。第１のモバイル演算装置１２２は、撮影画像に対してイメージング処理を実行し、路面の穴５１０を識別する。追加的に、第１のモバイル演算装置１２２は、衛星アンテナ１２７を使用して、路面の穴５１０の場所を決定できる。例えば、第１のモバイル演算装置１２２は、衛星アンテナ１２７を使用して、撮像装置１１８から撮影画像を受信したときに、第１のモバイル演算装置１２２の現在の場所を決定できる。受信した画像において、路面の穴５１０が識別されると、第１のモバイル演算装置１２２は、第１のモバイル演算装置１２２の場所に基づいて、路面の穴５１０の場所を決定でき、第１のモバイル演算装置１２２と路面の穴５１０との間の距離を決定できる。そして、第１のモバイル演算装置１２２は、識別された路面の穴５１０についての情報を、路面の穴５１０の場所と共に、リモートサーバ１４０に送信できる。
【００５０】
図５Ｂを参照すると、撮像装置１１８は、一時停止標識５２０を含んでいる、ビークル１０の前景の画像を撮影でき、撮影画像を第１のモバイル演算装置１２２に送信できる。第１のモバイル演算装置１２２は、撮影画像に対してイメージング処理を実行して、一時停止標識５２０を識別する。追加的に、第１のモバイル演算装置１２２は、衛星アンテナ１２７を使用して、一時停止標識５２０の場所を決定する。例えば、第１のモバイル演算装置１２２は、衛星アンテナ１２７を使用して、撮像装置１１８から撮影画像を受信したときに、第１のモバイル演算装置１２２の現在の場所を決定できる。受信した画像において、一時停止標識５２０が識別されると、第１のモバイル演算装置１２２は、第１のモバイル演算装置１２２の場所に基づいて、一時停止標識５２０の場所を決定でき、第１のモバイル演算装置１２２と一時停止標識５２０との間の距離を決定できる。そして、第１のモバイル演算装置１２２は、一時停止標識５２０についての情報を、一時停止標識５２０の場所と共に、リモートサーバ１４０に送信できる。識別された物体およびその場所の情報に基づいて、リモートサーバ１４０は、受信した情報でマップを更新できる。
【００５１】
上記の開示は、画像を、ビークルから、そのビークルにおけるモバイル演算装置に送信することを記述しているが、ビークルについての他のデータは、モバイル演算装置がデータを処理して、処理されたデータをビークルに返す、または処理されたデータをリモートサーバに送信するように、モバイル演算装置に送信できる。例えば、ビークル１０、第１のモバイル演算装置１２２、および第２のモバイル演算装置１２４の利用可能な演算リソースの比較に基づいて、ビークル１０は、速度、回転速度、ギアトランスミッション、燃料効率、充電状態などを含むビークル運転データを第１のモバイル演算装置１２２に送信できる。第１のモバイル演算装置１２２は、ビークルから受信した未処理データに基づいて、ビークル運転を解析および評価するためのアプリケーションを含むことができる。第１のモバイル演算装置１２２は、ビークル１０から受信したデータに基づいて、ビークルの運転を評価するためのアプリケーションを実行でき、運転評価点をビークルに返すことができ、評価点を局所的に保存でき、または評価点をリモートサーバ１４０に送信できる。他の例として、ビークル１０、第１のモバイル演算装置１２２、および第２のモバイル演算装置１２４の利用可能な演算リソースの比較に基づいて、ビークル１０は、診断故障コード（ＤＴＣ）を、第１のモバイル演算装置１２２に送信できる。第１のモバイル演算装置１２２は、ビークルについての問題点を識別するためにＤＴＣを解析するためのアプリケーションを含むことができる。第１のモバイル演算装置１２２は、ＤＴＣを解析して、ビークルの何れの構成要素が問題を抱えているかを識別するためにアプリケーションを実行でき、問題につていの情報をビークルに返すことができ、または、問題についての情報を、リモートサーバ１４０に送信できる。幾つかの実施形態は、第１のモバイル演算装置１２２と第２のモバイル演算装置１２４の何れに、更なる処理のための画像または他の情報を送るかを、第１のモバイル演算装置１２２および第２のモバイル演算装置１２４の利用可能な演算リソースおよび／または相対的処理負荷に基づいて決定できる。例えば、第１のモバイル演算装置１２２が、第１のモバイル演算装置１２２は利用可能な演算リソースを第１の量だけ有していることを示す情報をビークル１０に送信し、第２のモバイル演算装置１２４が、第２のモバイル演算装置１２４は利用可能な演算リソースを第２の量（利用可能な演算リソースの第１の量よりも少ない）だけ有していることを示す情報をビークル１０に送信すると、ビークル１０は、第１のモバイル演算装置１２２の方が、第２のモバイル演算装置１２４よりも、より多くの利用可能な演算リソースを有しているので、更なる処理のための画像または他の情報を第１のモバイル演算装置１２２に送信すると決定できる。
【００５２】
ここに記述されるシステムは、１つ以上の画像を撮影するように構成されている１つ以上の撮像装置、およびビークルに、通信するように結合されている第１のモバイル演算装置を備えているビークルを含んでいる。第１のモバイル演算装置は、１つ以上のプロセッサ、１つ以上のメモリモジュール、および機械可読および実行可能命令を含んでおり、この命令は、１つ以上のプロセッサにより実行されると、第１のモバイル演算装置に、ビークルから、外部物体を含んでいる１つ以上の画像を受信させ、外部物体の識別を決定するために、その画像を処理させ、外部物体の識別についての情報を、リモートサーバまたはビークルに送信させる。ビークルは、ビークルの利用可能な演算リソースと、第１のモバイル演算装置の利用可能な演算リソースとを比較し、比較に基づいて（例えば、ビークル上演算装置の利用可能な演算リソースは、第１のモバイル演算装置の利用可能な演算リソースよりも少ないと決定することに応答して）、１つ以上の撮像装置により撮影された１つ以上の画像を、第１のモバイル演算装置に送信する。ビークルは、外部モバイル演算装置の演算リソースを利用し、モバイル演算装置から処理されたデータを受信するので、ビークルが非常に少ない利用可能な演算リソースを有している、または利用可能な演算リソースを有していない場合でも、ビークルは、自律運転、外部物体認識などのようなハイエンド機能を実行できる。
【００５３】
特別な実施形態がここに例示され記述されてきたが、種々の他の変更および修正を、請求項に係る主題の真意および範囲から逸脱することなく実行できるということは理解されるべきである。更に、請求項に係る主題の種々の態様がここに記述されてきたが、そのような態様は、組み合わせて利用される必要はない。従って、付随する請求項は、請求項に係る主題の範囲内のそのような変更および修正のすべてをカバーすることが意図されている。
【００５４】
［例１］
システムであって、
１つ以上の画像を撮影するように構成されている１つ以上の撮像装置を備えるビークルと、
前記ビークルに通信するように結合された第１のモバイル演算装置であって、
１つ以上のプロセッサと、
１つ以上のメモリモジュールと、
機械可読および実行可能命令であって、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記ビークルから前記１つ以上の画像を受信することと、
前記１つ以上の画像における外部物体の識別を決定するために、前記１つ以上の画像を処理することと、
前記外部物体の前記識別についての情報をリモートサーバに送信することと、
を実行させる機械可読および実行可能命令と、
を備える第１のモバイル演算装置と、
を備える、システム。
［例２］
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記ビークルとの通信を開始することと、
前記第１のモバイル演算装置の利用可能な演算リソースについての情報を、前記ビークルに送信することと、
を実行させる、例１に記載のシステム。
［例３］
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記外部物体の前記識別についての前記情報を前記ビークルに送信すること、
を実行させる、例１に記載のシステム。
［例４］
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記ビークルに、前記外部物体の前記識別についての前記情報を出力するための命令を送信すること、
を実行させる、例１に記載のシステム。
［例５］
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記第１のモバイル演算装置のＧＰＳ装置により決定される前記第１のモバイル演算装置の現在の場所に基づいて、前記外部物体の場所を決定することと、
前記外部物体の前記場所を前記リモートサーバに送信することと、
を実行させる、例１に記載のシステム。
［例６］
前記外部物体は、道路上の障害物である、例１に記載のシステム。
［例７］
前記外部物体は、道路標識である、例１に記載のシステム。
［例８］
前記ビークルは、
１つ以上のプロセッサと、
１つ以上のメモリモジュールと、
機械可読および実行可能命令であって、前記ビークルの前記１つ以上のプロセッサにより実行されると、前記ビークルに、
前記ビークルの利用可能な演算リソースと、前記第１のモバイル演算装置の利用可能な演算リソースとを比較することと、
前記ビークルの前記利用可能な演算リソースと、前記第１のモバイル演算装置の前記利用可能な演算リソースとの比較に基づいて、前記１つ以上の撮像装置により撮影された前記１つ以上の画像を前記第１のモバイル演算装置に送信することと、
を実行させる機械可読および実行可能命令と、
を備える、例１に記載のシステム。
［例９］
第２のモバイル演算装置を更に備え、
前記ビークルは、
１つ以上のプロセッサと、
１つ以上のメモリモジュールと、
機械可読および実行可能命令であって、前記ビークルの前記１つ以上のプロセッサにより実行されると、前記ビークルに、
前記第１のモバイル演算装置の利用可能な演算リソース情報および前記第２のモバイル演算装置の利用可能な演算リソース情報を受信することと、
１つ以上の撮像装置により撮影された前記１つ以上の画像を、前記第１のモバイル演算装置の前記利用可能な演算リソース情報および前記第２のモバイル演算装置の前記利用可能な演算リソース情報に基づいて、前記第１のモバイル演算装置および前記第２のモバイル演算装置に割り当てることと、
を実行させる機械可読および実行可能命令と、
を備える、例１に記載のシステム。
［例１０］
前記１つ以上の撮像装置は、前方を向いているカメラおよび後方を向いているカメラを含んでおり、
前記前方を向いているカメラは、撮影画像を前記第１のモバイル演算装置に送信し、
前記後方を向いているカメラは、撮影画像を前記第２のモバイル演算装置に送信する、
例９に記載のシステム。
［例１１］
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記第１のモバイル演算装置に、
前記ビークルから診断コード受信することと、
前記ビークルのステータスを決定するために、前記診断コードを処理することと、
前記ビークルの前記ステータスについての情報を前記ビークルに送信することと、
を実行させる、例１に記載のシステム。
［例１２］
ビークルであって、
１つ以上の画像を撮影するように構成されている１つ以上の撮像装置と、
１つ以上のプロセッサと、
１つ以上のメモリモジュールと、
機械可読および実行可能命令であって、前記１つ以上のプロセッサにより実行されると、前記ビークルに、
第１のモバイル演算装置との通信を開始することと、
前記１つ以上の撮像装置で画像を撮影することと、
前記第１のモバイル演算装置の利用可能な演算リソースについての情報を受信することと、
前記ビークルの利用可能な演算リソースと、前記第１のモバイル演算装置の利用可能な演算リソースとを比較することと、
前記１つ以上の撮像装置により撮影された前記１つ以上の画像を、前記ビークルの前記利用可能な演算リソースと、前記第１のモバイル演算装置の前記利用可能な演算リソースとの前記比較に基づいて、前記第１のモバイル演算装置に送信することと、
を実行させる機械可読および実行可能命令と、
を備える、ビークル。
［例１３］
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記ビークルに、
前記第１のモバイル演算装置から、前記１つ以上の画像における物体についての情報を受信すること、
を実行させる、例１２に記載のビークル。
［例１４］
前記機械可読および実行可能命令は、前記１つ以上のプロセッサにより実行されると、前記ビークルに、
前記第１のモバイル演算装置から、前記物体の場所についての情報を受信すること、
を実行させる、例１３に記載のビークル。
［例１５］
前記１つ以上の撮像装置は、前方を向いているカメラおよび後方を向いているカメラを含んでおり、
前記前方を向いているカメラは、撮影画像を前記第１のモバイル演算装置に送信し、
前記後方を向いているカメラは、撮影画像を前記ビークルにおける第２のモバイル演算装置に送信する、
例１３に記載のビークル。
［例１６］
モバイル演算装置によるイメージング処理のための方法であって、
前記モバイル演算装置により、ビークルから１つ以上の画像を受信することと、
前記モバイル演算装置により、前記１つ以上の画像における外部物体の識別を決定するために、前記１つ以上の画像を処理することと、
前記モバイル演算装置により、前記外部物体の前記識別についての情報をリモートサーバに送信することと、
を含む、方法。
［例１７］
更に、
前記モバイル演算装置により、前記ビークルとの通信を開始することと、
前記モバイル演算装置により、前記モバイル演算装置の利用可能な演算リソースについての情報を、前記ビークルに送信することと、
を含む、例１６に記載の方法。
［例１８］
更に、
前記モバイル演算装置により、前記モバイル演算装置のＧＰＳ装置により決定される前記モバイル演算装置の現在の場所に基づいて、前記外部物体の場所を決定することと、
前記モバイル演算装置により、前記外部物体の前記場所を、前記リモートサーバに送信することと、
を含む、例１６に記載の方法。
［例１９］
更に、
前記ビークルに、前記外部物体の前記識別についての前記情報を出力させるための命令を送信すること
を含む、例１６に記載のシステム。
［例２０］
更に、
前記モバイル演算装置により、前記ビークルから診断コードを受信することと、
前記モバイル演算装置により、前記ビークルのステータスを決定するために、前記診断コードを処理することと、
前記モバイル演算装置により、前記ビークルの前記ステータスについての情報を前記ビークルに送信することと、
を更に含む、例１６に記載の方法。
【図１】
2020129369.tif 000003
【図２】
2020129369.tif 000004
【図３】
2020129369.tif 000005
【図４】
2020129369.tif 000006
【図５Ａ】
2020129369.tif 000007
【図５Ｂ】
2020129369.tif 000008
【外国語明細書】
2020129369000001.pdf