(57)【要約】      （修正有）【課題】通信されるデータの量を低減できるデータ通信に基づいて意思決定を行うシステムを提供する。【解決手段】システムは、地図画像のうち、高リスクおよび低リスク領域を決定する機能と、高リスク領域のデータを送信すべきか否かを判定する第１送信判定機能と、低リスク領域のデータを送信すべきか否かを判定する第２送信判定機能と、周囲の物体を検出し、検出された物体の地図画像内の位置を決定する機能と、地図画像内の位置に基づき、物体が高リスク領域に属するか否か、低リスク領域に属するか否かを判定する機能と、物体までの距離に基づきデータ圧縮率を決定する圧縮率決定機能と、物体のデータをデータ圧縮率に従って圧縮したデータを生成する機能と、データを送信すべきと判定された場合に、圧縮データを送信する機能と、送信された圧縮データに関連して返信されるデータを受信する機能と、返信データに従って、意思決定を行う機能と、を備える。【選択図】図３
2020154568.tif 000002
【特許請求の範囲】
【請求項１】
データ通信に基づいて意思決定を行うシステムであって、
地図画像を取得する機能と、
前記地図画像のうち、第１領域および第２領域を決定する機能と、
前記第１領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第１送信判定機能と、
前記第２領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第２送信判定機能と、
前記システムの周囲の物体を検出する機能と、
検出された前記物体のそれぞれについて、前記地図画像内における位置を決定する機能と、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第１領域に属するか否かを判定する機能と、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第２領域に属するか否かを判定する機能と、
検出された前記物体のそれぞれについて、その物体までの距離に基づき、その物体に係るデータ圧縮率を決定する、圧縮率決定機能と、
検出された前記物体のそれぞれについて、その物体に係るデータを、その物体に係る前記データ圧縮率に従って圧縮し、その物体に係る圧縮データを生成する機能と、
前記第１領域に係るデータを送信すべきと判定された場合に、前記第１領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信する機能と、
前記第２領域に係るデータを送信すべきと判定された場合に、前記第２領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信する機能と、
送信された前記圧縮データに関連して前記通信ネットワークを介して返信される、返信データを受信する機能と、
前記返信データに従って、意思決定を行う機能と、
を備えるシステム。
【請求項２】
前記システムは、車両に搭載されて車両の動作を決定するシステムである、請求項１に記載のシステム。
【請求項３】
前記第１送信判定機能は、前記通信ネットワークの有効通信レートに基づいて実行される、請求項１に記載のシステム。
【請求項４】
前記システムは移動可能であり、
前記システムは、前記システムの位置の精度を取得する機能を備え、
前記第２送信判定機能は、前記精度に基づいて実行される、
請求項１に記載のシステム。
【請求項５】
前記圧縮率決定機能は、さらに、その物体の種類またはその物体の挙動に基づいて実行される、請求項１に記載のシステム。
【請求項６】
前記圧縮率決定機能は、さらに、前記通信ネットワークの有効通信レートに基づいて実行される、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、データ通信に基づいて意思決定を行うシステムに関する。
【背景技術】
【０００２】
自動化の水準向上により、エッジサイドにおける計算能力に対する要求が高まっている。自律的システムの計算能力および意思決定能力は、未知の障害状況に対応するという課題に直面している。自律的システムの安全かつ最適な意思決定を補助し、支援するとともに、計算能力の負担を軽減することが望ましい。
【０００３】
特許文献１には、データ通信に基づいて意思決定を行うシステムの例が記載されている。このシステムは、地図のうち距離閾値内にある部分に対応する領域を特定する。
【０００４】
このシステムは、異なる領域内の画像を、それぞれ異なるデータ圧縮率で圧縮する。
【０００５】
しかしながら、このシステムは、地図および画像の特徴マッチングを用いるので高い計算能力を要し、リアルタイム性能要件と対立する。
【０００６】
さらに、このシステムは、圧縮された画像をリモートシステムに送信する。これは、交通が混雑していない状態や、有効通信レートが高い状態では実現可能である。しかしながら、交通が混雑すると、通信ネットワークの負荷が過大になり、送信可能なデータの量が限定されるので、効率的に動作できない可能性がある。
【０００７】
特許文献１の限界の１つは、ネットワーク負荷を低減するためにデータを削減するような方法は記載されていないということである。
【０００８】
第２に、特許文献１には意思決定技術について説明がない。たとえば、車両の状態、運転シナリオ、車両の目的、ネットワーク可用度、等に基づいてシステムがどのデータを送信すべきかを決定するということについては、記載されていない。
【０００９】
最後に、特許文献１では、車両が、人間のオペレータまたはより性能の高い計算システムの意思決定能力の恩恵を受けられる、困難なシナリオが説明されている。
【００１０】
完全に自律的な、部分的に自律的な、または半自律的なシステムが、安全に動作するためには、監督システムのようなリモートシステムとの連続的な通信または接続が必要である。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】米国特許出願公開第２０１６／０２８３８０４号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１２】
とくに、従来の技術では、通信されるデータの量が大きいという問題があった。
【００１３】
この発明はこのような問題点を解消するためになされたものであり、データ通信に基づいて意思決定を行うシステムにおいて、通信されるデータの量を低減できるものを提供することを目的とする。
【課題を解決するための手段】
【００１４】
この発明に係るシステムは、データ通信に基づいて意思決定を行うシステムであって、
地図画像を取得する機能と、
前記地図画像のうち、第１領域および第２領域を決定する機能と、
前記第１領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第１送信判定機能と、
前記第２領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第２送信判定機能と、
前記システムの周囲の物体を検出する機能と、
検出された前記物体のそれぞれについて、前記地図画像内における位置を決定する機能と、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第１領域に属するか否かを判定する機能と、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第２領域に属するか否かを判定する機能と、
検出された前記物体のそれぞれについて、その物体までの距離に基づき、その物体に係るデータ圧縮率を決定する、圧縮率決定機能と、
検出された前記物体のそれぞれについて、その物体に係るデータを、その物体に係る前記データ圧縮率に従って圧縮し、その物体に係る圧縮データを生成する機能と、
前記第１領域に係るデータを送信すべきと判定された場合に、前記第１領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信する機能と、
前記第２領域に係るデータを送信すべきと判定された場合に、前記第２領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信する機能と、
送信された前記圧縮データに関連して前記通信ネットワークを介して返信される、返信データを受信する機能と、
前記返信データに従って、意思決定を行う機能と、
を備える。
【００１５】
また、この発明に係るシステムは、データ通信に基づいて意思決定を行うシステムであって、前記システムはプロセッサを備え、前記プロセッサは、
地図画像を取得することと、
前記地図画像のうち、第１領域および第２領域を決定することと、
前記第１領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第１送信判定ことと、
前記第２領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する、第２送信判定ことと、
前記システムの周囲の物体を検出することと、
検出された前記物体のそれぞれについて、前記地図画像内における位置を決定することと、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第１領域に属するか否かを判定することと、
検出された前記物体のそれぞれについて、前記地図画像内における前記位置に基づき、その物体が前記第２領域に属するか否かを判定することと、
検出された前記物体のそれぞれについて、その物体までの距離に基づき、その物体に係るデータ圧縮率を決定することと、
検出された前記物体のそれぞれについて、その物体に係るデータを、その物体に係る前記データ圧縮率に従って圧縮し、その物体に係る圧縮データを生成することと、
前記第１領域に係るデータを送信すべきと判定された場合に、前記第１領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信することと、
前記第２領域に係るデータを送信すべきと判定された場合に、前記第２領域に属する各前記物体に係る前記圧縮データを、前記通信ネットワークを介して送信することと、
送信された前記圧縮データに関連して前記通信ネットワークを介して返信される、返信データを受信することと、
前記返信データに従って、意思決定を行うことと、
を実行可能である。
【発明の効果】
【００１６】
この発明に係るシステムは、物体のデータを送信すべきか否かを適切に決定するとともに、各物体のデータ圧縮率を適切に決定するので、通信されるデータの量を低減することができる。
【００１７】
本発明の具体的な実施例において、個別に得られる効果の例として、以下のようなものが挙げられる。
オンボード計算プラットフォーム（エッジサイド計算プラットフォーム）は、センサデータをリモートシステムに送信する前に、サンプリングし、フィルタリングし、圧縮することができる。さらに、エッジサイド計算プラットフォームは、安全かつ最適な意思決定を行うために、リモートシステムから動作命令を受信することもできる。リモートシステムは、たとえばリモート支援システムであり、訓練された人間のオペレータが関与するものであってもよく、高い計算能力を持つ計算プラットフォームであってもよい。リモート支援システムは、支援を要請しているエッジサイドシステムに対し、安全かつ最適な動作命令を提供することができる。
【００１８】
エッジサイドシステムは、リモートシステムから、遅延なしで、かつリアルタイムに、安全かつ最適な動作命令を受信することができる。これは、とくに以下のような状況で有効である。
‐車両自身では安全かつ最適な意思決定を行うことができない。
‐車両は安全ドライバーに制御を渡したいが、安全ドライバーが気付いていない。
‐車両が、未知のまたは説明不可能な障害状況に遭遇した。
‐車両の機能、動作またはシステムに障害が発生している。
‐リモートシステムの意思決定能力を向上させる学習のために、車両のセンサデータをアップロードする必要がある。
‐車両の乗員または乗客が支援を要請している。
【００１９】
上記いずれの状況でも、車両の状態および運転シナリオについて、リモートシステムが安全かつ最適な意思決定を行うために要求する情報は、巨大になり得る。したがって、原理は、安全かつ最適な意思決定を行うために、周囲環境の地図を用い、地図に静的および動的な情報を更新することである。本発明の一実施例では、エッジサイドシステムが、地図および車両の位置情報に基づき、車両環境を、高リスク領域（走行可能領域）および低リスク領域（静的地図領域、地図のうちランドマークを含む部分、道路網／グラフの一部でない建築物、等）に分割する。次に、エッジサイドシステムは、車両の位置の精度と、車両の状態（車両位置、速度、スロットル、ブレーキ、操舵）の精度と、地図とに基づき、車両環境の動的な交通参加物を、リモート支援システムに、更新または送信するか否かを決定することができる。次に、エッジサイドシステムは、フィルタリングされた車両環境内の、検出された物体情報に基づき、クラスタリング動作を行い、その後に、各クラスタを包囲する凸包を特定し、その後に、車両環境データから、各領域内の、検出された物体クラスタのクロッピング処理を実行する。最後に、エッジサイドシステムは、ネットワークの有効通信レートと、環境認知センサモジュールから検出された物体クラスタまでの距離と、運転シナリオとに基づき、クロッピングされた検出された物体クラスタについて適応的圧縮率を選択する。
【図面の簡単な説明】
【００２０】
【図１】車両に搭載された前方カメラによってキャプチャされるカメラ画像の例を示す図である。この車両に、本発明の実施例に係るシステムが搭載される。
【図２】車両に搭載された様々なセンサの例を示す図である。
【図３】本発明の一実施例に係るアルゴリズムを示すフローチャートである。
【図４】本発明の一実施例に係るデータの流れを示すブロック図である。
【図５】本発明の一実施例に係る意思決定ユニットの構成を示すブロック図である。
【図６】本発明の一実施例に係る圧縮ユニットの構成を示すブロック図である。
【図７】環境の地図の例を示す図である。環境の地図は、地図が準備される時点の静的特徴および環境の見え方を表す。一般的には、前方カメラによってキャプチャされた環境（図１、ただし動的障害物を含まないもの）を表す。
【図８】図７の地図のクロッピングされた部分を示す図である。図８は高リスク領域を表し、高リスク領域（図８）をクロッピングした後に図７に残る部分は低リスク領域を表す。
【図９】意思決定ユニットが、検出された物体のクラスタリングおよび凸包推定ユニットに、高リスク領域および低リスク領域双方を渡す場合の、車両に搭載された前方カメラによってキャプチャされる修正されたカメラセンサデータを表す図である。
【図１０】意思決定ブロックが、検出された物体のクラスタリングおよび凸包推定ユニットに、高リスク領域のみを渡す場合の、車両に搭載された前方カメラによってキャプチャされる修正されたカメラセンサデータを表す図である。
【図１１】低リスク領域に属する、カメラ画像からの、検出されクロッピングされた物体クラスタを表す図である。
【図１２】高リスク領域に属する、カメラ画像からの、検出されクロッピングされた物体クラスタを表す図である。
【図１３】リモート支援システムにおいて、環境の地図と、車両から受信した、検出されクロッピングされた物体クラスタとを用いて、再生される車両環境を示す図である。
【図１４】実施例２に係る、データ通信に基づいて意思決定を行うシステムの構成の例を示す図である。
【図１５】高リスク領域および低リスク領域の例を示す図である。
【発明を実施するための形態】
【００２１】
以下、この発明の実施例を、添付図面に基づいて説明する。本発明は、データ通信に基づいて意思決定を行うシステムとして実施可能である。本明細書において記載されるシステム、機能および方法は例示であり、本発明の範囲を限定するものではない。本明細書に開示されるシステムおよび方法の各態様は、異なる多様な構成の組み合わせにおいて構成可能であり、それらのすべてが本明細書において想定される。
【００２２】
各実施例において、特定の構成要素または説明を、他の実施例における構成要素または説明に置き換えることが可能である。たとえば、当業者は、実施例１におけるある処理について、その詳細を、実施例２に記載される具体例に沿って実現することができる。
【００２３】
［実施例１］
実施例１に係る構成は、完全に自律的な、または半自律的な、車両の動作を、リモート支援システムから動作命令または支援を受信することによって、改善または補助する方法を提供する。リモート支援システムは、人間のオペレータまたは計算能力の高い計算プラットフォームを含んでもよい。リモート支援システムからの動作命令または支援を受信するために、車両は、リモート支援システムに、センサデータを提供してもよい。センサデータは、車両の環境の画像またはビデオストリーム、ＬＩＤＡＲ（LIght Detection And RangingまたはLaser Imaging Detection And Ranging）データ、ＲＡＤＡＲ（RAdio Detection And Ranging）データ、等を含む。これに対し、リモート支援システムは、物体の検出、分類または挙動予測について車両を補助し、任意の運転シナリオにおける安全かつ最適な意思決定をおこなうための支援を行ってもよい。したがって、車両は、リモートの人間オペレータの安全かつ最適な意思決定能力の、または、リモート支援計算プラットフォームの高い計算能力の、恩恵を受けることができる。
【００２４】
リモートの人間オペレータの意思決定能力を、または、リモート支援計算プラットフォームの高い計算能力を、車両が要求する可能性がある稀な運転シナリオの例は、以下の通りである。車両位置決定ユニットが、要求される限界内に収束せず、オンボード計算プラットフォームを用いたのでは実行できない高い計算能力を要求する機能を、車両が実施する必要がある。このような状況において、車両は、その機能を実行するために、計算能力の高いリモート支援システムからの支援を要求する可能性がある。したがって、車両は、高精度の位置情報を受信するために、センサデータを、計算能力の高いリモート支援システムにアップロードする。
【００２５】
別の例では、車両のオンボードの意思決定ユニットが、乗車している安全ドライバーに、車両の制御をテイクオーバーすることを要求する可能性がある。しかし、安全ドライバーはこれに気付いておらず、または注意しておらず、所定の時間フレーム内に制御を受け取らない可能性があり、これは事故につながる。このようなシナリオでは、安全ドライバーが注意していないので、車両は、車両制御をテイクオーバーすることを、リモート支援に要求することができる。
【００２６】
別の例では、車両のオンボード検出または意思決定／計画ユニットが、未知の状況／未知の障害に遭遇し、車両が安全な動作決定を行うのに十分な確信を持てない。そのような場合に、車両はリモート支援を要求し得る。同様に、オンボードの検出および認知システムが、リアルタイムに潜在的な障害物を検出できない場合や、車両が未知の障害に遭遇した場合には、交通事故につながり、使用者および通行人が怪我をする可能性がある。したがって、車両は、そのセンサデータをリモート支援システムにアップロードし、これに対し、安全かつ最適な動作命令を受信することができる。
【００２７】
別の例では、車両は、オンライン学習のために、そのセンサデータをクラウドにアップロードせねばならない場合がある。これは、意思決定能力、検出、等の向上のためである。このようなシナリオにおいて、帯域幅制限または他のデータ通信制限により、センサデータのリアルタイムのアップロードが禁止される場合がある。このようなシナリオでは、センサデータの圧縮は性能を劣化させる可能性がある。したがって、このようなシナリオでは、本発明の実施例を適用して、詳細な情報を失うことなく、車両のセンサデータをリアルタイムにアップロードすることが可能となる。
【００２８】
リモート支援システムが車両を支援する場合には、リモート支援システムは、安全かつ最適な意思決定を行うために、車両の周囲の環境を表す様々なデータを、リアルタイムで要求する可能性がある。たとえば、リモートの人間オペレータが車両をリモートにテイクオーバーする場合には、安全な意思決定を行うために車両の周囲のビデオ／画像データ表現が必要となるが、計算能力の高いプラットフォームの場合には、センサデータは安全かつ最適な意思決定のために要求される場合がある。
【００２９】
上述の例に鑑み、車両の環境を表すセンサデータをリモート支援システムに送信／アップロードする前に、サンプリングし、フィルタリングし、圧縮するための方法および機能が提供される。一例では、車両は、車両に搭載されたカメラから環境の画像を受信する。車両は、ベクトル地図等の環境の地図（車線情報、停止線、等）を受信してもよい。地図は、ナビゲーション中の環境の強度および画像ファイルを含んでもよい。また、地図は、様々な道路構造特徴および位置を含んでもよい。車両は、大域的位置およびその状態（大域的速度、方位、加速度、等）を受信してもよい。さらに、車両は、その状態および位置に基づき、地図内で車両自身を識別または位置決定してもよい。車両は、地図内の車両位置に基づき、地図を高リスク領域および低リスク領域に分割してもよい。一例では、高リスク領域は、車両の運転状態に関する領域（車両が走行している道路およびその道路の近傍）を含んでもよい。次に、車両は、車両位置および状態精度に基づき、リモート支援システムを、高リスク領域情報で、低リスク領域情報で、またはこれら双方で、更新することの重要度／優先度を決定してもよい。たとえば、車両位置が許容可能な閾値内であれば、車両は高リスク領域の検出されクロッピングされた物体クラスタのみを送信すると決定してもよい。このような意思決定の背景にある理由の１つは、低リスク領域が、車両の位置決定に有用な構造／ランドマーク特徴または静的特徴を含むということである。一方で、高リスク領域は運転の意思決定において重要である。さらに、車両は、物体検出センサおよび機能の助けにより、環境内の物体を識別してもよい。物体が識別された後、車両は、検出された物体をクラスタリングするためのクラスタリング機能を、ユークリッド距離、クラス、または物体特徴に基づいて実行してもよい。検出された物体をクラスタリングした後、車両は、各クラスタを包囲する境界ボックス／凸包を決定してもよい。次に、車両は、センサデータから、高リスク領域および低リスク領域において検出された物体クラスタのそれぞれをクロッピングしてもよい。最後に、車両は、運転シナリオおよび車両の帯域幅制限に基づき、各クラスタについて異なる圧縮率を決定してもよい。帯域幅可用度が非常に低い場合には、車両は検出された物体クラスタそれぞれの境界ボックス／凸包情報のみを送信してもよい。
【００３０】
一部のケースでは、本明細書に記載される機能は、カメラセンサデータ以外のセンサデータに基づいてもよい。たとえば、センサデータは、ＬＩＤＡＲ、ＲＡＤＡＲ、超音波センサ、オーディオセンサ、等の様々なセンサからのものであってもよい。車両に搭載された計算プラットフォームが複数のセンサの融合を可能にする場合には、融合センサデータを用いてもよい。物体検出および凸包推定ユニットの場合には、任意の利用可能な構成を用いることができる。一例では、ＬＩＤＡＲが環境の点群データを提供し、これが環境中の物体を示す。ＬＩＤＡＲ情報は、クラスタリングおよび凸包推定に用いることができる。その後、検出された物体クラスタは、ＬＩＤＡＲデータからクロッピングされ、その後、意思決定ユニットが、検出されクロッピングされた物体クラスタの重要度／優先度を決定してもよい。重要度が決定された後、帯域幅ベースの圧縮ユニットが、リモート支援システムへの送信の前に、検出されクロッピングされた物体クラスタのそれぞれの圧縮率を決定してもよい。ＲＡＤＡＲセンサデータについても同様の手法をとることができ、複数センサ融合データについても同様である。
【００３１】
以下、実施例１に係るシステムの例を詳細に説明する。データ通信に基づいて意思決定を行うシステムの例として、自動車を用いて説明する。しかしながら、本発明は、他のシステムにおいても実現が可能であり、たとえば、車両（乗用車、バス、トラック、列車、ゴルフカート等）、工業機械（建設機械、農場機械等）、ロボット（地上ロボット、水上ロボット、倉庫ロボット、サービスロボット等）、航空機（固定翼機、回転翼機等）、船舶（ボート、船等）、等にも応用できる。これら以外の車両にも応用可能である。
【００３２】
図１は、車両の前方カメラによってキャプチャされる環境を表す。
【００３３】
図２は車両２００（乗用車）を示す。車両２００は、運転を支援するための、または完全自律運転のための、様々なセンサを備える。センサの例は、ＬＩＤＡＲ２０６、ＧＰＳ（Global Positioning System）およびＩＮＳ（Inertial Navigation System）２０７、カメラ２０３〜２０５および２０８、ＲＡＤＡＲ２０９および２０１、超音波センサ２０２および２１０である。これらは発明を説明するための例示にすぎない。車両はこれ以外のセンサ構成を有してもよい。
【００３４】
図３は、本実施例のアルゴリズムのフローチャート３００を示す。車両は、１つ以上の環境認知センサから環境データを受信してもよい（ステップ３０１）。さらに、車両は環境の地図および車両状態／位置を受信してもよい（ステップ３０２）。また、車両は、車両位置および環境の地図に基づき、周囲の環境を高リスク領域および低リスク領域に分割してもよい（ステップ３０３）。また、車両は、帯域幅、車両位置および状態精度に基づき、高リスク領域および低リスク領域のセンサデータをフィルタリングしてもよい（ステップ３０４）。センサデータ領域をフィルタリングする目的の１つは、送信前にデータのサイズを低減することである。また、車両は、物体検出センサ／アルゴリズムの助けを得て、ユークリッド距離、特徴、検出された物体クラス、等に基づき、フィルタリングされたセンサデータ領域において、検出された物体をいくつかのグループにクラスタリングしてもよい（ステップ３０５〜３０６）。また、車両は、高リスク領域および低リスク領域において、検出された物体クラスタそれぞれの凸包または境界ボックスを特定してもよい。また、車両は、カメラ、ＬＩＤＡＲ、ＲＡＤＡＲ、等の環境認知センサデータから、検出された物体クラスタをクロッピングしてもよいし、カメラ、ＬＩＤＡＲ、ＲＡＤＡＲセンサデータを融合するためにセンサ融合手法を用いてもよいし、そこから検出された物体クラスタ情報をクロッピングしてもよい（ステップ３０７）。また、車両は、フィルタリングされ検出されクロッピングされた物体クラスタのそれぞれについて、帯域幅可用度、物体の種類、物体の挙動、運転シナリオ、等に基づき、圧縮率を決定してもよい（ステップ３０８）。また、車両は、フィルタリングされ検出されクロッピングされ圧縮された物体クラスタをリモートシステムに提供し（ステップ３０９）、安全かつ最適な動作命令をリモートシステムから受信してもよい（ステップ３１０）。
【００３５】
図４は、本実施例におけるデータの流れを示す機能ブロックを含むブロック図を表す。各ブロック内にはデータの流れが示される。ブロック３１１は、車両環境データおよび検出された物体情報を提供する。ブロック３１２は、車両環境を高リスク領域および低リスク領域に分割するために、適応的マスク生成ユニットに、地図データおよび車両状態／位置情報を提供する。ブロック３１３および３１４は意思決定ユニットを表す。意思決定ユニットの目的の１つは、マスク（高リスク領域、低リスク領域または双方）をブロック３１５に渡すことである。したがって、処理についてデータサイズを低減するために、マスクを用いてセンサデータがフィルタリングされる。ブロック３１５は、フィルタリングされた領域（またはブロック３１４の出力）における、検出された物体のクラスタリングと、検出された物体クラスタの凸包推定とを表す。ブロック３１６では、検出された物体クラスタのクロッピングユニットが、検出された物体クラスタの抽出を送信のためだけに実行する。ブロック３１７は帯域幅ベースの圧縮ユニットを表す。
【００３６】
図５は意思決定ユニットを示す。意思決定ユニットは、適応的マスク（すなわちブロック３１３の出力）の選択を実行する。したがって、車両環境を表すセンサデータを車両位置および状態精度に基づいてフィルタリングすることにより、検出された物体のクラスタリングのために必要なセンサデータサイズを低減することができる。意思決定ユニットの役割／目的の１つは、安全かつ最適な動作意思決定を行う際に、高リスク領域および低リスク領域情報の要件の優先度／重要度を決定することである。たとえば、車両状態分散／誤差／バイアス行列が所定の閾値内にある場合、または、ブロック３１２が車両位置および状態を必要な精度で提供する場合（すなわち、車両がセンチメートル以下の精度で位置決定可能である場合）には、高リスク領域データのみをリモート支援システムに送信すれば十分である。車両位置および状態精度が閾値より低い場合には、高リスク領域および低リスク領域双方のデータ情報をリモート支援システムに送信する必要がある。
【００３７】
図６は、帯域幅ベースの圧縮ユニットのアルゴリズムを示す。フィルタリングされた領域において検出されクロッピングされた物体クラスタは、さらに、リアルタイムの送信のために、データサイズを低減するために圧縮される。フィルタリングされ検出されクロッピングされた物体クラスタに対する圧縮率は、帯域幅可用度と、検出されクロッピングされフィルタリングされた物体クラスタから自車両までの距離とに基づいて計算される。したがって、利用可能な帯域幅が低すぎる場合には、リモートシステムには凸包および境界ボックスの情報のみを送信することしかできない。上述のシナリオにおいて、乗用車等の物体は、いかなるグラフィック情報も含まない３Ｄボックスとして表すことが可能である。
【００３８】
図７は、環境の地図を示す。地図は、車両の環境における様々な特徴を示してもよい。たとえば、図７におけるビューは、図１に示す環境の前方画像ビューに対応してもよい。他のケースでは、意思決定に右方ビュー、左方ビューまたは後方ビューが必要であり、地図のこれらに対応する部分が用いられてもよい。さらに、地図は、安全な意思決定のために、運転シナリオに関する対象領域を示してもよい。図７は、車両位置に基づき、車両環境の現在の近傍を表してもよい。したがって、車両位置を用いて、車両環境の現在の近傍を表す地図データから、地図の該当部分をクリッピングしてもよい。地図は、道路構造特徴４０２〜４０６を含んでもよい。一部のケースでは、それは道路地図を含んでもよい。道路地図は、ストリートビュー、点群データ、強度データ、道路構造（停止標識、交通信号）、その他の運転関連特徴に関連付けられていてもよい。地図は、強度および天候条件が異なる地図特徴画像ビューを含んでもよい。また、地図は、静的特徴またはランドマーク特徴４０１、４０７〜４１２を含んでもよい。これらは道路の一部ではないが、オンボードの位置決定機能が大きな誤差を有する場合には、車両の位置決定において重要な情報を提供する。
【００３９】
図８は、図７に示す地図の、クロッピングされた部分を表す。図７に示すマップをクロッピングするために、車両の位置／状態および地図道路情報（走行可能領域情報）を用いてもよい。クロッピングの目的の１つは、車両環境を高リスク領域および低リスク領域に分割することである。したがって、高リスク領域は運転意思決定に重要であり、一方で、低リスク領域情報は車両位置決定に重要であるということができる。地図（図７）のクリッピングされた部分（図８）は、静的な道路構造特徴（走行可能領域）４０２〜４０６を伴う高リスク領域を表す。歩道を表す道路構造特徴４０２を含めるために、高リスク領域の境界がわずかに拡大されており、これは都市部における安全運転意思決定のために重要である。周囲環境の情報がより多く必要となる場合には、車両環境を高リスク領域および低リスク領域に分割することは、リモートの人間オペレータまたはリモートの計算能力の高い計算プラットフォームによって定義されてもよい。車両環境を高リスク領域および低リスク領域に分割するための同様の手法は、複数のビューにわたって実行することもできる（車両環境の３６０°ビューを表す前方、左方、右方、および後方のカメラセンサによって取得される全方位ビュー）。
【００４０】
図９は運転環境画像５００を示す。この画像は、車両に搭載される前方カメラによってキャプチャされるものであり、安全な意思決定のために高リスク領域および低リスク領域双方の情報が必要であると意思決定ユニット（ブロック３１４）が決定した場合にキャプチャされる。たとえば、このカメラは、車両の環境の前方ビューの画像５００をキャプチャするために、車両の前方部分に搭載されてもよい。他のビューも可能である。たとえば、車両は、車両動き方向および運転シナリオに基づき、環境の全方位ビューをキャプチャするために、前方カメラ、左方カメラ、右方カメラ、および後方カメラを融合してもよい。画像５００は、車両の環境において車両が遭遇する可能性のある様々な特徴（たとえば、道路標識５０４、交通信号５０１、車線情報５１０、歩道レーン５０７、歩行者５０５および５０３、交通参加者５０６、５０８、５０９、５１１、５１２、５２０、５２１等の動的特徴と、静的特徴５０２および５１４〜５１９と、ガードレール５１３と）を含んでもよい。
【００４１】
図１０は、車両位置および状態が、要求される精度限界内にない場合の、ブロック３１５によって用いられる高リスク領域および低リスク領域双方の情報を表す。そのようなシナリオでは、絶対位置を決定するために低リスク領域が必要となる場合があり、安全かつ最適な動作決定のために高リスク領域情報が利用できる場合がある。同様に、車両位置が十分に高精度であれば、ブロック３１５は安全かつ最適な運転動作決定に図１０（高リスク領域情報のみを表す）を用いてもよい。
【００４２】
画像５００の圧縮および伝送について、帯域幅制限のために更新がうまくいかない場合がある。また、高い圧縮率は情報の損失につながる。運転に用いられる地図は、情報量が多くなり続けている。安全かつ最適な意思決定を行うためには、車両環境における動的情報のみをリモート支援のためにアップロードすれば十分な場合がある。したがって、車両に搭載されたセンサによってキャプチャされた車両環境は、サンプリングされ、フィルタリングされ、圧縮され、送信される。したがって、画像５００の場合には、交通参加者５０６、５０８、５０９、５１１、５１２、５２０、５２１（図１０）は安全かつ最適な運転意思決定に有用な可能性があり、一方で、静的特徴５０２および５１４〜５１９（図９）は車両の位置決定のために有用な可能性がある。したがって、画像５００の場合には、歩行者５０３の挙動が予測不可能だと考えられるので、リモート支援システムは、歩行者５０３が横断している間は車両のスピードを落とすよう命令してもよい。また、右側車線の交通が大量すぎると考えられるので、リモート支援は、車両に車線を変更するよう命令してもよい。しかしながら、一部のシナリオでは、車両位置誤差が許容限界内である場合に、車両は画像５００における静的特徴５０２および５１４〜５１９のような特徴を無視してもよく、または、送信しないと決定してもよい。その理由は、これらの特徴は静的特徴であり、車両の意思決定に大きな影響を及ぼさない場合があるからである。このように、本実施例によれば、画像５００をリモート支援システムに送信する前に情報量を低減することができる。
【００４３】
図１１および図１２は、低リスク領域（記号１〜６）および高リスク領域（記号１〜８）それぞれに属する、検出されクロッピングされた物体クラスタを表す。たとえば、検出された物体は、それぞれ検出されたクラス、ユークリッド距離、サイズ、等に基づいてクラスタリングすることができる。物体検出のために、任意の物体検出センサ（たとえば、ＲＡＤＡＲ、ＬＩＤＡＲ、カメラ、ステレオカメラ、赤外線カメラ、サーマルカメラ、超音波センサ、等）が使用可能である。本実施例では、物体検出のために複数のセンサを適用する。また、本実施例は、自動化された車両に接続されて用いられてもよく、したがって、各車両は、自身の位置および状態を他の車両に通知することができる。したがって、接続され自動化された車両の場合には、物体情報のためにＶ２Ｘ情報を用いてもよい。センサデータ（画像５００）から検出された物体クラスタをクロッピングするために、検出された物体クラスタの凸包座標を用いてもよい。明確さのために、図１１および図１２は、高リスク領域および低リスク領域における検出されクロッピングされた物体クラスタを示す。しかしながら、意思決定ユニットは、各領域を車両位置および状態の精度に基づいてフィルタリングする。したがって、ブロック３１３（帯域幅ベースの圧縮ユニット）は、高リスク領域または低リスク領域のどちらかにおける検出されクロッピングされた物体クラスタを受信してもよいし、あるいは、すべてがブロック３１６に供給されてもよい。
【００４４】
図１３は、検出されクロッピングされ圧縮された物体クラスタと、図７に示す地図データとを用いて、リモート支援側で再生された環境シーンを表す。したがって、車両の位置および状態の精度が許容可能限界未満である場合には、車両は、低リスク領域の検出されクロッピングされ圧縮された物体クラスタと、高リスク領域の検出されクロッピングされ圧縮された物体クラスタとの双方を送信してもよい。そのような状況では、低リスク領域の検出されクロッピングされ圧縮された物体クラスタは、特徴マッチングおよび高精度位置情報の出力に用いることができ、同時に、高リスク領域の検出されクロッピングされ圧縮された物体クラスタは、安全な運転意思決定のために用いることができる。
【００４５】
［実施例２］
実施例２は、実施例１において、さらに具体的な説明を加え、一部の構成および動作を追加または変更するものである。
図１４に、実施例２に係るシステム７００の構成の例を示す。システム７００は、データ通信に基づいて意思決定を行うシステムである。システム７００は、公知のコンピュータとしての構成を有し、演算手段７０１と、記憶手段７０２と、通信手段７０３とを備える。
【００４６】
演算手段７０１は、たとえばプロセッサを備える。記憶手段７０２は、半導体記憶装置、磁気ディスク装置、等の記憶媒体を備える。通信手段７０３は、入出力ポートまたは通信アンテナ等の入出力手段を備える。通信手段７０３は、たとえば無線通信ネットワークを介した無線通信を行うことが可能である。システム７００は、通信手段７０３を介して、外部のコンピュータ（たとえばリモート支援システムまたは他の車両に搭載された意思決定システム）と通信することが可能である。なお、システム７００は、通信手段７０３以外の入出力手段を備えてもよい。
【００４７】
システム７００は、図３に示す各処理を実行する機能を備える。たとえば、記憶手段７０２には、図３に示す各処理を実行するためのプログラムが格納されており、演算手段７０１は、このプログラムを実行することにより、図３に示す各機能を実現する。
【００４８】
システム７００は、たとえば車両（具体例として図２に示す車両２００）に搭載可能である。その場合には、システム７００は、その車両の動作を決定するものであってもよい。意思決定の内容は、たとえば、車速をどの程度にすべきか、アクセル開度をどの程度にすべきか、ブレーキをかけるべきか否か、停車すべきか否か、車線を変更すべきか否か、左に操舵すべきか否か、右に操舵すべきか否か、左右への操舵角をどの角度にすべきか、等を含む。
【００４９】
また、システム７００は、車両以外の構成に搭載されてもよい。たとえば、図２に示すもの以外の車両（乗用車、バス、トラック、列車、ゴルフカート等）、工業機械（建設機械、農場機械等）、ロボット（地上ロボット、水上ロボット、倉庫ロボット、サービスロボット等）、航空機（固定翼機、回転翼機等）、船舶（ボート、船等）、等に搭載されてもよく、それらの動作または状況判断等に関する意思決定を行うものであってもよい。また、システム７００は、移動可能な構造物（車両等）に搭載されて移動可能に構成されてもよく、固定された構造物に搭載されて移動不可能に構成されてもよい。
【００５０】
以下、図２の車両２００を例にとって説明する。車両２００はたとえば乗用車である。システム７００には、周囲環境に関する情報を取得するためのセンサが１つ以上接続される。これらのセンサは、たとえば車両２００に搭載される。周囲環境とは、システム７００の周囲の物体の状況を表す。システム７００の周囲の物体は、本実施例では車両２００の周囲の物体として検出される物体であるが、必ずしも車両２００に関連して検出される物体でなくともよい。
【００５１】
センサは、車両２００の周囲の物体までの距離を測定する、距離センサを含む。距離センサは、ＲＡＤＡＲを含んでもよい。図２の例では、前方ＲＡＤＡＲ２０１および後方ＲＡＤＡＲ２０９を含む。また、距離センサは、超音波センサを含んでもよい。図２の例では、前方超音波センサ２０２および後方超音波センサ２１０を含む。また、距離センサは、ＬＩＤＡＲ２０６を含んでもよい。
【００５２】
また、センサは、車両２００の周囲の画像を取得する、画像センサ（撮像手段）を含んでもよい。図２の例では、画像センサは、第１前方カメラ２０３、側方カメラ２０４、後方カメラ２０８、および第２前方カメラ２０５を含む。
【００５３】
また、センサは、車両の位置情報を取得する、位置センサを含んでもよい。図２の例では、位置センサは、ＧＰＳおよびＩＮＳ２０７を含む。
【００５４】
システム７００は、図３の処理を実行する。この処理は、たとえば定期的に、または外部から入力される所定の実行開始信号に基づいて、開始される。
【００５５】
図３のステップ３０１において、システム７００は、上述の各センサからデータを受信してもよい。これらのデータは、たとえば、車両２００の周囲の各物体について、車両２００に対する（または各センサに対する）物体の位置、車両２００から（または各センサから）物体までの距離、物体の種類、物体の挙動（たとえば物体の移動方向および速度）、等を決定または推定できるように構成されたデータであってもよい。
【００５６】
図３のステップ３０２において、システム７００は、地図画像を取得してもよい。地図画像とは、たとえば、周囲環境の地理的状況を表す画像を意味する。地図画像は、たとえば図８に示すような画像として取得される。なお、図８は地図画像を直接的に示す図ではないが、結果として取得される地図画像は、図８のような画像となる場合がある。
【００５７】
図８の例では、地図画像は、道路構造特徴４０２〜４０６を表す画像を含む。道路構造特徴４０２は歩道を表し、道路構造特徴４０３は交通標識を表し、道路構造特徴４０４は交通信号を表し、道路構造特徴４０５は車線境界を表し、道路構造特徴４０６はガードレールを表す。
【００５８】
地図画像は、外部のコンピュータから通信ネットワークを介して受信してもよく、システム７００の記憶手段７０２に予め記憶されていてもよい。また、地図画像は、直接的に画像として取得されるものであってもよく、画像以外の形式の情報として取得された後に画像形式に変換されるものであってもよい。変換において、他の情報を参照してもよい。たとえば、システム７００は、二次元形式の地図情報を取得し、地図における車両２００の位置に基づいて、図８に示すような疑似三次元形式の地図画像を生成してもよい。この地図情報には、図８に示す道路構造特徴４０２〜４０６を表す情報が含まれている。
【００５９】
図３のステップ３０３において、システム７００は、地図画像のうち、第１領域および第２領域を決定してもよい。３つ以上の領域を決定してもよい。第１領域および第２領域は、互いに重複しない領域として決定されてもよいし、互いに重複することを許容してもよい。これらの領域は、たとえば、固定された境界線または適応的に決定される境界線に基づいて決定される。これらの領域の具体的な決定方法は当業者が任意に設計可能であるが、たとえば特許文献１に記載される方法を用いることができる。特許文献１の記載内容は、参照により本明細書に援用される。
【００６０】
図１５に、これらの領域の例を示す。図８に示す地図画像のうち、境界線Ｂに対して紙面下側（すなわち画像中の路面を含む側）となる領域が第１領域であり、境界線Ｂに対して紙面上側（すなわち画像中の上空領域を含む側）となる領域が第２領域である。
【００６１】
第１領域は、走行中の車両２００にとって直接的に安全に関わる物体が存在する可能性が高い領域であり、高リスク領域と呼ぶことができる。また、第１領域は、路面に対して移動する物体が存在する可能性が高い領域であり、動的領域と呼ぶこともできる。一方、第２領域は、走行中の車両２００にとって直接的に安全に関わる物体が存在する可能性が低い領域であり、低リスク領域と呼ぶことができる。また、第２領域は、路面に対して移動する物体が存在する可能性が低い領域であり、静的領域と呼ぶこともできる。
【００６２】
以下、本実施例では、説明の便宜上、第１領域を「高リスク領域」と呼び、第２領域を「低リスク領域」と呼ぶが、これらの領域の名称は本発明に本質的なものではない。
【００６３】
図３のステップ３０４において、システム７００は、高リスク領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する（第１送信判定機能）。データは、たとえば各物体に係る画像データであるが、画像データ以外のデータを含んでもよい。この判定は、任意の基準に基づいて実行可能であるが、以下に例を示す。
【００６４】
第１送信判定機能は、たとえば、通信ネットワークの有効通信レートに基づいて実行してもよい。より具体的には、リモート支援システムへの通信ネットワークの有効通信レートが所定の閾値以上である場合には、高リスク領域に係るデータを送信すべきであると判定し、そうでない場合には、送信すべきでないと判定する。このような判定基準によれば、通信されるデータの量を低減することができる。とくに、有効通信レートが低い場合には、より重要な他のデータのために通信容量を節約することができる。
【００６５】
なお、有効通信レートは、「帯域幅」、「通信路容量」、「伝送路容量」、「伝送遅延」、「ネットワーク容量」、「ネットワーク負荷」、等と呼ばれる値であってもよい。有効通信レートの測定方法は、当業者が公知技術等に基づいて適宜設計可能である。
【００６６】
第１送信判定機能は、高リスク領域において検出された物体の数（たとえばステップ３０６または３０７において決定される）に基づいて実行してもよい。その場合には、第１判定機能はステップ３０７の後（ただしステップ３０９の前）に実行されてもよい。より具体的には、高リスク領域に所定の閾値以上の数の物体が属する場合には、高リスク領域に係るデータを送信すべきであると判定し、そうでない場合には、送信すべきでないと判定する。このような判定基準によれば、システム７００自身が処理できる限界を超える数の物体が検出された場合に、適切にリモート支援システムによる支援を要請することができる。
【００６７】
第１送信判定機能は、システム７００とリモート支援システムとの計算能力の比較に基づいて実行してもよい。たとえば、リモート支援システムに対するシステム７００の計算能力を表す相対値に基づいて実行してもよい。このような相対値は、リモート支援システムの計算能力を表す値と、システム７００の計算能力を表す値とを含む関数（たとえば単純な除算または減算であってもよい）を用いて決定することができる。また、たとえばシステム７００に障害が発生している場合には、システム７００の計算能力をより低く評価するようにしてもよい。
【００６８】
より具体的な例として、システム７００の計算能力を表す相対値が所定の閾値以上である場合には、高リスク領域に係るデータを送信すべきでないと判定し、そうでない場合には、送信すべきであると判定する。このような判定基準によれば、通信されるデータの量を低減することができる。また、システム７００自身の判断能力が不足する場合にのみ、効率的にリモート支援システムによる支援を要請することができる。
【００６９】
なお、第１送信判定機能は、上述の複数の基準を組み合わせて実行されてもよい。
【００７０】
また、図３のステップ３０４において、システム７００は、低リスク領域に係るデータを、通信ネットワークを介して送信すべきか否かを判定する（第２送信判定機能）。データとは、たとえば各物体に係る画像データであるが、画像データ以外のデータを含んでもよい。この判定は、任意の基準に基づいて実行可能であるが、以下に例を示す。
【００７１】
第２送信判定機能は、たとえば、システム７００の位置の精度に基づいて実行されてもよい。本実施例では、システム７００の位置は、車両２００の位置と同一と見なせるものとする。たとえば、システム７００は、ＧＰＳおよびＩＮＳ２０７が検出するデータに基づき、システム７００の位置およびその精度（すなわち車両２００の位置およびその精度）を取得または算出することができる。この精度が所定の閾値以上である場合には、低リスク領域に係るデータを送信すべきでないと判定し、そうでない場合には、送信すべきであると判定する。
【００７２】
ここで、低リスク領域は、地図画像に関する静的特徴を多く含む可能性が高いので、車両２００またはシステム７００の精密な位置決定に有用な可能性が高い。したがって、このような判定基準によれば、システム７００が自身の位置を単独で特定することが困難な場合にのみ、適切にリモート支援システムによる支援を要請することができる。
【００７３】
なお、本実施例において、ステップ３０４におけるシステム７００の動作は、必ずしも図５に沿ったものでなくともよい。とくに、第１送信判定機能および第２送信判定機能は、次のように様々な条件に基づいて実行することができる。
【００７４】
第１送信判定機能および第２送信判定機能において参照される条件は、通信ネットワークの有効通信レート、検出された物体の数、リモート支援システムの計算能力値、システム７００の計算能力値、システム７００の位置の精度、システム７００の移動速度（すなわち車両２００の走行速度）、等を含むことができる。また、これらの条件の様々な組み合わせパターンを定義し、各パターンに対して、高リスク領域に係るデータを送信すべきか否か、および、低リスク領域に係るデータを送信すべきか否かを関連付ける判定テーブルを、記憶手段７０２に格納しておいてもよい。システム７００は、これらの条件に基づき、判定テーブルを参照して、第１送信判定機能および第２送信判定機能を実行することができる。
【００７５】
図３のステップ３０５またはステップ３０６において、システム７００は、車両２００の周囲の物体を検出してもよい。たとえば、周囲環境における物体を、それぞれ個別に、または複数の物体を含むクラスタとして、検出する。ステップ３０５およびステップ３０６の処理は、ステップ３０１において受信したデータに基づいて実行されてもよい。
【００７６】
図１３の例では、複数の車両が１つのクラスタにクラスタリングされた状態で検出されている。本実施例に関する記載において、以下では、物体がそれぞれ個別に検出される場合と、複数の物体を含むクラスタとして検出される場合とを区別しない。
【００７７】
より具体的な例として、第１前方カメラ２０３が図１に示すような画像を検出する場合には、その画像に現れる物体を検出することにより、周囲の物体を検出してもよい。なお、カメラ等によって検出される画像の視野と、地図画像の視野とが一致しない場合には、一方の視野を他方の視野に整合させるような変換を行ってもよい。あるいは、地図画像を取得または生成する際に、カメラ等によって検出される画像と視野が一致するようにしてもよい。
【００７８】
周囲の物体の検出は、他のデータに基づいて行われてもよい。たとえば、他のカメラが検出する画像に基づいて行われてもよいし、カメラ以外のセンサ（ＬＩＤＡＲ、ＲＡＤＡＲ、超音波センサ、オーディオセンサ、等）が検出するデータに基づいて行われてもよい。
【００７９】
図３のステップ３０６または３０７において、システム７００は、検出された物体のそれぞれについて、地図画像内における位置を決定してもよい。位置はたとえば二次元座標系で表され、凸包の各頂点の座標からなる組として表現可能である。この処理は、いわゆるクロッピングとして実現されてもよい。具体的な処理内容は、当業者が公知技術等に基づき適宜設計可能である。
【００８０】
図３のステップ３０６または３０７において、システム７００は、物体のそれぞれについて、地図画像内における位置に基づき、その物体が高リスク領域に属するか否かを判定してもよい。同様に、システム７００は、物体のそれぞれについて、地図画像内における位置に基づき、その物体が低リスク領域に属するか否かを判定してもよい。なお、各領域の判定は独立に行われる必要はなく、たとえば高リスク領域に属さないと判定された物体については必然的に低リスク領域に属するものとして扱ってもよい。
【００８１】
また、この判定において、物体の一部がある領域に属し、その物体の別の一部がその領域に属さない場合（たとえば、その物体が高リスク領域および低リスク領域にまたがって存在する場合）の処理については、当業者が適宜設計可能である。たとえばその物体の画像上の重心に基づいて決定してもよい。
【００８２】
図３のステップ３０８において、システム７００は、物体のそれぞれについて、その物体までの距離に基づき、その物体に係るデータ圧縮率を決定してもよい（圧縮率決定機能）。データ圧縮率を適切に決定することにより、通信されるデータ量を低減することができる。
【００８３】
たとえば、距離が小さい物体についてはデータ圧縮率を小さく（すなわち、圧縮後のデータ量が大きくなるように、または情報損失が少なくなるように）決定し、距離が大きい物体についてはデータ圧縮率を大きく（すなわち、圧縮後のデータ量が小さくなるように、または情報損失が多くなるように）決定してもよい。なお、本実施例において、ステップ３０８におけるシステム７００の動作は、必ずしも図６に沿ったものでなくともよい。
【００８４】
このようにすると、システム７００または車両２００の動作を決定する際により重要となる物体、すなわちシステム７００または車両２００により近い位置にある物体については、より多くのデータを使用して損失を小さく抑え、結果的に、車両２００の動作をより安全なものに決定できる可能性が高まる。一方で、システム７００または車両２００の動作を決定する際にそれほど重要でない物体、すなわちシステム７００または車両２００からより遠い位置にある物体については、データをより強く圧縮してデータ量を低減し、通信容量を節約することができる。
【００８５】
なお、圧縮率決定機能は、物体までの距離のみに基づいて実行する必要はなく、これ以外の基準を併用してもよい。たとえば、さらに各物体の種類（クラス）または各物体の挙動に基づいて実行されてもよい。より具体的な例としては、物体が歩行者である場合には圧縮率をより低くしてもよく、物体が車両である場合には圧縮率をより高くしてもよい。とくに、車両については圧縮後のデータ量が０またはほぼ０となるようにしてもよいし、画像の情報を捨てて凸包の情報のみを残してもよい。このようにすると、車載カメラの画像に頻繁に出現する車両については情報量を低減し、あまり頻繁に出現しない歩行者についてはより多くの情報を残しておくことにより、適切にリモート支援システムによる支援を要請することができる。
【００８６】
または、物体が車両２００（またはシステム７００）に接近しつつある場合には圧縮率をより低くしてもよく、物体が車両２００（またはシステム７００）から遠ざかりつつある場合には圧縮率をより高くしてもよい。このようにすると、車両２００の動作決定に重要な物体については情報をより多く残し、適切にリモート支援システムによる支援を要請することができる。
【００８７】
または、圧縮率決定機能は、さらに通信ネットワークの有効通信レートに基づいて実行されてもよい。より具体的な例としては、有効通信レートが所定の閾値以上である場合には圧縮率をより低くしてもよく、そうでない場合には圧縮率をより高くしてもよい。このようにすると、利用可能な通信容量に応じて適切なデータ量の通信を実現することができる。
【００８８】
なお、データを送信しないと判定された領域については、圧縮率決定機能の実行を省略してもよい。たとえば、高リスク領域に係るデータを送信しないと判定された場合には、高リスク領域に属する物体に係るデータ圧縮率を決定する必要はない。
【００８９】
また、図３のステップ３０９において、システム７００は、物体のそれぞれについて、その物体に係るデータを、その物体に係るデータ圧縮率に従って圧縮してもよく、これによって、その物体に係る圧縮データを生成してもよい。ここで圧縮の対象となるデータは、たとえばその物体に係る画像データであるが、画像データ以外のデータを含んでもよい。
【００９０】
なお、この処理は、データを送信しないと判定された領域については省略してもよい。たとえば、高リスク領域に係るデータを送信しないと判定された場合には、高リスク領域に属する物体に係る圧縮データを生成する必要はない。
【００９１】
また、図３のステップ３０９において、システム７００は、送信すべき圧縮データを送信してもよい。すなわち、高リスク領域に係るデータを送信すべきと判定された場合には、高リスク領域に属する各物体に係る圧縮データを、通信ネットワークを介して送信する。また、低リスク領域に係るデータを送信すべきと判定された場合には、低リスク領域に属する各物体に係る圧縮データを、通信ネットワークを介して送信する。ここで、送信すべきでないと判定されたデータについては送信されないので、通信されるデータ量を低減することができる。
【００９２】
これらの圧縮データは、たとえばリモート支援システムに送信される。変形例として、これらの圧縮データは、リモート支援システム以外のコンピュータシステムに送信されてもよい。たとえば、車両２００以外の車両に搭載され、システム７００と同様の構成を有する他のシステムに送信されてもよい。その場合には、この他のシステムは、システム７００とリモート支援システムとの間の中継基地として機能してもよい。また、その場合には、この他のシステムは、システム７００を含む複数のシステムとリモート支援システムとの間の中継基地として機能してもよい。このようにすると、リモート支援システムと直接的に通信するシステムの数を低減し、リモート支援システムにおける通信の輻輳を軽減することができる。
【００９３】
図３には示さないが、リモート支援システムまたは他のコンピュータシステムは、送信された圧縮データを受信し、これに応じて返信データを送信する。この返信データは、上述の圧縮データのように、他のコンピュータシステムによって中継されてもよい。
【００９４】
図３のステップ３１０において、システム７００は、通信ネットワークを介して返信されるデータ（返信データ）を受信してもよい。この返信データは、システム７００が送信した圧縮データに関連して返信されるデータである。返信データの生成方法は任意に設計可能である。たとえば、リモート支援システムが圧縮データを取得し、これに基づいて車両２００の意思決定を行うために生成したデータであってもよい。または、人間オペレータが圧縮データを閲覧し、これに応じて入力したデータであってもよい。または、リモート支援システムが圧縮データに基づいて機械学習を実行し、この機械学習によって生成された学習済みモデルによって生成されたデータであってもよい。
【００９５】
また、図３のステップ３１０において、システム７００は、この返信データに従って意思決定を行ってもよい。たとえば、返信データがブレーキをかけるべき旨の命令を含む場合には、ブレーキをかけると意思決定してもよい。また、返信データが道路状況を表す情報を含む場合には、その道路状況に基づいて車両２００の動作を決定してもよい。
【符号の説明】
【００９６】
２００…車両
２０１…前方ＲＡＤＡＲ
２０２…前方超音波センサ
２０３…第１前方カメラ
２０４…側方カメラ
２０５…第２前方カメラ
２０６…ＬＩＤＡＲ
２０７…ＩＮＳ
２０８…後方カメラ
２０９…後方ＲＡＤＡＲ
２１０…後方超音波センサ
４０１…ランドマーク特徴
４０２〜４０６…道路構造特徴
５００…運転環境画像
５０１…交通信号
５０２…静的特徴
５０３，５０５…歩行者
５０４…道路標識
５０６…交通参加者
５０７…歩道レーン
５１０…車線情報
５１３…ガードレール
７００…システム（データ通信に基づいて意思決定を行うシステム）
７０１…演算手段
７０２…記憶手段
７０３…通信手段
【図１】
2020154568.tif 000003
【図２】
2020154568.tif 000004
【図３】
2020154568.tif 000005
【図４】
2020154568.tif 000006
【図５】
2020154568.tif 000007
【図６】
2020154568.tif 000008
【図７】
2020154568.tif 000009
【図８】
2020154568.tif 000010
【図９】
2020154568.tif 000011
【図１０】
2020154568.tif 000012
【図１１】
2020154568.tif 000013
【図１２】
2020154568.tif 000014
【図１３】
2020154568.tif 000015
【図１４】
2020154568.tif 000016
【図１５】
2020154568.tif 000017