(57)【要約】  車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置であって、ＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣを含み、車載制御ユニットが自動運転自動車に配置され、第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信することと（１０１）、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行うことと（１０２）、第１のセンシング情報を得た後に第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信することと（１０３）、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信することと（１０４）、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信することとを含む。【選択図】図３
2021529388.tif 000002
【特許請求の範囲】
【請求項１】
フィールドプログラマブルゲートアレイ（ＦＰＧＡ）ベースの自動運転方法であって、車載制御ユニットに適用され、前記車載制御ユニットが第１のシステムオンチップ（第１のＳｏＣ）とマイクロコントロールユニット（ＭＣＵ）とを含み、前記第１のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシン（ＡＲＭ）と集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記方法は、
前記第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信するステップと、
前記第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得るステップと、
前記第１のＳｏＣのＦＰＧＡが前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するステップと、
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップと、を含むことを特徴とするフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法。
【請求項２】
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップは、
前記第１のＳｏＣのＡＲＭがレーダデータを受信するステップと、
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報と前記レーダデータとを融合するステップと、
前記第１のＳｏＣのＡＲＭが融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵに送信するステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記レーダデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記車載制御ユニットはさらに、第２のシステムオンチップ（ＳｏＣ）を含み、前記第２のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記方法はさらに、
前記第２のＳｏＣのＦＰＧＡが前記車載カメラによって送信された前記ビデオデータを受信するステップと、
前記第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得るステップと、
前記第２のＳｏＣのＦＰＧＡが前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するステップと、
前記第２のＳｏＣのＡＲＭが前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するステップと、
前記ＭＣＵが前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するステップと、を含むことを特徴とする請求項１〜請求項３のいずれか１項に記載の方法。
【請求項５】
車載制御ユニットであって、第１のシステムオンチップ（ＳｏＣ）とマイクロコントロールユニット（ＭＣＵ）とを含み、前記第１のＳｏＣがフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によってアドバンスト縮小命令セットマシン（ＡＲＭ）と集積的に配置され、前記第１のＳｏＣがイーサネットスイッチチップを介して前記ＭＣＵと接続されることを特徴とする車載制御ユニット。
【請求項６】
第２のシステムオンチップ（ＳｏＣ）をさらに含み、前記第２のＳｏＣにＦＰＧＡとＡＲＭとが配置され、前記第２のＳｏＣでのＦＰＧＡがバスを介してＡＲＭと接続され、前記第２のＳｏＣが前記イーサネットスイッチチップを介して前記ＭＣＵと接続されることを特徴とする請求項５に記載の車載制御ユニット。
【請求項７】
第１の同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）と第１のフラッシュメモリ（Ｆｌａｓｈ）とをさらに含み、前記第１のＳＤＲＡＭが前記第１のＳｏＣと接続され、前記第１のＦｌａｓｈが前記第１のＳｏＣと接続されることを特徴とする請求項５又は請求項６に記載の車載制御ユニット。
【請求項８】
自動運転装置であって、該装置は車載制御ユニットに適用され、前記自動運転装置が、第１のシステムオンチップ（ＳｏＣ）モジュールとマイクロコントロールユニット（ＭＣＵ）モジュールとを含み、前記第１のＳｏＣモジュールがＦＰＧＡによってアドバンスト縮小命令セットマシン（ＡＲＭ）と集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記第１のＳｏＣが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、
前記第１のＦＰＧＡユニットが、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するためのものであり、
前記第１のＡＲＭユニットが、前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵモジュールに送信するためのものであることを特徴とする自動運転装置。
【請求項９】
前記第１のＡＲＭユニットは、具体的に、レーダデータを受信し、前記第１のセンシング情報と前記レーダデータとを融合し、融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵモジュールに送信するためのものであることを特徴とする請求項８に記載の装置。
【請求項１０】
前記装置は、第２のＳｏＣモジュールをさらに含み、前記第２のＳｏＣモジュールが第２のＦＰＧＡユニットと第２のＡＲＭユニットとを含み、
前記第２のＦＰＧＡユニットが、前記車載カメラによって送信された前記ビデオデータを受信し、第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得て、前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するためのものであり、
前記第２のＡＲＭユニットが、前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵモジュールに送信するためのものであり、
前記ＭＣＵモジュールが、前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するためのものであることを特徴とする請求項８又は請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は２０１８年１２月２８日に中国特許局に提出した、出願番号が２０１８１１６２５８１６．８で、出願人が百度在線網絡技術（北京）有限公司で、出願の名称が「車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置」、および２０１９年０１月０７日に中国特許局に提出した、出願番号が２０１９１００１３１２２７で、出願人が百度在線網絡技術（北京）有限公司で、出願の名称が「車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。
本願の実施例は、車両制御技術分野に関し、特に車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置に関する。
【背景技術】
【０００２】
自動運転車両(Ｓｅｌｆ−ｄｒｉｖｉｎｇ  Ｃａｒ)はまた、無人運転車両、コンピュータ駆動車両、又は車輪付き移動ロボットとも呼ばれており、コンピュータシステムによって無人運転を実現するスマート車両である。
【０００３】
自動運転自動車には電子制御ユニット（ｅｌｅｃｔｒｏｎｉｃ  ｃｏｎｔｒｏｌ  ｕｎｉｔ、ＥＣＵ）が配置されており、ＥＣＵはまた、走行コンピュータ、車載コンピュータとも呼ばれており、無人運転車両の「脳」である。自動運転中には、車載カメラを利用して自動運転車両の周辺情報を収集し、収集した情報をＥＣＵに送信し、ＥＣＵがセンシングアルゴリズムを利用して受信された情報に対して視覚的センシングを行って決定結果を生成し、決定結果に基づいて制御命令を生成し、さらに制御命令に基づいて自動運転を完成させる。
【０００４】
上記自動運転中には、センシングアルゴリズムを利用して車載カメラが収集した情報に対して視覚的センシングを行うことはＥＣＵに大きく依存し、ＥＣＵ負担が増大してしまうようになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願の実施例は、車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置を提供し、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとを介してセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
【課題を解決するための手段】
【０００６】
第１の態様では、本願の実施例は、ＦＰＧＡベースの車両自動運転方法を提供し、車載制御ユニットに適用され、前記車載制御ユニットが第１のシステムオンチップＳｏＣとマイクロコントロールユニットＭＣＵとを含み、前記第１のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記方法は、
前記第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信するステップと、
前記第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得るステップと、
前記第１のＳｏＣのＦＰＧＡが前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するステップと、
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップと、を含む。
【０００７】
１つの実行可能な設計において、前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップは、
前記第１のＳｏＣのＡＲＭがレーダデータを受信するステップと、
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報と前記レーダデータとを融合するステップと、
前記第１のＳｏＣのＡＲＭが融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵに送信するステップと、を含む。
【０００８】
１つの実行可能な設計において、前記レーダデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含む。
【０００９】
１つの実行可能な設計において、前記車載制御ユニットは、第２のシステムオンチップＳｏＣをさらに含み、前記第２のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記方法はさらに、
前記第２のＳｏＣのＦＰＧＡが前記車載カメラによって送信された前記ビデオデータを受信するステップと、
前記第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得るステップと、
前記第２のＳｏＣのＦＰＧＡが前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するステップと、
前記第２のＳｏＣのＡＲＭが前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するステップと、
前記ＭＣＵが前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するステップと、を含む。
【００１０】
第２の態様では、本願の実施例は、第１のシステムオンチップＳｏＣとマイクロコントロールユニットＭＣＵとが含まれる車載制御ユニットを提供し、前記第１のＳｏＣがフィールドプログラマブルゲートアレイＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記第１のＳｏＣがイーサネットスイッチチップによって前記ＭＣＵと接続する。
【００１１】
１つの実行可能な設計において、上記の車載制御ユニットはさらに、第２のシステムオンチップＳｏＣを含み、前記第２のＳｏＣにＦＰＧＡとＡＲＭとが配置され、前記第２のＳｏＣでのＦＰＧＡがバスを介してＡＲＭと接続され、前記第２のＳｏＣが前記イーサネットスイッチチップを介して前記ＭＣＵと接続する。
【００１２】
１つの実行可能な設計において、上記の車載制御ユニットはさらに、第１の同期ダイナミックランダムアクセスメモリＳＤＲＡＭと第１のフラッシュメモリＦｌａｓｈを含み、前記第１のＳＤＲＡＭが前記第１のＳｏＣと接続され、前記第１のＦｌａｓｈが前記第１のＳｏＣと接続される。
【００１３】
第３の態様では、本願の実施例は、自動運転装置を提供し、該装置は車載制御ユニットに適用され、前記自動運転装置が、第１のシステムオンチップＳｏＣモジュールとマイクロコントロールユニットＭＣＵモジュールとを含み、前記第１のＳｏＣモジュールがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記第１のＳｏＣが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、
前記第１のＦＰＧＡユニットが、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するためのものであり、
前記第１のＡＲＭユニットが、前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵモジュールに送信するためのものである。
【００１４】
１つの実行可能な設計において、前記第１のＡＲＭユニットは、具体的に、レーダデータを受信して、前記第１のセンシング情報と前記レーダデータとを融合し、融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵに送信するためのものである。
【００１５】
１つの実行可能な設計において、前記装置はさらに、第２のＳｏＣモジュールを含み、前記第２のＳｏＣモジュールが第２のＦＰＧＡユニットと第２のＡＲＭユニットとを含み、
前記第２のＦＰＧＡユニットが、前記車載カメラによって送信された前記ビデオデータを受信し、第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得て、前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するためのものであり、
前記第２のＡＲＭユニットが、前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するためのものであり、
前記ＭＣＵモジュールが、前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するためのものである。
【発明の効果】
【００１６】
本願の実施例による車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置であって、車載制御ユニットにはＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣが含まれ、車載制御ユニットが自動運転自動車に配置され、自動運転中には、第１のＳｏＣのＦＰＧＡが車載センサによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信し、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信し、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって制御機構が該制御実行に基づいて自動運転をする。該過程では、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置され、ＦＰＡＧとＡＲＭがセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
【図面の簡単な説明】
【００１７】
本願の実施例又は従来技術における技術的解決手段をより明確に説明するため、以下に実施例又は従来技術の記述に使用する必要がある図面を簡単に説明するが、当然ながら、以下に記載する図面は本願のいくつかの実施例であり、当業者にとって、創造的な労力なしにこれらの図面に基づいて他の図面を取得することもできる。
【図１】従来技術においてＦＰＧＡベースで実現されたＥＣＵである。
【図２】本願の実施例による車載制御ユニットのアーキテクチャ概略図である。
【図３】本願の実施例によるフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法のフローチャートである。
【図４】本願の実施例によるもう１つの車載制御ユニットのアーキテクチャ概略図である。
【図５】本願の実施例による１つの自動運転装置の構造概略図である。
【図６】本願の実施例によるもう１つの自動運転装置の構造概略図である。
【発明を実施するための形態】
【００１８】
以下、本願の実施例に係る図面に合わせながら、本願の実施例における技術的解決手段を明瞭に、且つ完全に説明し、当然ながら、記載される実施例は本願の実施例の一部にすぎず、すべての実施例ではない。当業者が本願における実施例に基づいて創造的な労働なしに取得されたその他のすべての実施例は、いずれも本願発明の保護範囲に属する。
【００１９】
本願の明細書と特許請求の範囲及び上記図面中の用語「第１」、「第２」、「第３」、「第４」など（存在する場合）は、類似の対象を区別するためのものであり、特定の手順又は順番を説明するためのものである必要はない。本明細書で説明する本願の実施例を、ここで図示又は説明するもの以外の順序で実施することができるように、このように使用するデータは適切な場合に交換可能であることが理解されるべきである。なお、用語「含む」及び「有する」及びそれらの任意の変形は、非排他的包含をカバーすることを意図し、例えば一連のステップ又はユニットを含むプロセス、方法、システム、製品、又はデバイスは、必ずしも明確に列記されたステップ又はユニットに限定される必要がなく、明確に列記されていない又はこれらのプロセス、方法、製品、又はデバイスに固有のそのほかのステップ又はユニットを含んでもよい。
【００２０】
車載制御ユニットはまた、電子制御ユニット（ｅｌｅｃｔｒｏｎｉｃ  ｃｏｎｔｒｏｌ  ｕｎｉｔ、ＥＣＵ）とも呼ばれ、現代の自動車用電子機器のコアコンポーネントの１つであり、１台の自動車にはＥＣＵが複数配置され、異なる機能を担当するためのものであり、各ＥＣＵの間では情報のインタラクションを行うことができ、複数のＥＣＵが自動車の制御システムを構成している。一般的に、１つのＥＣＵは、マイクロコントロールユニット（ｍｉｃｒｏ  ｃｏｎｔｒｏｌｌｅｒ  ｕｎｉｔ、ＭＣＵ）、入力出力インタフェースなどを含む。ＥＣＵは他の電子コンポーネントとともに自動車の脳中枢神経システムを形成し、予め設定されたプログラムに基づいて様々なセンサによって送信された情報を処理し、決定結果を生成し、さらに制御命令を生成し、それから制御命令を実行機構に送信し、実行機構によって様々な所定の制御機能を実行する。
【００２１】
現在、各メーカーは集積回路（ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ、ＩＣ）を利用してＥＣＵを実現している一方、一部のメーカーはフィールドプログラマブルゲートアレイ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ、ＦＰＧＡ）ベースのアーキテクチャを採ってＥＣＵを実現している。図１は、従来技術においてＦＰＧＡベースで実現したＥＣＵである。図１を参照されたい。該ＦＰＧＡベースのＥＣＵは、ＦＰＧＡがＥＣＵの外部に配置されたものであり、該ＦＰＧＡが外部のＥＣＵと接続され、コンピューティングする必要が多くないＥＣＵに適する。しかしながら、運転支援、自動運転などの技術の進化に伴い、ＥＣＵと接続する車載カメラ、レーダなどのセンサが多くなっており、様々なセンサのデータを処理するために、ＥＣＵには強力なコンピューティング能力が必要となっている。様々なセンサでは、車載カメラによって収集されたデータは最も巨大で処理が困難であり、それに、車載カメラによって収集されたビデオデータの現在の主流の処理方法は、ディープラーニングニューラルネットワークアルゴリズムであり、ディープラーニングニューラルネットワークアルゴリズムは巨大なＥＣＵ中央処理装置（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、ＣＰＵ）リソースを消費する必要があり、即ち、ＥＣＵには強力なコンピューティング能力が必要であり、従来のＦＰＧＡベースのＥＣＵは、ＦＰＧＡを利用して車載カメラによって送信されたビデオデータを処理し、処理されたデータを外部のＥＣＵに送信し、外部ＥＣＵによって受信したデータをさらに処理し、処理結果に基づいて制御命令を生成し、さらに制御命令に基づいて自動運転を完成させる。
【００２２】
上記自動運転中には、ＦＰＧＡ演算を経たデータは外部ＥＣＵによってさらなる処理を行う必要があり、ＥＣＵ負担が増加してしまうようになった。
【００２３】
これに鑑みて、本願の実施例は、１つのフィールドプログラマブルゲートアレイベースのＦＰＧＡを提供し、ＡＲＭが集積されたＦＰＧＡを介してセンサデータを処理した後にＥＣＵのＭＣＵに送信し、ＭＣＵの負担を軽減する。例示的に、図２を参考にすることができる。
【００２４】
図２は、本願の実施例による１つの車載制御ユニットのアーキテクチャ概略図である。図２を参照されたい。本願の実施例による車載制御ユニットは、第１のシステムオンチップ（ｓｙｓｔｅｍ  ｏｎ  ｃｈｉｐ、ＳｏＣ）とマイクロコントロールユニット（ｍｉｃｒｏ  ｃｏｎｔｒｏｌｌｅｒ  ｕｎｉｔ、ＭＣＵ）とを含み、該第１のＳｏＣがフィールドプログラマブルゲートアレイＦＰＧＡによってアドバンスト縮小命令セットマシン（ａｄｖａｎｃｅｄ  ＲＩＳＣ Ｍａｃｈｉｎｅ、ＡＲＭ）と集積的に配置されており、前記第１のＳｏＣがイーサネットスイッチチップを介して前記ＭＣＵと接続する。
【００２５】
図２を参照されたい。第１のＳｏＣはＦＰＧＡとＡＲＭとを融合し、両者を集中させてパッケージ化し、単一のチップを構成し、集積度を向上させると同時にＦＰＧＡとＡＲＭとの間のデータ接続が削減され、これによって第１のＳｏＣはより多くの操作を実行することができ、信頼性を向上させると同時にＥＣＵの複雑さを低下した。該第１のＳｏＣがイーサネットスイッチチップを介してＭＣＵと接続され、これにより第１のＳｏＣとＭＣＵとの間のデータ交換を実現する。イーサネットスイッチチップはさらに、外部車載イーサネットとインタラクションをすることができる。ＭＣＵは、ＥＣＵのプリント回路基板（ｐｒｉｎｔｅｄ  ｃｉｒｃｕｉｔ  ｂｏａｒｄ、ＰＣＢ）全体の機能安全処理および内向き外向きインタフェースを担当し、ＭＣＵは、内向きにイーサネットスイッチ（ｓｗｉｔｃｈ）チップを介して第１のＳｏＣとインタラクションをし、同時に全地球測位システム（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ、ＧＰＳ）、慣性測定ユニット（ｉｎｅｒｔｉａｌ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ、ＩＭＵ）、温度センサなどはいずれもＭＣＵとインタラクションをする。外向きインタフェースの方では、ＭＣＵは、デバッグインタフェースと車両制御ＣＡＮインタフェースを引き出し、デバッグインタフェースが主にボードのデバッグを担当し、ＣＡＮインタフェースが車両に対する制御機能を実現する。
【００２６】
本願の実施例による車載制御ユニットは、ＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣを含み、車載制御ユニットが自動運転自動車に配置されており、自動運転中には、第１のＳｏＣのＦＰＧＡが車載センサによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信し、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信し、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって制御機構が該制御実行に基づいて自動運転をする。該過程では、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとを介してセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
【００２７】
上記の車載制御ユニットが自動運転自動車に配置される。以下、図２に基づき、本願の実施例によるＦＰＧＡベースの自動運転方法について詳細に説明する。例示的に、図３を参照することができる。図３は、本願の実施例によるフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法のフローチャートである。本実施例は以下のステップを含む。
【００２８】
１０１において、前記第１のＳｏＣのＦＰＧＡが車載センサによって送信されたビデオデータを受信する。
【００２９】
本願の実施例において、車載制御ユニットが自動運転自動車に配置され、車載制御ユニットは第１のＳｏＣとＭＣＵとを含み、該第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置される。本ステップでは、自動運転車両上の車載カメラがビデオデータを収集して第１のＳｏＣでのＦＰＧＡへ送信する。相応的に、第１のＳｏＣでのＦＰＧＡが該ビデオデータを受信する。
【００３０】
１０２において、前記第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。
【００３１】
本ステップでは、第１のＳｏＣでのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して受信したビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。第１のニューラルネットワークアルゴリズムが、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ、ＣＮＮ）アルゴリズムなどの予め設定されたディープラーニングベースのニューラルネットワークアルゴリズムである。例えば、時間遅延ネットワーク（ｔｉｍｅ  ｄｅｌａｙ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＴＤＮＮ）アルゴリズム、シフト不変人工ニューラルネットワーク（ｓｈｉｆｔ−ｉｎｖａｒｉａｎｔ  ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ、ＳＩＡＮＮ）、ＬｅＮｅｔ−５ニューラルネットワークアルゴリズム、ＶＧＧＮｅｔニューラルネットワークアルゴリズム、ＧｏｏｇＬｅＮｅｔニューラルネットワークアルゴリズム又はＲｅｓＮｅｔニューラルネットワークアルゴリズムなどである。
【００３２】
１０３において、前記第１のＳｏＣのＦＰＧＡが前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信する。
【００３３】
本ステップでは第１のＳｏＣのＦＰＧＡがＦＰＧＡ内部バスを介して、第１のセンシング情報を第１のＳｏＣのＡＲＭに送信する。
【００３４】
１０４において、前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信する。
【００３５】
本ステップでは、第１のＳｏＣのＡＲＭが第１のセンシング情報に基づいて環境に対してモデル化などをし、決定アルゴリズムを利用して第１のセンシング情報を処理し、第１の決定情報を得た後にＭＣＵに送信する。ＭＣＵは該第１の決定情報を受信した後に、該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって制御機構が該制御実行に基づいて自動運転をする。
【００３６】
本願の実施例によるフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法は、車載制御ユニットに適用され、該車載制御ユニットにはＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣが含まれており、車載制御ユニットが自動運転自動車に配置されており、自動運転中には、第１のＳｏＣのＦＰＧＡが車載センサによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信し、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信し、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって制御機構が該制御実行に基づいて自動運転をする。該過程では、第１のＳｏＣ がＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとによってセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
【００３７】
図２を再び参照されたい。本願の実施例において、第１のＳｏＣのＡＲＭが第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するとき、該第１のＳｏＣのＡＲＭはさらに、レーダデータを受信し、第１のセンシング情報とレーダデータとを融合し、それから融合された第１のセンシング情報とレーダデータとを処理し、第１の決定情報を得てＭＣＵに送信する。該過程では、第１のＳｏＣのＡＲＭが第１のＳｏＣのＦＰＧＡによって送信された第１のセンシング情報を受信した後に、該第１のセンシング情報と他のセンサによって送信されたデータとを集約して融合した後に融合データを得て、融合データを利用して環境モデリングと決定操作を行い、第１の決定情報を得た後にＭＣＵに送信する。ＭＣＵが該第１の決定情報を受信した後に、該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって制御機構が該制御実行に基づいて自動運転をする。そのうち、センサは超音波レーダ、ミリ波レーダ、レーザレーダなどを含み、相応的に、センサによって送信されたデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含む。
【００３８】
図４は、本願の実施例によるもう１つの車載制御ユニットのアーキテクチャ概略図である。図４を参照されたい。本願の実施例による車載制御ユニットは、上記図２のうえで、さらに、第２のＳｏＣを含み、該第２のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置されている。自動運転中には、車載カメラは、収集したビデオデータを第１のＳｏＣのＦＰＧＡに送信する以外に、該ビデオデータを第２のＳｏＣのＦＰＧＡに送信する。第２のＳｏＣのＦＰＧＡはビデオデータを受信した後に、第２のニューラルネットワークアルゴリズムを利用して該ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得てＦＰＧＡ内部バスを介して、該第２のセンシング情報を第２のＳｏＣのＡＲＭに送信する。第２のＳｏＣのＡＲＭは第２のセンシング情報を受信した後に、該第２のセンシング情報を処理し、第２の決定情報を得てＭＣＵに送信する。このようにすると、ＭＣＵは第１のＳｏＣのＡＲＭによって送信された第１の決定情報と第２のＳｏＣによって送信された第２の決定情報とを受信するようになる。ＭＣＵは該２つの決定情報に対して比較と分析をし、その中から適切な計画情報を選出し、選出された計画情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって制御機構が該制御実行に基づいて自動運転をする。
【００３９】
上記図４の実施例において、第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得る。第１のニューラルネットワークアルゴリズムと第２のニューラルネットワークアルゴリズムとは、互いに異なるニューラルネットワークアルゴリズムである。例えば、第１のニューラルネットワークアルゴリズムは畳み込みニューラルネットワークアルゴリズムであり、第２のニューラルネットワークアルゴリズムはＢｐアルゴリズムなどである。また、例えば、第１のニューラルネットワークアルゴリズムは時間遅延ネットワークアルゴリズムであり、第２のニューラルネットワークアルゴリズムはＲｅｓＮｅｔニューラルネットワークアルゴリズムなどである。
【００４０】
本願の実施例において、第１のＳｏＣ、第２のＳｏＣ及びＭＣＵを介して巨大な処理能力を得た高集積の車載制御ユニットアーキテクチャは、第１のＳｏＣのＦＰＧＡと第２のＳｏＣのＦＰＧＡとを利用してビデオデータに対してニューラルネットワークアルゴリズムの計算を行い、かつＦＰＧＡのそれぞれがビデオデータを計算して得られたセンシング情報は対応するＳｏＣのＡＲＭに送信され、ＡＲＭによってセンシング情報とレーダデータとを融合するため、本願の実施例による車載制御ユニットはより強力な処理能力を備えられるようになった。それに、自動車電子製品が必要する機能安全の観点から見ると、第１のＳｏＣと第２のＳｏＣとを利用してデュアルＳｏＣを実現し、これにより異種冗長構造を実現し、即ち、第１のＳｏＣのＦＰＧＡと第２のＳｏＣのＦＰＧＡとがそれぞれ異なるニューラルネットワークアルゴリズムを採ってビデオデータを処理することは、車載制御ユニットの機能安全を確保するのみならず、また一次バックアップ機能として使用できる。
【００４１】
図４を再び参照されたい。本願の実施例による車載制御ユニットはさらに、第１の同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ  ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、ＳＤＲＡＭ）と第１のフラッシュメモリ（Ｆｌａｓｈ）とを含んでもよく、該第１のＳＤＲＡＭが第１のＳｏＣと接続され、第１のＦｌａｓｈが第１のＳｏＣと接続される。同様に、本願の実施例による車載制御ユニットはさらに、第２の同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ  ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、ＳＤＲＡＭ）と第２のフラッシュメモリ（Ｆｌａｓｈ）を含んでもよく、該第２のＳＤＲＡＭが第２のＳｏＣと接続され、第２のＦｌａｓｈが第２のＳｏＣと接続される。該アーキテクチャに基づき、自動運転中には、ＥＣＵが起動されると、第１のＳｏＣが第１のＦｌａｓｈからプログラムをロードし、第２のＳｏＣが第２のＦｌａｓｈからプログラムをロードし、プログラムロードが完成されると、車載センサおよび他のセンサがデータを入力するように待機する。車載カメラによって収集されたビデオデータに対し、第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得る。第１のセンシング情報が第１のＳｏＣのＦＰＧＡによって第１のＳｏＣのＡＲＭに送信され、該第１のＳｏＣのＡＲＭが第１のセンシング情報と様々なレーダの検出データを融合し、第１の融合データを得て、該第１の融合データを利用して環境をモデル化し、それから決定アルゴリズムに基づいて第１の決定情報を生成してイーサネットスイッチチップを介してＭＣＵに送信する。第２のセンシング情報が第２のＳｏＣのＦＰＧＡによって第２のＳｏＣのＡＲＭに送信され、該第２のＳｏＣのＡＲＭが第２のセンシング情報と様々なレーダの検出データとを融合し、第２の融合データを得て、該第２の融合データを利用して環境をモデル化し、それから決定アルゴリズムに基づいて第２の決定情報を生成してイーサネットスイッチチップを介してＭＣＵに送信する。ＭＣＵは第１の決定情報と第２の決定情報とを受信した後に、該２つの決定情報に対して分析と比較をし、適切な決定情報を選出し、選出された決定情報に基づいて制御命令を生成し、ＣＡＮインタフェースを介して制御命令を実行機構に送信し、実行機構によって制御命令に基づいて自動運転をする。
【００４２】
図５は、本願の実施例による１つの自動運転装置の構造概略図である。本実施例にかかる自動運転装置は車載制御ユニットであってもよく、車載制御ユニット内部に適用するチップであってもよい。該自動運転装置は、上記実施例において車載制御ユニットの機能を実行するために使用されることができる。図５に示すように、該自動運転装置１００は、第１のシステムオンチップＳｏＣモジュール１１とマイクロコントロールユニットＭＣＵモジュール１２とを含んでもよく、前記第１のＳｏＣモジュール１１がＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置されており、前記車載制御ユニットが自動運転車両に配置されており、前記第１のＳｏＣモジュール１１が第１のＦＰＧＡユニット１１１と第１のＡＲＭユニット１１２とを含み、
前記第１のＦＰＧＡユニット１１１が、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＡＲＭユニット１１２へ前記第１のセンシング情報を送信するためのものである。
前記第１のＡＲＭユニット１１２が、前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵモジュール１２に送信するためのものである。
【００４３】
１つの実行可能な設計において、前記第１のＡＲＭユニット１１２は、具体的に、レーダデータを受信し、前記第１のセンシング情報と前記レーダデータとを融合し、融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵに送信するためのものである。
【００４４】
本願の実施例による自動運転装置は、車載制御ユニットに適用され、該自動運転装置にはＭＣＵモジュールおよび第１のＳｏＣモジュールが含まれており、該第１のＳｏＣモジュールが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、自動運転中には、第１のＦＰＧＡユニットが車載センサによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＡＲＭユニットへ該第１のセンシング情報を送信し、第１のＡＲＭユニットが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵモジュールに送信し、最後にＭＣＵモジュールが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって制御機構が該制御実行に基づいて自動運転をする。該過程では、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとを介してセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
【００４５】
図６は、本願の実施例によるもう１つの自動運転装置の構造概略図である。本実施例による自動運転装置１００は、上記図５を基礎として、
第２のＳｏＣモジュール１３をさらに含み、前記第２のＳｏＣモジュール１３が第２のＦＰＧＡユニット１３１と第２のＦＡＲＭユニット１３２とを含み、
前記第２のＦＰＧＡユニット１３１が、前記車載カメラによって送信された前記ビデオデータを受信し、第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得て、前記第２のＡＲＭユニット１３２へ前記第２のセンシング情報を送信するためのものであり、
前記第２のＡＲＭユニット１３２が、前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するためのものであり、
前記ＭＣＵモジュール１２が、前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するためのものである。
【００４６】
本願の実施例はさらに、記憶媒体を提供し、前記記憶媒体にはコンピュータ実行命令が含まれ、前記コンピュータ実行命令が、プロセッサによって実行されるとき、上記に説明したフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法を実現するためのものである。
【００４７】
上記の実施例において、説明されたデバイスと方法は、他の方式で実現されることができると理解されるべきである。例えば、以上説明したデバイスの実施例は例示的なものにすぎず、例えば、前記モジュールの分割は論理機能上の分割にすぎず、実際に実現する際に別の形態で分割してもよく、例えば、複数のモジュールを別のシステムに組み合わせもしくは集積させたり、又は一部の特徴を反映させなかったり、実行しなかったりしてもよい。また、表示又は検討した互いの結合又は直接的な結合又は通信接続は、いくつかのインタフェース、装置又はモジュールを介した間接的結合又は通信接続であってもよく、電気的形態、機械的形態又はその他の形態であってもよい。
【００４８】
前記分離される部品として説明されるモジュールは、物理的に分離されるものでもよければ、分離されないものであってもよい。モジュールとして示される部品は、物理的なモジュールであってもよいが、物理的なモジュールでなくてもよい。即ち、同一の場所に設けられるものであってもよいが、複数のネットワークユニットに配置されるものであってもよい。実際の必要に応じて、モジュールの一部またはすべてを選択して本実施例の解決手段の目的を達成することができる。
【００４９】
また、本願の各実施例において、各機能モジュールは１つの処理モジュールに集積されるか、各モジュールが単独で物理的存在するか、２つ以上のモジュールが１つのユニットに集積されてもよい。上記モジュールによって集積されたユニットはハードウェアの形で実現されてもよいし、ハードウェアとソフトウェアを加える機能モジュールの形で実現されてもよい。
【００５０】
ソフトウェア機能モジュールの形で実現された集積的な上記モジュールは、１つのコンピュータ読み取り可能な記憶媒体に記憶されることができる。上記ソフトウェア機能モジュールは、１つの記憶媒体に記憶され、１台の電子デバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスなどであってよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）が本願の各実施例に記載の方法の一部のステップを実行するようにするためのいくつかの命令を含む。
【００５１】
上記プロセッサは中央処理ユニット（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ、ＡＳＩＣ）などであってもよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってもよく、又は該プロセッサは任意の従来のプロセッサなどであってもよい。本発明に開示された方法を組み合わせるステップは、ハードウェアプロセッサによる実行完了、又はプロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせによる実行完了と直接具体化されることができる。
【００５２】
メモリは高速ＲＡＭメモリを含んでよく、さらに不揮発性記憶ＮＶＭ、例えば少なくとも１つの磁気ディスクメモリを含んでよく、さらにＵＳＢフラッシュドライブ、モバイルハードディスクドライブ、リードオンリーメモリ、磁気ディスク又はコンパクトディスクなどであってもよい。
【００５３】
バスは、業界標準アーキテクチャ（ｉｎｄｕｓｔｒｙ  ｓｔａｎｄａｒｄ  ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、ペリフェラルコンポーネント（ｐｅｒｉｐｈｅｒａｌ  ｃｏｍｐｏｎｅｎｔ、ＰＣＩ）バス又は拡張された業界標準アーキテクチャ（ｅｘｔｅｎｄｅｄ  ｉｎｄｕｓｔｒｙ  ｓｔａｎｄａｒｄ  ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってよい。バスはアドレスバス、データバス、コントロールバスなどに分けられることができる。表記を容易にするために、本願の図面におけるバスは１本のバス又は１種のバスのみに限定されない。
【００５４】
上記記憶媒体は任意のタイプの揮発性又は不揮発性記憶機器またはそれらの組み合わせで実現されてよく、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又はコンパクトディスクであってよい。記憶媒体は汎用又は専用のコンピュータがアクセス可能な任意の利用可能な媒体であってもよい。
【００５５】
例示的な記憶媒体は、プロセッサに結合されており、これによりプロセッサが該記憶媒体から情報を読み取り、該記憶媒体に情報を書き込むことができる。当然ながら、記憶媒体はプロセッサの構成部分であってもよい。プロセッサ及び記憶媒体は特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔｓ、ＡＳＩＣ）に配置されてもよい。当然ながら、プロセッサと記憶媒体は分離された構成要素として端末又はサーバに存在してもよい。
【００５６】
上記実施例において、そのすべて又は一部は、ソフトウェア、ハードウェア、ファームウェア、または、それらの任意の組み合わせによって実現することができる。ソフトウェアを使用して実現する場合、すべて又は一部はコンピュータプログラム製品の形で実現できる。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令のロードと実行がコンピュータでされるとき、本願の実施例によるプロセス又は機能のすべて又は一部が構成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または、他のプログラム可能な装置であってもよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されるか、または、１つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送することができ、例えば、コンピュータ命令は、１つのウェブサイト、コンピュータ、サービス又はデータセンターから別のウェブサイト、コンピュータ、サービス又はデータセンターに有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者線（ｄｉｇｉｔａｌ  ｓｕｂｓｃｒｉｂｅｒ  ｌｉｎｅ、ＤＳＬ））、または、無線（例えば、赤外線、無線、マイクロウェイブなど）で伝送できる。コンピュータ可読記憶媒体は、アクセス可能な任意の利用可能な媒体、または、１つ又は複数の利用可能な媒体によって集積されたサービス、データセンターなどを含むデータ記憶機器であってもよい。利用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えば、ＤＶＤ）、または、半導体媒体（例えば、ソリッドステートディスクＳｏｌｉｄ  Ｓｔａｔｅ  Ｄｉｓｋ、ＳＳＤ）などであってもよい。
【００５７】
本明細書における「複数」という用語は、２つ以上を指す。本明細書の「及び／又は」という用語は、関連する対象を説明する関連関係にすぎず、３つの関係が存在すると表すことができ、例えば、Ａ及び／又はＢは、Ａが単独で存在する、ＡとＢが同時に存在する、Ｂが単独で存在するという３つの状況を表すことができる。また、本明細書の「／」という文字は一般的に、前後関連の対象が「又は」という関係であることを表し、式では、「／」という文字は、前後関連の対象が「除算」関係であることを表す。
【００５８】
当業者であれば、上記各方法の実施例を実現するすべて又は一部のステップはプログラムコマンドに関連するハードウェアにより完了することができると理解されるべきである。前述したプログラムはコンピュータ読み取り可能な記憶媒体に記憶することができる。該プログラムが実行されるとき、上記各方法の実施例を含むステップを実行する。前述した記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又はコンパクトディスクなどのプログラムコードが記憶できる様々な媒体を含む。
【００５９】
最後に説明すべきなのは、以上の各実施例は、本願の技術的解決手段を説明するためのものだけであり、これを制限するものではなく、前述の各実施例を参照しながら本願を詳細に説明したが、当業者であれば、依然として前述の各実施例に記載の技術的解決手段を修正するか、またはそのうちの一部又はすべての技術的特徴に対して等価置換を行うことができ、これらの修正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱しないと理解すべきである。
【図１】
2021529388.tif 000003
【図２】
2021529388.tif 000004
【図３】
2021529388.tif 000005
【図４】
2021529388.tif 000006
【図５】
2021529388.tif 000007
【図６】
2021529388.tif 000008
【手続補正書】
【提出日】令和2年12月25日(2020.12.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本願の実施例は、車両制御技術分野に関し、特に車載制御ユニット、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）ベースの車両自動運転方法及び装置に関する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本願の実施例は、車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置を提供し、第１のシステムオンチップ（ＳｏＣ）がＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとを介してセンサデータを処理した後にマイクロコントロールユニット（ＭＣＵ）に送信し、ＭＣＵの負担を軽減する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本願の実施例の第１の態様では、ＦＰＧＡベースの車両自動運転方法を提供し、車載制御ユニットに適用され、前記車載制御ユニットが第１のシステムオンチップＳｏＣとマイクロコントロールユニットＭＣＵとを含み、前記第１のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記方法は、
前記第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信するステップと、
前記第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得るステップと、
前記第１のＳｏＣのＦＰＧＡが前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するステップと、
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップと、を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本願の実施例の第２の態様では、第１のシステムオンチップＳｏＣとマイクロコントロールユニットＭＣＵとが含まれる車載制御ユニットを提供し、前記第１のＳｏＣがフィールドプログラマブルゲートアレイＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記第１のＳｏＣがイーサネットスイッチチップによって前記ＭＣＵと接続する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本願の実施例の第３の態様では、自動運転装置を提供し、該装置は車載制御ユニットに適用され、前記自動運転装置が、第１のシステムオンチップＳｏＣモジュールとマイクロコントロールユニットＭＣＵモジュールとを含み、前記第１のＳｏＣモジュールがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記第１のＳｏＣが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、
前記第１のＦＰＧＡユニットが、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するためのものであり、
前記第１のＡＲＭユニットが、前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵモジュールに送信するためのものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本願の実施例による車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置であって、車載制御ユニットにはＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣが含まれ、車載制御ユニットが自動運転自動車に配置され、自動運転中には、第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信し、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信し、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。該過程では、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置され、ＦＰＡＧとＡＲＭがセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
これに鑑みて、本願の実施例は、１つのＥＣＵベースのＦＰＧＡを提供し、ＡＲＭが集積されたＦＰＧＡを介してセンサデータを処理した後にＥＣＵのＭＣＵに送信し、ＭＣＵの負担を軽減する。例示的に、図２を参考にすることができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
図２を参照されたい。第１のＳｏＣはＦＰＧＡとＡＲＭとを融合し、両者を集中させてパッケージ化し、単一のチップを構成し、集積度を向上させると同時にＦＰＧＡとＡＲＭとの間のデータ接続が削減され、これによって第１のＳｏＣはより多くの操作を実行することができ、信頼性を向上させると同時にＥＣＵの複雑さを低下した。該第１のＳｏＣがイーサネットスイッチチップを介してＭＣＵと接続され、これにより第１のＳｏＣとＭＣＵとの間のデータ交換を実現する。イーサネットスイッチチップはさらに、外部車載イーサネットとインタラクションをすることができる。ＭＣＵは、ＥＣＵのプリント回路基板（ｐｒｉｎｔｅｄ  ｃｉｒｃｕｉｔ  ｂｏａｒｄ、ＰＣＢ）全体の機能安全処理および内向き外向きインタフェースを担当し、ＭＣＵは、内向きにイーサネットスイッチ（ｓｗｉｔｃｈ）チップを介して第１のＳｏＣとインタラクションをし、同時に全地球測位システム（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ、ＧＰＳ）、慣性測定ユニット（ｉｎｅｒｔｉａｌ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ、ＩＭＵ）、温度センサなどはいずれもＭＣＵとインタラクションをする。外向きインタフェースの方では、ＭＣＵは、デバッグインタフェースと車両制御インタフェースを引き出し、デバッグインタフェースが主にボードのデバッグを担当し、車両制御インタフェースが車両に対する制御機能を実現する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本願の実施例による車載制御ユニットは、ＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣを含み、車載制御ユニットが自動運転自動車に配置されており、自動運転中には、第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信し、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信し、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。該過程では、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとを介してセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
１０１において、前記第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本ステップでは、第１のＳｏＣでのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して受信したビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。第１のニューラルネットワークアルゴリズムが、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ、ＣＮＮ）アルゴリズムなどの予め設定されたディープラーニングベースのニューラルネットワークアルゴリズムである。例えば、時間遅延ネットワーク（ｔｉｍｅ  ｄｅｌａｙ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＴＤＮＮ）アルゴリズム、シフト不変人工ニューラルネットワーク（ｓｈｉｆｔ−ｉｎｖａｒｉａｎｔ  ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ、ＳＩＡＮＮ）アルゴリズム、ＬｅＮｅｔ−５ニューラルネットワークアルゴリズム、ＶＧＧＮｅｔニューラルネットワークアルゴリズム、ＧｏｏｇＬｅＮｅｔニューラルネットワークアルゴリズム又はＲｅｓＮｅｔニューラルネットワークアルゴリズムなどである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
本ステップでは、第１のＳｏＣのＡＲＭが第１のセンシング情報に基づいて環境に対してモデル化などをし、決定アルゴリズムを利用して第１のセンシング情報を処理し、第１の決定情報を得た後にＭＣＵに送信する。ＭＣＵは該第１の決定情報を受信した後に、該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
本願の実施例によるフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法は、車載制御ユニットに適用され、該車載制御ユニットにはＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣが含まれており、車載制御ユニットが自動運転自動車に配置されており、自動運転中には、第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信し、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信し、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。該過程では、第１のＳｏＣ がＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとによってセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
図２を再び参照されたい。本願の実施例において、第１のＳｏＣのＡＲＭが第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するとき、該第１のＳｏＣのＡＲＭはさらに、レーダデータを受信し、第１のセンシング情報とレーダデータとを融合し、それから融合された第１のセンシング情報とレーダデータとを処理し、第１の決定情報を得てＭＣＵに送信する。該過程では、第１のＳｏＣのＡＲＭが第１のＳｏＣのＦＰＧＡによって送信された第１のセンシング情報を受信した後に、該第１のセンシング情報と他のセンサによって送信されたデータとを集約して融合した後に融合データを得て、融合データを利用して環境モデリングと決定操作を行い、第１の決定情報を得た後にＭＣＵに送信する。ＭＣＵが該第１の決定情報を受信した後に、該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。そのうち、センサは超音波レーダ、ミリ波レーダ、レーザレーダなどを含み、相応的に、センサによって送信されたデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含む。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
図４は、本願の実施例によるもう１つの車載制御ユニットのアーキテクチャ概略図である。図４を参照されたい。本願の実施例による車載制御ユニットは、上記図２のうえで、さらに、第２のＳｏＣを含み、該第２のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置されている。自動運転中には、車載カメラは、収集したビデオデータを第１のＳｏＣのＦＰＧＡに送信する以外に、該ビデオデータを第２のＳｏＣのＦＰＧＡに送信する。第２のＳｏＣのＦＰＧＡはビデオデータを受信した後に、第２のニューラルネットワークアルゴリズムを利用して該ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得てＦＰＧＡ内部バスを介して、該第２のセンシング情報を第２のＳｏＣのＡＲＭに送信する。第２のＳｏＣのＡＲＭは第２のセンシング情報を受信した後に、該第２のセンシング情報を処理し、第２の決定情報を得てＭＣＵに送信する。このようにすると、ＭＣＵは第１のＳｏＣのＡＲＭによって送信された第１の決定情報と第２のＳｏＣによって送信された第２の決定情報とを受信するようになる。ＭＣＵは該２つの決定情報に対して比較と分析をし、その中から適切な計画情報を選出し、選出された計画情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図４を再び参照されたい。本願の実施例による車載制御ユニットはさらに、第１の同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ  ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、ＳＤＲＡＭ）と第１のフラッシュメモリ（Ｆｌａｓｈ）とを含んでもよく、該第１のＳＤＲＡＭが第１のＳｏＣと接続され、第１のＦｌａｓｈが第１のＳｏＣと接続される。同様に、本願の実施例による車載制御ユニットはさらに、第２の同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ  ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、ＳＤＲＡＭ）と第２のフラッシュメモリ（Ｆｌａｓｈ）を含んでもよく、該第２のＳＤＲＡＭが第２のＳｏＣと接続され、第２のＦｌａｓｈが第２のＳｏＣと接続される。該アーキテクチャに基づき、自動運転中には、ＥＣＵが起動されると、第１のＳｏＣが第１のＦｌａｓｈからプログラムをロードし、第２のＳｏＣが第２のＦｌａｓｈからプログラムをロードし、プログラムロードが完成されると、車載カメラおよび他のセンサがデータを入力するように待機する。車載カメラによって収集されたビデオデータに対し、第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得る。第１のセンシング情報が第１のＳｏＣのＦＰＧＡによって第１のＳｏＣのＡＲＭに送信され、該第１のＳｏＣのＡＲＭが第１のセンシング情報と様々なレーダの検出データを融合し、第１の融合データを得て、該第１の融合データを利用して環境をモデル化し、それから決定アルゴリズムに基づいて第１の決定情報を生成してイーサネットスイッチチップを介してＭＣＵに送信する。第２のセンシング情報が第２のＳｏＣのＦＰＧＡによって第２のＳｏＣのＡＲＭに送信され、該第２のＳｏＣのＡＲＭが第２のセンシング情報と様々なレーダの検出データとを融合し、第２の融合データを得て、該第２の融合データを利用して環境をモデル化し、それから決定アルゴリズムに基づいて第２の決定情報を生成してイーサネットスイッチチップを介してＭＣＵに送信する。ＭＣＵは第１の決定情報と第２の決定情報とを受信した後に、該２つの決定情報に対して分析と比較をし、適切な決定情報を選出し、選出された決定情報に基づいて制御命令を生成し、車両制御インタフェースを介して制御命令を実行機構に送信し、実行機構によって制御命令に基づいて自動運転をする。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
本願の実施例による自動運転装置は、車載制御ユニットに適用され、該自動運転装置にはＭＣＵモジュールおよび第１のＳｏＣモジュールが含まれており、該第１のＳｏＣモジュールが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、自動運転中には、第１のＦＰＧＡユニットが車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＡＲＭユニットへ該第１のセンシング情報を送信し、第１のＡＲＭユニットが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵモジュールに送信し、最後にＭＣＵモジュールが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。該過程では、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとを介してセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
図６は、本願の実施例によるもう１つの自動運転装置の構造概略図である。本実施例による自動運転装置１００は、上記図５を基礎として、
第２のＳｏＣモジュール１３をさらに含み、前記第２のＳｏＣモジュール１３が第２のＦＰＧＡユニット１３１と第２のＡＲＭユニット１３２とを含み、
前記第２のＦＰＧＡユニット１３１が、前記車載カメラによって送信された前記ビデオデータを受信し、第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得て、前記第２のＡＲＭユニット１３２へ前記第２のセンシング情報を送信するためのものであり、
前記第２のＡＲＭユニット１３２が、前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するためのものであり、
前記ＭＣＵモジュール１２が、前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するためのものである。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
上記プロセッサは中央処理ユニット（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ、ＡＳＩＣ）などであってもよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってもよく、又は該プロセッサは任意の従来のプロセッサなどであってもよい。本願に開示された方法を組み合わせるステップは、ハードウェアプロセッサによる実行完了、又はプロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせによる実行完了と直接具体化されることができる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
メモリは高速ランダムアクセスメモリ（ＲＡＭ）を含んでよく、さらに不揮発性記憶ＮＶＭ、例えば少なくとも１つの磁気ディスクメモリを含んでよく、さらにＵＳＢフラッシュドライブ、モバイルハードディスクドライブ、リードオンリーメモリ、磁気ディスク又はコンパクトディスクなどであってもよい。
【手続補正２１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フィールドプログラマブルゲートアレイ（ＦＰＧＡ）ベースの自動運転方法であって、車載制御ユニットに適用され、前記車載制御ユニットが第１のシステムオンチップ（第１のＳｏＣ）とマイクロコントロールユニット（ＭＣＵ）とを含み、前記第１のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシン（ＡＲＭ）と集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記方法は、
前記第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信するステップと、
前記第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得るステップと、
前記第１のＳｏＣのＦＰＧＡが前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するステップと、
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップと、を含むことを特徴とするフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法。
【請求項２】
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップは、
前記第１のＳｏＣのＡＲＭがレーダデータを受信するステップと、
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報と前記レーダデータとを融合するステップと、
前記第１のＳｏＣのＡＲＭが融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵに送信するステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記レーダデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記車載制御ユニットはさらに、第２のシステムオンチップ（ＳｏＣ）を含み、前記第２のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記方法はさらに、
前記第２のＳｏＣのＦＰＧＡが前記車載カメラによって送信された前記ビデオデータを受信するステップと、
前記第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得るステップと、
前記第２のＳｏＣのＦＰＧＡが前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するステップと、
前記第２のＳｏＣのＡＲＭが前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するステップと、
前記ＭＣＵが前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するステップと、を含むことを特徴とする請求項１〜請求項３のいずれか１項に記載の方法。
【請求項５】
車載制御ユニットであって、第１のシステムオンチップ（ＳｏＣ）とマイクロコントロールユニット（ＭＣＵ）とを含み、前記第１のＳｏＣがフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によってアドバンスト縮小命令セットマシン（ＡＲＭ）と集積的に配置され、前記第１のＳｏＣがイーサネットスイッチチップを介して前記ＭＣＵと接続されることを特徴とする車載制御ユニット。
【請求項６】
前記第１のＳｏＣが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、
前記第１のＦＰＧＡユニットが、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するためのものであり、
前記第１のＡＲＭユニットが、前記第１のセンシング情報を処理し、第１の決定情報を得て、前記第１の決定情報を前記ＭＣＵに送信するためのものである請求項５に記載の車載制御ユニット。
【請求項７】
前記第１のＡＲＭユニットは、レーダデータを受信し、前記第１のセンシング情報と前記レーダデータとを融合し、融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て、前記第１の決定情報を前記ＭＣＵに送信するためのものである請求項６に記載の車載制御ユニット。
【請求項８】
前記レーダデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含むことを特徴とする請求項７に記載の車載制御ユニット。
【請求項９】
第２のシステムオンチップ（ＳｏＣ）をさらに含み、前記第２のＳｏＣにＦＰＧＡとＡＲＭとが配置され、前記第２のＳｏＣでのＦＰＧＡがバスを介してＡＲＭと接続され、前記第２のＳｏＣが前記イーサネットスイッチチップを介して前記ＭＣＵと接続されることを特徴とする請求項５に記載の車載制御ユニット。
【請求項１０】
第１の同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）と第１のフラッシュメモリ（Ｆｌａｓｈ）とをさらに含み、前記第１のＳＤＲＡＭが前記第１のＳｏＣと接続され、前記第１のＦｌａｓｈが前記第１のＳｏＣと接続されることを特徴とする請求項５又は請求項９に記載の車載制御ユニット。
【請求項１１】
自動運転装置であって、該装置は車載制御ユニットに適用され、前記自動運転装置が、第１のシステムオンチップ（ＳｏＣ）モジュールとマイクロコントロールユニット（ＭＣＵ）モジュールとを含み、前記第１のＳｏＣモジュールがフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によってアドバンスト縮小命令セットマシン（ＡＲＭ）と集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記第１のＳｏＣが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、
前記第１のＦＰＧＡユニットが、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するためのものであり、
前記第１のＡＲＭユニットが、前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵモジュールに送信するためのものであることを特徴とする自動運転装置。
【請求項１２】
前記第１のＡＲＭユニットは、レーダデータを受信し、前記第１のセンシング情報と前記レーダデータとを融合し、融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵモジュールに送信するためのものであることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記レーダデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含むことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記装置は、第２のＳｏＣモジュールをさらに含み、前記第２のＳｏＣモジュールが第２のＦＰＧＡユニットと第２のＡＲＭユニットとを含み、
前記第２のＦＰＧＡユニットが、前記車載カメラによって送信された前記ビデオデータを受信し、第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得て、前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するためのものであり、
前記第２のＡＲＭユニットが、前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵモジュールに送信するためのものであり、
前記ＭＣＵモジュールが、前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するためのものであることを特徴とする請求項１１〜請求項１３のいずれか１項に記載の装置。
【請求項１５】
コンピュータプログラムであって、前記コンピュータプログラムがコンピュータで実行されると、前記コンピュータに請求項１〜４のいずれか一項に記載の方法を実行させることを特徴とするコンピュータプログラム。
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2021529388.tif 000009
【国際調査報告】
2021529388.tif 000010
2021529388.tif 000011
2021529388.tif 000012
2021529388.tif 000013