(57)【要約】      （修正有）【課題】自動車の自動化機能を検証するシステムおよび方法を提供する。【解決手段】自動化機能を検証する方法は、検証されるべき自動化機能を評価するステップ４０２と、自動化機能の関数を複数の関数エリアにグルーピングするステップ４０４と、自動化機能の検証の基礎となるべき少なくとも１つのシナリオを生成するステップ４０６と、少なくとも１つのシナリオを複数のテストベンチ＃１〜＃４に分解するステップ４０８とを含む。複数のテストベンチは各々、複数の関数エリアのうちの少なくとも１つの関数エリアを基礎とするステップと、複数の関数エリアのうちの少なくとも１つの関数エリアにおける自動化機能の機能性を定量的に検証するステップとを含む。【選択図】図４
2018113015.tif 000002
【特許請求の範囲】
【請求項１】
自動車の自動化機能を検証するためのシステムであって、
前記自動車の前記自動化機能の前記検証を容易にするように動作可能な１つ以上のルーチンをその内部に具現している非一時的記憶デバイスと、
前記非一時的記憶デバイスへ結合されかつ前記１つ以上のルーチンを実行するように動作可能な１つ以上のプロセッサと、を備え、
前記１つ以上のルーチンは、
前記自動化機能を評価しかつ前記自動化機能の関数を複数の関数エリアにグルーピングするように構成される自動化機能評価および機能性分離モジュールと、
前記自動化機能の検証の基礎とされる必要がある少なくとも１つのシナリオを生成するように構成される自動化機能ベースのシナリオ開発モジュールと、
前記少なくとも１つのシナリオを複数のテストベンチに分解するように構成されるシナリオ分解ベースのテストベンチ構成モジュールであって、前記複数のテストベンチの各々は、前記複数の関数エリアのうちの少なくとも１つの関数エリアを基礎とする、シナリオ分解ベースのテストベンチ構成モジュールと、
前記複数のテストベンチにおいて前記自動化機能の前記複数の関数エリアを定量的に検証するように構成されるテストベンチ実行モジュールと、
を含むシステム。
【請求項２】
前記複数の関数エリアは、検出および知覚、状況分析および計画、決定および論理構築、ならびに、作動および動き制御を含むグループから選択される、請求項１に記載のシステム。
【請求項３】
前記システムは、テストベンチ実行ベースの評価行列生成モジュールをさらに備え、前記テストベンチ実行ベースの評価行列生成モジュールは、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量のうちの何れか、またはこれらの組合せに基づいて評価行列を生成するように構成される、請求項１に記載のシステム。
【請求項４】
前記システムは、評価行列ベースの検証レポート生成モジュールをさらに含み、前記評価行列ベースの検証レポート生成モジュールは、前記テストベンチ実行モジュールおよび前記テストベンチ実行ベースの評価行列生成モジュールの出力に基づいて検証レポートを生成するように構成される、請求項３に記載のシステム。
【請求項５】
前記システムは、前記自動車における前記自動化機能の検証をリアルタイムで実行するように構成される、請求項１に記載のシステム。
【請求項６】
自動車の自動化機能を検証する方法であって、
（ａ）検証されるべき前記自動化機能を評価するステップと、
（ｂ）前記自動化機能の関数を複数の関数エリアにグルーピングするステップと、
（ｃ）前記自動化機能の検証の基礎となるべき少なくとも１つのシナリオを生成するステップと、
（ｄ）前記少なくとも１つのシナリオを複数のテストベンチに分解するステップであって、前記複数のテストベンチの各々は、前記複数の関数エリアのうちの少なくとも１つの関数エリアを基礎とする、ステップと、
（ｅ）前記複数の関数エリアのうちの少なくとも１つの関数エリアにおける前記自動化機能の機能性を定量的に検証するステップと、を含む方法。
【請求項７】
前記複数の関数エリアは、検出および知覚、状況分析および計画、決定および論理構築、ならびに、作動および動き制御を含むグループから選択される、請求項６に記載の方法。
【請求項８】
前記方法は、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量の何れか、またはこれらの組合せに基づいて評価行列を生成するステップをさらに含む、請求項６に記載の方法。
【請求項９】
前記方法は、前記テストベンチ実行モジュールおよび前記テストベンチ実行ベースの評価行列生成モジュールの出力に基づいて検証レポートを生成するステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記自動車における前記自動化機能の検証がリアルタイムで実行される、請求項６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、先進運転支援システム（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ，ＡＤＡＳ）および自律運転（オートノマス運転，Ａｕｔｏｎｏｍｏｕｓ  Ｄｒｉｖｉｎｇ，ＡＤ）の分野に関する。より具体的には、本開示は、自動車の自動化機能を検証するためのシステムおよび方法に関する。
【背景技術】
【０００２】
背景の説明には、本発明の理解に有用であり得る情報が含まれる。しかしながら、これは、本明細書において提供する情報の何れかが先行技術であり、または本明細書においてクレームする発明に関連するものであること、あるいは、具体的または暗示的に参照される刊行物の何れかが先行技術であることを認めるものではない。
【０００３】
今日、自動車産業は、車両における新たな電子システムおよび機能を、生き残れる可能性の高い車両を顧客の希望に叶うコストで開発することによって利益を生むことができるようにサポートしかつ可能にするソリューションへと迅速に移行しつつある。これが、自律／自動化システムの開発の発端である。典型的には、自律システム（例えば、自律型車両）は、人間による接触を減らして（または、全くなくして）目標を達成するという任務を負っている。このような次世代の自動車システムには、エアバッグ配備用受動安全システム、アンチスキッドブレーキ機能、衝突警告および衝突回避機能のアクティブセーフティ、死角検知（ＢＳＤ）のための便利な機能、アダプティブ・クルーズ・コントロール（ＡＣＣ）、およびこれらに類似するもの等の多くの電子システム／コンポーネントが含まれる。
【０００４】
上述の高度な安全システムを成功裡に実現するための要は、システムが緊急事態に対処しかつそれから回復する能力を確保することにある。１つ以上の緊急事態が発生すれば、こうしたシステムは、事態を軽減し次いで回復するための手順を迅速に開始しかつ首尾良く実行しなければならない。これらの手順は、厳重なタイミング制約、例えばプリクラッシュシステムに基づいて実行されなければならない。
【０００５】
概して、新しい電子コンポーネント／自動化機能が開発されると、これは、好ましくは、任意の機能不全について試験される。例えば、新開発の車両コンポーネントが車両に搭載されると、このコンポーネントの性能は、様々な条件下の車両走行試験（路上試験）によって適切に試験される。
【０００６】
自動車産業においては、車両および／またはそのコンポーネントまたはサブシステムの特性、設計および耐久性を評価しかつ実証するために、トラック試験および実験室シミュレーションが広く使用される。センサ、アクチュエータおよび処理ユニット等の車両コンポーネントは、一般に、車両の生産を最終決定する前に、シミュレーション環境で試験される。試験の目的は、コンポーネントおよびシステムの忠実度を保証することにある。車両コンポーネントのエラーのコストは膨大であり得、よってその結果は、悲惨なものとなり得る。例えば、車両のコンポーネントにおける検出されないエラーは、人の傷害を引き起こすことがあり、過酷な事例では、その特定のコンポーネントおよび／または関連するコンポーネントの指定された挙動を頼みとする人を死亡させる場合がある。
【０００７】
これらの伝統的な技術または方法は、効果的であるが、一般に車両内試験／検証（バリデーション）として知られる、実際の動作設定でプロトタイプを試験するために実車を使用することを主たる理由として、比較的高価であって時間もかかる。自動車を用いる試験の準備には、かなりの時間とプロセス数を要する。さらに、所望される入力条件の下で信頼性の高い試験結果を収集するためには、必然的に、自動車を用いて同じ試験を繰り返し、所望される入力条件からの偏差を補償する必要があり、時間およびプロセス数が増加する。この偏差は、異なる路面プロファイルおよび／または異なる運転技術によって生じる。これらの試験では、多くの場合、プレリリース車両またはプレシリーズ車両を長距離に渡って期間延長して運転する必要がある。
【０００８】
従来のシミュレーションまたは試験システムは、試験条件を１つのコンポーネントまたは密接にリンクされるサブシステムのグループにのみ適用して、他のサブシステムまたはコンポーネントによる試験条件および車両全体の挙動に対する影響を考慮しない傾向がある。さらに、このようなシミュレーションは、考察／試験対象であるコンポーネントまたはサブシステムの特性が、試験中に不変のままであるという前提で機能する。したがって、このような試験条件および車両モデルは、事実上静的であり、即ち、変化を考慮したものではない。しかしながら、これは、試験されるコンポーネントの特性は経時的に変化し、よって車両モデルおよび試験パラメータまたは試験条件に影響するという理由で、多くの場合、実情に合わない。
【０００９】
シミュレーションが試験のパラメータや条件のこうした変化を考慮しなければ、テスト結果は、信頼できないものになる。したがって、取得される測定値は、試験中のサブシステムまたはパーツの性能に限定される。試験中のサブシステムまたはパーツが車両の挙動へ与える影響は、直接かつリアルタイムでは分からない。設計および試験が別々であれば、実際に統合システムを形成するためのサブシステムの最終組立ておよび統合の間に、不適合性問題が生じる可能性がある。
【００１０】
今日、自動車産業は、すべての態様がシステム内に含まれ（連合され）、よって合理的に制御されるようにして機能を実装している。しかしながら、タイミングエラーは、不良測定より多くのエラーをシステムに誘発する可能性がある。システムの検証（妥当性確認）に関する方法およびツールは、グローバルな輸送産業においてまさに発生しようとしている避けられない進化−連合システムから完全な統合システムへの進化、をサポートするように開発されなければならない。
【００１１】
現時点で、自律／自動化機能の検証分野における研究開発を記録した技術文献は、多く刊行されている。しかしながら、既存のソリューションは、専ら単一の機能ブロックの検証に焦点を当て、かつ／または検証をシステムの機能または安全性または性能の何れかに限定するものであり、プレリリースまたはプレシリーズの車両を用いて長距離に及ぶ検証を期間延長して行う必要がある。さらに、これらのソリューションは、様々な検証プラットフォームの選択要件に対応するための試験設定に対するフレキシブルさが低い。当業者には分かる、または認識される他の欠点とは別に、これらの欠点は、このようなシステムおよび検証方法を商業的な設定で首尾良く実装することを不可能にする。
【００１２】
したがって、既知の技術による欠点に煩わされることなく自動車の自動化機能を検証するためのシステムおよび方法が必要とされている。また、機能開発の間にロバスト性を機能コンポーネントを成熟させる形で高めることを目的とする検証方法論および試験設定を提供する必要も感じられる。また、路上試験／検証中に路上では確実に試験できない多数のシナリオをカバーする検証方法論および試験設定を提供する必要も感じられる。
【００１３】
本明細書に記載する刊行物は全て、個々の刊行物または特許出願が各々参照により組み込まれると具体的かつ個々に示されているかの如くに、参照により開示に含まれる。
【００１４】
組み込まれる引例における用語の定義または用法が、本明細書で提示されるその用語の定義と矛盾する、またはこれに反する場合は、本明細書に提示する用語の定義を適用し、引例におけるその用語の定義を適用しない。
【００１５】
一部の実施形態において、本発明の所定の実施形態を記述しかつ請求するために使用される、濃度、反応条件、等々といった構成要素、性質の量を表す数字は、場合によっては「約」という用語によって修飾されるものと理解されるべきである。したがって、幾つかの実施形態において、明細書本文および添付の特許請求の範囲に記載されている数値パラメータは、特定の実施形態による達成が求められる所望の性質に依存して変わり得る近似値である。幾つかの実施形態において、数値パラメータは、報告される有効桁の数に照らして、かつ通常の丸め技術を適用して解釈されるべきである。本発明の幾つかの実施形態の広範な範囲を記載する数値の範囲およびパラメータが近似値であるとしても、特定の実施例において記載される数値は、実施可能な限り正確に報告されている。本発明の幾つかの実施形態において提示される数値は、その個々の試験測定値に見出される標準偏差から必然的に生じる所定の誤差を含み得る。
【００１６】
本明細書の本文および添付の特許請求の範囲を通して使用される不定冠詞および定冠詞の意味は、文脈上他に明確な指示のない限り、複数形の言及を包含する。同様に、本明細書で用いる「〜における」の意味は、文脈上他に明確な指示のない限り、「〜における」および「〜の上の」を包含する。
【００１７】
本明細書における値の範囲の記載は、単に、その範囲に含まれる個々の値を個々に参照する簡略な方法として機能させるためのものである。本明細書において別段の指摘のない限り、個々の値は、各々、それが本明細書において個々に記載されているかの如くに本明細書に組み込まれる。本明細書に記述される方法は、全て、本明細書において別段の指摘のない限り、または文脈により別段の明らかな矛盾のない限り、任意の適切な順序で実行することができる。本明細書における所定の実施形態に関して提供される任意の、および全ての実施例、または例示的な言語（例えば、「等」）の使用は、単に本発明をより良く例示するためのものであって、別段で請求される発明の範囲を限定するものではない。本明細書における如何なる言語も、本発明の実施に不可欠である請求の範囲に記載されていない要素を示すものとして解釈されるべきではない。
【００１８】
本明細書において開示される本発明の代替的な要素または実施形態のグループ分けは、限定として解釈されるべきではない。グループの各構成要素は、個別に、またはグループの他の構成要素または本明細書に記載される他の要素との任意の組合せで参照されかつ請求されることが可能である。グループの１つ以上の構成要素は、利便性および／または特許性を理由に、グループに包含され、またはグループから削除されることが可能である。このような包含または削除が生じる場合、本明細書において、仕様は、改変されたグループを包含するものとされ、よって、添付の特許請求の範囲で使用されるすべてのマーカッシュグループの記述を満たすものとされる。
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本開示の目的は、自動化レベルを異にしかつ全ての機能性に及ぶ自動車の自動化機能を検証するためのシステムおよび方法を提供することにある。
【００２０】
本開示の別の目的は、車両の路上試験の必要性を完全に、または少なくとも部分的に減らし、かつ路上試験でカバーされ得ない多数のシナリオをカバーする、自動化機能を検証するためのシステムおよび方法を提供することにある。
【００２１】
本開示の別の目的は、閉ループにおける能動負荷エミュレーションを用いるテストベンチ設定のためのコンポーネントの再使用可能性および強化を提供するシステムおよび方法を提供することにある。
【００２２】
本開示の別の目的は、システムの機能、安全性および性能の全てに関して自動化機能を検証するためのシステムおよび方法を提供することにある。
【００２３】
本開示の別の目的は、自動化機能を開発する間にロバスト性を機能コンポーネントを成熟させる形で高めるための、自動化機能を検証するためのシステムおよび方法を提供することにある。
【００２４】
本開示の別の目的は、ＲＴＯＳまたは組込みプロセッサを有するシステムのような様々な検証プラットフォーム選択要件に対処するフレキシブルなテスト設定を有する、自動化機能を検証するためのシステムおよび方法を提供することにある。
【００２５】
本開示のさらに別の目的は、オープンアーキテクチャの採用を可能にし、要件を満たすようにカスタマイズすることができ、かつ社内開発の機能および／またはＯＥＭ提供の（市販の）機能のために作動するように適合させることができる、自動車の自動化機能を検証するためのシステムおよび方法を提供することにある。
【課題を解決するための手段】
【００２６】
本開示は、概して、先進運転支援システム（ＡＤＡＳ）および自律型車両の分野に関する。より具体的には、本開示は、自動車の自動化機能を検証するためのシステムおよび方法に関する。
【００２７】
本開示の一態様は、自動車の自動化機能を検証するためのシステムを提供し、本システムは、自動車の自動化機能の検証を容易にするように動作可能な１つ以上のルーチンをその内部に具現している非一時的記憶デバイスと、非一時的記憶デバイスへ結合されかつ１つ以上のルーチンを実行するように動作可能な１つ以上のプロセッサとを備え、前記１つ以上のルーチンは、自動化機能を評価しかつ自動化機能の関数を複数の関数エリアにグルーピングするように構成される自動化機能評価および機能性分離モジュールと、自動化機能の検証の基礎となるべき少なくとも１つのシナリオを生成するように構成される自動化機能ベースのシナリオ開発モジュールと、少なくとも１つのシナリオを複数のテストベンチに分解するように構成されるシナリオ分解ベースのテストベンチ構成モジュールであって、複数のテストベンチの各々は、複数の関数エリアのうちの少なくとも１つの関数エリアを基礎とする、シナリオ分解ベースのテストベンチ構成モジュールと、複数のテストベンチにおいて自動化機能の複数の関数エリアを定量的に検証するように構成されるテストベンチ実行モジュールと、を含む。
【００２８】
ある実施形態において、本システムは、テストベンチ実行ベースの評価行列生成モジュールをさらに含み、前記テストベンチ実行ベースの評価行列生成モジュールは、評価行列を、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量のうちの何れか、またはこれらの組合せに基づいて生成するように構成される。ある実施形態において、本システムは、評価行列ベースの検証レポート生成モジュールをさらに含み、前記評価行列ベースの検証レポート生成モジュールは、検証レポートを、テストベンチ実行モジュールおよびテストベンチ実行ベースの評価行列生成モジュールの出力に基づいて、例えば、生成される評価行列に基づいて生成するように構成される。ある実施形態において、複数の関数エリアは、検出および知覚、状況分析および計画、決定および論理構築、および作動および動き制御を含むグループから選択される。ある実施形態において、本システムは、自動車における自動化機能の検証をリアルタイムで実行するように構成される。
【００２９】
上述のモジュールの各々または任意の組合せが、互いにネットワーク接続（動作可能に結合）される場合もされない場合もある１つ以上の異なるコンピューティングデバイスに渡って実装され得ることは、認識されるであろう。さらに、各モジュールを１つ以上のサブモジュールに分割することができ、あるいは、１つ以上のモジュールを組み合わせることができ、これらの潜在的実施形態が全て本開示の範囲に含まれることも、認識されるべきである。例えば、テストベンチ実行ベースの評価行列生成モジュールと、評価行列ベースの検証レポート生成モジュールとを組み合わせて、検証レポートをテストベンチの結果から直に生成することができる。
【００３０】
ある実施形態において、自動化機能は、米国運輸省道路交通安全局（ＮＨＴＳＡ）が規定する自動化レベル２超を有する機能である。ある実施形態において、複数のテストベンチの何れか、または全ては、第一原理、機械学習および試験データ収集の何れか、またはこれらの組合せに基づくプラントモデルを含む。ある実施形態において、自動化機能は、自動緊急ブレーキ（ＡＥＢ）、自動バレーパーキングおよびハイウェイオートパイロットを含む、但しこれらに限定されないグループから選択される。
【００３１】
本開示の別の態様は、自動車の自動化機能を検証する方法に関し、本方法は、（ａ）検証されるべき自動化機能を評価するステップと、（ｂ）自動化機能の関数を複数の関数エリアにグルーピングするステップと、（ｃ）自動化機能の検証の基礎となるべき少なくとも１つのシナリオを生成するステップと、（ｄ）少なくとも１つのシナリオを複数のテストベンチに分解するステップであって、複数のテストベンチは各々、複数の関数エリアのうちの少なくとも１つの関数エリアを基礎とするステップと、（ｅ）複数の関数エリアのうちの少なくとも１つの関数エリアにおける自動化機能の機能性を定量的に検証するステップとを含む。
【００３２】
ある実施形態において、本方法は、評価行列を、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量の何れか、またはこれらの組合せに基づいて生成するステップをさらに含む。ある実施形態において、本方法は、検証レポートを、テストベンチ実行モジュールおよびテストベンチ実行ベースの評価行列生成モジュールの出力に基づいて生成するステップをさらに含む。ある実施形態において、複数の関数エリアは、検出および知覚、状況分析および計画、決定および論理構築、および作動および動き制御を含む。ある実施形態において、自動化機能は、米国運輸省道路交通安全局（ＮＨＴＳＡ）が規定する自動化レベル２超を有する機能である。ある実施形態において、自動車における自動化機能の検証は、略リアルタイムで実行される。ある実施形態において、複数のテストベンチの何れか、または全ては、第一原理、機械学習および試験データ収集の何れか、またはこれらの組合せに基づくプラントモデルを含む。ある実施形態において、自動化機能は、自動緊急ブレーキ（ＡＥＢ）、自動バレーパーキングおよびハイウェイオートパイロットを含む、但しこれらに限定されないグループから選択される。
【００３３】
添付の図面は、本開示のさらなる理解を提供するために含まれ、よって本明細書に組み込まれかつその一部を構成する。図面は、本開示の例示的な実施形態を示し、明細書本文と共に、本開示の原理を説明する働きをする。
【図面の簡単な説明】
【００３４】
【図１】本開示の一実装による、自動車の自動化機能を検証するためのシステムの例示的なアーキテクチャを示す。
【００３５】
【図２】本開示の一実装による、自動車の自動化機能を検証するためのシステムの機能モジュールを描いた例示的なブロック図を示す。
【００３６】
【図３】本開示の一実装による、自動車の自動化機能を検証するための全体的アプローチを描いた例示的なフロー図を示す。
【００３７】
【図４】本開示の一実装による、自動車の自動化機能を検証する方法を描いた例示的なフロー図を示す。
【００３８】
【図５】本開示の一実装による、システムおよびドライバにおけるデータとのその相互作用および／または前記データの流れを含む自動化機能の様々な関数、およびこれらの関数の複数の関数エリアへのグルーピングを描いた例示的な線図を示す。
【００３９】
【図６】本開示の一実装による、ある自動化機能−ハイウェイアシストの標的割込みシナリオの例示的な図を示す。
【００４０】
【図７Ａ】本開示の一実装による、検出および知覚テストベンチ、およびプラントモデルと検出および知覚テストベンチにおけるデータの流れを描いた例示的な図を示す。
【００４１】
【図７Ｂ】本開示の一実装による、状況分析および計画テストベンチ、およびプラントモデルと状況分析および計画テストベンチにおけるデータの流れを描いた例示的な図を示す。
【００４２】
【図７Ｃ】本開示の一実装による、決定および論理構築テストベンチ、およびプラントモデルと決定および論理構築テストベンチにおけるデータの流れを描いた例示的な図を示す。
【００４３】
【図７Ｄ】本開示の一実装による、作動および動き制御テストベンチ、およびプラントモデルと作動および動き制御テストベンチにおけるデータの流れを描いた例示的な図を示す。
【００４４】
【図８】本開示の一実装による、検証レポートの生成を描いた例示的な図を示す。
【００４５】
【図９Ａ】本開示の一実装による、自動化機能の非リアルタイム検証のためのテストベンチの一般的な設定を描いた例示的な図を示す。
【００４６】
【図９Ｂ】本開示の一実装による、非リアルタイム検証を実行するための検出および知覚検証テストベンチ７１０の設定を描いた例示的な図を示す。
【００４７】
【図９Ｃ】本開示の一実装による、非リアルタイム検証を実行するための状況および計画検証テストベンチ７２０の設定を描いた例示的な図を示す。
【００４８】
【図９Ｄ】本開示の一実装による、非リアルタイム検証を実行するための決定および論理構築検証テストベンチ７３０の設定を描いた例示的な図を示す。
【００４９】
【図９Ｅ】本開示の一実装による、非リアルタイム検証を実行するための作動および動き制御検証テストベンチ７４０の設定を描いた例示的な図を示す。
【００５０】
【図１０Ａ】本開示の一実装による、自動化機能のリアルタイム検証のためのテストベンチの一般的な設定を描いた例示的な図を示す。
【００５１】
【図１０Ｂ】本開示の一実装による、リアルタイム検証を実行するための検出および知覚検証テストベンチ７１０の設定を描いた例示的な図を示す。
【００５２】
【図１０Ｃ】本開示の一実装による、リアルタイム検証を実行するための状況および計画検証テストベンチ７２０の設定を描いた例示的な図を示す。
【００５３】
【図１０Ｄ】本開示の一実装による、リアルタイム検証を実行するための決定および論理構築検証テストベンチ７３０の設定を描いた例示的な図を示す。
【００５４】
【図１０Ｅ】本開示の一実装による、非リアルタイム検証を実行するための作動および動き制御検証テストベンチ７４０の設定を描いた例示的な図を示す。
【発明を実施するための形態】
【００５５】
以下、添付の図面に描かれている本開示の実施形態について詳細に説明する。実施形態の詳細は、本開示を明確に伝達するに足るものである。しかしながら、提供する詳細の程度は、実施形態の予想される変形を限定するためのものではなく、反対に、添付の特許請求の範囲が規定する本開示の精神および範囲に含まれる全ての変更、等価物および代替物を包含することが意図される。
【００５６】
添付の特許請求の範囲における各請求項は、別個の発明を規定しているが、これは、侵害対策のために、特許請求の範囲に記載された様々な要素または限定の等価物を含むものと認識される。文脈に依存して、以下における「発明」という言及は全て、事例により、専ら所定の具体的な実施形態を指し得る。他の事例において、「発明」という言及は、１つ以上の、但し必ずしも全てではない請求項に記載される主題を指すことが認識されるであろう。
【００５７】
本発明の実施形態は、コンピュータ・プログラム・プロダクトとして提供されてもよく、これは、プロセスを実行するようにコンピュータ（または、他の電子デバイス）をプログラムするために使用され得る命令を実体的に具現する機械可読記憶媒体を含んでもよい。機械可読媒体には、固定（ハード）ドライブ、磁気テープ、フロッピーディスケット、光ディスク、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、および光磁気ディスク、ＲＯＭ、ＰＲＯＭ、ランダム・アクセス・メモリ（ＲＡＭ）、プログラム可能読取り専用メモリ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光カード等の半導体メモリ、または、電子命令（例えば、ソフトウェアまたはファームウェア等のコンピュータ・プログラミング・コード）を格納することに適する他のタイプの媒体／機械可読媒体が含まれ得るが、この限りではない。
【００５８】
本明細書に記述される様々な方法は、本発明によるコードを含む１つ以上の機械可読記憶媒体を、包含するコードを実行するための適切な標準コンピュータハードウェアと組み合わせることによって実施されてもよい。本発明の様々な実施形態を実施するための装置は、本明細書に記述されている様々な方法に従ってコード化されるコンピュータプログラムへのネットワークアクセスを含む、または有する１つ以上のコンピュータ（または、単一のコンピュータ内の１つ以上のプロセッサ）および記憶システムを包含してもよく、かつ本発明の方法ステップは、コンピュータ・プログラム・プロダクトのモジュール、ルーチン、サブルーチンまたはサブパーツによって達成される可能性もある。
【００５９】
本明細書の本文および添付の特許請求の範囲を通して使用される不定冠詞および定冠詞の意味は、文脈上他に明確な指示のない限り、複数形の言及を包含する。同様に、本明細書で用いる「〜における」の意味は、文脈上他に明確な指示のない限り、「〜における」および「〜の上の」を包含する。
【００６０】
本明細書に記述される方法は、全て、本明細書において別段の指摘のない限り、または文脈により別段の明らかな矛盾のない限り、任意の適切な順序で実行することができる。本明細書における所定の実施形態に関して提供される任意の、および全ての実施例、または例示的な言語（例えば、「等」）の使用は、単に本発明をより良く例示するためのものであって、別段で請求される発明の範囲を限定するものではない。本明細書における如何なる言語も、本発明の実施に不可欠である請求の範囲に記載されていない要素を示すものとして解釈されるべきではない。
【００６１】
本明細書で用いる様々な用語を、以下に示す。特許請求の範囲で使用されている用語が以下に定義されていない場合、これには、出願時点で当業者が印刷刊行物および発行されている特許に反映されているものとしてその用語に与えている最も広範な定義が与えられるべきである。
【００６２】
本開示は、概して、先進運転支援システム（ＡＤＡＳ）および自律運転（ＡＤ）の分野に関する。より具体的には、本開示は、自動車の自動化機能を検証するためのシステムおよび方法に関する。
【００６３】
本開示は、概して、先進運転支援システム（ＡＤＡＳ）および自律型車両の分野に関する。より具体的には、本開示は、自動車の自動化機能を検証するためのシステムおよび方法に関する。
【００６４】
本開示の一態様は、自動車の自動化機能を検証するためのシステムを提供し、本システムは、自動車の自動化機能の検証を容易にするように動作可能な１つ以上のルーチンをその内部に具現している非一時的記憶デバイスと、非一時的記憶デバイスへ結合されかつ１つ以上のルーチンを実行するように動作可能な１つ以上のプロセッサとを備え、前記１つ以上のルーチンは、自動化機能を評価しかつ自動化機能の関数を複数の関数エリアにグルーピングするように構成される自動化機能評価および機能性分離モジュールと、自動化機能の検証の基礎となるべき少なくとも１つのシナリオを生成するように構成される自動化機能ベースのシナリオ開発モジュールと、少なくとも１つのシナリオを複数のテストベンチに分解するように構成されるシナリオ分解ベースのテストベンチ構成モジュールであって、複数のテストベンチの各々は、複数の関数エリアのうちの少なくとも１つの関数エリアを基礎とする、シナリオ分解ベースのテストベンチ構成モジュールと、複数のテストベンチにおいて自動化機能の複数の関数エリアを定量的に検証するように構成されるテストベンチ実行モジュールと、を含む。
【００６５】
ある実施形態において、本システムは、テストベンチ実行ベースの評価行列生成モジュールをさらに含み、前記テストベンチ実行ベースの評価行列生成モジュールは、評価行列を、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量のうちの何れか、またはこれらの組合せに基づいて生成するように構成される。ある実施形態において、本システムは、評価行列ベースの検証レポート生成モジュールをさらに含み、前記評価行列ベースの検証レポート生成モジュールは、検証レポートを、テストベンチ実行モジュールおよびテストベンチ実行ベースの評価行列生成モジュールの出力に基づいて、例えば、生成される評価行列に基づいて生成するように構成される。ある実施形態において、複数の関数エリアは、検出および知覚、状況分析および計画、決定および論理構築、および作動および動き制御を含むグループから選択される。ある実施形態において、本システムは、自動車における自動化機能の検証をリアルタイムで実行するように構成される。
【００６６】
上述のモジュールの各々または任意の組合せが、互いにネットワーク接続（動作可能に結合）される場合もされない場合もある１つ以上の異なるコンピューティングデバイスに渡って実装され得ることは、認識されるであろう。さらに、各モジュールを１つ以上のサブモジュールに分割することができ、あるいは、１つ以上のモジュールを組み合わせることができ、これらの潜在的実施形態が全て本開示の範囲に含まれることも、認識されるべきである。例えば、テストベンチ実行ベースの評価行列生成モジュールと、評価行列ベースの検証レポート生成モジュールとを組み合わせて、検証レポートをテストベンチの結果から直に生成することができる。
【００６７】
ある実施形態において、自動化機能は、米国運輸省道路交通安全局（ＮＨＴＳＡ）が規定する自動化レベル２超を有する機能である。ある実施形態において、複数のテストベンチの何れか、または全ては、第一原理、機械学習および試験データ収集の何れか、またはこれらの組合せに基づくプラントモデルを含む。ある実施形態において、自動化機能は、自動緊急ブレーキ（ＡＥＢ）、自動バレーパーキングおよびハイウェイオートパイロットを含む、但しこれらに限定されないグループから選択される。
【００６８】
本開示の別の態様は、自動車の自動化機能を検証する方法に関し、本方法は、（ａ）検証されるべき自動化機能を評価するステップと、（ｂ）自動化機能の関数を複数の関数エリアにグルーピングするステップと、（ｃ）自動化機能の検証の基礎となるべき少なくとも１つのシナリオを生成するステップと、（ｄ）少なくとも１つのシナリオを複数のテストベンチに分解するステップであって、複数のテストベンチは各々、複数の関数エリアのうちの少なくとも１つの関数エリアを基礎とするステップと、（ｅ）複数の関数エリアのうちの少なくとも１つの関数エリアにおける自動化機能の機能性を定量的に検証するステップとを含む。
【００６９】
ある実施形態において、本方法は、評価行列を、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量の何れか、またはこれらの組合せに基づいて生成するステップをさらに含む。ある実施形態において、本方法は、検証レポートを、テストベンチ実行モジュールおよびテストベンチ実行ベースの評価行列生成モジュールの出力に基づいて生成するステップをさらに含む。ある実施形態において、複数の関数エリアは、検出および知覚、状況分析および計画、決定および論理構築、および作動および動き制御を含む。ある実施形態において、自動化機能は、米国運輸省道路交通安全局（ＮＨＴＳＡ）が規定する自動化レベル２超を有する機能である。ある実施形態において、自動車における自動化機能の検証は、略リアルタイムで実行される。ある実施形態において、複数のテストベンチの何れか、または全ては、第一原理、機械学習および試験データ収集の何れか、またはこれらの組合せに基づくプラントモデルを含む。ある実施形態において、自動化機能は、自動緊急ブレーキ（ＡＥＢ）、自動バレーパーキングおよびハイウェイオートパイロットを含む、但しこれらに限定されないグループから選択される。
【００７０】
図１は、本開示の一実装による、自動車の自動化機能を検証するためのシステムの例示的なアーキテクチャを示す。図示されているように、本システムは、ネットワーク１０４上で１つまたは複数のコンピューティングデバイス１０６へ接続される環境モデルデータ、センサモデルデータ、対象車両モデルデータおよびこれらに類似するもののうちの何れか、またはこれらの組合せを含む、但しこれらに限定されないサーバ１０２を含み、コンピューティングデバイス１０６は、自動車の自動化機能の検証を実行するように構成される。ある例示的な実装では、コンピューティングデバイス１０６上に、環境モデル１１０、センサモデル１１２、車両モデル１１４およびこれらに類似するものを含むプラントモデル１０８、および試験（検証）中の機能１１６のシミュレーションモデルの一方またはこれらの組合せが構成される。ある実装において、環境モデル１１０は、自動車道、高速道路、州間道路、地方道路、幹線道路、都市道路、生活道路、駐車エリアおよびガレージデッキ等の道路工事、道路タイプおよびこれらに類似するものに関するデータを含むが、この限りではない。ある実装において、センサモデル１１２は、非電動交通、電動Ａ型交通、電動Ｂ型交通、混合交通およびこれらに類似するもの等の交通関連データを含むが、この限りではない。ある実装において、車両モデル１１４は、車両の本体および型式、車両操舵系、車両伝動系、車両制動系、車両サスペンション、車両タイヤ、車両負荷およびこれらに類似するもの等の対象車両関連データ、ＩＰＧドライバ、自律運転機能コマンド、マニュアルドライバおよびこれらに類似するもの等の運転者関連データを含むが、この限りではない。ある実装装において、コンピューティングデバイス１０６は、正当な当業者に既知である、または認識されているパーソナルコンピュータ、デスクトップ、モバイル、ＰＤＡおよびこれらに類似するもののうちの何れか、またはこれらの組合せである。ある実装において、データは、当業者に既知である、または認識されている任意のネットワークプロトコル、例えばＴＣＰ／ＩＰ、を利用して、サーバ１０２とコンピューティングデバイス１０６との間で送信される。ある実装において、サーバ１０２は、分散サーバであり、ネットワーク１０４は、クラウドサーバである。
【００７１】
図２は、本開示の一実装による、自動車の自動化機能を検証するためのシステム２００の機能モジュールを描いた例示的なブロック図を示す。図示されているように、システム２００は、自動化機能評価および機能性分離モジュール２１０と、自動化機能ベースのシナリオ開発モジュール２２０と、シナリオ分解ベースのテストベンチ構成モジュール２３０と、テストベンチ実行モジュール２４０と、テストベンチ実行ベースの評価行列生成モジュール２５０と、評価行列ベースの検証レポート生成モジュール２６０とを含む。
【００７２】
ある実装において、自動化機能評価および機能性分離モジュール２１０は、検証されるべき自動車の自動化機能を評価するように構成され、自動化機能は、例えば、米国運輸省道路交通安全局（ＮＨＴＳＡ）が規定するレベル１〜レベル５の間の自動化レベルを有する自動化機能を含む、但しこれに限定されない正当な当業者に知られている既知の自動化機能のうちの何れかから、発明の範囲および精神を逸脱することなく選択される。好ましくは、ＮＨＴＳＡが規定するレベル２〜レベル５の間の自動化レベルを有する自動化機能が選択される。ある例示的な実装において、自動化機能は、自動緊急ブレーキ（ＡＥＢ）、自動バレーパーキングおよびハイウェイオートパイロットから選択される。
【００７３】
ある実装において、自動化機能評価および機能性分離モジュール２１０は、自動化機能の関数を複数の関数エリアにグルーピングするように構成され、その選択は、検出および知覚、状況分析および計画、決定および論理構築および作動および動き制御を含む、但しこれらに限定されない検証中の自動化機能が寄与するように意図される論理関数のグループに基づいて行われる。しかしながら、本開示の範囲および精神を逸脱することなく、正当な当業者には既知である、または認識されている他の任意の関数エリアが包含されかつ／または選択されることも可能である。
【００７４】
ある好ましい実装において、自動化機能評価および機能性分離モジュール２１０は、自動化機能を評価しかつ自動化機能の関数を複数の関数エリアにグルーピングするように構成される。最も好ましくは、モジュール２１０は、自動化機能を評価しかつ自動化機能の関数を４つの関数エリア、即ち、検出および知覚、状況分析および計画、決定および論理構築および作動および動き制御、にグルーピングするように構成される。
【００７５】
ある実装において、自動化機能ベースのシナリオ開発モジュール２２０は、自動化機能の検証の基礎となるべき少なくとも１つのシナリオを生成するように構成される。シナリオは、自動化機能の作動が予期される、例えば、晴れた日の昼間、曇天の昼間、車線区分線がはっきりと目に見える複数の車線、車線属性のようなパラメトリック値の一時的な損失、隣の車線にいる車両によるホスト車両車線への割込み、脅威オブジェクトの挿入、対象車両の前を走行する車両による突然の加速または減速、駐車スロット／スペースの選択、標示のない／地図にない環境、テールゲーテイング、交通渋滞およびこれらに類似するものといったあらゆるシナリオから選択可能である。しかしながら、当業者に既知である、または認識されている他のあらゆるシナリオを選択できることは、認識されるべきである。
【００７６】
ある実装において、シナリオ分解ベースのテストベンチ構成モジュール２３０は、少なくとも１つのシナリオを複数のテストベンチに分解するように構成される。ある例示的な実装において、複数のテストベンチは、各々、少なくとも１つの関数エリアを基礎とする。ある実装において、シナリオは、検出および知覚検証テストベンチ、状況分析および計画検証テストベンチ、決定および論理構築検証テストベンチおよび作動および動き制御検証テストベンチに分解される。
【００７７】
ある実装において、テストベンチ実行モジュール２４０は、複数のテストベンチのうちの何れか、幾つか、または全てにおいて、自動化機能の１つ以上の関数エリアの定量的検証を実行するように構成される。好ましくは、テストベンチ実行モジュール２４０は、選択されたシナリオにおける自動化機能の各関数エリアを定量的に検証して、機能測定量、性能測定量および安全測定量に対応する値を生成する。ある実装において、テストベンチ実行モジュール２４０は、複数のテストベンチのうちの何れか、幾つか、または全てにおいて、自動化機能の１つ以上の関数エリアの定性的検証を実行するように構成される。好ましくは、テストベンチ実行モジュール２４０は、機能測定量、性能測定量および安全測定量に対応して、選択されたシナリオにおける自動化機能の各関数エリアを定性的に検証する。
【００７８】
ある実装において、テストベンチ実行モジュール２４０は、各関数エリアの定量的および／または定性的検証を実行するために、各々が１つのテストベンチに対応する複数のサブモジュールを含む。ある好ましい実装において、テストベンチ実行モジュール２４０は、検出および知覚検証テストベンチ実行サブモジュール２４２と、状況分析および計画検証テストベンチ実行サブモジュール２４４と、決定および論理構築検証テストベンチ実行サブモジュール２４６と、作動および動き制御検証テストベンチ実行サブモジュール２４８とを含む。ある実装において、テストベンチ実行モジュール２４０は、サブモジュール２４２〜２４８の各々からの値を、自動化機能の機能測定量、性能測定量および安全測定量に対応する生成された統合値と照合するようにさらに構成される。
【００７９】
ある実装において、機能測定量、性能測定量および安全測定量は、対象車両の制御力、対象車両の速度範囲、対象車両の車頭時間、対象車両のトリガ、対象車両の操作調整、運転者資格、運転者位置、運転者監視、運転者活性度のうちの何れか、またはこれらの組合せであってもよいが、この限りではない。ある実装において、テストベンチ実行モジュール２４０は、選択されたシナリオにおける自動化機能の各関数エリアを定性的に検証して、対象車両の制御力が低い、中間または高い、対象車両の速度範囲が低い、中間または高い、対象車両の車頭時間が標準的、減少している、または少ない、対象車両のトリガがシステム始動である、運転者が優良であるか初心者であるか、対象車両の操作調整に運転者が関わるか、関わらないか、運転者資格がプロであるかないか、運転者位置が車内、車外であるか、車が遠隔操作車であるか、運転者監視が必要であるかないか、運転者活性度が注意深い、注意力散漫、眠気がある、または眠っているか、およびこれらに類似するものを含む、但しこれらに限定されない機能測定量、性能測定量および安全測定量に対応する出力を提供する。
【００８０】
ある実装において、テストベンチ実行モジュール２４０は、選択されたシナリオにおける自動化機能の各関数エリアを定量的または定性的に、もしくはこれらを組み合わせて検証して、機能測定量、性能測定量および安全測定量に対応する出力値を提供し、テストベンチ実行モジュール２４０は、標準またはコンソーシアムまたは組織の車両エンジニアリング目標のうちの何れか、またはこれらの組合せから参照を取ることによって、機能測定量、性能測定量および安全測定量に対応する値を生成するように構成される。例えば、検証測定量として車両操作車頭時間を測定する場合、テストベンチ実行モジュール２４０またはそのサブモジュールの何れかは、これを、その時間が＜０．５秒であると判明した場合には標準として、時間が０．５〜０．９秒の間であることが判明した場合には減少として、または時間が＞０．９秒であることが判明した場合には小さいとして分類／タグ付けすることができる。あるいは、テストベンチ実行モジュール２４０は、これらの値を直に出力することもできる。
【００８１】
ある実装において、テストベンチ実行ベースの評価行列生成モジュール２５０は、１つ以上の測定量に基づいて評価行列を生成するように構成される。好ましくは、測定量は、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量から選択されるが、この限りではない。あるいは、本開示の範囲および精神を逸脱することなく、正当な当業者には既知である、または認識されている他の任意の測定量が包含されかつ／または選択されることも可能である。
【００８２】
ある実装において、評価行列ベースの検証レポート生成モジュール２６０は、検証レポートを、テストベンチ実行モジュール２４０およびテストベンチ実行ベースの評価行列生成モジュール２５０の出力に基づいて生成するように構成される。ある実装において、評価行列ベースの検証レポート生成モジュール２６０は、選択されたシナリオにおける自動化機能の機能測定量、性能測定量および安全測定量に対応する値をテストベンチ実行モジュール２４０から収集し、かつ選択されたシナリオにおける自動化機能の機能測定量、性能測定量および安全測定量に対応する値をテストベンチ実行ベースの評価行列生成モジュール２５０から参照するように構成される。ある例示的な実装において、評価行列ベースの検証レポート生成モジュール２６０は、さらに、モジュール２４０から得る値をモジュール２５０から得る基準値とを比較して、自動化機能の関数エリアのうちの何れか、または幾つか、または全てに対応する検証レポートを生成するように構成されてもよい。あるいは、モジュール２６０は、自動化機能の関数エリアのうちの何れか、または幾つか、または全てに対応するレポートを生成するのではなく、検証中の自動化機能の機能、性能および安全のうちの何れか、またはこれらの組合せを検証するための統合された検証レポートを生成するように構成されてもよい。
【００８３】
図３は、本開示の一実施形態による、自動車の自動化機能を検証するための全体的アプローチを描いた例示的なフロー図を示す。図示されているように、ステップ３０２では、自動車の自動化機能が検証のために選択され、ステップ３０４では、自動化機能の作動が意図されかつ／または予期される様々なシナリオに基づく自動化機能の関数エリアの検証が、本開示の実装に従って実現されるシステムを利用して行われる。図示されているように、ステップ３０６では、テストベンチカバレッジ（または自動化機能カバレッジ）の分析が行われる。自動車の自動化機能が複数のシナリオの下で満足に検証されると、ステップ３０８に示すように、自動車の自動化機能が路上試験（車載試験）用に考慮される。ステップ３１０および３１２に示すように、検証される自動化機能は、各々確定的および非確定的環境に関する車載試験を受ける。
【００８４】
本開示の別の態様は、自動車の自動化機能を検証する方法に関し、本方法は、（ａ）検証されるべき自動化機能を評価するステップと、（ｂ）自動化機能の関数を複数の関数エリアにグルーピングするステップと、（ｃ）自動化機能の検証の基礎となるべき少なくとも１つのシナリオを生成するステップと、（ｄ）少なくとも１つのシナリオを複数のテストベンチに分解するステップであって、複数のテストベンチは各々、複数の関数エリアのうちの少なくとも１つの関数エリアを基礎とするステップと、（ｅ）複数の関数エリアのうちの少なくとも１つの関数エリアにおける自動化機能の機能性を定量的に検証するステップとを含む。
【００８５】
ある実施形態において、本方法は、評価行列を、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量の何れか、またはこれらの組合せに基づいて生成するステップをさらに含む。ある実施形態において、本方法は、検証レポートを、テストベンチ実行モジュールおよびテストベンチ実行ベースの評価行列生成モジュールの出力に基づいて生成するステップをさらに含む。ある実施形態において、複数の関数エリアは、検出および知覚、状況分析および計画、決定および論理構築、および作動および動き制御を含む。ある実施形態において、自動化機能は、米国運輸省道路交通安全局（ＮＨＴＳＡ）が規定する自動化レベル２超を有する機能である。ある実施形態において、自動車における自動化機能の検証は、略リアルタイムで実行される。ある実施形態において、複数のテストベンチの何れか、または全ては、第一原理、機械学習および試験データ収集の何れか、またはこれらの組合せに基づくプラントモデルを含む。ある実施形態において、自動化機能は、自動緊急ブレーキ（ＡＥＢ）、自動バレーパーキングおよびハイウェイオートパイロットを含む、但しこれらに限定されないグループから選択される。
【００８６】
図４は、本開示の一実装による、自動車の自動化機能を検証する方法を描いた例示的なフロー図を示す。ステップ４０２に示されているように、検証を実行する必要がある自動車の自動化機能の評価が実行される。ステップ４０４に示されているように、自動化機能の関数が１つまたは複数の関数エリアにグルーピングされる。ステップ４０６に示されているように、自動化機能の検証の基礎となるべき少なくとも１つのシナリオが生成され、ステップ４０８では、少なくとも１つのシナリオが複数のテストベンチに分解される。ある実装において、複数のテストベンチは、各々、１つまたは複数の関数エリアのうちの少なくとも１つの関数エリアを基礎とする。ステップ４１０に示されているように、選択されたシナリオにおける自動化機能の１つまたは複数の関数エリアの各々の定量的検証が実行され、１つ以上の測定量に対応する値が生成される。ある実装において、１つ以上の測定量は、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量から選択される。ステップ４１２に示されているように、１つ以上の測定量に基づく評価行列が生成される。ある実装において、１つ以上の測定量は、自動化機能機能検証測定量、自動化機能性能検証測定量および自動化機能安全検証測定量から選択される。ステップ４１４に示されているように、検証レポートは、（ａ）１つ以上の測定量に対応する自動化機能の１つまたは複数の関数エリアの定量的検証から生成される値、および（ｂ）１つ以上の測定量に対応する選択されたシナリオにおける自動化機能の１つまたは複数の関数エリアの基準値を含む評価行列、の評価に基づいて生成される。
【００８７】
図５は、本開示の一実装による、システムおよびドライバにおけるデータとのその相互作用および／または前記データの流れを含む自動化機能の様々な関数、およびこれらの関数の複数の関数エリアへのグルーピングを描いた例示的な線図を示す。図示されているように、ある例示的な実装において、自動化機能の全ての論理関数は、４つの関数エリア、即ち、検出および知覚５０２、状況分析および計画５０４、決定および論理構築５０６および作動および動き制御５０８、にグルーピングされることが可能である。ある実装において、車線、曲率およびこれらに類似するものを含む、但しこれらに限定されない道路機能と、運転車線、交通規則およびこれらに類似するものを含む、但しこれらに限定されない道路規則と、交通標識、カーブ、横断歩道、駐車区域およびこれらに類似するものを含む、但しこれらに限定されない静的障害物と、車両、歩行者、サイクリスト、割込み／離脱、車線変更およびこれらに類似するものを含む、但しこれらに限定されない動的障害物と、雨、雪、霧、昼、夜を含む、但しこれらに限定されない気象条件と、同様の関数との評価のうちの１つ、またはこれらの組合せは、検出および知覚５０２の関数エリアにグルーピングされてもよい。ある実装において、脅威、標的およびこれらに類似するものを含む、但しこれらに限定されないオブジェクトの分類、オブジェクト軌道の予測、ホスト車両経路の決定および同様の関数は、状況分析および計画５０４の関数エリアにグルーピングされてもよい。ある実装において、速度調整、車両安定制御、機能有効化／無効化、アクチュエータ制御の決定、警告決定およびこれらに類似するものを含む、但しこれらに限定されない関数は、決定および論理構築５０６の関数エリアにグルーピングされてもよい。ある実装において、操舵制御コマンド、ブレーキ制御コマンド、スロットル制御コマンド、制御調停およびこれらに類似するものの発行を含む、但しこれらに限定されない関数は、作動および動き制御５０８の関数エリアにグルーピングされてもよい。本開示の実施形態および／または実装のうちの幾つかは、自動車の自動化機能の関数を４つの関数エリア、即ち、検出および知覚、状況分析および計画、決定および論理構築および作動および動き制御にグルーピングすることを例示しているが、正当な当業者には、発明の範囲および精神を逸脱することなく、自動化機能の論理関数のうちの何れか、または幾つか、または全てを、本開示の様々な実装および／または実施形態が定めるその意図される目的に沿って任意の数の関数エリアにグルーピングできることが認識されるであろう。ある実装において、検証されるべき自動化機能は、ＮＨＴＳＡが規定する自動化レベル２を有するもの、例えば、都市間ＡＥＢ（自動緊急ブレーキ）およびこれに類似するものである。ある実装において、検証されるべき自動化機能は、ＮＨＴＳＡが規定する自動化レベル３を有するもの、例えば、ハイウェイオートパイロット、バレーパーキングおよびこれに類似するものである。ある実装において、検証されるべき自動化機能は、ＮＨＴＳＡが規定する自動化レベル４を有するものである。ある実装において、検証されるべき自動化機能は、ＮＨＴＳＡが規定する自動化レベル５を有するものである。本開示の実施形態および／または実装のうちの幾つかは、ＮＨＴＳＡが規定するレベル２〜レベル５の間の自動化レベルを有する自動化機能の検証を例示しているが、正当な当業者には、発明の範囲および精神を逸脱することなく、所轄官庁の何れか、例えば、自動車技術者協会（ＳＡＥ）、米国運輸省道路交通安全局（ＮＨＴＳＡ）およびこれらに類似するもの、が規定する任意の自動化レベルの他の任意の自動化機能を、本開示の様々な実施形態および／または実装が定める効果的なシステムおよび方法を利用して検証できることが認識されるであろう。
【００８８】
図６は、本開示の実装による、ある自動化機能−ハイウェイアシストの標的割込みシナリオの例示的な図を示していて、６０２は、ホスト（対象）車両を示し、６０４は、標的車両を示す。正当な当業者であれば分かり、かつ／または認識するであろうが、ＮＨＴＳＡが規定する自動化レベル３の自動化機能であるハイウェイアシストは、ハイウェイ上の運転者を支援するために、以下の機能性、即ち、（ａ）ホスト車両を車線の中心に置くための操舵支援（横方向制御）、（ｂ）前方車両との安全距離を維持することによる縦方向支援、（ｃ）運転者が開始することによる車線変更操作の実行、（ｄ）ループ内に存在するための継続的関与を保証する運転者の監督、（ｅ）追突軽減、およびこれらに類似するもの、のうちの１つ以上を提供する。典型的には、ハイウェイアシスト機能は、ハイウェイ上で、対象車両が約６０ｋｍ／時〜約１４０ｋｍ／時の速度範囲で運転される場合に起動される。さらに、この機能は、ｄｒｉｖｅｒ−ｉｎ−ｌｏｏｐで有効化される場合も、されない場合もある。
【００８９】
本開示の実装によれば、ハイウェイアシストの関数は、評価されて複数の関数エリアにグルーピングされる。ある実装において、複数のＡＤＡＳおよびＡＤセンサおよびこれらに類似するものを用いることによる、オブジェクトおよびその状態、周辺のオブジェクト、関連する車線、辿るべき道路の曲率、の検出、ホスト車両状態の決定およびこれらに類似するものを含む、但しこれらに限定されない関数は、検出および知覚関数エリアにグルーピングされ、追従すべき特定の標的の決定、特定の標的の追跡（高速割込みか、低速割込みか）、検出されたオブジェクトおよびこれらに類似するものを含む、但しこれらに限定されない関数は、周囲状況分析および計画関数エリアにグルーピングされ、維持する必要のある速度の計算、安全距離を維持するための制動コマンド信号の起動、車線追従のための操舵コマンドの起動、ＨＭＩに関する適用される制動および操舵情報の生成およびこれらに類似するものを含む、但しこれらに限定されない関数は、決定および論理構築関数エリアにグルーピングされ、かつ、制動制御（車速からのフィードバックによる速度の制御）の起動、操舵制御の起動およびこれらに類似するものを含む、但しこれらに限定されない関数は、作動および動き制御関数エリアにグルーピングされる。
【００９０】
自動化機能の関数が１つまたは複数の関数エリアにグルーピングされると、シナリオ（ユーザシナリオ）が開発されるが、この例示的な実装において、これは、図６に示されているような標的割込みシナリオを含む。シナリオは、次に、各々が複数の関数エリアうちの１つの関数エリアを基礎とする複数のテストベンチに分解される。したがって、標的割込みシナリオは、検出および知覚関数エリア、状況分析および計画関数エリア、決定および論理構築関数エリアおよび作動および動き制御関数エリア毎の、各４つのテストベンチに分解される。
【００９１】
図７Ａは、本開示の一実装による、検出および知覚テストベンチ、およびプラントモデルと検出および知覚テストベンチにおけるデータの流れを描いた例示的な図を示す。図示されているように、プラントモデル７０２は、他の車両の割込みの予め記録されたデータに対応する、実際のセンサまたは訓練されたセンサモデルからのデータ、対象車両に対応するデータ、ホスト車両のシミュレートされたモデルおよびこれらに類似するものを含むが、この限りではない。このデータは、検出および知覚テストベンチ７１０に送られて、検証が実行され、かつホスト状態データ、検出されたオブジェクトのリスト、車線区分線、オブジェクト属性（速度、位置、他）およびこれらに類似するものが測定される（図７Ａにおいて出力の測定値として示されている）。検出および知覚テストベンチ７１０に対応する検証測定量は、対象車両の速度範囲、対象車両の車頭時間、運転者監視および運転者活性度である。
【００９２】
図７Ｂは、本開示の一実装による、状況分析および計画テストベンチ、およびプラントモデルと状況分析および計画テストベンチにおけるデータの流れを描いた例示的な図を示す。ある態様において、プラントモデル７０４は、対象車両の速度、異なる速度／操作での割込みオブジェクト、脅威オブジェクトの挿入、決定された時間に対するパラメータ値（例えば、車線属性）の損失の挿入およびこれらに類似するものに対応するデータを含み、但しこれらに限定されず、これらのデータは、検出および知覚テストベンチ７１０から得られるデータとは別に、状況分析および計画テストベンチ７２０に送られて、検証が実行され、かつ標的オブジェクト選択における応答、標的動作（前方オブジェクトが側方オブジェクトになる）を予測する応答、標的に対する安全な経路および距離の推定およびこれらに類似するものが測定される（図７Ｂにおいて出力の測定値として示されている）。状況分析および計画テストベンチ７２０に対応する検証測定量は、対象車両の速度範囲、対象車両の車頭時間、対象車両の操作調整、運転者の位置、運転者監視および運転者活性度である。
【００９３】
図７Ｃは、本開示の一実装による、決定および論理構築テストベンチ、およびプラントモデルと決定および論理構築テストベンチにおけるデータの流れを描いた例示的な図を示す。ある態様において、プラントモデル７０６は、特定の標的（ＴＯＩ）および全てのパラメータ、異なる速度での割込みオブジェクトの変動、挿入される脅威およびオーバーライド、変化する対象車両速度およびこれらに類似するものに対応するデータを含み、但しこれらに限定されず、これらのデータは、決定および制御論理構築テストベンチ７３０に送られて、検証が実行され、かつ、機能がコマンドを出す決定、機能の活性化／非活性化ステータス、オーバーライド条件およびこれらに類似するものが測定される（図７Ｃにおいて出力の測定値として示されている）。決定および論理構築テストベンチ７３０に対応する検証測定量は、対象車両の速度範囲、対象車両の車頭時間、対象車両の操作調整、対象車両のトリガ、運転者の資格および運転者位置である。
【００９４】
図７Ｄは、本開示の一実装による、作動および動き制御テストベンチ、およびプラントモデルと作動および動き制御テストベンチにおけるデータの流れを描いた例示的な図を示す。ある態様において、プラントモデル７０８は、変化する予測経路入力、標的車両の変化するオブジェクトパラメータ値（加速／減速）、規定間隔でのパラメータ損失およびこれらに類似するものに対応するデータを含み、但しこれらに限定されず、これらのデータは、作動および動き制御テストベンチ７４０へ送られて、検証が実行され、かつ、操舵速度（トルク／角度）およびコマンドされる値、安全距離の維持、制動コマンドの値および速度およびこれらに類似するものが測定される（図７Ｄにおいて出力の測定値として示されている）。作動および動き制御テストベンチ７４０に対応する検証測定量は、対象車両の制御力、対象車両の速度範囲、対象車両の操作調整および対象車両のトリガである。
【００９５】
図８は、本開示の一実装による、検証レポートの生成を描いた例示的な図を示す。図示されているように、検証レポート８２０は、（ｉ）テストベンチ７１０、７２０、７３０および７４０からの結果、即ち、自動化機能の複数の関数エリアの各々の定量的検証、および（ｉｉ）自動化機能機能検証測定量８１２、自動化機能性能検証測定量８１４および自動化機能安全検証測定量８１６のうちの何れか、またはこれらの組合せを基礎とする評価行列８１０、の評価に基づいて生成される。
【００９６】
図９Ａは、本開示の一実装による、自動化機能の非リアルタイム検証のためのテストベンチの一般的な設定を描いた例示的な図を示す。図示されているように、このテストベンチは、プラントモデル９１０と、試験（検証）中の機能のシミュレーションモデル９５０とを含み、プラントモデル９１０は、環境モデル９１２と、センサモデル９１４と、車両モデル９１６とを含む。しかしながら、発明の範囲および精神を逸脱することなく、他の任意のモデルを含むことも、完全に本開示の範囲に含まれる。プラントモデル９１０と試験中の機能のシミュレーションモデル９５０とは、インタフェースを介して接続される。プラントモデルと試験中の機能のシミュレートされたモデルとの間のインタフェースは、シミュレートされた信号の形式であってもよい。ある実装において、自動化機能の非リアルタイム検証のためのテストベンチは、機能および安全性のカバレッジを提供する能力を有する。ある実装において、複数の入力は、検証されるべき関数エリアに依存して、自動化機能の１つ以上の関数エリアの検証を実行するためのテストベンチへ提供される。
【００９７】
図９Ｂは、本開示の一実装による、非リアルタイム検証を実行するための検出および知覚検証テストベンチ７１０の設定を描いた例示的な図を示す。図示されているように、非リアルタイム検証を実行するための検出および知覚検証テストベンチ７１０は、プラントモデル９１０と、シミュレートされたインタフェースを介して接続される試験中の機能のシミュレートされたモデル９５０とを含み、プラントモデル９１０は、環境モデル９１２と、センサモデル９１４と、車両モデル９１６とを含む。環境モデル９１０は、道路工事、地形データ、道路リンク、気象条件、昼間の持続時間、地域データおよびこれらに類似するものに対応するデータを含むが、この限りではない。センサモデル９１４は、車線、交通標識、静的および動的オブジェクト、走行距離計測法、ＧＰＳおよびこれらに類似するものに対応するデータを含むが、この限りではない。車両モデル９１６は、車種、車両動力学およびこれらに類似するものに対応するデータを含むが、この限りではない。検出および知覚検証テストベンチ７１０には、入力として、試験シナリオ、機能Ｉ／Ｏおよび比較用参照データ、対象車両構成、センサ候補情報およびこれらに類似するものを含む、但しこれらに限定されない複数の情報が提供され、このテストベンチ７１０は、検証の実行に際して、検出および知覚検証関数エリアに関する性能、機能および安全の測定量のうちの１つ以上に対応する値を出力する。ある実装において、環境モデルには、ＣＡＲＳＩＭ、ＣＡＲ  ＭａｋｅｒおよびＭｏｔｉｏｎ  Ｄｅｓｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、センサモデルには、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋ、ＭＡＴＬＡＢの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、対象車両モデルには、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、ＭＡＴＬＡＢ、Ｍｏｔｉｏｎ  Ｄｅｓｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、試験中の機能のシミュレーションモデルには、ＭＡＴＬＡＢ／Ｓｉｍｕｌｉｎｋモデル、ＭＡＴＬＡＢ  Ｓ−関数、Ｃ関数の何れか、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装において、インタフェースには、シミュレートされたインタフェース信号またはバスが使用されてもよいが、この限りではない。
【００９８】
図９Ｃは、本開示の一実装による、非リアルタイム検証を実行するための状況および計画検証テストベンチ７２０の設定を描いた例示的な図を示す。図示されているように、非リアルタイム検証を実行するための状況および計画検証テストベンチ７２０は、プラントモデル９１０と、シミュレートされたインタフェースを介して接続される試験中の機能のシミュレートされたモデル９５０とを含み、プラントモデル９１０は、状況モデル９１８と、対象車両モデル９２０とを含む。状況モデル９１８は、ホスト車両の状態、オブジェクトデータ、環境データおよびこれらに類似するものに対応するデータを含むが、この限りではない。対象車両モデル９２０は、車種、車両動力学およびこれらに類似するものに対応するデータを含むが、この限りではない。状況および計画検証テストベンチ７２０には、入力として、試験シナリオ、機能Ｉ／Ｏおよび比較用参照データ、対象車両構成およびこれらに類似するものを含む、但しこれらに限定されない複数の情報が提供され、このテストベンチ７２０は、検証の実行に際して、状況および計画関数エリアに関する性能、機能および安全の測定量のうちの１つ以上に対応する値を出力する。ある実装において、状況モデルには、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、対象車両モデルには、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、試験中の機能のシミュレーションモデルには、ＭＡＴＬＡＢ／Ｓｉｍｕｌｉｎｋモデル、ＭＡＴＬＡＢ  Ｓ−関数、Ｃ関数の何れか、またはこれらの組合せが使用されてもよいが、この限りではない。インタフェースには、シミュレートされたインタフェース信号またはバスが使用されてもよいが、この限りではない。
【００９９】
図９Ｄは、本開示の一実装による、非リアルタイム検証を実行するための決定および論理構築検証テストベンチ７３０の設定を描いた例示的な図を示す。図示されているように、非リアルタイム検証を実行するための決定および論理構築検証テストベンチ７３０は、プラントモデル９１０と、シミュレートされたインタフェースを介して接続される試験中の機能のシミュレートされたモデル９５０とを含み、プラントモデル９１０は、経路計画モデル９２２と、対象車両モデル９２４と、ＨＭＩモデル９２６とを含む。経路計画モデル９２２は、車線に基づくホスト車両計画軌道、オブジェクトに基づくホスト車両計画軌道およびこれらに類似するものに対応するデータを含むが、この限りではない。対象車両モデル９２４は、車種、車両動力学およびこれらに類似するものに対応するデータを含むが、この限りではない。ＨＭＩモデル９２６は、ユーザ相互作用およびこれに類似するものに対応するデータを含むが、この限りではない。決定および論理構築検証テストベンチ７３０には、入力として、試験シナリオ、機能Ｉ／Ｏおよび比較用参照データ、対象車両構成、ＨＭＩ  Ｉ／Ｏおよび比較用参照データおよびこれらに類似するものを含む、但しこれらに限定されない複数の情報が提供され、このテストベンチ７３０は、検証の実行に際して、決定および論理構築関数エリアに関する性能、機能および安全の測定量のうちの１つ以上に対応する値を出力する。ある実装において、経路計画モデルには、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、ＨＭＩ設定には、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、ＭＡＴＬＡＢの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、対象車両モデルには、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、ＭＡＴＬＡＢ、Ｍｏｔｉｏｎ  Ｄｅｓｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、試験中の機能のシミュレーションモデルには、ＭＡＴＬＡＢ／Ｓｉｍｕｌｉｎｋモデル、ＭＡＴＬＡＢ  Ｓ−関数、Ｃ関数の何れか、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装において、インタフェースには、シミュレートされたインタフェース信号またはバスが使用されてもよいが、この限りではない。
【０１００】
図９Ｅは、本開示の一実装による、非リアルタイム検証を実行するための作動および動き制御検証テストベンチ７４０の設定を描いた例示的な図を示す。図示されているように、非リアルタイム検証を実行するための作動および動き制御検証テストベンチ７４０は、プラントモデル９１０と、シミュレートされたインタフェースを介して接続される試験中の機能のシミュレートされたモデル９５０とを含み、プラントモデル９１０は、対象車両モデル９２８と、負荷モデル９３０と、電気機械システムのモデル９４０とを含む。負荷モデル９３０は、反力９３２、負荷９３４およびこれらに類似するものに対応するデータをさらに含むが、この限りではない。電気機械システムのモデル９４０は、操舵アクチュエータ９４２および操舵コントローラ９４２ａ、制動アクチュエータ９４４および制動コントローラ９４４ａおよびエンジンおよびトランスミッションモデル９４６およびトランスミッションコントローラ９４６ａに対応するデータを含むが、この限りではない。作動および動き制御検証テストベンチ７４０には、入力として、試験シナリオ、機能Ｉ／Ｏおよび比較用参照データ、対象車両構成、電気機械システム仕様およびこれらに類似するものを含む、但しこれらに限定されない複数の情報が提供され、このテストベンチ７４０は、検証の実行に際して、作動および動き制御関数エリアに関する性能、機能および安全の測定量のうちの１つ以上に対応する値を出力する。ある実装において、対象車両モデルには、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋ、ＳｉｍｕＬｉｎｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、電気機械システムには、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋ、ＳｉｍｕＬｉｎｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装において、試験中の機能のシミュレーションモデルには、ＭＡＴＬＡＢ／Ｓｉｍｕｌｉｎｋモデル、Ｌｅｇａｃｙ  Ｃ／Ｃ＋＋コード、ＣＭＥＸ  Ｓ−関数の何れか、またはこれらの組合せが使用されてもよいが、この限りではない。インタフェースには、ＭＡＴＬＡＢ、ＳｉｍｕＬｉｎｋ、Ｓｉｎｇａｌ  Ｂｕｉｌｄｅｒ、Ｓｉｍｕｌｉｎｋ  Ｖｅｃｔｏｒ  Ｔｏｏｌｂｏｘの何れか、またはこれらの組合せが使用されてもよいが、この限りではない。
【０１０１】
図１０Ａは、本開示の一実装による、自動化機能のリアルタイム検証のためのテストベンチの一般的な設定を描いた例示的な図を示す。図示されているように、このテストベンチは、プラントモデル１０１０と、試験（検証）中の機能のシミュレーションモデル１０５０とを含み、プラントモデル１０１０は、環境モデル１０１２と、センサモデル１０１４と、車両モデル１０１６とを含む。プラントモデル１０１０と試験中の機能のシミュレーションモデル１０５０とは、インタフェースを介して接続される。ある実装において、インタフェースは物理インタフェースである。ある実装において、プラントモデルと試験中の機能のシミュレートされたモデルとの間のインタフェースは、物理的信号および伝送プロトコルを含む実インタフェースの形態である。ある実装において、試験中の自動化機能１０５０には、自動化機能の特有の機能性を構成するバイパスフック／エントリポイントが提供される。ある実装において、自動化機能のリアルタイム検証のためのテストベンチは、機能、安全および性能のカバレッジを提供する能力を有する。ある実装において、試験中の機能は、ハードウェアとソフトウェアとの統合によって実行される。ハードウェアは、クロック周波数、ＲＡＭサイズ、データバス幅およびＩ／Ｏ電圧等の属性が変わり得る組込みプロセッサ／マイクロコントローラの何れか、またはこれらの組合せであってもよいが、この限りではない。さらに、ソフトウェアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ）等の、但しこれに限定されないリアルタイムデータ処理ソフトウェアであってもよい。
【０１０２】
図１０Ｂは、本開示の一実装による、リアルタイム検証を実行するための検出および知覚検証テストベンチ７１０の設定を描いた例示的な図を示す。図示されているように、リアルタイム検証を実行するための検出および知覚検証テストベンチ７１０は、プラントモデル１０１０と、物理（リアルタイム）インタフェースを介して接続される試験中の機能のシミュレートされたモデル１０５０とを含み、プラントモデル１０１０は、環境モデル１０１２と、センサモデル１０１４と、対象車両モデル１０１６とを含む。環境モデル１０１０は、道路工事、地形データ、道路リンク、気象条件、昼間の持続時間、地域データおよびこれらに類似するものに対応するデータを含むが、これらに限定されない。センサモデル１０１４は、車線、交通標識、静的および動的オブジェクト、走行距離計測法、ＧＰＳおよびこれらに類似するものに対応するデータを含むが、この限りではない。車両モデル１０１６は、車種、車両動力学およびこれらに類似するものに対応するデータを含むが、この限りではない。検出および知覚検証テストベンチ７１０には、入力として、試験シナリオ、機能Ｉ／Ｏおよび比較用参照データ、対象車両構成、センサ候補情報、機能のフック／デバッグポイントを備えた標的ハードウェアおよびこれらに類似するものを含む、但しこれらに限定されない複数の情報が提供され、このテストベンチ７１０は、検証の実行に際して、検出および知覚検証関数エリアに関する性能、機能および安全の測定量のうちの１つ以上に対応する値を出力することができる。ある実装では、環境モデルのソフトウェアとして、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、環境モデルの配備ツールとして、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、環境モデルのハードウェアとして、ｄＳｐａｃｅ、ＯｐａｌＲＴｍ  ＲＴ、ＩＰＧ  Ｒｉｇｓ、ｘＰＣ  Ｔａｒｇｅｔの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、環境モデルのオペレーティングシステムとして、ＲＴ−Ｌｉｎｕｘ（登録商標）、ＱＮＸの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、センサモデルのソフトウェアとして、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、ＭＡＴＬＡＢの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、センサモデルの配備ツールとして、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、センサモデルのハードウェアとして、ｄＳｐａｃｅ  Ｒｉｇｓ、ＯｐａｌＲＴ、ＩＰＧ  Ｒｉｇｓ、ｘＰＣ  Ｔａｒｇｅｔの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、センサモデルのオペレーティングシステムとして、ＲＴ−Ｌｉｎｕｘ（登録商標）、ＱＮＸの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのソフトウェアとして、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、ＭＡＴＬＡＢの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルの配備ツールとして、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのハードウェアとして、ｄＳｐａｃｅ  Ｒｉｇｓ、ＯｐａｌＲＴ、ＩＰＧ  Ｒｉｇｓ、ｘＰＣ  Ｔａｒｇｅｔの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのオペレーティングシステムとして、ＲＴ−Ｌｉｎｕｘ（登録商標）、ＱＮＸの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、試験中の機能のシミュレーションモデルの配備ツールとして、ＥＨＯＯＫＳ（ＥＴＡＳ  Ｈｏｏｋｓ）、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋの何れか、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装では、試験中の機能のシミュレーションモデルのハードウェアとして、ＡＤＡＳおよびＡＤプロセッサ、ｄＳｐａｃｅ、ＯｐａｌＲＴの何れか、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装において、インタフェースには、ＣＡＮｏｅ、ＣＡＮＡＬＹＺＥＲおよびＫｅｉｌの何れか、またはこれらの組合せが使用されてもよいが、この限りではない。
【０１０３】
図１０Ｃは、本開示の一実装による、リアルタイム検証を実行するための状況および計画検証テストベンチ７２０の設定を描いた例示的な図を示す。図示されているように、リアルタイム検証を実行するための状況および計画検証テストベンチ７２０は、プラントモデル１０１０と、物理（リアルタイム）インタフェースを介して接続される試験中の機能のシミュレートされたモデル１０５０とを含み、プラントモデル１０１０は、状況モデル１０１８と、対象車両モデル１０２０とを含む。状況モデル１０１８は、ホスト車両の状態、オブジェクトデータ、環境データおよびこれらに類似するものに対応するデータを含むが、この限りではない。対象車両モデル１０２０は、車種、車両動力学およびこれらに類似するものに対応するデータを含むが、この限りではない。状況および計画検証テストベンチ７２０には、入力として、試験シナリオ、機能Ｉ／Ｏおよび比較用参照データ、対象車両構成、機能のフック／デバッグポイントを備えた標的ハードウェアおよびこれらに類似するものを含む、但しこれらに限定されない複数の情報が提供され、このテストベンチ７２０は、検証の実行に際して、状況および計画関数エリアに関する性能、機能および安全の測定量のうちの１つ以上に対応する値を出力する。ある実装では、状況モデルのソフトウェアとして、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、状況モデルの配備ツールとして、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、状況モデルのハードウェアとして、ｄＳｐａｃｅ、ＯｐａｌＲＴｍ  ＲＴ、ＩＰＧ  Ｒｉｇｓ、ｘＰＣ  Ｔａｒｇｅｔの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、状況モデルのオペレーティングシステムとして、ＲＴ−Ｌｉｎｕｘ（登録商標）、ＱＮＸの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのソフトウェアとして、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、ＭＡＴＬＡＢの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルの配備ツールとして、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのハードウェアとして、ｄＳｐａｃｅ  Ｒｉｇｓ、ＯｐａｌＲＴ、ＩＰＧ  Ｒｉｇｓ、ｘＰＣ  Ｔａｒｇｅｔの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのオペレーティングシステムとして、ＲＴ−Ｌｉｎｕｘ（登録商標）、ＱＮＸの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、試験中の機能のシミュレーションモデルの配備ツールとして、ＥＨＯＯＫＳ（ＥＴＡＳ  Ｈｏｏｋｓ）、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋの何れか、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装では、試験中の機能のシミュレーションモデルのハードウェアとして、���ＤＡＳおよびＡＤプロセッサ、ｄＳｐａｃｅ、ＯｐａｌＲＴの何れか、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装において、インタフェースには、ＣＡＮｏｅ、ＣＡＮＡＬＹＺＥＲ、Ｋｅｉｌの何れか、またはこれらの組合せが使用されてもよいが、この限りではない。
【０１０４】
図１０Ｄは、本開示の一実装による、リアルタイム検証を実行するための決定および論理構築検証テストベンチ７３０の設定を描いた例示的な図を示す。図示されているように、リアルタイム検証を実行するための決定および論理構築検証テストベンチ７３０は、プラントモデル１０１０と、試験中の機能のシミュレートされたモデル１０５０と、リアルタイムインタフェースを介して接続されるＨＭＩ設定１０２６（物理的コンポーネント）とを含み、プラントモデル１０１０は、経路計画モデル１０２２と、対象車両モデル１０２４とを含む。経路計画モデル１０２２は、車線に基づくホスト車両計画軌道、オブジェクトに基づくホスト車両計画軌道およびこれらに類似するものに対応するデータを含むが、この限りではない。対象車両モデル１０２４は、車種、車両動力学およびこれらに類似するものに対応するデータを含むが、この限りではない。ＨＭＩ設定１０２６は、計器クラスタ、ＨＵＤおよびこれらに類似するものに対応するデータを含むが、この限りではない。決定および論理構築検証テストベンチ７３０には、入力として、試験シナリオ、機能Ｉ／Ｏおよび比較用参照データ、対象車両構成、ＨＭＩ  Ｉ／Ｏおよび比較用参照データ、機能のフック／デバッグポイントを備えた標的ハードウェアおよびこれらに類似するものを含む、但しこれらに限定されない複数の情報が提供され、このテストベンチ７３０は、検証の実行に際して、決定および論理構築関数エリアに関する性能、機能および安全の測定量のうちの１つ以上に対応する値を出力する。ある実装では、経路計画モデルのソフトウェアとして、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、経路計画モデルの配備ツールとして、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、経路計画モデルのハードウェアとして、ｄＳｐａｃｅ、ＯｐａｌＲＴｍ  ＲＴ、ＩＰＧ  Ｒｉｇｓ、ｘＰＣ  Ｔａｒｇｅｔの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、経路計画モデルのオペレーティングシステムとして、ＲＴ−Ｌｉｎｕｘ（登録商標）、ＱＮＸの何れか、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのソフトウェアとして、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、ＭＡＴＬＡＢのうちの１つ、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルの配備ツールとして、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋのうちの１つ、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのハードウェアとして、ｄＳｐａｃｅ  Ｒｉｇｓ、ＯｐａｌＲＴ、ＩＰＧ  Ｒｉｇｓ、ｘＰＣ  Ｔａｒｇｅｔのうちの１つ、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのオペレーティングシステムとして、ＲＴ−Ｌｉｎｕｘ（登録商標）、ＱＮＸのうちの一方、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、ＨＭＩ���定のハードウェアとして、代表的な計器クラスタであるＨＵＤが使用されてもよいが、この限りではない。ある実装では、試験中の機能のシミュレーションモデルの配備ツールとして、ＥＨＯＯＫＳ（ＥＴＡＳ  Ｈｏｏｋｓ）、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋのうちの１つ、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装では、試験中の機能のシミュレーションモデルのハードウェアとして、ＡＤＡＳおよびＡＤプロセッサ、ｄＳｐａｃｅ、ＯｐａｌＲＴのうちの１つ、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装において、インタフェースには、ＣＡＮｏｅ、ＣＡＮＡＬＹＺＥＲ、Ｋｅｉｌ、Ｗｉｒｅハーネスのうちの１つ、またはこれらの組合せが使用されてもよいが、この限りではない。
【０１０５】
図１０Ｅは、本開示の一実装による、非リアルタイム検証を実行するための作動および動き制御検証テストベンチ７４０の設定を描いた例示的な図を示す。図示されているように、リアルタイム検証を実行するための作動および動き制御検証テストベンチ７４０は、プラントモデル１０１０と、試験中の機能のシミュレートされたモデル１０５０と、リアルタイム（物理）インタフェースを介して接続される操舵および制動アクチュエータ（物理的コンポーネント）１０３０とを含み、プラントモデル１０１０は、対象車両モデル１０２８と、電気機械システムのモデル１０４０とを含む。電気機械システムのモデル１０４０は、操舵コントローラ１０４２、制動コントローラ１０４４および送信ＬＵＴモデル１０４６に対応するデータを含むが、この限りではない。操舵および制動アクチュエータ１０３０は、負荷１０３２に対応するデータを含むが、この限りではない。作動および動き制御検証テストベンチ７４０には、入力として、試験シナリオ、機能Ｉ／Ｏおよび比較用参照データ、対象車両構成、電気機械システム仕様およびこれらに類似するものを含む、但しこれらに限定されない複数の情報が提供され、このテストベンチ７４０は、検証の実行に際して、作動および動き制御関数エリアに関する性能、機能および安全の測定量のうちの１つ以上に対応する値を出力する。ある実装において、電気機械モデルのソフトウェアとして、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋ、ＳｉｍｕＬｉｎｋのうちの１つ、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、電気機械モデルの配備ツールとして、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋのうちの１つ、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、電気機械モデルのハードウェアとして、ｄＳｐａｃｅ、ＯｐａｌＲＴｍ  ＲＴ、ＩＰＧ  Ｒｉｇｓ、ｘＰＣ  Ｔａｒｇｅｔ、ＥＣＵのうちの１つ、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、電気機械モデルのオペレーティングシステムとして、ＲＴ−Ｌｉｎｕｘ（登録商標）、ＱＮＸのうちの一方、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、電気機械コンポーネントとして、操舵アクチュエータアセンブリおよび制動アクチュエータアセンブリが使用されてもよいが、この限りではない。ある実装では、対象車両モデルのソフトウェアとして、ＣＡＲＳＩＭ、ＣＡＲ  Ｍａｋｅｒ、Ｍｏｔｉｏｎ  Ｄｅｓｋのうちの１つ、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルの配備ツールとして、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋのうちの１つ、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのハードウェアとして、ｄＳｐａｃｅ  Ｒｉｇｓ、ＯｐａｌＲＴ、ＩＰＧ  Ｒｉｇｓ、ｘＰＣ  Ｔａｒｇｅｔのうちの１つ、またはこれらの組合せが利用されてもよいが、この限りではない。ある実装では、対象車両モデルのオペレーティングシステムとして、ＲＴ−Ｌｉｎｕｘ（登録商標）、ＱＮＸのうちの一方、またはこれらの組合せが利用されてもよいが、この���りではない。ある実装では、試験中の機能のシミュレーションモデルの配備ツールとして、ＥＨＯＯＫＳ（ＥＴＡＳ  Ｈｏｏｋｓ）、ＲＴＷ、ｅＲＴ、ＴａｒｇｅｔＬｉｎｋのうちの１つ、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装では、試験中の機能のシミュレーションモデルのハードウェアとして、ＡＤＡＳおよびＡＤプロセッサ、ｄＳｐａｃｅ、ＯｐａｌＲＴのうちの１つ、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装では、インタフェースのソフトウェアとして、ＣＡＮｏｅ、ＣＡＮＡＬＹＺＥＲのうちの一方、またはこれらの組合せが使用されてもよいが、この限りではない。ある実装では、インタフェースのハードウェアとして、ＣＡＮＣａｓｅＸＬ、ワイヤハーネス、圧着ピン、コネクタ、レセプタクルのうちの１つまたはこれらの組合せが使用されてもよいが、この限りではない。
【０１０６】
ある例示的な実装では、自動化レベル２の自動化機能である自動緊急ブレーキ（ＡＥＢ）が、本開示の実装に従って実現されるシステムおよび方法を利用して検証される。検証のために、対象車両の前を移動する標的車両の突然の減速を含む少なくとも１つのシナリオが考慮される。本開示の実装によれば、シナリオは、検出および知覚テストベンチ、状況分析および計画テストベンチ、決定および論理テストベンチおよび作動および動き制御テストベンチに分解され、各関数の各々について検証が実行されて、機能、性能および安全の測定量に対応する値が得られる。機能、性能および安全の測定量のうちの１つまたはこれらの組合せに基づいて、評価行列が生成される。最後に、前記複数のテストベンチにおける検証実行の評価および評価行列に基づいて、検証レポートが生成される。ある実装において、検出および知覚テストベンチの検証測定量は、機能検証、即ちオブジェクトおよびタイプの検出、オブジェクトの追跡および標的までの距離および相対速度の測定と、性能検証、即ち更新速度およびオブジェクト検出信頼度の検出および追跡と、安全検証、即ち検出に与える気象の影響およびオブジェクト検出損失、およびこれらに類似するものを含むが、この限りではない。ある実装において、状況分析および計画テストベンチの検証測定量は、機能検証、即ち重要標的（前方車両）の選択および関連付け、重要標的および重要標的の属性の追跡と、性能検証、即ち標的の予測、重要標的の更新速度および重要標的の属性の更新速度と、安全検証、即ち検出損失に対する特定の標的、欠陥のあるオブジェクトデータに対する特定の標的とを含むが、この限りではない。ある実装において、決定および論理テストベンチの検証測定量は、機能検証、即ち閉止レンジデータの有効性および範囲、ＴＴＣ計算データの有効性および範囲、戦略に従った警告コマンドの起動および戦略に従った制動コマンドの有効化と、性能検証、即ち誤警報率およびコマンド待ち時間と、安全検証、即ちＴＯＩまでの距離および相対速度のような劣化した入力による出力公差とを含むが、この限りではない。ある実装において、作動および動き制御テストベンチの検証測定量は、機能検証、即ち制動コマンドおよび速度に対して達成される制動距離の実現と、性能検証、即ち車両の制動応答時間、制動距離の精度および継続制動の性能と、安全検証、即ち制動コマンド実装のチェックおよび異なる負荷条件に対する応答とを含むが、この限りではない。
【０１０７】
ある例示的な実装では、自動化レベル３の自動化機能であるハイウェイオートパイロットが、本開示の実装に従って実現されるシステムおよび方法を利用して検証される。検証のために、対象車両が追随している標的車両の離脱を含む少なくとも１つのシナリオが考慮される。本開示の実装によれば、シナリオは、検出および知覚テストベンチ、状況分析および計画テストベンチ、決定および論理テストベンチおよび作動および動き制御テストベンチに分解され、各関数の各々について検証が実行されて、機能、性能および安全の測定量に対応する値が得られる。機能、性能および安全の測定量のうちの１つまたはこれらの組合せに基づいて、評価行列が生成される。最後に、前記複数のテストベンチにおける検証実行の評価および評価行列に基づいて、検証レポートが生成される。ある実装において、検出および知覚テストベンチの検証測定量は、機能検証、即ちオブジェクト検出、オブジェクト追跡および標的までの距離、相対速度の測定、車線検出、道路曲率検出と、性能検証、即ち更新速度およびオブジェクト検出信頼度の検出および追跡と、安全検証、即ち検出に与える気象の影響およびオブジェクト検出損失およびこれらに類似するものとを含むが、この限りではない。ある実装において、状況分析および計画テストベンチの検証測定量は、機能検証、即ち重要標的（前方車両）の選択および車線関連付け、重要標的および重要標的の属性の追跡と、性能検証、即ち標的の予測、重要標的の更新速度および重要標的の属性と、安全検証、即ち検出損失に対する特定の標的、欠陥のあるオブジェクトデータに対する特定の標的とを含むが、この限りではない。ある実装において、決定および論理テストベンチの検証測定量は、機能検証、即ち横方向補正およびコマンド決定、縦方向補正およびコマンド決定、シナリオに対するユーザオーバーライドの組合せと、性能検証、即ち特定の標的の更新速度および予測、車線維持と、安全検証、即ち速度調整および車線維持に関する環境条件、誤った関連づけおよび入力時の安全状態とを含むが、この限りではない。ある実装において、作動および動き制御テストベンチの検証測定量は、機能検証、即ち車両の操舵角／トルクの実装、スロットル／制動の実装と、性能検証、即ち道路の曲率／速度に対する操舵速度、縦方向距離の精度と、安全検証、即ちコマンドを組み合わせる（コマンドの調停）ための車両安定性の決定、プラントモデルデータが誤っている場合の安全状態とを含むが、この限りではない。
【０１０８】
以上、本発明の様々な実施形態について説明したが、本発明の基本的な範囲を逸脱することなく、本発明の他の実施形態およびさらなる実施形態が考案されてもよい。本発明の範囲は、以下の特許請求の範囲によって決定される。本発明は、一般的な当業者が、利用可能な情報および知識と組み合わせた場合に本発明を利用できるようにするために包含されている記載された実施形態、バージョンまたは実施例に限定されない。
【０１０９】
［発明の効果］
本開示は、自動車産業における異なる自動化レベルを有する機能を検証するための、検証のために機能の展開が完了するまで待つ必要性をなくしたシステムおよび方法を提供する。
【０１１０】
本開示は、閉ループにおける能動負荷エミュレーションによるベンチ設定にコンポーネントの再使用可能性および強化を与えるシステムおよび方法を提供する。
【０１１１】
本開示は、システムの機能、安全および性能の全てについて自律機能を検証するためのシステムおよび方法を提供する。
【０１１２】
本開示は、ＲＴＯＳまたは組込みプロセッサを有するシステムのような、様々な検証プラットフォーム選択要件に対処するために試験設定にフレキシブルさを有する、自律機能を検証するためのシステムおよび方法を提供する。
【０１１３】
本開示は、検出および知覚、状況分析および計画、決定および論理構築および作動および動き制御を含む全ての機能性に渡って自律機能を検証するためのシステムおよび方法を提供する。
【０１１４】
本開示は、オープンアーキテクチャの採用を可能にするシステムおよび方法を提供する。
【０１１５】
本開示は、要件を満たすようにカスタマイズできるシステムおよび方法を提供し、例えば、本開示によるシステムおよび方法は、社内で開発される機能および／またはＯＥＭが提供する（市販の）機能に合わせて作動するように適応されることが可能である。
【０１１６】
本開示は、自動車産業における異なる自動化レベルの機能を検証するためのシステムおよび方法を提供し、その出力は、機能開発チームに提供されることが可能である。
【図１】
2018113015.tif 000003
【図２】
2018113015.tif 000004
【図３】
2018113015.tif 000005
【図４】
2018113015.tif 000006
【図５】
2018113015.tif 000007
【図６】
2018113015.tif 000008
【図７Ａ】
2018113015.tif 000009
【図７Ｂ】
2018113015.tif 000010
【図７Ｃ】
2018113015.tif 000011
【図７Ｄ】
2018113015.tif 000012
【図８】
2018113015.tif 000013
【図９Ａ】
2018113015.tif 000014
【図９Ｂ】
2018113015.tif 000015
【図９Ｃ】
2018113015.tif 000016
【図９Ｄ】
2018113015.tif 000017
【図９Ｅ】
2018113015.tif 000018
【図１０Ａ】
2018113015.tif 000019
【図１０Ｂ】
2018113015.tif 000020
【図１０Ｃ】
2018113015.tif 000021
【図１０Ｄ】
2018113015.tif 000022
【図１０Ｅ】
2018113015.tif 000023
【外国語明細書】
2018113015000001.pdf