(57)【要約】      （修正有）【課題】任意の特定アプリケーションに関連する画像または画像シーケンス内の危険を検出する。【解決手段】汎用画像内の汎用物体認識のための第１の深層ニューラルネットワークを訓練し、画像内の特定物体認識のための第２の深層ニューラルネットワークを訓練し、画像シーケンス内の特定シーンフロー予測のための第３の深層ニューラルネットワークを訓練し、人間により訓練された危険タグ付け方法を使用して、画像または画像シーケンス内の潜在的な危険領域の位置特定のための第４の深層ニューラルネットワークを訓練し、画像または画像シーケンス内の不可視および／または可視の特定の物体予測のための第５の深層ニューラルネットワークを訓練し、５つの深層ニューラルネットワークの転移学習のシーケンスとして、エンドツーエンド深層ニューラルネットワークを使用する特定アプリケーションに関連する画像または画像シーケンス内の危険ピクセルを特定する。【選択図】図１
2019153277.tif 000002
【特許請求の範囲】
【請求項１】
特定アプリケーションに関連する画像または画像シーケンス内の危険ランク付け訓練方法であって、
汎用画像内の汎用物体認識のための第１の深層ニューラルネットワーク（DNN-A）を訓
練するステップと、
前記特定アプリケーションに関連する画像内の特定物体認識のための第２の深層ニューラルネットワーク（DNN-B）を訓練するステップと、
前記特定アプリケーションに関連する画像シーケンス内の特定シーンフロー予測のための第３の深層ニューラルネットワーク（DNN-C）を訓練するステップと、
画像または画像シーケンス内で人間がどのように反応し、かつ／または環境を分析するかを捕捉するために少なくとも１つのタグ付け方法を使用して、前記特定アプリケーションに関連する前記画像または前記画像シーケンス内の潜在的な危険領域の位置特定のための第４の深層ニューラルネットワーク（DNN-E）を訓練するステップと、
人間により訓練された少なくとも１つの危険タグ付け方法を使用して、前記４つの深層ニューラルネットワークの後に少なくとも1つのエンドツーエンド最上位レイヤ（E2E TL
）が続く転移学習のシーケンスとして、エンドツーエンド深層ニューラルネットワーク（E2E DNN-4）を使用する前記特定アプリケーションに関連する画像または画像シーケンス
内の少なくとも１つの危険ピクセルを特定するステップと
を備える、危険ランク付け訓練方法。
【請求項２】
前記特定するステップでは、前記第１、第２、第３、および第４の深層ニューラルネットワークの後に前記少なくとも１つのエンドツーエンド最上位レイヤ（E2E TL）が続く転移学習のシーケンスとしての前記エンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-E-）が使用される、請求項１に記載の危険ランク付け訓練方法。
【請求項３】
前記特定アプリケーションに関連する画像または画像シーケンス内の不可視の特定の物体／動作もしくは領域の予知および／または可視の特定の物体もしくは領域の予測のための第５の深層ニューラルネットワーク（DNN-D）を訓練するステップをさらに備え、
前記特定するステップは、前記５つの深層ニューラルネットワークの後に前記少なくとも１つのエンドツーエンド最上位レイヤ（E2E TL）が続く転移学習のシーケンスとしてのエンドツーエンド深層ニューラルネットワーク（E2E DNN-5）が使用される、
請求項１に記載の危険ランク付け訓練方法。
【請求項４】
前記特定するステップは、前記第１、第２、第３、第５、および第４の深層ニューラルネットワークの後に前記少なくとも１つのエンドツーエンド最上位レイヤ（E2E TL）が続く転移学習のシーケンスとしての前記エンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-D-E）が使用される、請求項３に記載の危険ランク付け訓練方法。
【請求項５】
前記５つの深層ニューラルネットワークの転移学習のシーケンスを使用する前記エンドツーエンド深層ニューラルネットワーク（E2E DNN-5）と、
前記第１、第２、第３、第４、または第５の深層ニューラルネットワークの中の任意の深層ニューラルネットワーク（DNN-1）、
前記第１、第２、第３、第４、または第５の深層ニューラルネットワークの中の２つの深層ニューラルネットワークの転移学習のシーケンスとしての任意のエンドツーエンド深層ニューラルネットワーク（E2E DNN-2）、
前記第１、第２、第３、第４、または第５の深層ニューラルネットワークの中の３つの深層ニューラルネットワークの転移学習のシーケンスとしての任意のエンドツーエンド深層ニューラルネットワーク（E2E DNN-3）、および
前記第１、第２、第３、第４、または第５の深層ニューラルネットワークの中の４つの
深層ニューラルネットワークの転移学習のシーケンスとしての任意のエンドツーエンド深層ニューラルネットワーク（E2E DNN-4）
の中の少なくとも１つの深層ニューラルネットワークと、の結合知識を備えるエンドツーエンドマルチタスク学習深層ニューラルネットワーク（E2E MTL DNN-1）を訓練するス
テップをさらに備え、
前記特定するステップは、前記少なくとも１つのエンドツーエンド最上位レイヤ（E2E TL）がその後に続く、前記エンドツーエンドマルチタスク学習深層ニューラルネットワーク（E2E MTL DNN-1）の前記結合知識が使用される、
請求項３に記載の危険ランク付け訓練方法。
【請求項６】
前記第１、第２、第３、第４、および第５の深層ニューラルネットワークの転移学習のシーケンスを使用する前記エンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-D-E）と、
前記第１の深層ニューラルネットワーク（DNN-A）、
前記第１および第２の深層ニューラルネットワークの転移学習のシーケンスとしてのエンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B）、
前記第１、第２、および第３の深層ニューラルネットワークの転移学習のシーケンスとしてのエンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C）、および
前記第１、第２、第３、および第４の深層ニューラルネットワークの転移学習のシーケンスとしてのエンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-D）
の中の少なくとも１つの深層ニューラルネットワークと、の結合知識を備えるエンドツーエンドマルチタスク学習深層ニューラルネットワーク（E2E MTL DNN-2）を訓練するス
テップをさらに備え、
前記特定するステップは、前記少なくとも１つのエンドツーエンド最上位レイヤ（E2E TL）がその後に続く、前記エンドツーエンドマルチタスク学習深層ニューラルネットワーク（E2E MTL DNN-2)ネットワークの前記結合知識が使用される、
請求項４に記載の危険ランク付け訓練方法。
【請求項７】
前記汎用物体および特定物体内のピクセルがラベル付けされ、
前記特定シーンフロー内の物体がラベル付けされ、
潜在的な危険領域がラベル付けされる、
請求項１から６のいずれか一項に記載の危険ランク付け訓練方法。
【請求項８】
特定アプリケーションに関連する画像または画像シーケンス内の危険ランク付け方法であって、
画像または画像シーケンスを提供するステップと、
請求項１から７のいずれか一項に従って訓練された危険ランク付け訓練方法を使用して危険ランク付けマップを描くステップであって、前記危険ランク付けマップが、前記画像または画像シーケンス内の任意のレベルの危険を示す、ステップと
を備える、危険ランク付け方法。
【請求項９】
前記危険ランク付けマップが、前記画像または画像シーケンス内のピクセルごとの危険レベルを表す危険ランク付けピクセルレベルマップである、請求項８に記載の危険ランク付け方法。
【請求項１０】
前記特定アプリケーションが支援型または自律型車両運転システムであり、
前記車両に搭載された画像センサユニットを用いて前記車両周囲の画像または画像シーケンスを取り込むステップ
をさらに備える、請求項８または９に記載の危険ランク付け方法。
【請求項１１】
前記特定アプリケーションが機密領域の制御システムであり、
前記機密領域内またはその周辺に設置された少なくとも１つのビデオ監視デバイスを用いて画像または画像シーケンスを取り込むステップ
をさらに備える、請求項８または９に記載の危険ランク付け方法。
【請求項１２】
前記車両周囲の画像または画像シーケンスを取り込むように構成された少なくとも１つの画像センサユニットと、
請求項８または９に記載の方法に従って危険ランク付けマップを算出する処理ユニットと、
前記危険ランク付けマップに基づいて前記車両運転システムを制御する制御ユニットと
を備える、支援型または自律型車両運転システム。
【請求項１３】
前記処理ユニットが、所定の危険しきい値と比較して前記危険ランク付けマップの前記危険レベルを評価するようにさらに構成され、前記車両運転システムが、
危険警報を表示するように構成された表示ユニット、および
前記危険レベルを低減するように計画された安全な車両経路を計画するように構成された運転ユニット
のうちの少なくとも１つをさらに備え、
前記制御ユニットが、前記危険レベルが所定の危険しきい値を上回るときに、前記表示ユニットおよび／または前記運転ユニットを制御するように構成される、
請求項１２に記載の支援型または自律型車両運転システム。
【請求項１４】
請求項１２または１３に記載の支援型または自律型車両運転システムを備えた複数の車両を備える車両ネットワークであって、各車両の前記運転システムが、適応型ナビゲーション高精細マップで実装されたナビゲーションユニットをさらに備え、前記適応型ナビゲーション高精細マップが、前記車両ネットワークの少なくとも２つの車両の前記危険ランク付けマップに基づく危険レイヤを含む、車両ネットワーク。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に機械学習技法に関し、より詳細には、空間情報の処理のための深層畳み込みニューラルネットワーク（CNN）および時間情報の処理のための再帰型ニューラル
ネットワーク（RNN）／長短期記憶（LSTM）などの深層ニューラルネットワーク（DNN）に関する。特に、本発明は、訓練画像または訓練画像シーケンス内の危険をどのように検出するかを学習する危険ランク付け訓練方法、ならびにリアルタイム画像またはリアルタイム画像シーケンス内の危険を検出する訓練された危険ランク付け方法に関する。
【０００２】
そのような方法は、障害物の検出および回避のためのセンサを使用してその環境の中を安全にナビゲートする、人間支援型または自律型車両の分野において特に有用である。
【背景技術】
【０００３】
「Atomic Scenes for Scalable Traffic Scene Recognition in Monocular Videos」と題するChenらの発表は、４つの主要構成要素：物体認識、交通場面認識、（たとえば、先行車両の急停止などの）特定の物体に関連する運転状況の予測、および安全な経路を提案する運動計画から構成されるシステムを開示している（http://www.nec-labs.com/uploads/images/Department-Images/MediaAnalytics/papers/wacv16_atomicscenes.pdf）。
【０００４】
そのようなシステムは、原子レベルおよび高次レベルに分解された、本質的にルールベースのシステムであるという欠点を呈示する。それは、ルールまたはルールの組合せの観点から説明できない、これまで見たことがない実世界の運転状況に対処することができない。そのようなシステムは、潜在的な衝突に主として関与する特定の物体に対してあらかじめ定義された危険レベルを属性付けるが、特に、関係者のいずれにとっても重大な危険が起こらないシーンでは、運転シーン内のすべての物体に対して異なる危険レベルを属性付けることができない。原子シーンのそのような手法は、毎日の運転シナリオの９０％で危険予測の十分な正確さを提供することができるが、人間による主要な障害原因である、まれでこれまで見たことがない状況に対処することができなかった。
【０００５】
「End to End Learning for Self-Driving Cars」と題するBojarskiらの発表（https://arxiv.org/pdf/1604.07316.pdf）は、単一の前向きカメラからの生ピクセルをステアリ
ング命令に直接マッピングするように訓練された畳み込みニューラルネットワーク（CNN
）を開示している。
【０００６】
そのようなシステムは、人間のステアリング角度のみを訓練信号として用いて有用な道路特徴を検出することなどの必要な処理ステップの内部表現を自動的に学習するという欠点を呈示し、アクティベーションマップは、車両制御の判断を行うための特徴およびその位置がどれほど重要であるかを示すことができる。しかしながら、危険関連ラベルを設けることなく、そのようなシステムは、人間の監督なしにそれ自体で危険関連特徴の汎用セットを学習することができなかった。
【０００７】
「Probabilistic Grid-based Collision Risk Prediction for Driving Application」と題するRummelhardらの発表（https://hal.inria.fr/hal-01011808/document）は、衝突リスク予測のための新しいグリッドベースの手法を開示している。
【０００８】
そのようなシステムは、シーン内で見えない物体に関連する将来の状態の推定に対処することも、見える静的物体に関連する危険レベルを効率的に推定することもできない。
【０００９】
「Agent-Centric Risk Assessment:Accident Anticipation and Risky Region Localization」と題するZengらの発表（https://arxiv.org/pdf/1705.06560.pdf）は、事故予知
および危険領域位置特定作業を研究するエージェント中心手法を開示している。
【００１０】
そのようなシステムは、危険なイベントが発生していない場合、疎なラベルに対処することができず、危険レベルを推定することができない。それは、単一物体の注釈付けを必要とし、複数の潜在的に危険な物体に対する異なるリスクレベルの評価を同時にサポートすることができない。
【００１１】
「Visual Forecasting by Imitating Dynamics in Natural Sequences」と題するZeng
らの発表は、さらなる監督なしに視覚シーケンスを直接模倣する視覚予想のための一般的なフレームワークを紹介する（http://ai.stanford.edu/~dahuang/papers/iccv17-vfid.pdf)。
そのような方法は、予測結果として意味的キーワードしか与えることができないという欠点を呈示し、それは、細かい危険ランク付け作業に必要とされる高密度ピクセルレベルマップを生成することができない。
【００１２】
「DESIRE:Distant Future Prediction in Dynamic Scenes with Interacting Agents」と題するＬｅｅらの発表は、動的なシーンにおける複数の相互作用エージェントの将来予測の作業用の深層確率IOC1 RNNエンコーダ／デコーダフレームワークDESIREを紹介している（http://www.nec-labs.com/uploads/images/Department-Images/MediaAnalytics/papers/cvpr17_futureprediction.pdf）。
【００１３】
そのようなシステムは、将来予測を生成するために利用可能なかなりの継続時間の過去の軌跡を有する目に見える移動物体でのみ作業するという欠点を呈示する。それは、物体の将来の状態がシーン内で静的であるか、または目に見えないかを予測するために使用することができないので、一次入力としてそのような予測を使用する場合の危険レベルマップは不完全なはずである。
【００１４】
「Generating the Future with Adversarial Transformers」と題するVondrickらの発
表（http://carlvondrick.com/transformer.pdf）は、ビデオの中で近い将来を生成する
学習モデルを開示している。
【００１５】
この論文は、将来のビデオを生成し、そのビデオ内の物体を分類して危険マップを取得する可能性に言及していない。記述された手法は、異なる物体に異なる危険レベルを属性付けるという問題、および認識できない物体上のピクセルを含むすべてのピクセルに危険レベルをどのように属性付けるかを解決することができなかった。
【００１６】
「Predicting Motivations of Actions by Leveraging Text」と題するVondrickらの発表（http://carlvondrick.com/intention.pdf）は、コンピュータビジョンにおける重要
な問題として人間の行動を理解することを開示している。
【００１７】
この論文は、物体の誘因を予測して危険マップを取得する可能性に言及していない。そのようなモデルは、とにかく認識される可能性がある物体だけに限定されるはずである。さらに、ラベルは境界ボックスレベルで物体を考慮するので、道路などの複雑な物体の位置は高精度に特定されない。
【００１８】
「Predicting Actions from Static Scenes」と題するＶｕらの発表は、多数のシーン
カテゴリについての行動シーン相関関係を発見し、そのような相関関係を行動予測に使用することを目的としている（http://www.di.ens.fr/willow/research/actionsfromscenes
/paper/eccv14_actionsfromscenes.pdf）。
【００１９】
この論文は、行動を予測して危険マップを取得する可能性に言及していない。このモデルは予測結果として意味的キーワードのみを与えるので、それは、細かいレベルの軌跡制御に必要な高密度ピクセルレベルマップを生成するために使用することができない。
【００２０】
「CAD2RL:Real Single-Image Flight Without a Single Real Image」と題するSadeghiらの発表（https://arxiv.org/pdf/1611.04201.pdf）は、3D CADモデル上で完全に訓練されながら、現実世界で衝突のない室内飛行を実行するために使用することができる、学習方法CAD2RLを提案している。
【００２１】
そのようなシステムは、目に見える物体検出にのみ基づいており、物体の将来の状態に関連する危険に対処することができない自由空間確率マップを出力するという欠点を呈示する。
【００２２】
「Knowledge Transfer for Scene-specific Motion Prediction」と題するBallanらの
発表（https://arxiv.org/pdf/1603.06987v2.pdf）は、軌跡予測のためのシーン特定知識を活用する動的ベイジアンネットワークを紹介している。
【００２３】
そのような方法は、移動する物体を有するシーンの長期間のデータ収集に依存するという欠点を呈示する。それは、訓練データの収集用の疎なラベルや動的なカメラの動きに対処することができない。それは、様々な状況で訓練データを取得するのにひどく時間がかかり、静的な物体またはまれなイベントに対処することができない。
【発明の概要】
【００２４】
本発明は、従来技術の上述された欠点に対処することを目的とし、より詳細には、任意の特定アプリケーションに関連する画像または画像シーケンス内の危険を検出することができる危険ランク付け訓練方法を最初に提案することを目的とする。本発明はまた、訓練された方法を使用して、特定アプリケーションに関連するリアルタイムの画像または画像シーケンス内の危険を検出し、危険レベル、すなわち、各危険が局在し、アプリケーションごとに一様／均一なレベルを有することを評価する、危険ランク付け訓練方法を提案することを目的とする。
【００２５】
本発明の第１の態様は、
−汎用画像内の汎用物体認識のための第１の深層ニューラルネットワーク（DNN-A）を
訓練するステップと、
−特定アプリケーションに関連する画像内の特定物体認識のための第２の深層ニューラルネットワーク（DNN-B）を訓練するステップと、
−特定アプリケーションに関連する画像シーケンス内の特定シーンフロー予測のための第３の深層ニューラルネットワーク（DNN-C）を訓練するステップと、
−人間が環境にどのように反応し、かつ／または環境を分析するかを捕捉するために１つの人間により訓練された少なくともタグ付け方法を使用して、特定アプリケーションに関連する画像または画像シーケンス内の潜在的な危険領域の位置特定のための第４の深層ニューラルネットワーク（DNN-E）を訓練するステップと、
−人間により訓練された危険タグ付け方法を使用して、少なくとも１つのエンドツーエンド特定レイヤ、好ましくは少なくとも１つの最上位レイヤ（E2E TL）がその後に続く、４つの深層ニューラルネットワークの転移学習のシーケンスとして、エンドツーエンド深層ニューラルネットワーク（E2E DNN-4）を使用する特定アプリケーションに関連する画
像または画像シーケンス内の少なくとも１つの危険ピクセルを特定するステップと
を備える、特定アプリケーションに関連する画像または画像シーケンス内の危険ランク
付け訓練方法に関する。
【００２６】
そのような危険ランク付け訓練方法により、特定アプリケーションに関連する画像または画像シーケンス内の少なくとも１つの危険ピクセル、好ましくは画像または画像シーケンス内の最も危険なピクセルを特定するための、エンドツーエンド深層ニューラルネットワークを訓練することが可能になる。そのような実現は、汎用画像認識および特定画像認識、特定シーンフロー予測、および潜在的な危険領域の位置特定を含む、様々な訓練ステップのおかげで可能である。実際、画像認識ステップにより、訓練方法は、任意の物体、より詳細には特定アプリケーションに関連する任意の物体をどのように分類するかを学習することが可能になる。シーンフロー予測ステップにより、物体が環境内でどのように動くかを学習することが保証される。潜在的な危険領域の位置特定ステップは、（たとえば、自動車アプリケーション用の運転シナリオにおいて）人間がどのように反応し、かつ／または環境を分析するかを学習するための方法を訓練する。ここで、これらのシナリオのうちのいくつかは、潜在的な危険を含む可能性があり、人間の反応はそれに特有のはずである。したがって、人間の反応をタグとして使用することにより、潜在的に危険な運転シーンをどのように区別するかを学習する。最後に、エンドツーエンド深層ニューラルネットワーク（E2E DNN-4)は、これまでの知識ごとに訓練された特徴を受け取る１つまたはいくつかのエンドツーエンド最上位レイヤをさらに含む。これらの最上位レイヤはまた、危険ランク付けの独自のステップのための特有の特徴を学習し、かつ、前のステップから学習された特徴を再利用する。そのようなエンドツーエンド深層ニューラルネットワークは、画像または画像シーケンスによって表される状況において人間が危険領域を検出する方法を模倣することによって危険ランク付けを学習するための方法を訓練する。エンドツーエンド深層ニューラルネットワークは危険レベルを評価する。この評価は、危険レベルの人間ベースのラベルが、すべての画像または画像シーケンスに対して危険プロトコルの同じレベル定義に従って危険をタグ付けするように人間に要求することによる系統的な方法で収集されるという事実に基づく。
【００２７】
本アプローチ、すなわち、複数の知識転移を導入することにより、まれなイベントが考慮され、まれなイベントの確率が大幅に減少する。各知識レベルで、その知識レベルではまれなイベントが別の知識レベルでは一般的である可能性があるので、まれなイベントは、あらゆる知識レベルの組合せにおいてまれである非常に少ない数のケースに限定される。
【００２８】
さらに、そのような訓練方法では、互いに特徴を転移させることにより、同じDNNアー
キテクチャを使用して別々に各深層ニューラルネットワーク（DNN）を訓練することが可
能である。
【００２９】
特定するステップにとって有利なことに、訓練方法は、少なくとも１つのエンドツーエンド最上位レイヤ（E2E TL）がその後に続く、第１、第２、第３、および第４の深層ニューラルネットワークの転移学習のシーケンスとして、エンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-E）を使用する。
【００３０】
実際、訓練サンプル／ラベルの数は第１のDNNにとって非常に重要であり構造化された
知識を表し、その数は、第２、第３、および第４のDNNの各々について著しく減少し、非
構造化知識を表す。したがって、個々のDNNのそのような訓練順序は、先行するより構造
化された知識から恩恵を受ける。
【００３１】
有利なことに、危険ランク付け訓練方法は、特定アプリケーションに関連する画像または画像シーケンス内の不可視の特定の物体もしくは領域の予知および／または可視の特定の物体もしくは領域の予測のための第５の深層ニューラルネットワーク（DNN-D）を訓練
するステップをさらに備え、特定するステップにおいて、５つの深層ニューラルネットワークの転移学習のシーケンスとしてのエンドツーエンド深層ニューラルネットワーク（E2E DNN-5）が使用される。好ましくは、特定するステップにおいて、訓練方法は、少なく
とも１つのエンドツーエンド最上位レイヤ(E2E TL）がその後に続く、第１、第２、第３
、第５、および第４の深層ニューラルネットワークの転移学習のシーケンスとして、エンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-D-E）を使用する。
【００３２】
可視物体／領域の訓練は、ある特定の位置で特定の継続時間内に物体／領域がその状態を変化させることを予測／予知するか、または将来のその出現を予知するのに有用であり、これは、物体レベルでラベルが欠落しているが、ピクセルまたは領域のレベルでラベルを有する場合に、特に有用である。より一般的には、予測／予知は、少なくとも位置、出現の継続時間、動き方向、形状変形のタイプ、現在の物体／領域が移動する可能性が高い目標物体の選択、ならびに状態およびそれらの組合せの他の可能な変化を予測／予知することに関係する。特定物体が（対象のアプリケーションに特有の）訓練データセットによって制限される特定のケースにおいて、予測および予知のステップで使用される物体、およびその現在から将来状態への軌跡や潜在的な状態変化の種類は、それにもかかわらず、非監督的な方法で自動的に発見される可能性がある。
【００３３】
DNN-Dの訓練は、画像または画像シーケンス内の位置、状態などを予測／予知するため
に、不可視の物体／領域および／または可視の特定の物体もしくは領域についての興味深い特徴をさらにもたらす。
【００３４】
第３と第４との間のこの第５の個別ネットワークを訓練することは、先行するより構造化された知識から恩恵を受けるために、シーケンス内で完全に適合する。
【００３５】
有利なことに、危険ランク付け訓練方法は、前記５つの深層ニューラルネットワークの転移学習のシーケンスを使用し１つの知識ブロックを表す前記エンドツーエンド深層ニューラルネットワーク（E2E DNN-5）と、少なくとも他の知識ブロックを表す、(i)第１、第２、第３、第４、または第５の深層ニューラルネットワークの中の任意の深層ニューラルネットワーク（DNN-1）、(ii)第１、第２、第３、第４、または第５の深層ニューラルネ
ットワークの中の２つの深層ニューラルネットワークの転移学習のシーケンスとしての任意のエンドツーエンド深層ニューラルネットワーク（E2E DNN-2）、(iii)第１、第２、第３、第４、または第５の深層ニューラルネットワークの中の３つの深層ニューラルネットワークの転移学習のシーケンスとしての任意のエンドツーエンド深層ニューラルネットワーク（E2E DNN-3）、および(iv)第１、第２、第３、第４、または第５の深層ニューラル
ネットワークの中の４つの深層ニューラルネットワークの転移学習のシーケンスとしての任意のエンドツーエンド深層ニューラルネットワーク（E2E DNN-4）の中の少なくとも１
つの深層ニューラルネットワークと、の結合知識を備えるエンドツーエンドマルチタスク学習深層ニューラルネットワーク（E2E MTL DNN-1）を訓練するステップをさらに備え、
特定するステップでは、少なくとも１つのエンドツーエンド最上位レイヤ（E2E TL）がその後に続く、エンドツーエンドマルチタスク学習深層ニューラルネットワーク（E2E MTL DNN-1）の結合知識が使用される。
【００３６】
より好ましくは、危険ランク付け訓練方法は、第１、第２、第３、第４、および第５の深層ニューラルネットワークを使用し１つの知識ブロックを表すエンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-D-E）と、少なくとも他の知識ブロックを表す、(i)第１の深層ニューラルネットワーク（DNN-A）、(ii)第１および第２の深層ニューラル
ネットワークの転移学習のシーケンスとしてのエンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B）、(iii)第１、第２、および第３の深層ニューラルネットワークの転移学習のシーケンスとしてのエンドツーエンド深層ニューラルネットワーク（E2E DNN-A-
B-C）、ならびに(iv)第１、第２、第３、および第４の深層ニューラルネットワークの転
移学習のシーケンスとしてのエンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-D）の中の少なくとも１つの深層ニューラルネットワークの転移学習のシーケンスと
、の結合知識を備えるエンドツーエンドマルチタスク学習深層ニューラルネットワーク（E2E MTL DNN-2）を訓練するステップをさらに備え、特定するステップは、少なくとも１
つのエンドツーエンド最上位レイヤ（E2E TL）がその後に続く、エンドツーエンドマルチタスク学習深層ニューラルネットワーク（E2E MTL DNN-2）の結合知識が使用される。
【００３７】
そのような訓練方法は、互いに特徴を転移させ、すべての知識ブロックを単一のエンドツーエンドマルチタスクDNNの中に結合することにより、同じDNNアーキテクチャを使用して別々に各知識ブロックを訓練するという利点を呈示し、複数の知識の組合せとしてピクセルレベルでの危険ランク付けを学習するために、高レベルの特徴へのアクセスを共有する。
【００３８】
有利なことに、汎用物体および特定物体内のすべてのピクセルがラベル付けされ、特定シーンフロー内のすべての物体がラベル付けされ、すべての潜在的な危険領域がラベル付けされる。
【００３９】
別の目的によれば、本発明の第２の態様は、画像または画像シーケンスを提供するステップと、第１の態様に従って訓練された危険ランク付け訓練方法を使用して危険ランク付けマップを描くステップであって、危険ランク付けマップが、画像または画像シーケンス内の任意のレベルの危険を示す、ステップとを備える、特定アプリケーションに関連する画像または画像シーケンス内の危険ランク付け方法に関する。
【００４０】
そのような方法は、複数の人間の個体からの疎／密なラベルを結合し、その結果、最終的に訓練されたエンドツーエンド深層ニューラルネットワークは、そのような個々の人間の経験のすべてを、単一の人間に比べてより強くする単一の複数の専門家の経験に再結合した。たとえば、常に雪の中で運転する人からいくつかの危険ラベルが来ており、乾燥した状態で運転している人から他のラベルが来ている場合、訓練された結合エンドツーエンドネットワークは、少なくとも一度に両方の状態で両方の運転手と同じく良好なはずだが、人間は重要な経験を有する場所でのみ良好である。このようにして、エンドツーエンドネットワークは、すべての運転状況についてのすべての運転者の経験を再結合し統合した。したがって、そのような方法は、単一の画像または時系列の画像を入力として取り込み、すべての状況における人間の危険認知を考慮し、無制限のシナリオで危険ランクを推定することを可能にする危険ランク付け画像マップを出力として生成する、結合エンドツーエンド深層ニューラルネットワークを提供する。結果として、それは訓練された方法に高レベルの自律性を与える。
【００４１】
有利なことに、危険ランク付けマップは、画像または画像シーケンス内のピクセルごとの危険レベルを表す危険ランク付けピクセルレベルマップである。
【００４２】
同様にして、そのような方法は、単一の画像または時系列の画像を入力として取り込み、ピクセルレベル危険ランク付け画像マップを出力として生成する、エンドツーエンド深層ニューラルネットワークを提供する。さらに、ピクセルレベル危険マップは、画像または画像シーケンスを分割するセンサの品質によって制限されない。その上、危険ランク付けピクセルレベルマップは、画像ピクセルごとに、（同様のシーンについて一様な）現在の状況に関するその危険レベル（危険ランク付け）を提供する。ラベルの数量を増やし、ラベルの密度を高めると、訓練の精度が向上するが、データ処理およびラベリングの時間ならびに訓練時間も長くなる。結合エンドツーエンド深層ニューラルネットワークは、疎ラベルのみを使用して訓練され、リアルタイムの運転シナリオにおいて高密度の危険ラン
ク付けマップを生成する容量を受け継いでいるので、提案された手法は、疎ラベルのみを使用することによって危険レベルを推定する際に非常に効率的であることが証明されている。
【００４３】
有利なことに、特定アプリケーションは、支援型または自律型車両運転システムであり、危険ランク付け方法は、車両に搭載された画像センサユニットを用いて車両周囲の画像または画像シーケンスを取り込むステップをさらに備える。
【００４４】
そのようなアプリケーションの場合、危険ランク付けピクセルレベルマップは、画像ピクセルごとに、（同様の運転シーンについて均一な）現在の運転状況に関するその危険レベルを提供する。そのようなマップは、特にまれ／ユニークな運転シナリオの場合に、軌跡制御の安全かつ効率的な経路計画を実現する必要がある、高度支援型／自律型運転車両制御システムの重要な要素である。
【００４５】
あるいは、特定アプリケーションは機密領域の制御システムであり、危険ランク付け方法は、機密領域内またはその周辺に設置された少なくとも１つのビデオ監視デバイスを用いて画像または画像シーケンスを取り込むステップをさらに備える。
【００４６】
そのような機密領域は、たとえば、病院内の集中治療室、刑務所内の高セキュリティ区域、または原子力発電所内の高セキュリティ領域などである。
【００４７】
別の目的によれば、本発明はさらに、車両周囲の画像または画像シーケンスを取り込むように構成された少なくとも１つの画像センサユニットと、第２の態様の方法に従って危険ランク付けマップを算出する処理ユニットと、危険ランク付けマップに基づいて車両運転システムを制御する制御ユニットとを備える、支援型または自律型車両運転システムに関する。
【００４８】
有利なことに、処理ユニットは、所定の危険しきい値と比較して危険ランク付けマップの危険レベルを評価するようにさらに構成され、車両運転システムは、危険警報を表示するように構成された表示ユニット、および危険レベルを低減するように計画された安全な車両経路を計画するように構成された運転ユニットのうちの少なくとも１つをさらに備え、制御ユニットは、危険レベルが所定の危険しきい値を上回るときに、表示ユニットおよび／または運転ユニットを制御するように構成される。
【００４９】
支援型または自律型車両運転システムに対するそのような適用は、たとえば、近づいてくる可視物体を含む危険領域を人間が認知するように、潜在的な危険領域を示す危険ランク付けマップの形で、環境内の任意の潜在的な危険を考慮に入れることにより、運転システムの安全性を向上させる。
【００５０】
他の目的によれば、本発明はさらに、請求項１２または１３に記載の支援型または自律型車両運転システムを備えた複数の車両を備える車両ネットワークに関し、各車両の運転システムは、適応型ナビゲーション高精細マップで実装されたナビゲーションユニットをさらに備え、前記適応型ナビゲーション高精細マップは、車両ネットワークの少なくとも２つの車両の危険ランク付けマップに基づく危険レイヤを含む。
【００５１】
そのような車両ネットワークは、車両運転システムごとの安全性を高め、ネットワークの他の車両の危険ランク付けマップから恩恵を受ける。
【図面の簡単な説明】
【００５２】
本発明の他の特徴および利点は、添付の図面によって例示される、本発明の特定の非限
定的な例の以下の詳細説明からより明らかになる。
【００５３】
【図１】図１は、本発明の２つの好ましい実施形態による、危険ランク付け訓練方法を表す。
【図２】図２は、転移知識学習の汎用フローチャートを表す。
【図３】図３は、本発明の好ましい実施形態による、危険ランク付け方法を表す。
【図４】図４は、知識結合の汎用フローチャートを表す。
【図５】図５は、本発明による方法を実施するために必要なユニットを備えた車両を表す。
【発明を実施するための形態】
【００５４】
本発明の様々な実施形態をより詳細に記載する前に、主に自律型自動車への適用を記載する残りの説明の理解に有用になるであろういくつかの一般的な記述がここにある。しかしながら、本発明は、たとえば、病院内の集中治療室、刑務所内の高セキュリティ区域、または原子力発電所内の高セキュリティ領域などの機密領域の制御システムを有する他の特定アプリケーションに完全に置換可能であることを理解されよう。
【００５５】
本発明の一態様は、画像ピクセルごとに、（同様の運転シーンについて一様な）現在の運転状況に関するその危険レベル（すなわちランク）を提供する、危険ランク付けピクセルレベルマップを導入することを目的とする。そのようなマップは、特にまれ／ユニークな運転シナリオの場合に、軌跡制御の安全かつ効率的な経路計画を実現する必要がある、高度支援型／自律型運転車両制御システムの重要な要素である。
【００５６】
図１は、本発明の２つの好ましい実施形態による、危険ランク付け訓練方法を表す。
【００５７】
そのような危険ランク付け方法を車両運転システムの中に実装する前に、そのようなアルゴリズムを訓練することが重要である。簡略化のために、図１に表される訓練方法は、支援型または自律型自動車への適用に関する。
【００５８】
第１の態様によれば、危険ランク付け訓練方法は、
Ｓ１：汎用画像内の汎用物体認識のための第１の深層ニューラルネットワーク（DNN-A
）を訓練するステップと、
Ｓ２：特定アプリケーションに関連する画像内の特定物体認識のための第２の深層ニューラルネットワーク（DNN-B）を訓練するステップと、
Ｓ３ａ：特定アプリケーションに関連する画像シーケンス内の特定シーンフロー予測のための第３の深層ニューラルネットワーク（DNN-C）を訓練するステップと、
Ｓ４：運転シナリオをオフラインで再生するか、またはシミュレートする、運転シナリオまたは運転状況において人間がどのように反応し、かつ／または環境を分析するかを捕捉するための少なくとも１つのタグ付け方法を使用して、特定アプリケーションに関連する画像または画像シーケンス内の潜在的な危険領域の位置特定のための第４の深層ニューラルネットワーク（DNN-E）を訓練するステップと、
Ｓ５：１つの人間により訓練された少なくとも危険タグ付け方法を使用して、第１、第２、第３、および第４の深層ニューラルネットワークの後に１つまたはいくつかのエンドツーエンド最上位レイヤ（E2E TL）が続く転移学習のシーケンスとして、エンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-E-）を使用する特定アプリケーションに関連する画像または画像シーケンス内の少なくとも１つの危険ピクセルを特定するステップと
を備える。
【００５９】
第２の態様によれば、危険ランク付け訓練方法は、ステップＳ３ａとステップＳ４との
間にステップＳ３ｂをさらに備える：
Ｓ３ｂ：特定アプリケーションに関連する画像または画像シーケンス内の不可視の特定の物体もしくは領域の予知および／または可視の特定の物体もしくは領域の予測のための第５の深層ニューラルネットワーク（DNN-D）を訓練するステップ。
【００６０】
その結果、ステップＳ５は以下のように適合される：
Ｓ５：１つの人間により訓練された少なくとも危険タグ付け方法を使用して、第１、第２、第３、第５、および第４の深層ニューラルネットワークの後に１つまたはいくつかのエンドツーエンド最上位レイヤ（E2E TL）が続く転移学習のシーケンスとして、エンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-D-E）を使用する特定アプリケー
ションに関連する画像または画像シーケンス内の少なくとも１つの危険ピクセルを特定するステップ。
【００６１】
より詳細には、各ニューラルネットワークの訓練は、データセットおよびそれらのデータセットに対応するラベルを供給することによって行われる。
【００６２】
汎用物体認識のための第１の深層ニューラルネットワーク（DNN-A）の訓練は、
−汎用物体（Dataset-A）および汎用物体ラベル（Label-A）を含む汎用画像を供給すること、ならびに
−汎用画像の汎用物体を分類するために使用される少なくとも１つのクラス汎用特徴空間（Conv-A）および少なくとも１つのクラス汎用決定空間（FC-A）を汎用物体ラベルの中に出力すること
によって行われる。
【００６３】
この第１のネットワークDNN-Aの目標は、何がある物体を他の物体と異なるものにする
かを学習することである。そのような訓練は、堅牢な低レベルおよび高レベルの視覚的特徴を与える。転移学習は、物体カテゴリごとに堅牢でユニークな応答を生成することができる。
【００６４】
特定物体認識のための第２の深層ニューラルネットワーク（DNN-B）の訓練は、
−少なくとも１つの特定物体（Dataset-B）および特定物体ラベル（Label-B）を含む特定画像を供給すること、ならびに
−特定画像の特定物体を分類するために使用される少なくとも１つのクラス特定特徴空間（Conv-B）および少なくとも１つのクラス特定決定空間（FC-B）を特定物体ラベルの中に出力すること
によって行われる。
【００６５】
この第２のネットワークDNN-Bの目標は、ピクセルレベルで画像をカテゴリに区分する
ことを学習することである。そのような訓練は、運転シーンにおける特定物体のカテゴリおよび位置の知識を与える。転移学習は、画像の区分を意味的カテゴリの反復可能な領域および運転コンテキストの前歴（prior）に転移させる。
【００６６】
特定シーンフロー予測のための第３の深層ニューラルネットワーク（DNN-C）の訓練は
、
−少なくとも１つの特定物体および特定動作を含む特定画像シーケンス（Dataset-C）
またはシーンフローラベル（Label-C）を供給すること、ならびに
−特定画像シーケンスの特定シーンフローを予測するために使用される少なくとも１つのクラス特定特徴空間（Conv-C）および少なくとも１つのクラス特定決定空間（FC-C）を特定シーンフローラベルの中に出力すること
によって行われる。
【００６７】
この第３のネットワークDNN-Cの目標は、高密度のオプティカルフローと深度マップを
どのように推定するかを学習することである。そのような訓練は、物体への移動方向、移動速度、および移動距離の知識を与える。転移学習の場合、それは観測可能な運転シーンのセンサ位置に依存しない理解を転移させる。
【００６８】
不可視の特定の物体／動作もしくは領域の予測、または可視の特定の物体／動作もしくは領域の予測のための第４の深層ニューラルネットワーク（DNN-D）の訓練は、
−少なくとも１つの特定物体を含む特定画像または特定画像シーケンス（Dataset-D）
、および特定の不可視物体ラベル（Label-D）を供給すること、ならびに
−特定画像または特定画像シーケンスのいずれかで不可視または可視の特定の物体／動作または領域の出現を予知／予測するために使用される、少なくとも１つのクラス特定特徴空間（Conv-D）および少なくとも１つのクラス特定決定空間（FC-D）を出力すること
によって行われる。
【００６９】
この第４のネットワークDNN-Dの目標は、物体のカテゴリ、それらの動作、および主に
コンテキストに依存する位置をどのように予測するかを学習することである。そのような訓練は、運転シーンにおける物体の潜在的なカテゴリおよび位置の知識を与える。転移学習の場合、それは運転シーンを予測するセンサ位置に依存しない理解を転移させる。特定物体の将来の状態の物体／動作予測は、現在の運転シーン内の物体を見ることなく、潜在的に危険な画像領域に集中するために必要とされる分類および位置特定につながる。
【００７０】
潜在的な危険領域の特定の視線追跡位置特定のための第５の深層ニューラルネットワーク（DNN-E）の訓練は、
−少なくとも１つの可視または不可視の特定物体を含む特定画像シーケンス（Dataset-E）、および人間の専門家によってタグ付けされた特定危険タグ付けラベル（Label-E）を供給すること、ならびに
−人間の専門家によって教示された特定画像シーケンス内の潜在的な危険領域を位置特定するために使用される、少なくとも１つのクラス特定特徴空間（Conv-E）および少なくとも１つのクラス特定決定空間（FC-E）を出力すること
によって行われる。
【００７１】
この第５のネットワークDNN-Eの目標は、運転者の経験を模倣して、わずかな画像領域
にのみ焦点を当てることである。そのような訓練は、運転シーンごとの重要／顕著な物体または領域を識別する能力を与える。転移学習は、運転シーンの物体または領域ごとに顕著性のレベルの推定値を転移させる。特に、人にとって顕著な画像領域をフィルタリングするために、視線追跡位置特定が必要とされる。特に、運転のために潜在的に重要な画像領域をさらにフィルタリングするために、自動車の視線追跡位置特定が重要である。
【００７２】
エンドツーエンド深層ニューラルネットワーク（E2E DNN-A-B-C-D-E）の訓練は、１つ
またはいくつかのエンドツーエンド最上位レイヤ（E2E TL）がその後に続く、第１、第２、第３、第５、および第４の深層ニューラルネットワークの転移学習のシーケンスによって行われ、
−少なくとも１つの可視または不可視の特定物体を含む特定画像シーケンス（Dataset-E2E）、および人間の専門家によってタグ付けされた特定危険タグ付けラベル（Label-E2E）を供給すること、ならびに
−少なくとも１つの危険ピクセルを特定すること
によって行われる。
【００７３】
このエンドツーエンドネットワークの目標は、運転シーン内の各物体または領域との衝
突リスクのレベルを推定することである。そのような訓練は、危険ランク付けマップの知識を与える。転移学習は、たとえば、他の時系列深層ニューラルネットワーク（LSTM, RNNなど）への入力として使用されるように、単一の画像ベースのピクセルレベル危険ラン
ク付けマップを転移させる。危険レベルランク付けおよび位置特定の具体的な知識は、運転に重要な領域の中にある、危険推定に重要な画像領域をフィルタリングするために重要である。
【００７４】
図２は、DNN A-Eに適用される、転移知識学習の汎用フローチャートを表す。グラフか
ら容易に理解することができるように、ネットワークＡは最も構造化された知識を有し、ネットワークＢよりも多い数の訓練サンプルおよびラベルを取得し、ネットワークＢはネットワークＣよりも多い数の訓練サンプルおよびラベルを取得し、ネットワークＣはネットワークＤよりも多い数の訓練サンプルおよびラベルを取得し、ネットワークＤはネットワークＥよりも多い数の訓練サンプルおよびラベルを取得し、ネットワークＥは最も構造化されていない知識を有する。
【００７５】
個々のモデルまたはネットワークＡ〜Ｅを訓練することは、先行するより構造化された知識から恩恵を受ける。
【００７６】
自動車アプリケーションの場合、訓練目的のために選択されたデータセットは、たとえば、
Dataset-A: ImageNet
Dataset-B: Cytiscapes
Dataset-C: KITTI
Dataset-D: KITTI
Dataset-E: CAT2000またはDriveEye
E2Eのデータセット: Cytiscapes
であり得る。
【００７７】
訓練の後、その目的は、自動車アプリケーションのための支援型／自律型自動車の運転システムにそのような方法を直接組み込むことである。
【００７８】
図３は、本発明の好ましい実施形態による、危険ランク付け方法を表す。
【００７９】
深層ニューラルネットワークA-EおよびE2Eは、それらが訓練されるという事実だけで訓練方法と異なる。その結果、知識転移は、運転状況の入力画像を受信し、ピクセルレベルの危険マップを出力する、訓練されたエンドツーエンドDNN-A-B-C-D-E-TLによって行われ、各ピクセルの値は危険のランクに対応する。
【００８０】
画像当たり１つのピクセルしかラベル付けされていない訓練データに対してエンドツーエンド深層ニューラルネットワークを訓練し、一連の転移を行うことにより、（転移ステップで学習された）物体認識の知識を危険の知識（現在のステップで学習され、非常にまばらにラベル付けされたデータ）と成功裏に結合することを学習することができ、一連の転移学習ステップが使用されれば、非常にまばらな（画像当たり１ピクセル）訓練データについて訓練することによって高密度危険ランク付けマップは、取得することができることが確認された。すべてのピクセルを危険とラベル付けする必要はなく、ラベリング時間の大幅な高速化が図れる。
【００８１】
エンドツーエンド深層ニューラルネットワークは、複数の経験（同一人物によるが、数週間の期間内に異なる画像にタグ付けされた注釈）を単一の解決策に統合することが可能であること、１画像当たり１つの物体のみしか注釈付けされていないにもかかわらず、シ
ーン内の複数の物体に対するに高いレベルの危険を示すこと、および、複数の専門家からのデータの組合せも実現可能であろうことが確認された。
【００８２】
図４は、本発明の好ましい実施形態による、知識結合の汎用フローチャートを表す。
【００８３】
この図から容易に理解できるように、DNNのマルチタスク訓練を使用することにより、
ネットワークのエンドツーエンド畳み込み部分によって抽出された特徴にアクセスするだけでなく、デコンボリューション部分、すなわちA, A-B, A-B-C, A-B-C-DおよびA-B-C-D-E内の転移学習ブロックの各々によって抽出された特徴にもアクセスすることによって、
危険ランク付けマップを訓練することができる。これにより、危険ランク付け用の転移ブロックの各々を１つずつ削除し、マルチタスク危険ランク付けの精度を比較することにより、それらがどれだけ重要であるかをベンチマークすることが可能になる。また、それにより、マルチタスク危険ランク付けと個々の転移学習マップとの間の接続の位置および強度を示す、アクティベーションマップを視覚化することも可能になるに違いない。接続が強くなればなるほど、多くの危険ランク付けが特定の画像ピクセルごとの転移学習マップに依存する。これにより、危険ランク付けが意思決定を行うために情報を取る場所から、転移学習ブロックのどの組合せがどの状況で最も強いかを画像領域ごとに理解することが可能になる。そのような情報は、危険ランク付け訓練方法および危険ランク付け方法を常に向上させるために非常に重要である。
【００８４】
さらに、このようにして、訓練プロセスは、特定知識または汎用知識を使用して訓練された１つの個々の深層ニューラルネットワーク、および画像または画像シーケンスのためのピクセルの危険レベルをランク付けするように訓練された１つのエンドツーエンド深層ニューラルネットワークまで削減することができ、同様に、訓練プロセスは、少なくとも１つのエンドツーエンド最上位レイヤ（E2E TL）がその後に続く、エンドツーエンドマルチタスク学習深層ニューラルネットワーク（E2E MTL DNN-1）の結合知識がその後に続く
、知識転移の任意の妥当な数のシーケンスに拡張することができる。
【００８５】
図５は、ビデオまたは連続する一連の画像（画像シーケンス）を撮るために車両の前方の道路または環境を指す少なくとも１つのカメラ２００を備えた車両を表す。車両１００はまた、処理ユニットおよび電子制御ユニット（３００）と、表示ユニットおよび自動運転ユニット（４００、４１０）とを備える。
【００８６】
処理ユニットは、所定の危険しきい値と比較して危険ランク付けマップの危険レベルを評価するように構成され、制御ユニットは、危険レベルが所定の危険しきい値を上回るときに表示ユニットおよび／または運転ユニットを制御するように構成され、その結果、表示ユニットは危険警報を表示することができ、かつ／または運転ユニットは危険レベルを低減するように計画された安全な車両経路を計画することができる。
【００８７】
添付の特許請求の範囲によって規定される本発明の範囲から逸脱することなく、本明細書に記載された本発明の様々な実施形態に、当業者にとって明らかな様々な修正および／または改善をもたらすことができることが理解されよう。
【図１】
2019153277.tif 000003
【図２】
2019153277.tif 000004
【図３】
2019153277.tif 000005
【図４】
2019153277.tif 000006
【図５】
2019153277.tif 000007
【外国語明細書】
2019153277000001.pdf
2019153277000002.pdf
2019153277000003.pdf
2019153277000004.pdf