(57)【要約】      （修正有）【課題】自律運転、自律駐車分野に適用できる軌道計画モデルの訓練方法、装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムを提供する。【解決手段】軌道計画モデルの訓練方法は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の、交通工具の周辺の複数のオブジェクトを含む画像を取得し、画像に基づいて、軌道計画モデルによって、交通工具の画像内の複数の初期軌道ポイントを示す特徴マップを取得し、画像を認識して、画像内の複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域及び複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定し、第１領域と第２領域に対する複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するステップと、計画軌道ポイントと交通工具の実際の軌道ポイントに基づいて、軌道計画モデルを訓練する。【選択図】図２
2022003508.tif 000002
【特許請求の範囲】
【請求項１】
軌道計画モデルの訓練方法であって、
交通工具の少なくとも１つのセンサーを使用して前記交通工具が位置する物理的環境の、前記交通工具の周辺の複数のオブジェクトを含む画像を取得するステップと、
前記画像に基づいて、前記軌道計画モデルによって、前記交通工具の前記画像における複数の初期軌道ポイントを示す特徴マップを取得するステップと、
前記画像を認識して、前記画像内の前記複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域と、前記複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するステップと、
前記第１領域と前記第２領域に対する前記複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するステップと、
前記計画軌道ポイントと前記交通工具の実際の軌道ポイントに基づいて、前記軌道計画モデルを訓練するステップと、を含む軌道計画モデルの訓練方法。
【請求項２】
前記第１領域と前記第２領域を確定するステップは、
訓練された深度推定ネットワークに基づいて、前記複数のオブジェクトと前記交通工具との距離を示す深度マップを取得するステップと、
前記距離に基づいて前記第１領域と前記第２領域を確定するステップと、を含む請求項１に記載の方法。
【請求項３】
計画軌道ポイントを確定するステップは、
前記位置関係に基づいて、前記複数の初期軌道ポイントのうちの初期軌道ポイントの対応する重みを確定するステップと、
前記重みと特徴マップに基づいて、前記計画軌道ポイントを確定するステップと、を含む請求項１に記載の方法。
【請求項４】
重みを確定するステップは、
前記複数の初期軌道ポイントのうちの第１グループの初期軌道ポイントが前記第１領域にあるのに応答して、前記第１グループの初期軌道ポイントが第１重みを有すると確定するステップと、
前記複数の初期軌道ポイントのうちの第２グループの初期軌道ポイントが前記第２領域にあるのに応答して、前記第２グループの初期軌道ポイントが第２重みを有すると確定するステップと、を含み、
前記第１重みは前記第２重みより大きい、請求項３に記載の方法。
【請求項５】
前記第１重みは１であり、前記第２重みは０．４である、請求項４に記載の方法。
【請求項６】
前記第１領域と前記第２領域を含む識別マップに対して縮小処理を行うことをさらに含み、前記縮小処理は、
第１所定のフォーマットの前記識別マップと第２所定のフォーマットの前記特徴マップに基づいて縮小比率を確定すること、及び
前記縮小比率に基づいて第１所定のフォーマットの前記識別マップを第２所定のフォーマットの前記識別マップに縮小することを含む、請求項１に記載の方法。
【請求項７】
非道路オブジェクトは、歩行者、交通工具、建築、植物または道路標識を含む、請求項１に記載の方法。
【請求項８】
交通工具の軌道を確定する方法であって、
前記交通工具の少なくとも１つのセンサーを使用して前記交通工具が位置する物理的環境の画像を取得するステップと、
前記画像に基づいて、請求項１〜７のいずれか一項に記載の方法に従って訓練される軌道計画モデルによって前記交通工具の軌道を確定するステップと、を含む方法。
【請求項９】
軌道計画モデルの訓練装置であって、
交通工具の少なくとも１つのセンサーを使用して前記交通工具が位置する物理的環境の、前記交通工具の周辺の複数のオブジェクトを含む画像を取得するように配置される画像取得モジュールと、
前記画像に基づいて、前記軌道計画モデルによって、前記交通工具の前記画像における複数の初期軌道ポイントを示す特徴マップを取得するように配置される特徴マップ確定モジュールと、
前記画像を認識して、前記画像内の前記複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域と前記複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するように配置される画像認識モジュールと、
前記第１領域と前記第２領域に対する前記複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するように配置される計画軌道確定モジュールと、
前記計画軌道ポイントと前記交通工具の実際の軌道ポイントに基づいて、前記軌道計画モデルを訓練するように配置される軌道計画訓練モジュールと、を備える、軌道計画モデルの訓練装置。
【請求項１０】
前記画像認識モジュールは、
訓練された深度推定ネットワークに基づいて、前記複数のオブジェクトと前記交通工具との距離を示す深度マップを取得するように配置される深度推定モジュールと、
前記距離に基づいて前記第１領域と前記第２領域を確定するように配置される領域確定モジュールと、を備える請求項９に記載の装置。
【請求項１１】
前記計画軌道確定モジュールは、
前記位置関係に基づいて、前記複数の初期軌道ポイントのうちの初期軌道ポイントの対応する重みを確定するように配置される重み確定モジュールと、
前記重みと特徴マップに基づいて、前記計画軌道ポイントを確定するように配置される軌道確定モジュールと、を備える請求項９に記載の装置。
【請求項１２】
前記重み確定モジュールは、
前記複数の初期軌道ポイントのうちの第１グループの初期軌道ポイントが前記第１領域にあるのに応答して、前記第１グループの初期軌道ポイントが第１重みを有すると確定するように配置される第１重み確定モジュールと、
前記複数の初期軌道ポイントのうちの第２グループの初期軌道ポイントが前記第２領域にあるのに応答して、前記第２グループの初期軌道ポイントが第２重みを有すると確定するように配置される第２重み確定モジュールと、を備え、
前記第１重みは前記第２重みより大きい、請求項１１に記載の装置。
【請求項１３】
前記第１重みは１であり、前記第２重みは０．４である、請求項１２に記載の装置。
【請求項１４】
前記第１領域と前記第２領域を含む識別マップに対して縮小処理を行うように配置される縮小処理モジュールをさらに備え、前記縮小処理モジュールは、
第１所定のフォーマットの前記識別マップと第２所定のフォーマットの前記特徴マップに基づいて縮小比率を確定するように配置される比率確定モジュールと、
前記縮小比率に基づいて第１所定のフォーマットの前記識別マップを第２所定のフォーマットの前記識別マップに縮小するように配置される縮小実行モジュールと、を備える請求項９に記載の装置。
【請求項１５】
非道路オブジェクトは、歩行者、交通工具、建築、植物または道路標識を含む、請求項９に記載の装置。
【請求項１６】
交通工具の軌道を確定する装置であって、
前記交通工具の少なくとも１つのセンサーを使用して前記交通工具が位置する物理的環境の画像を取得するように配置される画像確定モジュールと、
前記画像に基づいて、請求項９〜１５のいずれか一項に記載の装置によって訓練される軌道計画モデルによって前記交通工具の軌道を確定するように配置される軌道確定モジュールと、を備える、交通工具の軌道を確定する装置。
【請求項１７】
電子機器であって、前記機器は、
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するための記憶装置と、を備え、当前記１つまたは複数のプログラムは前記１つまたは複数のプロセッサによって実行される際、前記１つまたは複数のプロセッサに請求項１〜７のいずれか一項に記載の方法を実現させる、電子機器。
【請求項１８】
電子機器であって、前記機器は、
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するための記憶装置と、を備え、前記１つまたは複数のプログラムは前記１つまたは複数のプロセッサによって実行される際、前記１つまたは複数のプロセッサに請求項８に記載の方法を実現させる、電子機器。
【請求項１９】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記プログラムはプロセッサによって実行される際に請求項１〜７のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
【請求項２０】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記プログラムはプロセッサによって実行される際に請求項８に記載の方法を実現する、コンピュータ可読記憶媒体。
【請求項２１】
コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行される際、請求項１〜８のいずれか一項に記載の方法を実現させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の実施例は自律運転分野に関し、より具体的に、軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムに関する。
【背景技術】
【０００２】
コンピュータとインターネットの発展に伴い、低速の自律運転シーンでは、巡航経路を計画するためにますます多くの神経ネットワーク構造が提案されており、通常、画像を入力して神経ネットワークを訓練することによって、正確で信頼性が高い巡航経路を取得する。しかしながら、入力画像には、路線計画に関連する道路情報だけでなく、路線計画に関連しない遠方の建物、車両、歩行者などの干渉情報も含まれている。神経ネットワークの計算量が限られ、データ量とネットワーク容量が限られる場合、これらの干渉情報は神経ネットワークの計算コストを増加させ、大量のリソースを消耗することになる。このため、経路計画の正確さを向上させるために、低コストで、高速且つ効率的な経路計画訓練方法を見つける必要がある。
【発明の概要】
【０００３】
本開示の実施例によれば、軌道計画モデルを訓練し、交通工具の軌道を確定する手段を提供する。
【０００４】
本開示の第１態様において、軌道計画モデルの訓練方法を提供する。該方法は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の、交通工具の周辺の複数のオブジェクトを含む画像を取得するステップと、画像に基づいて、軌道計画モデルによって、交通工具の画像内の複数の初期軌道ポイントを示す特徴マップを取得するステップと、画像を認識して、画像内の複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域及び複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するステップと、第１領域と第２領域に対する複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するステップと、計画軌道ポイントと交通工具の実際の軌道ポイントに基づいて、軌道計画モデルを訓練するステップと、を含む。
【０００５】
本開示の第２態様において、交通工具の軌道を確定する方法を提供する。該方法は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の画像を取得するステップと、画像に基づいて、第１態様の方法に従って訓練された軌道計画モデルによって交通工具の軌道を確定するステップと、を含む。
【０００６】
本開示の第３態様において、軌道計画モデルの訓練装置を提供する。該装置は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の、交通工具の周辺の複数のオブジェクトを含む画像を取得するように配置される画像取得モジュールと、画像に基づいて、軌道計画モデルによって、画像内の交通工具の複数の初期軌道ポイントを示す特徴マップを取得するように配置される特徴マップ確定モジュールと、画像を認識し、画像内の複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域及び複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するように配置される画像認識モジュールと、第１領域と第２領域に対する複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するように配置される計画軌道確定モジュールと、計画軌道ポイントと交通工具の実際の軌道ポイントに基づいて、軌道計画モデルを訓練するように配置される軌道計画訓練モジュールと、を備える。
【０００７】
本開示の第４態様において、交通工具の軌道を確定する装置を提供する。該装置は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の画像を取得するように配置される画像確定モジュールと、画像に基づいて、第３態様の装置に従って訓練された軌道計画モデルによって交通工具の軌道を確定するように配置される軌道確定モジュールと、を備える。
【０００８】
本開示の第５態様において、電子機器を提供し、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置と、を備え、１つまたは複数のプログラムは１つまたは複数のプロセッサによって実行される際、１つまたは複数のプロセッサに本開示の第１態様による方法を実現させる。
【０００９】
本開示の第６態様において、電子機器を提供し、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置と、を備え、１つまたは複数のプログラムは１つまたは複数のプロセッサによって実行される際、１つまたは複数のプロセッサに本開示の第２態様による方法を実現させる。
【００１０】
本開示の第７態様において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、該プログラムはプロセッサによって実行される際に本開示の第１態様による方法を実現する。
【００１１】
本開示の第８態様において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、該プログラムはプロセッサによって実行される際に本開示の第２態様による方法を実現する。
本開示の第９態様において、コンピュータプログラムを提供し、該コンピュータプログラムがプロセッサによって実行される際、本開示の第１と第２態様による方法を実現させる。
【００１２】
理解すべきものとして、この部分で説明する内容は、本開示の実施例の肝心なまたは重要な特徴を特定することを意図するものではなく、本開示の範囲を限定することを意図するものでもない。本開示の他の特徴は以下の説明を通じて容易に理解される。
【図面の簡単な説明】
【００１３】
図面を参照して以下の詳しい説明を組み合わせ、本開示の各実施例の上記及び他の特徴、利点及び態様をより明らかにする。図面では、同じまたは類似の図面符号は同じまたは類似の要素を示す。
【図１】本開示の複数の実施例を実現できる例示的な環境を示す模式図である。
【図２】本開示のいくつかの実施例による軌道計画モデルの訓練プロセスを示すフローチャートである。
【図３】本開示のいくつかの実施例による計画軌道ポイントを確定する模式図である。
【図４】本開示のいくつかの実施例による交通工具の軌道を確定するプロセスを示すフローチャートである。
【図５】本開示のいくつかの実施例による軌道計画モデルの訓練装置を示す概略ブロック図である。
【図６】本開示のいくつかの実施例による交通工具の軌道を確定する装置を示す概略ブロック図である。
【図７】本開示の複数の実施例を実施できる計算機器のブロック図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本開示の好ましい実施例を説明する。図面に本開示の好ましい実施例を示したが、理解すべきものとして、ここで説明された実施例によって制限されず、様々な形式で本開示を実現できる。逆に、これらの実施例は、本開示をより明確且つ完備にさせ、本開示の範囲を完全に当業者に伝えることができるために提供される。
【００１５】
本明細書で使用される「含む」という用語およびその変形は、制限のない包含、すなわち「含むがこれに限定されない」を意味する。特に明記しない限り、「または」という用語は「および／または」を意味する。「に基づく」という用語は、「少なくとも部分的に基づく」を意味する。「一つの例示的な実施例」及び「一つの実施例」という用語は、「少なくとも１つの例示的な実施例」を意味する。「他の実施例」という用語は、「少なくとも１つの他の実施例」を示す。「第１」、「第２」などという用語は、異なるまたは同じオブジェクトを指すことができる。以下には、他の明示的および暗黙的な定義も含まれる場合がある。
【００１６】
本開示の実施例の説明では、「モデル」という用語は、訓練データから対応する入力と出力との間の関連を学習することができ、それにより、訓練が完了した後に訓練して得られたパラメータセットに基づいて所定の入力を処理して対応する出力を生成する。「モデル」は、「神経ネットワーク」、「学習モデル」、「学習ネットワーク」または「ネットワーク」と呼ばれる場合がある。これらの用語は、本明細書で切り替えるように使用することができる。
【００１７】
以上に言及されたように、入力画像には、路線計画に関連する道路情報だけでなく、路線計画に関連しない遠方の建物、車両、歩行者などの干渉情報も含まれている。神経ネットワークの計算量が限られ、データ量とネットワーク容量が限られる場合、これらの干渉情報は神経ネットワークの計算コストを増加させ、大量のリソースを消耗することになる。このため、経路計画の正確さを向上させるために、低コストで、高速且つ効率的な経路計画訓練方法を見つける必要がある。
【００１８】
本開示の実施例によれば、軌道計画モデルの訓練手段を提出する。該手段では、まず、交通工具の周囲の物理的環境の画像を取得し、画像には、例えば道路に関連するオブジェクト（例えば車線）と非道路に関連するオブジェクト（その他の交通工具、歩行者、周囲の風景）が含まれる。次に、上記画像を訓練対象軌道計画モデルに入力して高レベルの特徴マップを取得し、高レベルの特徴マップに初期軌道ポイントが含まれ、同じ画像を認識して、道路に関連する領域と非道路に関連する領域を確定する。次に、上記高レベルの特徴マップにおける初期軌道ポイントと道路領域及び非道路領域との関係を比較して、どの初期軌道ポイントに焦点を合わせる必要があるかを確定し、それにより、最初に計画された軌道ポイントを取得する。最終的に、最初に計画された軌道ポイントと実際の軌道を比較し、継続的な反復を通じて軌道計画モデルを訓練する。
【００１９】
初期軌道ポイントと道路領域及び非道路領域との関係を確立することによって、焦点を合わせる必要のある軌道ポイントをさらに確定することができ、このため、データ処理の量を減少でき、それにより、軌道計画ネットワークの学習の難しさを効果的に低下させ、ネットワーク収束性を高め、これにより軌道計画結果の安定性を向上させる。
【００２０】
以下、図面を参照して本開示の基本的な原理と若干の例の実現を説明する。
【００２１】
図１は、本開示の複数の実施例を実現できる例示的な環境１００を示す模式図である。理解すべきものとして、図１に示されるような環境１００は例示的なものだけであり、本開示に記載の実現する機能と範囲に対する如何なる制限を構成するものではない。図１に示されるように、環境１００は、道路を走行する交通工具１０４を含む。図１の例では、交通工具１０４は人および／または物を運び、エンジンなどの動力システムを通じて移動することができる任意のタイプの車両であり得、自動車、トラック、バス、電気車両、オートバイ、ＲＶ、列車を含むが、これらに制限されない。いくつかの実施例において、環境１００の中での１つまたは複数の交通工具１０４は一定の自律運転能力を有する車両であり得、このような車両は無人運転車両とも呼ばれる。いくつかの実施例において、交通工具１０４はまた、自律運転能力を有さない車両であり得る。
【００２２】
交通工具１０４は、計算機器１０２に通信可能に結合されることができる。独立した実体として示されるが、計算機器１０２は交通工具１０４に埋め込まれることができる。計算機器１０２は交通工具１０４の外部の実体として、無線ネットワークを介して交通工具１０４に通信できる。計算機器１０２は、計算能力を有する任意の機器であり得る。非限定的な例として、計算機器１０２は、任意のタイプの固定計算機器、モバイル計算機器またはポータブル計算機器であり得、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、マルチメディアコンピュータ、携帯電話などを含むが、これらに制限されなく、計算機器１０２のすべての構成要素または一部の構成要素はクラウド端に分布されてもよい。計算機器１０２は、プロセッサ、メモリ及び一般的に汎用コンピュータに存在している他の構成要素を少なくとも含み、計算、記憶、通信、制御などの機能を実現するようにする。
【００２３】
交通工具１０４は少なくとも１つのセンサー１０５をさらに備え、交通工具１０４が位置する物理的環境の画像１１０を取得するように配置される。例えば、図１の例では、センサー１０５は画像センサーであり得、コンピュータ視覚技術によって交通工具１０４が位置する環境の画像１１０を取得する。図１の例示的な環境１００では、画像１１０はビデオ１０１のフレームである。図示されないが、ビデオ１０１は他のフレームを含んでもよく、他のフレームに対して本開示による画像処理を実行することができることを理解すべきである。画像１１０はまた、カメラによって撮影された静止画像であり得る。一例として、例えばＬ３レベルの自律運転のシーンでは、画像１１０は１つの前方広角カメラ及び４つのフィッシュアイカメラによって収集されるものであり得る。画像１１０は、任意の適切な手段によって取得されるものであってもよい。
【００２４】
該例示的な環境１００では、計算機器１０２により画像１１０を処理する。計算機器１０２は画像認識技術（例えば、訓練された２Ｄ認識モデル）を使用して画像１１０における１つまたは複数のオブジェクトを確定することができる。計算機器１０２は軌道計画モデル１０３を使用して交通工具１０４の運転経路の軌道を確定することもできる。軌道計画モデル１０３は、経路軌道計画を実行できる任意のタイプのモデルを含む。具体的な経路計画タスクによって、軌道計画モデル１０３の構成及び訓練方法は異なる。軌道計画モデル１０３のいくつかの例は、サポートベクトルマシン（ＳＶＭ）モデル、ベイズモデル、ランダムフォレストモデル、畳み込み神経ネットワーク（ＣＮＮ）、リカレント神経ネットワーク（ＲＮＮ）などの様々な深層学習／神経ネットワークモデルを含むが、これらに制限されない。軌道計画モデル１０３は、独立した実体として示されるが、計算機器１０２に実現されることもできる。
【００２５】
以下、図２〜図５を組み合わせて詳しい訓練軌道計画モデルと交通工具の軌道を確定するプロセスを説明する。図２は、本開示の実施例による軌道計画モデルの訓練方法２００を示すフローチャートである。方法２００は図１における計算機器１０２により実施されることができる。説明の簡便のため、図１を参照して方法２００を説明する。
【００２６】
ブロック２１０で、計算機器１０２は交通工具１０４の少なくとも１つのセンサー１０５を使用して交通工具１０４が位置する物理的環境の画像１１０を取得する。いくつかの実施例において、交通工具１０４はある位置まで運転する場合に、交通工具１０４の内部または外部に取り付けられるカメラを使用して交通工具１０４の前方にある画像１１０を取得することができる。
【００２７】
図１に示されるように、画像１１０は交通工具１０４の前方の交差点の道路状況を反映でき、画像１１０にオブジェクト１１１〜１１６が含まれ、オブジェクト１１１は道路上の車両として示され、オブジェクト１１２は道路を横断する歩行者として示され、オブジェクト１１３は道路側の木として示され、オブジェクト１１４は交通標識として示され、オブジェクト１１５は遠方の建物として示され、及びオブジェクト１１６は道路上のマーキングライン及び道路として示される。理解すべきものとして、図１に示されるような画像１１０に含まれるオブジェクトの数とタイプは例示的なものだけであり、制限することを意味しない。画像１１０は任意の数とタイプのオブジェクトを含み得る。
【００２８】
一代替実施例において、計算機器１０２は、交通工具１０４が位置する物理的環境に関連付けられている、交通工具１０４の外部の１つまたは複数の機器に通信可能であり、画像１１０を取得する。例えば、計算機器１０２は、交通工具１０４が位置する位置周囲の沿道カメラに通信可能であり、画像１１０を取得する。理解すべきものとして、本分野の既知のネットワーク技術（例えば、セルラーネットワーク（例えば第５世代（５Ｇ）ネットワーク、長期進化（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、コード分割マルチアクセス（ＣＤＭＡ）ネットワークなど）、パブリックランドモバイルネットワーク（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えばパブリックスイッチドテレフォンネットワーク（ＰＳＴＮ））、プライベートネットワーク、自己組織化ネットワーク、イントラネット、インターネット、ファイバーベースのネットワークなど、および／またはこれらまたは他のタイプのネットワークの組み合わせ）を使用して、計算機器１０２、交通工具１０４と沿道カメラとの接続を確立することができ、ここで詳しく説明しない。
【００２９】
ブロック２２０で、計算機器１０２は画像１１０に基づいて、軌道計画モデル１０３によって特徴マップを取得する。一例では、軌道計画モデル１０３は一定量のデータセットを介して訓練された畳み込み神経ネットワークであり、交通工具１０４の初期軌道ポイントを出力することができる。例えば、交通工具１０４の前方広角カメラ画像と人間の運転者の運転の軌道を記録することができ、次に、この軌道を各枚の収集された画像に投影し、続いて、画像を畳み込み神経ネットワークに入力し、畳み込み神経ネットワークの学習のために提供される。これは一例だけであり、初期パラメータが設定された、最初に訓練されない軌道計画モデル１０３を使用して特徴マップを取得することもできる。
【００３０】
一実施例において、計算機器１０２は画像１１０を軌道計画モデル１０３に入力し、該画像は畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）計算、完全接続（ＦＣ）計算、プーリング（ｐｏｏｌｉｎｇ）計算を通じて特徴マップを取得する。該特徴マップは出力結果に最も近い高レベルの特徴マップであり得る。図１に示されるように、特徴マップに複数の初期軌道ポイント１１７が含まれ、該複数の軌道ポイント１１７は交通工具１０４の運転経路を構成する。
【００３１】
ブロック２３０で、計算機器１０２は画像を認識し、画像１１０内の複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域及び複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定する。例えば、計算機器１０２は、画像１１０を認識することによって、そのうちの車両１１１、歩行者１１２、木１１３、標識１１４、建築１１５及び道路上のマーキングライン及び道路１１６を確定する。オブジェクト１１１〜１１５は非道路オブジェクトであり、オブジェクト１１６は道路オブジェクトである。オブジェクトに関連付けられている領域はオブジェクトの輪郭内の領域であってもよいし、或いはオブジェクトの不規則な輪郭の外側の接線によって形成される多角形の領域であってもよい。道路オブジェクトに関連付けられている第１領域は、運転可能領域と呼ばれ、非道路オブジェクトに関連付けられている第２領域は、非運転領域と呼ばれ得る。
【００３２】
いくつかの実施例において、計算機器１０２は訓練された深度推定ネットワークに基づいて、深度マップを取得し、深度マップは、距離マップとも呼ばれ、センサー１０５から画像１１０の各点までの距離をピクセル値として使用する画像を指し、つまり、深度マップ内の各ピクセル値は画像１１０内のある点とセンサー１０５または交通工具１０４との間の距離を示す。次に、計算機器１０２は上記距離に基づいて第１領域と第２領域、即ち運転可能領域と非運転領域を確定する。深度推定ネットワークはマルチビューポイントに基づく深度推定、シングルビューポイントに基づく深度推定、両眼画像に基づく深度推定または両眼画像に基づく深度推定であり得るが、ここで制限されない。一例では、深度マップに対して画像マスク処理を実行でき、運転可能領域を取得するようにし、マスクは二次元マトリックス配列であり、第１領域に対応する数値１と第２領域に対応する数値０を有し、マスクと画像１１０をかけ、運転可能領域を取得する。
【００３３】
一代替実施例において、計算機器１０２は検出および分類機器に基づいて画像１１０内のオブジェクトを検出し、直接分類することができる。マルチクラシファイアやツークラシファイアなどの検出および分類機器は、検出されたオブジェクトを任意の適切な種別に分類でき、例えば人間、車両、植物、標識、道路などに分類できる。計算機器は、次に上記分類によって運転可能領域と非運転領域を直接確定することができる。
【００３４】
注意すべきものとして、従来或いは将来開発される技術を使用して運転可能領域と非運転領域を確定することができ、本開示はこれに制限しない。
【００３５】
ブロック２４０で、計算機器１０２は第１領域と第２領域に対する複数の初期軌道ポイント１１７の位置関係に基づいて、計画軌道ポイントを確定する。計算機器１０２は、まず、複数の初期軌道ポイント１１７が第１領域と第２領域に対する位置関係を確定し、次に、該位置関係に基づいて計画軌道ポイントを確定する。これは、以下で図３を参照して詳細に説明する。
【００３６】
一実施例において、計算機器１０２は第１領域と第２領域に対する複数の初期軌道ポイント１１７の位置関係を確定する前に、第１領域と第２領域を含む識別マップに対して縮小処理を行うことができ、例えば、計算機器１０２は識別マップの第１所定のフォーマット（例えばａ×ｂ）と前記特徴マップの第２所定のフォーマット（例えばｃ×ｄ）を確定することができ、次に、計算機器は例えばａとｃとの比率ｍ及びｂとｄとの比率ｎを計算することによって縮小比率を確定する。最終的に、計算機器１０２は縮小比率ｍとｎを使用して第１所定のフォーマットの識別マップを第２所定のフォーマットの識別マップに縮小する。
【００３７】
識別マップと高レベルの特徴マップを比較する前に識別マップを縮小処理することによって、データ処理の量を更に減少し、且つ比較しやすくして、軌道計画モデルの訓練の難しさを低下させる。
【００３８】
ブロック２５０で、計算機器１０２は計画軌道ポイントと交通工具１０４の実際の軌道ポイントに基づいて、軌道計画モデルを訓練する。例えば、計算機器１０２は交通工具１０４におけるセンサーから複数回の実際の運転軌道を取得することができ、且つ三次元ポイントクラウド画像を使用して交通工具１０４の実際の軌道ポイントを再構築する。次に、計算機器１０２は２４０で取得された計画軌道ポイントと実際の軌道ポイントを比較して、その間の誤差を取得することができる。次に、計算機器１０２は該誤差を逆方向（即ち軌道計画モデル１０３の出力層から入力層への方向）に沿って伝播する。逆方向の伝播プロセスにおいて、勾配降下アルゴリズムに依存して、軌道計画モデル１０３における各レイヤーのパラメータの値を調整することができる。複数回の訓練に従って、軌道計画モデル１０３の計画軌道ポイントと実際の軌道ポイントとの間の誤差が小さくなり、モデルが収束するまで、訓練プロセスが完了する。
【００３９】
一実施例において、計算機器１０２は式（１）によって計画軌道ポイントと実際の軌道ポイントとの間のクロスエントロピー損失Ｌを計算することができ、
【数１】
2022003508.tif 000003
ｉは１つのサンプルを示し、Ｎはサンプル数を示し、ｙｇｔは実際の軌道ポイントを示し、ｙｐは計画軌道ポイントを示す。次に、計算機器は式（２）によって逆方向に伝播でき、それにより、軌道計画モデル１０３の１つの訓練を完成し、
【数２】
2022003508.tif 000004
γはハイパーパラメータ学習率を示し、ｆは軌道計画モデル１０３のネットワーク構造を示し、θは学習対象パラメータを示し、ｙｇｔは実際の軌道ポイントを示し、Ｌはクロスエントロピー損失計算を示す。
【００４０】
理解すべきものとして、ブロック２５０における訓練方法は一例である。実際の適用には、必要に応じて、任意の他のネットワーク構成と訓練方法を有してもよく、本開示の実施例はこの態様で制限しない。
【００４１】
本開示は、計画軌道ポイントと深度マップ（運転可能領域）との間の関係を使用し、深度推定の結果で軌道計画タスクの訓練を導き、学習の難しさを低減させ、訓練データの量とネットワーク容量を制限するという前提で、ネットワーク収束性と一般化能力を改善し、低速学習シーンでの無人車両の軌道計画の安定性と成功率を向上させる。
【００４２】
図３は、本開示の実施例による計画軌道ポイントを確定する方法３００を示すフローチャートである。図３に示されるように、３１０で、計算機器１０２は位置関係に基づいて、前記複数の初期軌道ポイント１１７における初期軌道ポイントの対応する重みを確定する。計算機器１０２は、まず第１領域と第２領域に対する複数の初期軌道ポイント１１７の位置関係を確定する。例えば、位置関係は複数の初期軌道ポイント１１７が第１領域または第２領域に属することを示すことができる。例えば、図１に示されるように、計算機器１０２は、複数の初期軌道ポイント１１７におけるいくつかの軌道ポイント（中空の点で示される）が道路オブジェクト１１６に落ちると、第１領域に属すると判断できる。計算機器１０２は、複数の初期軌道ポイント１１７におけるいくつかの軌道ポイント（実線の点で示される）が非道路オブジェクト１１１〜１１５に落ちると、第２領域に属すると判断できる。
【００４３】
一実施例において、計算機器１０２は、上記の縮小処理された識別マップに対応する第１マトリックスを確定し、高レベルの特徴マップに対応する第２マトリックスを確定することができ、識別マップと高レベルの特徴マップは同じサイズを有するため、第１マトリックスと第２マトリックスの行と列の数が同じである。計算機器は、次に、第１マトリックスと第２マトリックスを比較し、第２マトリックスにおける要素に対応する第１マトリックスの要素が１であると、該点が第１領域（運転可能領域に属する）に属することを示し、０であると、第２領域（運転可能領域に属しない）に属することを示す。
【００４４】
計算機器１０２は、第１領域（運転可能領域に属する）に属する第１グループの初期軌道ポイントを第１重みを有するように設定し、且つ第２領域（運転可能領域に属しない）に属する第２グループの初期軌道ポイントを第２重みを有するように設定し、第１重みは第２重みより大きい。
【００４５】
一実施例において、第１重みは１で且つ第２重みは０．４である。理解すべきものとして、該具体的な重みの取る値は例だけであり、異なる神経ネットワーク構成と異なる学習シーンに応じて異なる重みを設定することができ、本開示は具体的な重みに制限されることを意味しない。
【００４６】
ブロック３２０で、計算機器１０２は重みと特徴マップに基づいて、前記計画軌道ポイントを確定する。例えば、計算機器は特徴マップに対応するマトリックスと重みマトリックスをドット乗算し、転置された畳み込みとｓｉｇｍｏｉｄ活性化層を通過して計画軌道ポイントを確定し、計画軌道ポイントは図１における複数の初期軌道ポイント１１７と類似し、交通工具１０４の運転経路を構成する。
【００４７】
本開示の実施例は、異なる重みを設定することによって道路情報と非道路情報の干渉情報を区別し、それにより、限られた訓練データとネットワーク容量でどの情報が経路計画に関連し、どの情報が無関係であるかを学習し、最終的に、合理的な経路計画を行う。
【００４８】
図４は本開示のいくつかの実施例による交通工具の軌道を確定するプロセスを示すフローチャートである。４１０で、計算機器１０２は交通工具１０４の少なくとも１つのセンサー１０５を使用して前記交通工具が位置する物理的環境の画像１１０を取得し、次に、画像１１０に基づいて、軌道計画モデル１０３によって交通工具１０４の軌道を確定し、軌道計画モデルは図２〜図３に記載の方法２００と３００に従って訓練される。
【００４９】
例えば、軌道計画モデル１０３は、入力層、畳み込み層、プーリング層、活性化層、完全接続層及び出力層を含む畳み込み神経ネットワークであり得る。具体的な処理タスクの要求と構成によって、軌道計画モデル１０３における畳み込み層、プーリング層、活性化層及び完全接続層の数、接続関係などは変化できる。軌道計画モデル１０３により処理された交通工具１０４の前方広角カメラ画像を入力として処理し、入力されたデータは中部の複数の層によって処理され、最終的に交通工具１０４の計画軌道を取得する。
【００５０】
図５は本開示のいくつかの実施例による軌道計画モデルの訓練装置を示す概略ブロック図である。装置５００は図１の計算機器１０２に含まれ或いは計算機器１０２として実現されることができる。
【００５１】
図５に示されるように、装置５００は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の、交通工具の周辺の複数のオブジェクトを含む画像を取得するように配置される画像取得モジュール５１０を備える。装置５００は、画像に基づいて、軌道計画モデルによって、交通工具の画像内の複数の初期軌道ポイントを示す特徴マップを取得するように配置される特徴マップ確定モジュール５２０と、画像を認識して、画像内の複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域及び複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するように配置される画像認識モジュール５３０と、第１領域と第２領域に対する複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するように配置される計画軌道確定モジュール５４０と、計画軌道ポイントと交通工具の実際の軌道ポイントに基づいて、軌道計画モデルを訓練するように配置される軌道計画訓練モジュール５５０と、をさらに備える。
【００５２】
いくつかの実施例において、画像認識モジュール５３０は、訓練された深度推定ネットワークに基づいて、複数のオブジェクトと交通工具との距離を示す深度マップを取得するように配置される深度推定モジュールと、距離に基づいて第１領域と第２領域を確定するように配置される領域確定モジュールと、を含んでもよい。
【００５３】
いくつかの実施例において、計画軌道確定モジュール５４０は、位置関係に基づいて、複数の初期軌道ポイントにおける初期軌道ポイントの対応する重みを確定するように配置される重み確定モジュールと、重みと特徴マップに基づいて、計画軌道ポイントを確定するように配置される軌道確定モジュールと、を含んでもよい。
【００５４】
いくつかの実施例において、重み確定モジュールは、複数の初期軌道ポイントにおける第１グループの初期軌道ポイントが第１領域にあるのに応答して、第１グループの初期軌道ポイントが第１重みを有することを確定するように配置される第１重み確定モジュールと、複数の初期軌道ポイントにおける第２グループの初期軌道ポイントが第２領域にあるのに応答して、第２グループの初期軌道ポイントが第１重みより小さい第２重みを有するように配置される第２重み確定モジュールと、を含んでもよい。
【００５５】
いくつかの実施例において、第１重みは１であり、第２重みは０．４であってもよい。
【００５６】
いくつかの実施例において、装置５００は、第１領域と第２領域を含む識別マップに対して縮小処理を行うように配置される縮小処理モジュールを備えてもよく、縮小処理モジュールは、第１所定のフォーマットの識別マップと第２所定のフォーマットの特徴マップに基づいて縮小比率を確定するように配置される比率確定モジュールと、縮小比率に基づいて第１所定のフォーマットの識別マップを第２所定のフォーマットの識別マップに縮小するように配置される縮小実行モジュールと、を含む。
【００５７】
いくつかの実施例において、非道路オブジェクトは、歩行者、交通工具、建築、植物または道路標識を含む。
【００５８】
図６は本開示のいくつかの実施例による交通工具の軌道を確定する装置を示す概略ブロック図である。装置６００は図１の計算機器１０２に含まれ或いは計算機器１０２として実現されてもよい。
【００５９】
図６に示されるように、装置６００は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の画像を取得するように配置される画像確定モジュール６１０と、画像に基づいて、図５の装置５００によって訓練される軌道計画モデルによって交通工具の軌道を確定するように配置される軌道確定モジュール６２０と、を備える。
【００６０】
図７は本開示の内容の実施例を実施できる例示的な機器７００を示す概略ブロック図である。例えば、図１に示されるような例示的な環境１００での計算機器１０２は機器７００により実施されることができる。図に示されるように、機器７００は中央処理ユニット（ＣＰＵ）７０１を含み、読み取り専用メモリ（ＲＯＭ）７０２に記憶されるコンピュータプログラム命令或いは記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされるコンピュータプログラム命令に従って、様々な適切な動作と処理を実行する。ＲＡＭ７０３には、電子機器７００の操作に必要な様々なプログラムとデータが記憶されることもできる。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３はバス７０４によって互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続される。
【００６１】
電子機器７００における複数の部材、例えば、キーボード、マウスなどの入力ユニット７０６、様々なタイプのモニター、スピーカーなどの出力ユニット７０７、ディスク、ＣＤなどの記憶ユニット７０８、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット７０９はＩ／Ｏインターフェース７０５に接続される。通信ユニット７０９は、電子機器７００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。
【００６２】
以上で説明される各プロセスと処理、例えば方法２００、３００、４００は、処理ユニット７０１により実行することができる。例えば、いくつかの実施例において、方法２００、３００、４００はコンピュータソフトウェアプログラムとして実現されることができ、機械可読媒体、例えば記憶ユニット７０８に有形的に含まれる。いくつかの実施例において、コンピュータプログラムの一部或いは全部はＲＯＭ７０２および／または通信ユニット７０９を介して電子機器７００にロードおよび／またはインストールされる。コンピュータプログラムはＲＡＭ７０３にロードされてＣＰＵ７０１により実行される場合、上記で説明された方法２００、３００、４００の１つまたは複数の動作が実行されることができる。
【００６３】
本開示は、方法、装置、システムおよび／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、本開示の各態様を実行するためのコンピュータ可読プログラム命令が記憶されるコンピュータ可読記憶媒体を含み得る。
【００６４】
コンピュータ可読記憶媒体は、命令実行機器により使用される命令を保持と記憶することができる有形機器であってもよい。コンピュータ可読記憶媒体は、例えば電気記憶機器、磁気記憶機器、光記憶機器、電磁気記憶機器、半導体記憶機器或いは上記の任意の適切な組み合わせであってもよいが、これらに制限されない。コンピュータ可読記憶媒体のより具体的な例（網羅的ではないリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的エンコード機器、例えばその上に命令が記憶されるパンチカードまたは溝内の突起構造、及び上記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝播される電磁波、導波路または他の伝達媒体を通って伝播される電磁波（例えば、光ファイバーケーブルを介した光パルス）、またはワイヤを通して伝達される電気信号などの一時的信号自体としては解釈されない。
【００６５】
ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理機器にダウンロードされ、或いはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはワイヤレスネットワークを介して外部コンピュータまたは外部記憶機器にダウンロードされることができる。ネットワークは、銅製伝送ケーブル、光ファイバー伝送、ワイヤレス伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバーを含み得る。各計算／処理機器におけるネットワークアダプターカード或いはネットワークインターフェースはネットワークからコンピュータ可読プログラム命令を受信し、且つ該コンピュータ可読プログラム命令を転送し、各計算／処理機器におけるコンピュータ可読記憶媒体に記憶される。
【００６６】
本開示の操作を実行するためのコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコード、または  オブジェクトコードであってよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向のプログラミング言語と、Ｃ言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、完全にユーザコンピュータで、部分的にユーザコンピュータで、スタンドアロンのソフトウェアパッケージとして、部分的にユーザコンピュータで部分的にリモートコンピュータで、或いは完全にリモートコンピュータまたはサーバーで実行できる。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）などの任意の種類のネットワークを介してユーザコンピュータに接続でき、或いは、外部コンピュータ（例えばインターネットサービスプロバイダーを使用してインターネットを介して接続する）に接続できる。いくつかの実施例において、コンピュータ可読プログラム命令のステータス情報を使用して、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブルロジック配列（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路はコンピュータ可読プログラム命令を実行することができ、それにより、本開示の各態様を実現する。
【００６７】
ここで、本開示の実施例による方法、装置（システム）及びコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して本開示の各態様を説明した。理解すべきものとして、フローチャートおよび／またはブロック図の各ブロック及びフローチャートおよび／またはブロック図の各ブロックの組み合わせは、コンピュータ可読プログラム命令により実現されることができる。
【００６８】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置の処理ユニットに提供されることができ、それにより、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置の処理ユニットによって実行される時、フローチャートおよび／またはブロック図の１つまたは複数のブロックに規定している機能／動作を実現する装置を生成するようにする機器を製造する。これらのコンピュータ可読プログラム命令はコンピュータ可読記憶媒体に記憶されてもよく、これらの命令によってコンピュータ、プログラマブルデータ処理装置および／または他の機器が特定の方法で作動させ、それにより、命令を記憶したコンピュータ可読媒体は、フローチャートおよび／またはブロック図の１つまたは複数のブロックに規定している機能／動作の各態様を実現する命令を含む製造品を含む。
【００６９】
また、コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることができ、コンピュータ、他のプログラマブルデータ処理装置または他の機器で一連の操作ステップを実行させ、コンピュータによって実現されるプロセスを生成し、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器で実行される命令にフローチャートおよび／またはブロック図の１つまたは複数のブロックに規定している機能／動作を実現させる。
【００７０】
図面のフローチャートとブロック図は、本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点で、フローチャートまたはブロック図の各ブロックは１つのモジュール、プログラムセグメントまたは命令の一部を示し、前記モジュール、プログラムセグメントまたは命令の一部は規定しているロジック機能を実現するための１つまたは複数の実行可能な命令を含む。代替としていくかの実現において、ブロックで付記される機能は図面に付記される順序と異なる順序で発生する場合がある。例えば、２つの連続するブロックは、実際には基本的に並行して実行することができ、関連する機能に応じて、逆の順序で実行することもできる。さらに注意すべきものとして、ブロック図および／またはフローチャートの各ブロック、及びブロック図および／またはフローチャートのブロックの組み合わせは、規定している機能または動作を実行するハードウェアに基づく専用のシステムを使用して実現することも、ハードウェアとコンピュータ命令との組み合わせを使用して実現することもできる。
【００７１】
本開示の各実施形態を以上に説明したが、上記の説明は例示的なものであり、網羅的ではなく、開示された各実施形態に限定されない。説明された各実施形態の範囲と精神から逸脱することなく、多くの修正と変更は、当業者にとって明らかである。本明細書で使用される用語の選択は、各実施形態の原理、実際の適用または市場における技術的改善を最もよく説明すること、或いは当業者が本明細に開示される各実施形態を理解させるようにすることを意図する。
【図１】
2022003508.tif 000005
【図２】
2022003508.tif 000006
【図３】
2022003508.tif 000007
【図４】
2022003508.tif 000008
【図５】
2022003508.tif 000009
【図６】
2022003508.tif 000010
【図７】
2022003508.tif 000011
【外国語明細書】
2022003508000001.pdf