(57)【要約】      （修正有）【課題】動的適応型ディープラーニングモデルを提供して特定の自律走行車両が周辺状況に応じて適切な自律走行を遂行方法を提供する。【解決手段】自律走行車両２００と連動する管理装置１００が、（ａ）微調整（ｆｉｎｅ−ｔｕｎｉｎｇ）システムをもって、アップデートされる特定のディープラーニングモデルを取得させる段階、（ｂ）映像データ及びこれに対応するラベリング（ｌａｂｅｌｉｎｇ）済みデータをトレーニングデータとして微調整システムに入力し、特定のディープラーニングモデルをアップデートする段階、及び（ｃ）自動アップデートシステムをもって、アップデートされた特定のディープラーニングモデルを特定の自律走行車両に伝送させることによって、レガシー（ｌｅｇａｃｙ）ディープラーニングモデルの代わりにアップデートされた特定のディープラーニングモデルを使用して自律走行を遂行するようにサポートする段階、に関する。【選択図】図２
2020126642.tif 000002
【特許請求の範囲】
【請求項１】
固定されたディープラーニングモデルでない動的適応型ディープラーニングモデルを提供して少なくとも一つの特定の自律走行車両が周辺状況に応じて適切な自律走行を遂行するようにサポートする方法において、
（ａ）自律走行車両と連動する管理装置が、前記自律走行車両のうち前記特定の自律走行車両から伝送された映像データが映像格納システムを通じて取得されると、微調整（ｆｉｎｅ−ｔｕｎｉｎｇ）システムをもって、一つ以上のディープラーニングモデルが格納されるディープラーニングモデルライブラリからの前記映像データを使用してアップデートされる特定のディープラーニングモデルを取得させる段階；
（ｂ）前記管理装置が、前記映像データ及びこれに対応するラベリング（ｌａｂｅｌｉｎｇ）済みデータをトレーニングデータとして前記微調整システムに入力することによって前記特定のディープラーニングモデルをアップデートする段階；及び
（ｃ）前記管理装置が、自動アップデートシステムをもって、前記アップデートされた特定のディープラーニングモデルを前記特定の自律走行車両に伝送させることによって、前記特定の自律走行車両が、レガシー（ｌｅｇａｃｙ）ディープラーニングモデルの代わりに前記アップデートされた特定のディープラーニングモデルを使用して前記自律走行を遂行するようにサポートする段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｂ）段階で、
前記微調整システムが、（ｉ）前記特定のディープラーニングモデル内の少なくとも一つのコンボリューションレイヤをもって、前記映像データに少なくとも一つのコンボリューション演算を適用して特徴マップを生成させ、（ｉｉ）前記特定のディープラーニングモデル内の少なくとも一つの出力レイヤをもって、前記特徴マップに少なくとも一つの出力演算を適用して予測データを生成させ（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記予測データ及び前記ラベリング済みデータを参照してロスを生成し、前記ロスを利用してバックプロパーゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記特定のディープラーニングモデルのパラメータを微調整させることを特徴とする請求項１に記載の方法。
【請求項３】
前記管理装置が、前記特定のディープラーニングモデルの前記パラメータを微調整して前記特定のディープラーニングモデルをアップデートすることによって、前記特定のディープラーニングモデルをもって、前記映像データに対応する前記特定の自律走行車両に対する車両特化型最適政策及び予め設定された最適政策を参照して前記自律走行を遂行するようにサポートすることを特徴とする請求項２に記載の方法。
【請求項４】
前記管理装置は、前記映像データをオートラベリングシステム及びマニュアルラベリングシステムのうち少なくとも一つに入力することによって前記ラベリング済みデータを取得し、
前記オートラベリングシステムは、前記ディープラーニングモデルライブラリから取得された所定のラベリング用ディープラーニングモデルを利用したオートラベリング演算を前記映像データに適用することによって、前記ラベリング済みデータのうち少なくとも一部を生成し、前記マニュアルラベリングシステムは、分配アルゴリズムを利用して前記映像データをそれぞれのラベラー（ｌａｂｅｌｅｒ）に分配し、前記映像データに対応する前記ラベラーの出力値を取得することによって、前記ラベリング済みデータのうち少なくとも一部を生成することを特徴とする請求項１に記載の方法。
【請求項５】
前記管理装置は、（ｉ）ラベル検証システムをもって、前記オートラベリングシステム及び前記マニュアルラベリングシステムそれぞれにより生成された、前記ラベリング済みデータのうち一部それぞれを比較して交差検証（ｃｒｏｓｓ−ｖａｌｉｄａｔｉｏｎ）を遂行することによって、フィードバック情報を生成させ（ｉｉ）前記オートラベリングシステム及び前記マニュアルラベリングシステムをもって、前記フィードバック情報を利用して前記ラベリング済みデータのうち前記一部を調整するのかを決定させ、前記フィードバック情報が調整の必要性を示す場合、前記ラベリング済みデータのうち前記一部を調整させ、（ｉｉｉ）前記ラベル検証システムをもって、前記ラベル検証システムにより検証された状態の前記ラベリング済みデータを前記微調整システムに伝達させることを特徴とする請求項４に記載の方法。
【請求項６】
前記マニュアルラベリングシステムは、作業量情報及び効率性情報のうち少なくとも一部を含む、それぞれの前記ラベラーの特性のうち少なくとも一部それぞれを参照して前記分配アルゴリズムを遂行することを特徴とする請求項４に記載の方法。
【請求項７】
前記映像格納システムは、前記映像データに少なくとも一つの防止演算を適用して、前記映像データに含まれている、人の肖像情報及び車両のＩＤ情報のうち少なくとも一部を含む個人情報を取り除き、前記個人情報が取り除かれた映像データを暗号化した後に格納することを特徴とする請求項１に記載の方法。
【請求項８】
前記（ａ）段階は、
前記管理装置が、前記ディープラーニングモデルライブラリをもって、前記ディープラーニングモデルのうち、前記映像データとの関係スコアが閾値以上である少なくとも一つのディープラーニングモデルを見出して前記特定のディープラーニングモデルとして前記微調整システムに伝達させ、前記関係スコアは、前記ディープラーニングモデルの映像対象車両情報と、映像対象時間情報と、映像対象位置情報と、映像対象運転者情報とのうち少なくとも一部を使用して計算されることを特徴とする請求項１に記載の方法。
【請求項９】
前記（ｃ）段階で、
前記管理装置が、前記特定の自律走行車両と連動して前記特定の自律走行車両の状況情報を取得し、前記状況情報が走行優先状況に対応する第１状態であるのか、又は管理優先状況に対応する第２状態であるのかを判断し、前記状況情報が前記第２状態である場合、前記特定のディープラーニングモデルを前記特定の自律走行車両に伝送することを特徴とする請求項１に記載の方法。
【請求項１０】
固定されたディープラーニングモデルでない動的適応型ディープラーニングモデルを提供して少なくとも一つの特定の自律走行車両が周辺状況に応じて適切な自律走行を遂行するようにサポートするコンピューティング装置において、
各インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）自律走行車両のうち前記特定の自律走行車両から伝送された映像データが映像格納システムを通じて取得されると、微調整（ｆｉｎｅ−ｔｕｎｉｎｇ）システムをもって、一つ以上のディープラーニングモデルが格納されるディープラーニングモデルライブラリからの前記映像データを使用してアップデートされる特定のディープラーニングモデルを取得させるプロセス、（ＩＩ）前記映像データ及びこれに対応するラベリング（ｌａｂｅｌｉｎｇ）済みデータをトレーニングデータとして前記微調整システムに入力することによって前記特定のディープラーニングモデルをアップデートするプロセス、及び（ＩＩＩ）自動アップデートシステムをもって、前記アップデートされた特定のディープラーニングモデルを前記特定の自律走行車両に伝送させることによって、前記特定の自律走行車両が、レガシー（ｌｅｇａｃｙ）ディープラーニングモデルの代わりに前記アップデートされた特定のディープラーニングモデルを使用して前記自律走行を遂行するようにサポートするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。
【請求項１１】
前記（ＩＩ）プロセスで、
前記微調整システムが、（ｉ）前記特定のディープラーニングモデル内の少なくとも一つのコンボリューションレイヤをもって、前記映像データに少なくとも一つのコンボリューション演算を適用して特徴マップを生成させ、（ｉｉ）前記特定のディープラーニングモデル内の少なくとも一つの出力レイヤをもって、前記特徴マップに少なくとも一つの出力演算を適用して予測データを生成させ（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記予測データ及び前記ラベリング済みデータを参照してロスを生成し、前記ロスを利用してバックプロパーゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記特定のディープラーニングモデルのパラメータを微調整させることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記プロセッサが、前記特定のディープラーニングモデルの前記パラメータを微調整して前記特定のディープラーニングモデルをアップデートすることによって、前記特定のディープラーニングモデルをもって、前記映像データに対応する前記特定の自律走行車両に対する車両特化型最適政策及び予め設定された最適政策を参照して前記自律走行を遂行するようにサポートすることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記プロセッサは、前記映像データをオートラベリングシステム及びマニュアルラベリングシステムのうち少なくとも一つに入力することによって前記ラベリング済みデータを取得し、
前記オートラベリングシステムは、前記ディープラーニングモデルライブラリから取得された所定のラベリング用ディープラーニングモデルを利用したオートラベリング演算を前記映像データに適用することによって、前記ラベリング済みデータのうち少なくとも一部を生成し、前記マニュアルラベリングシステムは、分配アルゴリズムを利用して前記映像データをそれぞれのラベラー（ｌａｂｅｌｅｒ）に分配し、前記映像データに対応する前記ラベラーの出力値を取得することによって、前記ラベリング済みデータのうち少なくとも一部を生成することを特徴とする請求項１０に記載の装置。
【請求項１４】
前記プロセッサは、（ｉ）ラベル検証システムをもって、前記オートラベリングシステム及び前記マニュアルラベリングシステムそれぞれにより生成された、前記ラベリング済みデータのうち一部それぞれを比較して交差検証（ｃｒｏｓｓ−ｖａｌｉｄａｔｉｏｎ）を遂行することによって、フィードバック情報を生成させ（ｉｉ）前記オートラベリングシステム及び前記マニュアルラベリングシステムをもって、前記フィードバック情報を利用して前記ラベリング済みデータのうち前記一部を調整するのかを決定させ、前記フィードバック情報が調整の必要性を示す場合、前記ラベリング済みデータのうち前記一部を調整させ、（ｉｉｉ）前記ラベル検証システムをもって、前記ラベル検証システムにより検証された状態の前記ラベリング済みデータを前記微調整システムに伝達させることを特徴とする請求項１３に記載の装置。
【請求項１５】
前記マニュアルラベリングシステムは、作業量情報及び効率性情報のうち少なくとも一部を含む、それぞれの前記ラベラーの特性のうち少なくとも一部それぞれを参照して前記分配アルゴリズムを遂行することを特徴とする請求項１３に記載の装置。
【請求項１６】
前記映像格納システムは、前記映像データに少なくとも一つの防止演算を適用して、前記映像データに含まれている、人の肖像情報及び車両のＩＤ情報のうち少なくとも一部を含む個人情報を取り除き、前記個人情報が取り除かれた映像データを暗号化した後に格納することを特徴とする請求項１０に記載の装置。
【請求項１７】
前記（Ｉ）プロセスは、
前記プロセッサが、前記ディープラーニングモデルライブラリをもって、前記ディープラーニングモデルのうち、前記映像データとの関係スコアが閾値以上である少なくとも一つのディープラーニングモデルを見出して前記特定のディープラーニングモデルとして前記微調整システムに伝達させ、前記関係スコアは、前記ディープラーニングモデルの映像対象車両情報と、映像対象時間情報と、映像対象位置情報と、映像対象運転者情報とのうち少なくとも一部を使用して計算されることを特徴とする請求項１０に記載の装置。
【請求項１８】
前記（ＩＩＩ）プロセスで、
前記プロセッサが、前記特定の自律走行車両と連動して前記特定の自律走行車両の状況情報を取得し、前記状況情報が走行優先状況に対応する第１状態であるのか、又は管理優先状況に対応する第２状態であるのかを判断し、前記状況情報が前記第２状態である場合、前記特定のディープラーニングモデルを前記特定の自律走行車両に伝送することを特徴とする請求項１０に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願に対する相互参照
本出願は、２０１９年１月３１日付で出願された米国仮出願第６２／７９９，１６１号に対する優先権を主張し、その全体内容は参照として本願に含まれる。
【０００２】
本発明は、自律走行車両に利用するための方法及び装置に関し、より詳細には、少なくとも一台の自律走行車両の少なくとも一つのユーザに対して少なくとも一つのキャリブレーションされた車両特化型及び適応型ディープラーニングモデルを提供する方法及び装置に関する。
【背景技術】
【０００３】
近年、ディープラーニングは、自動識別だけでなく自律走行車両を制御するのにおいて深い関心を集めてきた。
【０００４】
このようなディープラーニングは、ニューラルネットワークを使用してイメージ認識及び分類分野に積極的に適用されており、強化学習と結びついて特定分野において人間の能力を超える高い成果を見せている。向上した学習能力に基づいて、前記ディープラーニングはセンサを前処理しない状態で自律走行車両のような多様な分野に適用されている。
【０００５】
特に、前記自律走行車両は、国家別または地域別に収集したデータを利用して学習されたディープラーニングモデルを使用する。
【０００６】
ところが、これらの自律走行車両は、同一のディープラーニングモデルを適用しているため、互いに異なる性向を有する運転者をすべて満足させるには限界がある。
【０００７】
よって、本発明は、自律走行車両を利用するすべてのユーザをそれぞれ満足させる自律走行車両の車両特化型ディープラーニングモデルを提供する方案を提案する。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、前述した問題点を全て解決することをその目的とする。
【０００９】
本発明は、一台以上の自律走行車両の一つ以上の個別ユーザに対して一つ以上のキャリブレーションされた車両特化型ディープラーニングモデルを提供することをまた他の目的とする。
【００１０】
本発明は、自律走行車両の個別ユーザに対応する一つ以上の車両特化型ディープラーニングモデルを提供することをまた他の目的とする。
【００１１】
本発明は、自律走行車両の個別ユーザに対して最適化された一つ以上の最適ディープラーニングモデルを提供することをまた他の目的とする。
【課題を解決するための手段】
【００１２】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【００１３】
本発明の一態様によると、固定されたディープラーニングモデルでない動的適応型ディープラーニングモデルを提供して少なくとも一つの特定の自律走行車両が周辺状況に応じて適切な自律走行を遂行するようにサポートする方法において、（ａ）自律走行車両と連動する管理装置が、前記自律走行車両のうち前記特定の自律走行車両から伝送された映像データが映像格納システムを通じて取得されると、微調整（ｆｉｎｅ−ｔｕｎｉｎｇ）システムをもって、一つ以上のディープラーニングモデルが格納されるディープラーニングモデルライブラリからの前記映像データを使用してアップデートされる特定のディープラーニングモデルを取得させる段階；（ｂ）前記管理装置が、前記映像データ及びこれに対応するラベリング（ｌａｂｅｌｉｎｇ）済みデータをトレーニングデータとして前記微調整システムに入力することによって前記特定のディープラーニングモデルをアップデートする段階；及び（ｃ）前記管理装置が、自動アップデートシステムをもって、前記アップデートされた特定のディープラーニングモデルを前記特定の自律走行車両に伝送させることによって、前記特定の自律走行車両が、レガシー（ｌｅｇａｃｙ）ディープラーニングモデルの代わりに前記アップデートされた特定のディープラーニングモデルを使用して前記自律走行を遂行するようにサポートする段階；を含むことを特徴とする。
【００１４】
一実施例において、前記（ｂ）段階で、前記微調整システムが、（ｉ）前記特定のディープラーニングモデル内の少なくとも一つのコンボリューションレイヤをもって、前記映像データに少なくとも一つのコンボリューション演算を適用して特徴マップを生成させ、（ｉｉ）前記特定のディープラーニングモデル内の少なくとも一つの出力レイヤをもって、前記特徴マップに少なくとも一つの出力演算を適用して予測データを生成させ（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記予測データ及び前記ラベリング済みデータを参照してロスを生成し、前記ロスを利用してバックプロパーゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記特定のディープラーニングモデルのパラメータを微調整させることを特徴とする。
【００１５】
一実施例において、前記管理装置が、前記特定のディープラーニングモデルの前記パラメータを微調整して前記特定のディープラーニングモデルをアップデートすることによって、前記特定のディープラーニングモデルをもって、前記映像データに対応する前記特定の自律走行車両に対する車両特化型最適政策及び予め設定された最適政策を参照して前記自律走行を遂行するようにサポートすることを特徴とする。
【００１６】
一実施例において、前記管理装置は、前記映像データをオートラベリングシステム及びマニュアルラベリングシステムのうち少なくとも一つに入力することによって前記ラベリング済みデータを取得し、前記オートラベリングシステムは、前記ディープラーニングモデルライブラリから取得された所定のラベリング用ディープラーニングモデルを利用したオートラベリング演算を前記映像データに適用することによって、前記ラベリング済みデータのうち少なくとも一部を生成し、前記マニュアルラベリングシステムは、分配アルゴリズムを利用して前記映像データをそれぞれのラベラー（ｌａｂｅｌｅｒ）に分配し、前記映像データに対応する前記ラベラーの出力値を取得することによって、前記ラベリング済みデータのうち少なくとも一部を生成することを特徴とする。
【００１７】
一実施例において、前記管理装置は、（ｉ）ラベル検証システムをもって、前記オートラベリングシステム及び前記マニュアルラベリングシステムそれぞれにより生成された、前記ラベリング済みデータのうち一部それぞれを比較して交差検証（ｃｒｏｓｓ−ｖａｌｉｄａｔｉｏｎ）を遂行することによって、フィードバック情報を生成させ（ｉｉ）前記オートラベリングシステム及び前記マニュアルラベリングシステムをもって、前記フィードバック情報を利用して前記ラベリング済みデータのうち前記一部を調整するのかを決定させ、前記フィードバック情報が調整の必要性を示す場合、前記ラベリング済みデータのうち前記一部を調整させ、（ｉｉｉ）前記ラベル検証システムをもって、前記ラベル検証システムにより検証された状態の前記ラベリング済みデータを前記微調整システムに伝達させることを特徴とする。
【００１８】
一実施例において、前記マニュアルラベリングシステムは、作業量情報及び効率性情報のうち少なくとも一部を含む、それぞれの前記ラベラーの特性のうち少なくとも一部それぞれを参照して前記分配アルゴリズムを遂行することを特徴とする。
【００１９】
一実施例において、前記映像格納システムは、前記映像データに少なくとも一つの防止演算を適用して、前記映像データに含まれている、人の肖像情報及び車両のＩＤ情報のうち少なくとも一部を含む個人情報を取り除き、前記個人情報が取り除かれた映像データを暗号化した後に格納することを特徴とする。
【００２０】
一実施例において、前記（ａ）段階は、前記管理装置が、前記ディープラーニングモデルライブラリをもって、前記ディープラーニングモデルのうち、前記映像データとの関係スコアが閾値以上である少なくとも一つのディープラーニングモデルを見出して前記特定のディープラーニングモデルとして前記微調整システムに伝達させ、前記関係スコアは、前記ディープラーニングモデルの映像対象車両情報と、映像対象時間情報と、映像対象位置情報と、映像対象運転者情報とのうち少なくとも一部を使用して計算されることを特徴とする。
【００２１】
一実施例において、前記（ｃ）段階で、前記管理装置が、前記特定の自律走行車両と連動して前記特定の自律走行車両の状況情報を取得し、前記状況情報が走行優先状況に対応する第１状態であるのか、又は管理優先状況に対応する第２状態であるのかを判断し、前記状況情報が前記第２状態である場合、前記特定のディープラーニングモデルを前記特定の自律走行車両に伝送することを特徴とする。
【００２２】
本発明の他の態様によると、固定されたディープラーニングモデルでない動的適応型ディープラーニングモデルを提供して少なくとも一つの特定の自律走行車両が周辺状況に応じて適切な自律走行を遂行するようにサポートするコンピューティング装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）自律走行車両のうち前記特定の自律走行車両から伝送された映像データが映像格納システムを通じて取得されると、微調整（ｆｉｎｅ−ｔｕｎｉｎｇ）システムをもって、一つ以上のディープラーニングモデルが格納されるディープラーニングモデルライブラリからの前記映像データを使用してアップデートされる特定のディープラーニングモデルを取得させるプロセス、（ＩＩ）前記映像データ及びこれに対応するラベリング（ｌａｂｅｌｉｎｇ）済みデータをトレーニングデータとして前記微調整システムに入力することによって前記特定のディープラーニングモデルをアップデートするプロセス、及び（ＩＩＩ）自動アップデートシステムをもって、前記アップデートされた特定のディープラーニングモデルを前記特定の自律走行車両に伝送させることによって、前記特定の自律走行車両が、レガシー（ｌｅｇａｃｙ）ディープラーニングモデルの代わりに前記アップデートされた特定のディープラーニングモデルを使用して前記自律走行を遂行するようにサポートするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００２３】
一実施例において、前記（ＩＩ）プロセスで、前記微調整システムが、（ｉ）前記特定のディープラーニングモデル内の少なくとも一つのコンボリューションレイヤをもって、前記映像データに少なくとも一つのコンボリューション演算を適用して特徴マップを生成させ、（ｉｉ）前記特定のディープラーニングモデル内の少なくとも一つの出力レイヤをもって、前記特徴マップに少なくとも一つの出力演算を適用して予測データを生成させ（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記予測データ及び前記ラベリング済みデータを参照してロスを生成し、前記ロスを利用してバックプロパーゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記特定のディープラーニングモデルのパラメータを微調整させることを特徴とする。
【００２４】
一実施例において、前記プロセッサが、前記特定のディープラーニングモデルの前記パラメータを微調整して前記特定のディープラーニングモデルをアップデートすることによって、前記特定のディープラーニングモデルをもって、前記映像データに対応する前記特定の自律走行車両に対する車両特化型最適政策及び予め設定された最適政策を参照して前記自律走行を遂行するようにサポートすることを特徴とする。
【００２５】
一実施例において、前記プロセッサは、前記映像データをオートラベリングシステム及びマニュアルラベリングシステムのうち少なくとも一つに入力することによって前記ラベリング済みデータを取得し、前記オートラベリングシステムは、前記ディープラーニングモデルライブラリから取得された所定のラベリング用ディープラーニングモデルを利用したオートラベリング演算を前記映像データに適用することによって、前記ラベリング済みデータのうち少なくとも一部を生成し、前記マニュアルラベリングシステムは、分配アルゴリズムを利用して前記映像データをそれぞれのラベラー（ｌａｂｅｌｅｒ）に分配し、前記映像データに対応する前記ラベラーの出力値を取得することによって、前記ラベリング済みデータのうち少なくとも一部を生成することを特徴とする。
【００２６】
一実施例において、前記プロセッサは、（ｉ）ラベル検証システムをもって、前記オートラベリングシステム及び前記マニュアルラベリングシステムそれぞれにより生成された、前記ラベリング済みデータのうち一部それぞれを比較して交差検証（ｃｒｏｓｓ−ｖａｌｉｄａｔｉｏｎ）を遂行することによって、フィードバック情報を生成させ（ｉｉ）前記オートラベリングシステム及び前記マニュアルラベリングシステムをもって、前記フィードバック情報を利用して前記ラベリング済みデータのうち前記一部を調整するのかを決定させ、前記フィードバック情報が調整の必要性を示す場合、前記ラベリング済みデータのうち前記一部を調整させ、（ｉｉｉ）前記ラベル検証システムをもって、前記ラベル検証システムにより検証された状態の前記ラベリング済みデータを前記微調整システムに伝達させることを特徴とする。
【００２７】
一実施例において、前記マニュアルラベリングシステムは、作業量情報及び効率性情報のうち少なくとも一部を含む、それぞれの前記ラベラーの特性のうち少なくとも一部それぞれを参照して前記分配アルゴリズムを遂行することを特徴とする。
【００２８】
一実施例において、前記映像格納システムは、前記映像データに少なくとも一つの防止演算を適用して、前記映像データに含まれている、人の肖像情報及び車両のＩＤ情報のうち少なくとも一部を含む個人情報を取り除き、前記個人情報が取り除かれた映像データを暗号化した後に格納することを特徴とする。
【００２９】
一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記ディープラーニングモデルライブラリをもって、前記ディープラーニングモデルのうち、前記映像データとの関係スコアが閾値以上である少なくとも一つのディープラーニングモデルを見出して前記特定のディープラーニングモデルとして前記微調整システムに伝達させ、前記関係スコアは、前記ディープラーニングモデルの映像対象車両情報と、映像対象時間情報と、映像対象位置情報と、映像対象運転者情報とのうち少なくとも一部を使用して計算されることを特徴とする。
【００３０】
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記特定の自律走行車両と連動して前記特定の自律走行車両の状況情報を取得し、前記状況情報が走行優先状況に対応する第１状態であるのか、又は管理優先状況に対応する第２状態であるのかを判断し、前記状況情報が前記第２状態である場合、前記特定のディープラーニングモデルを前記特定の自律走行車両に伝送することを特徴とする。
【００３１】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００３２】
本発明は、自律走行車両のユーザに対してキャリブレーションされた車両特化型ディープラーニングモデルを提供することによって、前記自律走行車両ユーザの満足度を向上させる効果がある。
【００３３】
本発明は、自律走行車両のユーザに対してキャリブレーションされた車両特化型ディープラーニングモデルを提供することによって、前記ユーザの性向に応じた最適な自律走行を可能にする効果がある。
【００３４】
本発明は、自律走行車両のユーザに対してキャリブレーションされた車両特化型ディープラーニングモデルを提供することによって、前記自律走行車両ユーザのための安全性及び利便性を向上させる効果がある。
【図面の簡単な説明】
【００３５】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【００３６】
【図１】図１は、本発明の一実施例による一台以上の自律走行車両の一人以上のユーザに対してキャリブレーションされた車両特化型及び適応型学習システムを提供する管理装置１００を簡略に示した図面である。
【図２】図２は、本発明の一実施例による前記自律走行車両の前記ユーザに対してキャリブレーションされた車両特化型及び適応型ディープラーニングモデルを提供する方法を簡略に示した図面である。
【図３】図３は、本発明の一実施例による前記自律走行車両の前記ユーザに対してキャリブレーションされた車両特化型及び適応型ディープラーニングモデルを提供するのに使用される特定のディープラーニングモデルの微調整パラメータの過程を簡略に示した図面である。
【発明を実施するための形態】
【００３７】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。
【００３８】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３９】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。
【００４０】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係ないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４１】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００４２】
図１は、本発明の一実施例による一台以上の自律走行車両の一人以上のユーザに対してキャリブレーションされた車両特化型及び適応型学習システムを提供する管理装置１００を簡略に示した図面である。図１を参照すると、前記管理装置１００は、前記自律走行車両のユーザに対して前記キャリブレーションされた車両特化型及び適応型学習システムを提供する各インストラクションを格納するメモリ１１０と、前記メモリ１１０に格納されている前記各インストラクションに対応する前記自律走行車両のユーザに対してキャリブレーションされた車両特化型及び適応型学習システムを提供するプロセッサ１２０とを含むことができる。
【００４３】
具体的に、前記管理装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の各構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。
【００４４】
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００４５】
このような前記コンピューティング装置に関する説明が、本発明を実施するためのプロセッサ、メモリ、媒体又はその他のコンピューティング構成要素が統合された形態である統合プロセッサである場合を排除するわけではない。また、管理装置１００は、一つまたは２つ以上のコンピューティングシステムからなるサーバを含むことができる。
【００４６】
そして、前記管理装置は、一つ以上のコンピューティングシステムを含む少なくとも一つのサーバを含むことができる。
【００４７】
このように構成された本発明の一実施例による前記管理装置１００を利用して、前記自律走行車両のユーザに対して前記キャリブレーションされた車両特化型及び適応型ディープラーニングモデルを提供する方法を、図２を参照して説明すると以下のとおりである。
【００４８】
特定の自律走行車両２００が、一つ以上の映像入力装置２１０を通じて取得された一つ以上の映像イメージをレガシー（ｌｅｇａｃｙ）ディープラーニングモデルに入力し、前記レガシーディープラーニングモデルをもって、ビジョン認識を利用して少なくとも一つのプランを決定させた後、前記決定されたプランにしたがって前記特定の自律走行車両２００を走行させることができる。前記レガシーディープラーニングモデルは、本発明の方法が遂行されるまで、前記自律走行を遂行することができ、前記本発明の方法が遂行された後には、前記管理装置１００により取得された、追って説明する特定のディープラーニングモデルに代替され得る。
【００４９】
この際、前記映像入力装置２１０は、少なくとも一つの車両用カメラと、少なくとも一つの前方及び少なくとも一つの後方カメラと、少なくとも一つのＡＶＭ（Ａｒｏｕｎｄ  Ｖｉｅｗ  Ｍｏｎｉｔｏｒｉｎｇ）カメラとのうち少なくとも一部を含むことができる。
【００５０】
一方、前記特定の自律走行車両２００は、前記映像入力装置２１０から取得された前記映像イメージを映像格納装置２２０に格納することができる。
【００５１】
そして、前記特定の自律走行車両２００は、前記映像格納装置２２０に格納されている所定の時間の間における前記映像イメージの束である映像データを映像伝送装置２３０を通じて前記管理装置１００に伝送する。この際、前記映像伝送装置２３０は、無線通信ネットワークまたは有無線通信ネットワークを通じて前記映像データを伝送することができる。
【００５２】
すなわち、前記特定の自律走行車両２００は、前記映像入力装置２１０から取得された前記映像データを前記映像格納装置２２０に臨時に格納し、予め設定された時間帯または予め設定された容量の前記映像データが格納されると、前記映像データは、前記映像伝送装置２３０を通じて前記管理装置１００に伝送することができる。
【００５３】
以後、前記管理装置１００は、映像格納システム１３０をもって、前記特定の自律走行車両２００から取得された前記映像データを格納することができる。
【００５４】
この場合、前記映像格納システム１３０は、前記映像データそれぞれが前記個別の自律走行車両の前記ユーザそれぞれに対応するように、前記個別の自律走行車両から取得された映像データを格納することができる。このように、前記管理装置は、前記多数の個別の自律走行車両から前記映像データを取得することができるが、利便性のために後述する前記映像データは、前記一台の自律走行車両、すなわち、前記特定の自律走行車両２００に対応することができる。
【００５５】
また、前記映像格納システム１３０は、前記特定の自律走行車両２００から取得された前記映像データから個人情報、例えば人物の肖像情報及び周辺車両のＩＤ情報を取り除いて、前記個人情報が取り除かれた映像データを暗号化した後、格納することができる。
【００５６】
すなわち、前記映像格納システム１３０は、前記映像データに含まれている前記映像イメージから前記個人情報を取り除いて、前記個人情報が公開されないように予防することができる。
【００５７】
次に、前記管理装置１００は、ラベリングシステム１４０をもって、前記映像格納システム１３０に格納され、前記特定の自律走行車両２００に対応する前記映像データをラベリングすることによってラベリング済みデータを生成させることができる。すなわち、前記ラベリングシステム１４０は、前記映像データに対して原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）として機能する前記ラベリング済みデータを生成することによって、前記映像データ及び前記ラベリング済みデータがトレーニングデータとして使用可能であるようにすることができる。
【００５８】
前記ラベリングシステム１４０は、さまざまな方法を利用して、前記映像データをラベリングすることができ、前記映像データをラベリングする方法に関する本発明の方法は、これに限定されない。
【００５９】
一例として、オートラベリングシステム１４１とマニュアルラベリングシステム１４２とを利用して前記映像データをラベリングする過程を説明する。
【００６０】
前記管理装置１００は、前記オートラベリングシステム１４１をもって、前記映像格納システム１３０に格納され、前記特定の自律走行車両２００に対応する前記暗号化された映像データをオートラベリングしてオートラベリング済みデータを生成させることができる。この際、前記オートラベリングシステム１４１は、まずディープラーニングモデルライブラリ１６０から所定のラベリング用ディープラーニングモデルを取得した後、前記所定のラベリング用ディープラーニングモデルを使用して前記映像データにオートラベリング演算を適用して、前記オートラベリング済みデータを生成することができる。前記所定のラベリング用ディープラーニングモデルは、アップデートされる前記特定のディープラーニングモデルと同一であり得るが、本発明の範囲はこれに限定されない。
【００６１】
また、前記管理装置１００は、前記マニュアルラベリングシステム１４２をもって、前記映像格納システム１３０に格納され、前記特定の自律走行車両２００に対応する前記暗号化された映像データを、分配アルゴリズムを利用して個別ラベラー（ｌａｂｅｌｌｅｒ）に分配することによって、前記個別ラベラーによりマニュアルラベリングされたマニュアルラベリング済みデータを取得させる。
【００６２】
この場合、前記マニュアルラベリングシステム１４２は、前記個別ラベラーそれぞれの作業量情報及び効率性情報を取得した後、これを利用して前記分配アルゴリズムを遂行することによって、前記ラベラーそれぞれに対する作業量及びラベリング難易度に応じて前記個別ラベラーに分配される前記映像データを管理することができる。
【００６３】
以後、前記管理装置１００は、ラベル検証システム１５０をもって、前記オートラベリングシステム１４１によりオートラベリングされた前記オートラベリング済みデータと、前記マニュアルラベリングシステム１４２によりマニュアルラベリングされた前記マニュアルラベリング済みデータとを比較して交差検証することによって、ラベリングエラーが疑われる前記オートラベリング済みデータまたは前記マニュアルラベリング済みデータを確認させる。
【００６４】
具体的に、前記管理装置１００は、前記オートラベリング済みデータと前記マニュアルラベリング済みデータとを比較して、ラベリング情報の類似性点数が閾値以下である少なくとも一部を見出し、当該少なくとも一部に関する情報を含むフィードバック情報を生成することができる。以後、前記管理装置１００は、前記フィードバック情報を前記オートラベリングシステム１４１及び前記マニュアルラベリングシステム１４２それぞれに伝送することによって、ラベリングエラーが疑われる前記オートラベリング済みデータまたは前記マニュアルラベリング済みデータのうち前記少なくとも一部を再度ラベリングさせる。以後、再度ラベリングしたオートラベリング済みデータ及び再度ラベリングしたマニュアルラベリング済みデータのうち前記少なくとも一部それぞれは、最終ラベリング済みデータとして統合した後、前記最終ラベリング済みデータは、前記トレーニングデータのうち一部として微調整システム１７０に伝送するようになる。この際、前記二つの再度ラベリングされたデータは、管理者により統合され得る。しかし、前記二つの再度ラベリングされたデータのうち、より信頼し得るデータがあるのであれば、前記管理者は前記最終ラベリング済みデータのうち一部を生成するのに使用される、より信頼し得るデータを選択することができる。
【００６５】
そして、前記管理装置１００は、前記ディープラーニングモデルライブラリ１６０において、前記トレーニングデータに適合した前記特定のディープラーニングモデルを確認し、これを前記微調整システム１７０に伝送することができる。
【００６６】
この際、前記ディープラーニングモデルライブラリ１６０は、前記ディープラーニングモデルそれぞれを学習するのに使用されたトレーニングデータに対応する場所、日付、時間、期間及び前記自律走行車両の種類などの情報に基づいて前記ディープラーニングモデルを分類して管理したり、それぞれの前記ディープラーニングモデルが前記個別の自律走行車両に対応し得るように前記個別の自律走行車両により現在使用されている前記ディープラーニングモデルを分類及び管理することができる。これに伴い、前記管理装置１００が、前記ディープラーニングモデルライブラリをもって、前記ディープラーニングモデルのうち、前記映像データとの関係スコアが閾値以上である少なくとも一つのディープラーニングモデルを見出してそれを前記特定のディープラーニングモデルとして前記微調整システム１７０に伝達させることができる。この際、関係スコアは、前記ディープラーニングモデルの映像対象車両情報と、映像対象時間情報と、映像対象位置情報と、映像対象運転者情報とのうち少なくとも一部を使用して計算され得る。一例として、前記映像対象車両情報は対象車両を意味し得、この場合、前記映像データを撮影していた前記特定の自律走行車両であり得る。前記映像対象時間情報は、前記映像データが撮影されていた時間を意味し得る。前記映像対象位置情報は、前記映像データが撮影された場所を意味し得る。前記映像対象運転者情報は、前記対象車両の運転者を意味し得る。前記ディープラーニングモデルは、これに対応する状況に使用されるタグ付けされたデータとしての前記で言及したような情報を有することができる。
【００６７】
以後、前記管理装置１００が、前記ディープラーニングモデルライブラリ１６０から抽出された前記特定のディープラーニングモデルを前記微調整システム１７０に伝送すると、前記微調整システム１７０は、前記映像データ及び前記ラベリング済みデータを含む前記トレーニングデータを使用して、前記特定のディープラーニングモデルのパラメータを微調整することができる。
【００６８】
すなわち、前記微調整システム１７０は、前記特定の自律走行車両２００から取得された前記映像データ及びこれに対応するラベリング済みデータを含む前記トレーニングデータを使用して、前記特定のディープラーニングモデルのうち以前の学習過程により決定された前記パラメータのうち少なくとも一部を再学習することによって、前記予め設定されたパラメータをアップデートして前記パラメータを微調整することができる。以後、前記特定のディープラーニングモデルは、前記特定の自律走行車両２００の前記映像データに適応することができる。
【００６９】
これについて、より具体的に説明するために図３を参照することにする。
【００７０】
図３は、本発明の一実施例による前記自律走行車両の前記ユーザに対してキャリブレーションされた車両特化型及び適応型ディープラーニングモデルを提供するのに使用される、特定のディープラーニングモデルにおける微調整パラメータの過程を簡略に示した図面である。
【００７１】
図３を参照すると、前記微調整システム１７０が、（ｉ）前記特定のディープラーニングモデル内の少なくとも一つのコンボリューションレイヤをもって、前記映像データに少なくとも一つのコンボリューション演算を適用して特徴マップを生成させ、（ｉｉ）前記特定のディープラーニングモデル内の少なくとも一つの出力レイヤをもって、前記特徴マップに少なくとも一つの出力演算を適用して予測データを生成させ、（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記予測データ及び前記ラベリング済みデータを参照してロスを生成し、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって前記特定のディープラーニングモデルのパラメータを微調整することができる。
【００７２】
前記特定のディープラーニングモデルのパラメータが最初から学習されるのではなく微調整されると、前記特定のディープラーニングモデルは、前記映像データに対応する前記特定の自律走行車両に対する予め設定された最適政策及び車両特化型最適政策を参照して、前記自律走行を遂行し得るようになる。この場合、前記予め設定された最適政策は、統計上、かなりの人数のユーザにとって満足するに値する一般化された最適政策を意味し得る。
【００７３】
次に、前記管理装置１００は、前記ディープラーニングモデルライブラリ１６０に、前記微調整システム１７０により調整された、前記微調整されたパラメータを有する特定のディープラーニングモデルを登録、一例としてアップデートすることができる。
【００７４】
以後、前記管理装置１００は、自動アップデートシステム１８０をもって、前記ディープラーニングモデルライブラリ１６０から前記微調整されたパラメータを有する特定のディープラーニングモデルを抽出し、これを前記特定の自律走行車両２００に伝送して、前記特定の自律走行車両２００の前記レガシーディープラーニングモデルを、前記微調整されたパラメータを有する特定のディープラーニングモデルにアップデートすることができる。
【００７５】
この際、前記自動アップデートシステム１８０は、前記自律走行車両２００の状態に対する条件が少なくとも一つの予め設定された条件を満足する場合、前記ディープラーニングモデルのアップデートが行われるようにすることができる。一例として、前記管理装置１００は、前記特定の自律走行車両２００と連動して前記特定の自律走行車両の状況情報を取得し、前記状況情報が走行優先状況に対応する第１状態であるのか、又は管理優先状況に対応する第２状態であるのかを判断し、前記状況情報が前記第２状態である場合、前記特定のディープラーニングモデルを前記特定の自律走行車両に伝送することができる。
【００７６】
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００７７】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００７８】
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126642.tif 000003
【図２】
2020126642.tif 000004
【図３】
2020126642.tif 000005