(57)【要約】      （修正有）【課題】自律走行のために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援する方法を提供する。【解決手段】コンピューティング装置が、以前に学習が完了した物体検出ＣＮＮ２００に含まれる一つ以上のコンボリューションレイヤ２１０をもって、入力された参照イメージに一つ以上のコンボリューション演算を適用して参照コンボリューション特徴マップを生成した後、物体検出ＣＮＮに含まれているＲＯＩプーリングレイヤをもって、参照コンボリューション特徴マップ上のＲＯＩに対応する値のうちの少なくとも一部をプーリングして参照ＲＯＩプーリング済み特徴マップを生成し、代表選択ユニットをもって、参照イメージ上のＲＯＩに含まれた物体のクラスに関する情報を参照し、参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成する、ことを含む。【選択図】図４
2020126621.tif 000002
【特許請求の範囲】
【請求項１】
自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援する方法において、
（ａ）コンピューティング装置が、以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにする段階；及び
（ｂ）前記コンピューティング装置が、代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｂ）段階以前に、
前記コンピューティング装置が、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、
前記（ｂ）段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリング済み特徴マップに適用することにより、一つ以上の特定参照ＦＣの特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照にして前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項３】
前記特定統合パラメータベクトルは、次の数式によって生成され、
2020126621.tif 000006
前記数式で、Ｗｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓｃは、前記特定最終ＦＣ出力値を意味し、ｎは前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｂ）段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする請求項２に記載の方法。
【請求項５】
（ｃ）前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；
をさらに含むことを特徴とする請求項２に記載の方法。
【請求項６】
前記（ｃ）段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする請求項５に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項８】
前記（ａ）段階以前に、
前記コンピューティング装置が、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする請求項１に記載の方法。
【請求項９】
自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング方法において、
（ａ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テスティング装置が、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにする段階；及び
（ｂ）前記テスティング装置が、評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにする段階；
を含むことを特徴とする方法。
【請求項１０】
前記（ｂ）段階で、
前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項９に記載の方法。
【請求項１１】
前記（ｂ）段階で、
前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項９に記載の方法。
【請求項１２】
（ｃ）前記テスティング装置が、前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援する段階；
をさらに含むことを特徴とする請求項９に記載の方法。
【請求項１３】
前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項１２に記載の方法。
【請求項１５】
前記（ｂ）段階で、
前記テスティング装置が、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする請求項９に記載の方法。
【請求項１６】
自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するコンピューティング装置において、
少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするコンピューティング装置。
【請求項１７】
前記（ＩＩ）プロセス以前に、
前記プロセッサが、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、
前記（ＩＩ）プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリングされた特徴マップに適用することにより、一つ以上の特定参照ＦＣ特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照に、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１６に記載のコンピューティング装置。
【請求項１８】
前記特定統合パラメータベクトルは、次の数式によって生成され、
2020126621.tif 000007
前記数式で、Ｗｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓｃは、前記特定最終ＦＣ出力値を意味し、ｎは、前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする請求項１７に記載のコンピューティング装置。
【請求項１９】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする請求項１７に記載のコンピューティング装置。
【請求項２０】
前記プロセッサが、（ＩＩＩ）前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする請求項１７に記載のコンピューティング装置。
【請求項２１】
前記（ＩＩＩ）プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする請求項２０に記載のコンピューティング装置。
【請求項２２】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１６に記載のコンピューティング装置。
【請求項２３】
前記（Ｉ）プロセス以前に、
前記プロセッサが、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする請求項１６に記載のコンピューティング装置。
【請求項２４】
自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング装置において、
少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスティング装置。
【請求項２５】
前記（ＩＩ）プロセスで、
前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項２４に記載のテスティング装置。
【請求項２６】
前記（ＩＩ）プロセスで、
前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項２４に記載のテスティング装置。
【請求項２７】
前記プロセッサが、（ＩＩＩ）前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする請求項２４に記載のテスティング装置。
【請求項２８】
前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項２７に記載のテスティング装置。
【請求項２９】
前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項２７に記載のテスティング装置。
【請求項３０】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする請求項２４に記載のテスティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置｛ＭＥＴＨＯＤ  ＡＮＤ  ＤＥＶＩＣＥ  ＦＯＲ  ＳＵＰＰＯＲＴＩＮＧ  ＡＤＭＩＮＩＳＴＲＡＴＯＲＳ  ＴＯ  ＥＶＡＬＵＡＴＥ  ＯＢＪＥＣＴ  ＤＥＴＥＣＴＩＮＧ  ＰＲＯＣＥＳＳＥＳ  ＯＦ  ＯＢＪＥＣＴ  ＤＥＴＥＣＴＯＲＳ  ＴＯ  ＰＲＯＶＩＤＥ  ＬＯＧＩＣＡＬ  ＧＲＯＵＮＤＳ  ＯＦ  ＡＵＴＯＮＯＭＯＵＳ  ＤＲＩＶＩＮＧ｝を提供する。
【０００２】
本発明は、自律走行車両に利用するための方法及び装置に関し；より詳しくは、自律走行に対する論理的根拠を提供するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置に関する。
【背景技術】
【０００３】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。それから、ＣＮＮは、機械学習分野で非常に有用なツールとなった。
【０００４】
最近、ＣＮＮは自律走行分野に広く用いられている。ＣＮＮは自律走行車両において、前記自律走行を支援するさまざまな機能、例えばシマンティック（ｓｅｍａｎｔｉｃ）セグメンテーション及び物体検出といった機能を遂行できるが、これらは数万枚の学習データセットを用いて学習された後、自律走行車両に搭載されることになる。
【０００５】
だが、前記ＣＮＮが車両を動かしている間、前記ＣＮＮが安定的に作動しているかを判断するのは難しい。前記ＣＮＮが安定的に動作するかを知ることは極めて重要で、これは前記ＣＮＮが不安定に動作する場合、運転者にアラームを与えて前記運転者がどのような問題なのか記録して、以後前記ＣＮＮを向上できるようにすることが必要だからである。
【０００６】
従来技術として、特定の条件を満たす構成を有する前記ＣＮＮに対し、前記ＣＮＮの物体検出結果に対する根拠を提示する方法が存在する。しかし、前記従来技術の前記特定条件は極めて限定的であり、一般的な場合に適用されにくいという短所がある。つまり、前記ＣＮＮが必ずクラス活性化マップ（Ｃｌａｓｓ  Ａｃｔｉｖａｔｉｏｎ  Ｍａｐ）を用いる構成であるべきである。したがって、一般的な構成を有する前記ＣＮＮの安定動作の可否を探知し得る従来技術は、皆無であるのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前述した問題点を解決することを目的とする。
【０００８】
本発明は、各物体に対する各代表特徴マップを利用して、物体検出器の各検出プロセスを評価する手法を提供することにより、自律走行のための論理的根拠を提示することを目的とする。
【課題を解決するための手段】
【０００９】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
【００１０】
本発明の一態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援する方法において、（ａ）コンピューティング装置が、以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにする段階；及び（ｂ）前記コンピューティング装置が、代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；を含むことを特徴とする方法が開示される。
【００１１】
一例として、前記（ｂ）段階以前に、前記コンピューティング装置が、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、前記（ｂ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリング済み特徴マップに適用することにより、一つ以上の特定参照ＦＣの特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照にして前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。
【００１２】
一例として、前記特定統合パラメータベクトルは、次の数式によって生成され、
2020126621.tif 000003
前記数式で、Ｗｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓｃは、前記特定最終ＦＣ出力値を意味し、ｎは前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする。
【００１３】
一例として、前記（ｂ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする。
【００１４】
一例として、（ｃ）前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；をさらに含むことを特徴とする。
【００１５】
一例として、前記（ｃ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする。
【００１６】
一例として、前記（ｂ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。
【００１７】
一例として、前記（ａ）段階以前に、前記コンピューティング装置が、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする。
【００１８】
本発明の他の態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング方法において、（ａ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テスティング装置が、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにする段階；及び（ｂ）前記テスティング装置が、評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにする段階；を含むことを特徴とする方法。
【００１９】
一例として、前記（ｂ）段階で、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。
【００２０】
一例として、前記（ｂ）段階で、前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。
【００２１】
一例として、（ｃ）前記テスティング装置が、前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援する段階；をさらに含むことを特徴とする。
【００２２】
一例として、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。
【００２３】
一例として、前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。
【００２４】
一例として、前記（ｂ）段階で、前記テスティング装置が、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする。
【００２５】
本発明のまた他の態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するコンピューティング装置において、少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピューティング装置を開示する。
【００２６】
一例として、前記（ＩＩ）プロセス以前に、前記プロセッサが、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、前記（ＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリングされた特徴マップに適用することにより、一つ以上の特定参照ＦＣ特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照に、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。
【００２７】
一例として、前記特定統合パラメータベクトルは、次の数式によって生成され、
2020126621.tif 000004
前記数式で、Ｗｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓｃは、前記特定最終ＦＣ出力値を意味し、ｎは、前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする。
【００２８】
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする。
【００２９】
一例として、前記プロセッサが、（ＩＩＩ）前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする。
【００３０】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする。
【００３１】
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。
【００３２】
一例として、前記（Ｉ）プロセス以前に、前記プロセッサが、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする。
【００３３】
本発明のまた他の態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング装置において、少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が開示される。
【００３４】
一例として、前記（ＩＩ）プロセスで、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。
【００３５】
一例として、前記（ＩＩ）プロセスで、前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。
【００３６】
一例として、前記プロセッサが、（ＩＩＩ）前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする。
【００３７】
一例として、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。
【００３８】
一例として、前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。
【００３９】
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする。
【発明の効果】
【００４０】
本発明は、各物体に対する各代表特徴マップを利用して、物体検出器の各判断結果を評価する手法を提供することにより、自律走行の信頼性に対する根拠を示すことが可能となる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図面の簡単な説明】
【００４１】
【図１】図１は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行するコンピューティング装置の構成を概略的に示した図面である。
【図２】図２は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行する前記コンピューティング装置に含まれた物体検出ＣＮＮの構成を概略的に示した図面である。
【図３】図３は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対する準備プロセスにおいての流れを概略的に示した図面である。
【図４】図４は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対するテスティングプロセスにおいての流れを概略的に示した図面である。
【発明を実施するための形態】
【００４２】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００４３】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４４】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４５】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４６】
参考までに、以下の説明において混同を避けるために、前記プロセスに関連する用語には「学習用」または「トレーニング」という単語が追加され、テスティングプロセスに関連する用語には「テスト用」または「テスティング」という単語が追加された。
【００４７】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００４８】
図１は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行するコンピューティング装置の構成を概略的に示した図面である。
【００４９】
図１を参照にすると、コンピューティング装置１００は、少なくとも一つの物体検出ＣＮＮ２００と、代表選択ユニット３００と、評価ユニット４００とを含み得る。この際、前記物体検出ＣＮＮ２００と、前記代表選択ユニット３００と、前記評価ユニット４００との入出力及び演算過程は、前記コンピューティング装置１００に含まれた通信部１１０と、プロセッサ１２０とによってそれぞれ行われ得る。また、前記コンピューティング装置１００に含まれたメモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを遂行し得、後から説明されるインストラクションを遂行することで本発明のプロセスを遂行することができる。このように前記コンピューティング装置１００が描写されたところで、前記コンピューティング装置１００が、プロセッサ、メモリ、ミディアム、または他の演算要素を含む統合装置を排除するものではない。
【００５０】
この際の前記物体検出ＣＮＮ２００の構成について、図２を参照に説明する。
【００５１】
図２は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行する前記コンピューティング装置に含まれた物体検出ＣＮＮの構成を概略的に示した図面である。
【００５２】
この際、前記物体検出ＣＮＮ２００は少なくとも一つのコンボリューションレイヤ２１０と、少なくとも一つのＲＯＩプーリングレイヤ２２０と、少なくとも一つのＦＣレイヤ２３０とを含み得る。前記コンボリューションレイヤ２１０は、前記物体検出ＣＮＮ２００に入力された少なくとも一つの入力イメージに一つ以上のコンボリューション演算を適用することにより、少なくとも一つの特徴マップを生成することができ、前記ＲＯＩプーリングレイヤ２２０は、前記コンボリューション特徴マップ上で、前記それぞれのＲＯＩに対応する各領域に一つ以上のプーリング演算を適用することができる。以降、前記ＦＣレイヤ２３０は、それぞれの前記ＲＯＩに対応する各ＲＯＩプーリング済み特徴マップに一つ以上のＦＣ演算を適用して、前記入力イメージに対する各物体を含む各バウンディングボックスとそれに対応するクラスに関する情報を生成することができる。前記物体検出ＣＮＮ２００は、本発明の一例に係る方法を適用する前に学習が完了されていられ得る。
【００５３】
前記物体検出ＣＮＮ２００の他に、前記代表選択ユニット３００及び前記評価ユニット４００は後から詳しく説明することにする。
【００５４】
図３は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対する準備プロセスにおいての流れを概略的に示した図面である。
【００５５】
図３を参照すると、まず、前記コンピューティング装置１００は、一つ以上の代表特徴マップを生成するための、一つ以上の参照イメージを取得するか、他の装置が一つ以上の参照イメージを取得するように支援することができる。この際、前記参照イメージは、前記物体検出ＣＮＮ２００が物体検出を学習するために用いたトレーニングイメージのうちの少なくとも一部を含むことができる。具体的に、前記トレーニングイメージは、前記物体検出ＣＮＮ２００に入力され、前記コンボリューションレイヤ２１０と、前記ＲＯＩプーリングレイヤ２２０と、前記ＦＣレイヤ２３０とによって演算されたことで、学習用結果値が生成され得る。また、前記学習用結果値及びこれに対応するＧＴを用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行して、前記コンボリューションレイヤ２１０と、前記ＲＯＩプーリングレイヤ２２０と、前記ＦＣレイヤ２３０とのうちの少なくとも一部のパラメータを学習することができる。前記のように前記トレーニングイメージが利用された後、前記トレーニングイメージのうちの少なくとも一部が前記参照イメージに含まれ得る。しかし、本発明の範囲はこれに限らない。
【００５６】
このような参照イメージが取得されると、前記コンピューティング装置１００は、前記物体検出ＣＮＮ２００をもって、前記参照イメージに各レイヤの各演算を適用するようにし得る。具体的には、前記コンボリューションレイヤ２１０は、前記参照イメージに前記コンボリューション演算を適用して、前記参照イメージに対応する一つ以上の参照コンボリューション特徴マップを生成することができる。そして、このようなプロセスと同時に、前記物体検出ＣＮＮ２００を支援するＲＰＮは、前記参照イメージ上でそれぞれの前記物体が存在するものと推定される領域である前記ＲＯＩを生成し、前記ＲＯＩを前記物体検出ＣＮＮ２００に伝達することができる。以降、前記ＲＯＩプーリングレイヤ２２０は、前記参照特徴マップ上で、それぞれの前記ＲＯＩに対応する各領域の値に前記プーリング演算を適用して一つ以上の参照ＲＯＩプーリング済み特徴マップを生成することができる。
【００５７】
前記参照ＲＯＩプーリング済み特徴マップが生成されると、前記コンピューティング装置１００は、前記参照ＲＯＩプーリング済み特徴マップを前記代表選択ユニット３００に伝達することができる。前記代表選択ユニット３００は、前記参照イメージ上の対応されるＲＯＩに含まれた物体クラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップをクラスにそれぞれ分類することができる。このような情報は、それぞれの前記参照イメージに対応する各ＧＴから取得され得る。以降、前記代表選択ユニット３００は、個々の前記参照ＲＯＩプーリング済み特徴マップを利用して各クラス別にそれぞれの前記代表特徴マップを生成することができる。次に、これについて詳細に見てみる。
【００５８】
一例として、前記代表選択ユニット３００は、特定クラスに属する物体を有する特定参照ＲＯＩプーリング済み特徴マップに含まれた各構成要素の各平均を計算し、前記平均をその構成要素とする、前記特定クラスに対する特定代表特徴マップを生成することができる。
【００５９】
他の例として、前記代表選択ユニット３００は、前記特定クラスに対する前記特定代表特徴マップを生成するための先行過程として、前記ＦＣレイヤ２３０に含まれたＦＣニューロン間の関係を分析し、前記ＦＣニューロンのうちの少なくとも一部に対応するパラメータセットを取得できる。具体的に、前記代表選択ユニット３００は、特定最終ＦＣ出力値を生成するのに利用された、特定ＦＣニューロンのパラメータの特定セットを取得できる。前記特定最終ＦＣ出力値は、入力された特徴マップに対応する物体が特定クラスに含まれるかを判断するのに用いられる値であり得る。今後、このような特定セットが取得されれば、前記代表選択ユニット３００は、前記特定セットを参照にして、特定統合パラメータベクトルを生成することができる。その後、前記代表選択ユニット３００は、前記特定クラスに対応する前記特定参照ＲＯＩプーリング済み特徴マップに、前記特定統合パラメータベクトルを利用する一つ以上のベクトル演算を適用して特定参照ＦＣ特徴マップを生成することができる。一例として、前記ベクトル演算には、前記特定統合パラメータベクトルと前記特定参照ＲＯＩプーリング済み特徴マップとの乗算が含まれ得る。その後、前記代表選択ユニット３００は、前記特定参照ＦＣ特徴マップに含まれた各構成要素に対する各平均を計算し、前記平均をその構成要素とする、特定クラスに対する特定代表特徴マップを生成することができる。
【００６０】
例えば、図３の前記物体検出ＣＮＮ２００は、自身に入力されたイメージに含まれた物体を自動車、歩行者、バイクなどに分類することができ、その後、自動車クラス、歩行者クラス、及びバイククラスに対応する各代表特徴マップが生成され得る。図３において、Ｗ１、Ｗ２、．．．、Ｗｎなどは、前述した前記ＦＣレイヤ２３０に含まれた前記パラメータのうちの前記歩行者ｃの前記クラスに対応する歩行者を意味し得る。その結果、前記歩行者クラスに対応する前記特定統合パラメータベクトルは、このように前記パラメータを参照にして生成され得る。
【００６１】
前記プロセスをより詳細に説明するために、これを数式で表現すると次のとおりである。
【００６２】
2020126621.tif 000005
この際、Ｗｃは、前記特定クラスｃに対する前記特定統合パラメータベクトルを、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ） に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し得る。そして、Ｓｃは、前記特定最終ＦＣ出力値を、ｎは、前記特定参照ＲＯＩプーリング済みマップのチャネルの数を意味することができる。前記数式を参照すれば、前記特定統合パラメータベクトルを生成するプロセスが理解され得る。
【００６３】
付加的に、前記コンピューティング装置１００は、各クラス別の前記代表特徴マップそれぞれを参照にして、各クラス別代表イメージを取得できる。つまり、前記コンピューティング装置１００は、前記代表選択ユニット３００をもって、前記特定クラスに対する、前記特定代表特徴マップを生成するために用いられた特徴マップのうちの少なくとも一部を選択し、前記選択された特徴マップに対応する前記参照イメージのうちの一部を、前記特定クラスに対する特定代表イメージとして設定することができる。具体的に、前記コンピューティング装置１００は、前記代表選択ユニット３００をもって、前記特定クラスに対応する前記特定代表特徴マップと前記特定代表特徴マップとを生成するのに利用した前記特徴マップ間の距離に関する情報を生成することができ、前記参照イメージの中の距離が最も短い前記特徴マップに対応する前記参照イメージの一部を設定することができる。参考までに、前記トレーニングイメージの数に対する前記参照イメージの中の前記一部の数の割合は予め設定され得る。
【００６４】
例えば、前述した一例の結果のとおりに、前記代表選択ユニット３００は、前記特定代表特徴マップと前記特定参照ＲＯＩプーリング済み特徴マップとの間の距離に対する前記情報を生成することができる。前述した他の例の結果のとおりに、前記代表選択ユニット３００は、前記特定代表特徴マップと前記特定参照ＦＣ特徴マップとの間の距離に対する情報を生成することができる。以後の過程は、両例示と互いに同じである。
【００６５】
結果的に、前記物体検出ＣＮＮ２００が検出し得るクラス毎の前記代表特徴マップ及び前記代表イメージが生成され得る。以下、前記代表特徴マップを利用して前記コンピューティング装置１００がテスティングプロセスを遂行する方式を説明する。
【００６６】
図４は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対するテスティングプロセスにおいての流れを概略的に示した図面である。
【００６７】
図４を参照すれば、前記コンピューティング装置１００は、少なくとも一つのテストイメージを取得するか、他の装置が少なくとも一つのテストイメージを取得するように支援することができる。一例として、前記コンピューティング装置１００が前記自律走行車両に搭載された場合、前記テストイメージは、前記自律走行車両が運行しながらカメラによって取得したイメージの一つであり得る。前記テストイメージが取得されると、前記コンピューティング装置１００は、前記物体検出ＣＮＮ２００をもって、前記テストイメージに各レイヤの各演算を適用し得る。具体的には、前記コンボリューションレイヤ２１０は、前記テストイメージに前記コンボリューション演算を適用して、前記テストイメージに対応する一つ以上のテスティングコンボリューション特徴マップを生成することができる。そして、このようなプロセスと同時に、前記物体検出ＣＮＮ２００を支援するＲＰＮは、前記テストイメージ上でそれぞれのテスト用物体が存在するものと推定される各領域であるテスト用ＲＯＩを生成し、前記テスト用ＲＯＩを前記物体検出ＣＮＮ２００に伝達することができる。以降、前記ＲＯＩプーリングレイヤ２２０は、前記テスティングコンボリューション特徴マップ上で、それぞれの前記テスト用ＲＯＩに対応する各領域に前記プーリング演算を適用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成することができる。
【００６８】
この後、前記ＦＣレイヤ２３０は、それぞれのテスティングＲＯＩプーリング済み特徴マップに前記ＦＣ演算を適用してテスティングＦＣ特徴マップそれぞれを生成することができ、前記テストイメージ上の前記各テスト用物体を含むそれぞれのテスト用バウンディングボックスに関する情報と、それぞれのテスト用物体に関する各クラスに関する情報とを生成することができる。その際、各物体の各クラスに関する前記情報は、前記テスト用特定物体の前記特定クラスに関する情報を含み得る。つまり、前記テスティング装置は、前記物体検出ＣＮＮ２００をもって、前記ＦＣレイヤ２３０を用いて前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得させることができ、前記評価ユニットをもって、前記テスト用物体の前記クラスに関する情報を利用して前記代表特徴マップを選択するようにすることができる。
【００６９】
この際、前記コンピューティング装置１００は、前記代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合なら、前記評価ユニット４００をもって、（ｉ）テスト用特定物体に対応する、前記テスティングＲＯＩプーリング済み特徴マップのうちの特定テスティングＲＯＩプーリング済み特徴マップと、（ｉｉ）前記テスト用特定物体を含んでいると推定される前記特定クラスに対応する前記特定代表特徴マップとの間の距離に関する情報を生成するようにすることができ、前記距離に対する前記情報を参照にして前記テスト用特定物体に関する特定信頼度点数を生成するようにすることができる。
【００７０】
または、前記コンピューティング装置１００は、前記代表特徴マップが前記参照ＦＣ特徴マップを利用して生成された場合なら、前記評価ユニット４００をもって、（ｉ）前記テスト用特定物体に対応する、前記テスティングＦＣ特徴マップのうちの特定テスティングＦＣ特徴マップと、（ｉｉ）前記特定代表マップとの間の距離に関する情報を生成するようにし得、前記距離に関する前記情報を参照にして、前記テスト用特定物体に対する前記特定信頼度点数を生成するようにすることができる。
【００７１】
この際、前記距離に対する前記情報は、前記二つの特徴マップ間の距離であるＬ１距離、またはＬ−ｐの距離にあるユークリッド距離（Ｅｕｃｌｉｄｅａｎ  ｄｉｓｔａｎｃｅ）を計算することによって生成され得るが、本発明の範囲はこれに限定されない。
【００７２】
また、前記特定信頼度点数を計算する過程に加えて、前記コンピューティング装置１００は、前記評価ユニット４００をもって、前記特定クラスに対応する前記特定代表イメージのうちの少なくとも一部を、管理者によって確認されるか、管理者に示すイメージとして取得できる。
【００７３】
この際、前記評価ユニット４００は、前記代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記特定代表イメージに対応する前記特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＲＯＩプーリング済み特徴マップのうちの一部を選択するようにし得る。その際、前記特定代表イメージは、前記特定参照ＲＯＩプーリング済み特徴マップに対応し得る。前記距離に関するこのような情報は、前記管理者に示される際の手順を決定するために参照され得る。
【００７４】
この際、前記評価ユニット４００は、前記代表特徴マップが前記参照ＦＣ特徴マップを利用して生成された場合、前記特定代表イメージに対応する前記特定参照ＦＣ特徴マップと、前記特定テスティングＦＣ特徴マップとの間の距離に関する情報を生成するようにした後、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択してディスプレイする前記特定代表イメージのうちの一部を選択することができる。その際、前記特定代表イメージは、前記特定参照ＦＣ特徴マップに対応し得る。前記距離に関するこのような情報は、前記管理者に示される際の手順を決定するために参照され得る。
【００７５】
前記で説明されたテスティング方法は、連動された前記準備プロセスとともに説明したい。次に、準備装置及びテスティング装置を説明する。前記準備装置及び前記テスティング装置は、前記コンピューティング装置１００のように同一のコンピューティング装置でもあり得るが、同一ではないであろう。たとえば、前記準備装置は前記コンピューティング装置１００であり得るが、前記テスティング装置は別途のコンピューティング装置であり得る。
【００７６】
まず、前記準備装置が、（１）以前に学習が完了された前記物体検出ＣＮＮ２００に含まれた前記コンボリューションレイヤ２１０をもって、これに入力された前記参照イメージに前記コンボリューション演算を適用して、前記参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮ２００に含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）プーリングレイヤ２２０をもって、前記物体検出ＣＮＮと連動された前記ＲＰＮから前記参照コンボリューション特徴マップ上の前記ＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）前記代表選択ユニット３００をもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援した状態で、前記テスティング装置が、前記テストイメージを取得すると、前記物体検出ＣＮＮ２００をもって、これに含まれた前記コンボリューションレイヤ２１０と、前記ＲＯＩプーリングレイヤ２２０と、ＦＣレイヤ２３０とを利用して前記テスティングＲＯＩプーリング済み特徴マップを生成するようし得る。
【００７７】
その後、前記テスティング装置は、評価ユニット４００をもって、テスト用特定物体の特定クラスに対応する前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する前記特定信頼度点数を生成するようにし得る。
【００７８】
次に、各物体のプロセスを遂行することで各物体の前記判別信頼度を判断するための、前記イメージを生成した後のプロセスを説明することにする。
【００７９】
まず、前記信頼度点数は、前記コンピューティング装置１００が前記自律走行車両に搭載されている場合、運転者にアラームを与える用途で利用され得る。つまり、前記信頼度点数が特定閾値以下である場合、前記物体検出ＣＮＮ２００はこれ以上信頼できなくなるので、前記運転者は、前記自律走行車両を統制し、前記物体検出ＣＮＮ２００を更新できるようにアラームを受けることができる。
【００８０】
また、見えてきた前記特定イメージのうちの前記少なくとも一部は、前記プログラマーが前記物体検出ＣＮＮ２００をメンテナンスする際、前記物体検出ＣＮＮ２００がどんな風に、なぜ誤った動作をしたのかを把握するのに役立つことができる。
【００８１】
本発明は、説明可能なＡＩを利用した自律走行システムと関連がある。前記説明可能なＡＩは判別プロセスを判断するので、プログラマーは前記説明可能なＡＩを含む自律走行システムをより容易に構築しながら機能安全を図ることができる。例えば、学習されたＤＮＮは、自身に入力されたイメージから特徴マップを抽出でき、前記特徴マップとそれに対応する代表特徴マップとを比較することで前記二つの特徴マップ間の類似点数を生成することができ、これはプログラマーが分析できる。したがって、本発明は故障に対する抵抗力及び極限状況で変動に対する強靭さのために利用され得る。
【００８２】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【００８３】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００８４】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126621.tif 000008
【図２】
2020126621.tif 000009
【図３】
2020126621.tif 000010
【図４】
2020126621.tif 000011