【手続補正書】
【提出日】令和2年6月24日(2020.6.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処理すべき画像に対して特徴抽出を行って前記画像の特徴マップを生成することと、
前記特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定することと、
前記対応する特徴重みに基づいて、各特徴点の特徴情報をそれぞれ前記特徴マップにおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得することと、を含むことを特徴とする画像処理方法。
【請求項２】
前記特徴強調後の特徴マップに基づいて前記画像に対してシーン解析処理又は物体分割処理を行うこと、
前記シーン解析処理の結果又は前記物体分割処理の結果により、ロボットナビゲーション制御又は車両インテリジェントドライブ制御を行うこと、
および／または、
前記特徴マップに含まれる特徴点の特徴重みは、特徴点が前記特徴マップに含まれる他の特徴点の特徴情報を受信する時の重みを示す内部受信重みと、特徴点が特徴情報を前記特徴マップに含まれる他の特徴点に伝送する時の重みを示す外部送信重みと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定することには、
前記特徴マップに対して第１のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の内部受信重みの第１の重みベクトルを取得することと、
前記特徴マップに対して第２のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の外部送信重みの第２の重みベクトルを取得することと、を含むこと、
および／または、
特徴抽出ネットワークと特徴強調ネットワークを用いて実現されるものであって、
処理すべき画像に対して特徴抽出を行って前記画像の特徴マップを生成する前に、
サンプル画像を用いて前記特徴強調ネットワークをトレーニングし、又は、サンプル画像を用いて前記特徴抽出ネットワークと前記特徴強調ネットワークをトレーニングすることを更に含み、
前記サンプル画像は、アノテーション付きシーン解析結果又はアノテーション付き物体分割結果を含むアノテーション付き処理結果を有することを特徴とすること
を特徴とする請求項２に記載の方法。
【請求項４】
前記特徴マップに対して第１のブランチ処理を行って、含まれる複数の特徴点のうちの各特徴点の内部受信重みの第１の重みベクトルを取得することは、
ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得することと、
前記第１の中間重みベクトルにおける無効情報を除去し、前記第１の重みベクトルを取得することと、を含み、
前記無効情報は、特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報を示すこと、
および／または、
前記特徴マップに対して第２のブランチ処理を行って、含まれる複数の特徴点のうちの各前記特徴点の外部送信重みの第２の重みベクトルを取得することは、
ニューラルネットワークにより前記特徴マップを処理し、第２の中間重みベクトルを取得することと、
前記第２の中間重みベクトルにおける無効情報を除去し、前記第２の重みベクトルを取得することと、を含み、
前記無効情報は、特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報を示すこと、
および／または、
対応する前記特徴重みに基づいて、各特徴点の特徴情報をそれぞれ前記特徴マップにおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得することは、
前記第１の重みベクトルと前記特徴マップに基づいて第１の特徴ベクトルを取得し、前記第２の重みベクトルと前記特徴マップに基づいて第２の特徴ベクトルを取得することと、
前記第１の特徴ベクトル、前記第２の特徴ベクトル及び前記特徴マップに基づいて前記特徴強調後の特徴マップを取得することと、を含むこと、
を特徴とする請求項３に記載の方法。
【請求項５】
ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得することは、
前記特徴マップにおける各特徴点について、当該特徴点を第１の入力点とし、前記第１の入力点の周囲位置を前記第１の入力点に対応する第１の出力点とし、前記第１の入力点と前記第１の入力点に対応する第１の出力点との間の第１の伝達割合ベクトルを取得し、前記周囲位置は、前記特徴マップにおける複数の特徴点と前記第１の入力点の空間位置での複数の隣接位置とを含むことと、
前記各特徴点の前記第１の伝達割合ベクトルに基づいて前記第１の中間重みベクトルを取得することと、を含むこと、
および／または、
ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得することは、
ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得する前に、
畳み込み層により前記特徴マップに対して次元削減処理を行い、第１の中間特徴マップを取得することを更に含みと、
ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得することは、
前記ニューラルネットワークにより前記次元削減後の第１の中間特徴マップを処理し、前記第１の中間重みベクトルを取得すること、とを含むこと、
を特徴とする請求項４に記載の方法。
【請求項６】
前記第１の中間重みベクトル中の無効情報を除去し、前記第１の重みベクトルを取得することは、
前記第１の出力点に含まれる情報が空である第１の伝達割合ベクトルを前記第１の中間重みベクトルから認識することと、
前記第１の中間重みベクトルから認識された第１の伝達割合ベクトルを除去し、前記特徴マップの前記内部受信重みを取得することと、
前記内部受信重みに基づいて前記第１の重みベクトルを決定することと、を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記内部受信重みに基づいて前記第１の重みベクトルを決定することは、
前記内部受信重みを対応の前記第１の出力点の位置に応じて配列し、前記第１の重みベクトルを取得することを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記ニューラルネットワークにより前記特徴マップを処理し、前記第２の中間重みベクトルを取得することは、
前記特徴マップにおける各特徴点について、当該特徴点を第２の出力点とし、前記第２の出力点の周囲位置を前記第２の出力点に対応する第２の入力点とし、前記第２の出力点と前記第２の出力点に対応する第２の入力点との間の第２の伝達割合ベクトルを取得し、前記周囲位置は、前記特徴マップにおける複数の特徴点と前記第２の出力点の空間位置での複数の隣接位置を含むことと、
前記各特徴点の前記第２の伝達割合ベクトルに基づいて前記第２の中間重みベクトルを取得することと、
および／または、
ニューラルネットワークにより前記特徴マップを処理し、第２の中間重みベクトルを取得することは、
ニューラルネットワークにより前記特徴マップを処理し、第２の中間重みベクトルを取得する前に、畳み込み層により前記特徴マップに対して次元削減処理を行い、第２の中間特徴マップを取得することと、
前記ニューラルネットワークにより前記次元削減後の第２の中間特徴マップを処理し、前記第２の中間重みベクトルを取得することと、を含むこと、
および／または、
前記第１の重みベクトルと前記特徴マップに基づいて第１の特徴ベクトルを取得することは、
前記第１の重みベクトルと、前記特徴マップ又は前記特徴マップに対して次元削減処理を行った後の第１の中間特徴マップとに対して行列乗算処理を行い、前記第１の特徴ベクトルを取得することを含み、
前記第２の重みベクトルと前記特徴マップに基づいて第２の特徴ベクトルを取得することは、
前記第２の重みベクトルと、前記特徴マップ又は前記特徴マップに対して次元削減処理を行った後の第２の中間特徴マップとに対して行列乗算処理を行い、前記第２の特徴ベクトルを取得することを含むこと、
および/または、
前記第１の特徴ベクトル、前記第２の特徴ベクトル及び前記特徴マップに基づいて前記特徴強調後の特徴マップを取得することは、
前記第１の特徴ベクトルと前記第２の特徴ベクトルをチャネル次元で結合し、結合特徴ベクトルを取得することと、
前記結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得することと、を含むこと、
を特徴とする請求項４に記載の方法。
【請求項９】
前記第２の中間重みベクトル中の無効情報を除去し、前記第２の重みベクトルを取得することは、
前記第２の出力点に含まれる情報が空である第２の伝達割合ベクトルを前記第２の中間重みベクトルから認識することと、
前記第２の中間重みベクトルから認識された第２の伝達割合ベクトルを除去し、前記特徴マップの前記外部送信重みを取得することと、
前記外部送信重みに基づいて前記第２の重みベクトルを決定することと、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記外部送信重みに基づいて前記第２の重みベクトルを決定することは、
前記外部送信重みを対応の前記第２の入力点の位置に応じて配列し、前記第２の重みベクトルを取得することを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得する前に、
前記結合特徴ベクトルに対して特徴投影処理を行い、処理後の結合特徴ベクトルを取得することを更に含み、
前記結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得することは、
前記処理後の結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得することを含むことを特徴とする請求項８に記載の方法。
【請求項１２】
サンプル画像を用いて前記特徴強調ネットワークをトレーニングすることは、
前記サンプル画像を前記特徴抽出ネットワークと前記特徴強調ネットワークに入力し、予測処理結果を取得することと、
前記予測処理結果と前記アノテーション付き処理結果に基づいて、前記特徴強調ネットワークをトレーニングすることと、を含むこと、
および／または、
サンプル画像を用いて前記特徴抽出ネットワークと前記特徴強調ネットワークをトレーニングすることは、
前記サンプル画像を前記特徴抽出ネットワークと前記特徴強調ネットワークに入力し、予測処理結果を取得することと、
前記予測処理結果と前記アノテーション付き処理結果に基づいて第１の損失を取得することと、
前記第１の損失に基づいて前記特徴抽出ネットワークと前記特徴強調ネットワークをトレーニングすることと、を含むことを特徴とする請求項３に記載の方法。
【請求項１３】
前記特徴抽出ネットワークにおける１つの中間層によって出力された特徴マップに基づいて、中間予測処理結果を決定することと、
前記中間予測処理結果と前記アノテーション付き処理結果に基づいて第２の損失を取得することと、
前記第２の損失に基づいて前記特徴抽出ネットワークのパラメータを調整することと、を更に含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
処理すべき画像に対して特徴抽出を行って前記画像の特徴マップを生成するための特徴抽出ユニットと、
前記特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定するための重み決定ユニットと、
前記対応する特徴重みに基づいて、各特徴点の特徴情報をそれぞれ前記特徴マップにおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得するための特徴強調ユニットと、を含むことを特徴とする画像処理装置。
【請求項１５】
実行可能コマンドを記憶するためのメモリと、
プロセッサを備え、
前記プロセッサは、前記メモリと通信することにより、前記実行可能コマンドを実行して請求項１〜１３のいずれか一項に記載の画像処理方法の操作を完成することを特徴とする電子機器。
【請求項１６】
コンピュータ読取可能なコマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行されると、請求項１〜１３のいずれか一項に記載の画像処理方法の操作が実行されることを特徴とするコンピュータ記憶媒体。
【請求項１７】
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動すると、前記機器におけるプロセッサは、請求項１〜１３のいずれか一項に記載の画像処理方法を実現するためのコマンドを実行することを特徴とするコンピュータプログラム製品。