【手続補正書】
【提出日】令和1年12月23日(2019.12.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
セマンティックセグメンテーションモデルによって、少なくとも一つのラベル付けされていない画像に対して、セマンティックセグメンテーションを行い、初歩のセマンティックセグメンテーション結果を、前記ラベル付けされていない画像のカテゴリとして得ることと、
畳み込みニューラルネットワークによって、少なくとも一つの前記ラベル付けされていない画像のカテゴリ、および少なくとも一つのラベル付けされた画像のカテゴリに基づき、少なくとも二つの画像がそれぞれ対応するサブ画像およびサブ画像に対応する特徴を得ることであって、前記少なくとも二つの画像は、少なくとも一つの前記ラベル付けされていない画像および少なくとも一つの前記ラベル付けされた画像を含み、前記少なくとも二つのサブ画像には対応する画像のカテゴリが含まれている、ことと、
少なくとも二つのサブ画像のカテゴリ、および少なくとも二つのサブ画像間の特徴距離に基づき、セマンティックセグメンテーションモデルを訓練することと、を含むことを特徴とする、セマンティックセグメンテーションモデルの訓練方法。
【請求項２】
少なくとも二つのサブ画像のカテゴリ、および少なくとも二つのサブ画像間の特徴距離に基づき、セマンティックセグメンテーションモデルを訓練するステップは、
サブ画像間のカテゴリ関係に基づき、パッチグラフを作成することであって、前記パッチグラフが、前記サブ画像を含むノードおよび任意の二つの前記サブ画像間の特徴距離を含むリンクを含むことと、
前記セマンティックセグメンテーションモデルを訓練し、前記パッチグラフにおいて、カテゴリが同じである二つのサブ画像間の特徴距離を第一所定値よりも小さくし、カテゴリが異なる二つのサブ画像間の特徴距離を第二所定値よりも大きくすることと、を含むことを特徴とする、請求項１に記載の方法。
【請求項３】
サブ画像間のカテゴリ関係に基づいてパッチグラフを作成するステップは、
少なくとも一つのサブ画像を基準ノードとして選択し、少なくとも一つの基準ノードのそれぞれに対して、
前記基準ノードと同じカテゴリのサブ画像を正の相関関係があるノードとし、前記基準ノードと異なるカテゴリのサブ画像を負の相関関係があるノードとし、前記基準ノードと少なくとも一つの前記正の相関関係があるノードとの間で正相関接続をそれぞれ確立し、前記基準ノードと少なくとも一つの前記負の相関関係があるノードとの間で負相関接続をそれぞれ確立することと、
少なくとも一つの前記基準ノード、前記基準ノードの前記正の相関関係があるノード、前記基準ノードの前記負の相関関係があるノード、前記正相関接続および前記負相関接続によって、疎接続された前記パッチグラフを形成することと、を含むことを特徴とする、請求項２に記載の方法。
【請求項４】
前記セマンティックセグメンテーションモデルを訓練する前記ステップは、
勾配バックプロパゲーションアルゴリズムによって、前記セマンティックセグメンテーションモデルを訓練し、それによって前記畳み込みニューラルネットワークの誤差を最小化することを含み、前記誤差は、前記畳み込みニューラルネットワークに基づいて得られた、対応するサブ画像の特徴のトリプレット損失であることを特徴とする、請求項２または３に記載の方法。
【請求項５】
勾配バックプロパゲーションアルゴリズムによって、前記セマンティックセグメンテーションモデルを訓練する前記ステップは、
作成した前記パッチグラフにおけるサブ画像間の特徴距離に基づいて、損失関数計算によって最大誤差を得て、前記最大誤差を勾配バックプロパゲーションすることによって、前記畳み込みニューラルネットワークにおける少なくとも一層の誤差を計算することと、
前記少なくとも一層の誤差に基づいて少なくとも一層のパラメータの勾配を算出し、前記勾配に応じて前記畳み込みニューラルネットワークにおける対応する層のパラメータを補正することと、
パラメータ最適化後の畳み込みニューラルネットワークによって出力されるサブ画像間の距離に基づいて誤差を算出し、前記誤差を最大誤差とすることと、
前記最大誤差を勾配バックプロパゲーションすることによって、前記畳み込みニューラルネットワークにおける少なくとも一層の誤差を計算することを反復実行することと、
前記少なくとも一層の誤差に基づいて少なくとも一層のパラメータの勾配を算出し、前記勾配に応じて前記畳み込みニューラルネットワークにおける対応する層のパラメータを、前記最大誤差が所定値以下になるまで補正することと、を含むことを特徴とする、請求項４に記載の方法。
【請求項６】
セマンティックセグメンテーションモデルを訓練する前記ステップは、
前記畳み込みニューラルネットワークの訓練結果に基づいて前記畳み込みニューラルネットワークのパラメータを得ることと、
得られたた前記畳み込みニューラルネットワークのパラメータに基づいて、前記セマンティックセグメンテーションモデルにおけるパラメータを初期化することと、を含むことを特徴とする、請求項４から５のいずれか一項に記載の方法。
【請求項７】
畳み込みニューラルネットワークによって、少なくとも一つの前記ラベル付けされていない画像のカテゴリ、および少なくとも一つのラベル付けされた画像のカテゴリに基づき、少なくとも二つの画像がそれぞれ対応するサブ画像およびサブ画像に対応する特徴を得る前記ステップは、
所定の大きさの選択ボックスが前記少なくとも二つの画像において移動することに応じて、選択ボックス内の画素を判別し、前記選択ボックス内の画素のうち同一カテゴリの画素が占める比率が所定値以上である場合、前記選択ボックス内の画像をサブ画像として出力し、前記サブ画像を前記カテゴリとしてラベル付けることと、
前記畳み込みニューラルネットワークによって前記サブ画像に対応する特徴を得ることと、を含むことを特徴とする、請求項１から６のいずれか一項に記載の方法。
【請求項８】
さらに、前記選択ボックス内の画素のうち同一カテゴリの画素が占める比率が所定値よりも小さい場合、前記選択ボックスを破棄することを含むことを特徴とする、請求項７に記載の方法。
【請求項９】
畳み込みニューラルネットワークによって前記サブ画像に対応する特徴を得る前記ステップは、
畳み込みニューラルネットワークによって前記ラベル付けされていない画像および前記ラベル付けされた画像の特徴をそれぞれ抽出し、前記ラベル付けされていない画像および前記ラベル付けされた画像に対応する特徴マップを取得することと、
前記サブ画像に対応する選択ボックスの位置および大きさに基づき、対応する特徴マップから対応する前記選択ボックス内の特徴を得て、前記サブ画像に対応する特徴を特定することと、を含むことを特徴とする、請求項７または８に記載の方法。
【請求項１０】
セマンティックセグメンテーションモデルによって、少なくとも一つのラベル付けされていない画像に対して、セマンティックセグメンテーションを行うステップの前に、さらに、
ランダム勾配降下法を使用して前記セマンティックセグメンテーションモデルを、所定の収束条件を満たすまで訓練することを含むことを特徴とする、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
畳み込みニューラルネットワークによって、少なくとも一つの前記ラベル付けされていない画像のカテゴリ、および少なくとも一つのラベル付けされた画像のカテゴリに基づき、少なくとも二つの画像がそれぞれ対応するサブ画像およびサブ画像に対応する特徴を得るステップの前に、さらに、
ランダム勾配降下法を使用して前記畳み込みニューラルネットワークを、所定の収束条件を満たすまで訓練することを含むことを特徴とする、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
セマンティックセグメンテーションモデルによって、少なくとも一つのラベル付けされていない画像に対して、セマンティックセグメンテーションを行い、初歩のセマンティックセグメンテーション結果を、前記ラベル付けされていない画像のカテゴリとして得るためのセグメンテーション部と、
畳み込みニューラルネットワークによって、少なくとも一つの前記ラベル付けされていない画像のカテゴリ、および少なくとも一つのラベル付けされた画像のカテゴリに基づき、少なくとも二つの画像がそれぞれ対応するサブ画像およびサブ画像に対応する特徴を得るためのサブ画像抽出部であって、前記少なくとも二つの画像は、少なくとも一つの前記ラベル付けされていない画像および少なくとも一つの前記ラベル付けされた画像を含み、前記少なくとも二つのサブ画像には対応する画像のカテゴリが含まれている、サブ画像抽出部と、
少なくとも二つのサブ画像のカテゴリ、および少なくとも二つのサブ画像間の特徴距離に基づき、セマンティックセグメンテーションモデルを訓練するための前記ラベル付けされた画像の訓練部と、を含む、ことを特徴とする、セマンティックセグメンテーションモデルの訓練装置。
【請求項１３】
請求項１２に記載のセマンティックセグメンテーションモデルの訓練装置を含むプロセッサを含むことを特徴とする、電子機器。
【請求項１４】
実行可能命令を記憶するためのメモリ、および
前記メモリと通信して前記実行可能命令を実行することで請求項１から１１のいずれか一項に記載のセマンティックセグメンテーションモデルの訓練方法の操作を実行するためのプロセッサを含むことを特徴とする、電子機器。
【請求項１５】
コンピュータ読み取り可能な命令を記憶するためのコンピュータ記憶媒体であって、前記命令が実行される時に請求項１から１１のいずれか一項に記載のセマンティックセグメンテーションモデルの訓練方法の操作を実行することを特徴とする、コンピュータ記憶媒体。
【請求項１６】
機器において動作される時、前記機器内のプロセッサが請求項１から１１のいずれか一項に記載のセマンティックセグメンテーションモデルの訓練方法における各ステップを実現するための命令を実行するコンピュータ読み取り可能コードを含むことを特徴とする、コンピュータプログラム。