(57)【要約】      （修正有）【課題】画像セグメンテーション方法、装置およびコンピュータプログラムを提供する。【解決手段】画像セグメンテーション装置において、一つ以上の残差ブロックを含むニューラルネットワークを用いて、入力画像について解像度の異なる複数の特徴マップを獲得するエンコードモジュール１０、複数の特徴マップのうち、隣接した特徴マップペアを用いて、一つの予測マップを生成するデコードモジュール１１を含む。デコードモジュールは、一回以上のデコードラウンドを行い、各デコードラウンドは、以前のラウンドで生成された特徴マップから、隣接した特徴マップの一ペアのうち、高い解像度を有する高解像度特徴マップと、低い解像度を有する低解像度特徴マップとを用いて結合特徴マップを生成するATFモジュール１１２を一つ以上含む。デコードラウンドは、一つの予測マップが生成されるまで繰り返し実行される。【選択図】図3
2020187721.tif 000002
【特許請求の範囲】
【請求項１】
フィードフォワード(feed-forward)の人工ニューラルネットワークを用いて入力画像について解像度の異なる複数の特徴マップを獲得するエンコード段階;
上記複数の特徴マップで隣接した特徴マップの一ペアのうち、高い解像度を有する高解像度特徴マップと、低い解像度を有する低解像度特徴マップとをアップサンプリング(upsampling)したアップサンプリング低解像度特徴マップを結合して結合特徴マップを生成する段階;
上記結合特徴マップの生成段階の出力で、一つの予測マップが算出されるまで、再帰的に上記結合特徴マップの生成段階を繰り返し実行するデコード段階;
上記予測マップを用いて、上記入力画像に含まれた一つ以上のオブジェクトを分類する段階を含む、画像セグメンテーション方法。
【請求項２】
上記結合特徴マップを生成する段階は、
上記低解像度特徴マップをアップサンプリングする段階;
上記低解像度特徴マップに複数の活性化関数レイヤーを適用して、上記低解像度特徴マップのコンテキスト情報を収集し、これを用いて上記高解像度特徴マップを再調整する段階;
上記高解像度特徴マップと、上記再調整された高解像度特徴マップ、上記アップサンプリングされた低解像度特徴マップとを合算する段階を含む、請求項１に記載の画像セグメンテーション方法。
【請求項３】
上記解像度の異なる複数の特徴マップは、
上記フィードフォワードの人工ニューラルネットワークを構成する畳み込みレイヤーまたは一つ以上の残差ブロックから出力される特徴マップであって、上記残差ブロックから出力される特徴マップは、上記残差ブロックの入力マップと上記入力マップをフィルタリングした結果を合算したものである、請求項１に記載の画像セグメンテーション方法。
【請求項４】
上記予測マップは、上記複数の特徴マップのうち、最高の解像度を有する特徴マップと同じ解像度を有する、請求項１に記載の画像セグメンテーション方法。
【請求項５】
上記オブジェクトを分類する段階は、
上記予測マップをアップサンプリングして、上記入力イメージと同じサイズの最終予測マップを生成する段階;
出力画像のピクセルに上記最終予測マップの深さの次元に応じて、最高の値を有するクラスをラベリングする段階を含む、請求項１に記載の画像セグメンテーション方法。
【請求項６】
一つ以上の残差ブロックを含む人工ニューラルネットワークを用いて、入力画像について解像度の異なる複数の特徴マップを獲得するエンコードモジュール;
上記複数の特徴マップのうち、隣接した特徴マップペアらを用いて、一つの予測マップを生成するデコードモジュールを含め、
上記デコードモジュールは、一回以上のデコードラウンドを行い、
各デコードラウンドは、以前のラウンドで生成された特徴マップを構成する隣接した特徴マップの一ペアのうち、高い解像度を有する高解像度特徴マップと、低い解像度を有する低解像度特徴マップとを用いて結合特徴マップを生成するATFモジュールを一つ以上含め、
上記デコードラウンドは、上記一つの予測マップが生成されるまで繰り返し実行されることを特徴とする、画像セグメンテーション装置。
【請求項７】
上記ATFモジュールは、
上記低解像度特徴マップをアップサンプリング(upsampling)したアップサンプリング低解像度特徴マップと、上記高解像度特徴マップとを結合して上記結合特徴マップを生成する、請求項6に記載の画像セグメンテーション装置。
【請求項８】
上記アップサンプリング低解像度特徴マップは、
次の数学式を用いて算出される、請求項6に記載の画像セグメンテーション装置。
【数９】
2020187721.tif 000014
【請求項９】
上記ATFモジュールは、
上記低解像度特徴マップをアップサンプリングするアップサンプリング部;
上記低解像度特徴マップに複数の活性化関数レイヤーを適用して、上記低解像度特徴マップのコンテキスト情報を収集し、これを用いて上記高解像度特徴マップを再調整する再調整部;
上記高解像度特徴マップと、上記再調整された高解像度特徴マップと、上記アップサンプリングされた低解像度特徴マップとを合算する合算部を含む、請求項6に記載の画像セグメンテーション装置。
【請求項１０】
上記合算部は、
上記合算された結果物に適用される畳み込みレイヤーを更に含む、請求項9に記載の画像セグメンテーション装置。
【請求項１１】
上記複数の活性化関数レイヤーは、
全域プーリング(Global Pooling)レイヤー、ReLUレイヤーとFC(Full Connected)レイヤーとを含む、隠れレイヤーまたはシグモイド関数のうち、少なくと図一つを含む、請求項9に記載の画像セグメンテーション装置。
【請求項１２】
上記全域プーリングレイヤーの結果、ベクトルgは、次の数学式に応じて算出される、請求項11に記載の画像セグメンテーション装置。
【数１０】
2020187721.tif 000015
【請求項１３】
上記再調整部の出力
2020187721.tif 000016
は、次の数学式に対応する、請求項9に記載の画像セグメンテーション装置。
2020187721.tif 000017
【請求項１４】
上記合算部は、次の数学式に応じて、上記結合特徴マップ
2020187721.tif 000018
を算出する、請求項9に記載の画像セグメンテーション装置。
2020187721.tif 000019
【請求項１５】
上記デコードモジュールは、
上記予測マップをアップサンプリングして最終予測マップを生成するアップサンプリングレイヤーを更に含む、請求項6に記載の画像セグメンテーション装置。
【請求項１６】
出力画像のピクセルに上記最終予測マップの深さの次元に応じて、最高の値を有するクラスをラベリングする予測ブロックを更に含む、請求項15に記載の画像セグメンテーション装置。
【請求項１７】
ハードウェアと結合されて、請求項1ないし請求項5のいずれかの方法を実行させるために、コンピュータ読み取り可能な記録媒体に保存された画像セグメンテーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像セグメンテーション方法、装置およびコンピュータプログラム{METHOD、APPARATUS AND COMPUTER PROGRAM FOR IMAGE SEGMENTATION}に関し、より詳しくは、自律走行、増強現実などのように、知覚(perception)と関連した応用プログラムに効率的に適用されることができる意味論的(semantic)な画像セグメンテーション方法、装置およびコンピュータプログラムに関する。
【背景技術】
【０００２】
過去の数年間、コンピュータリソースおよび視覚的なデータの量が非常に増加しながら、コンピュータビジョン分野でディープラーニングが集中的に活用された。最もよく知られているディープラーニング分野中の一つである畳み込み人工ニューラルネットワーク(CNN：Convolutional Neural Networks、以下「CNN」と称する)は、全般的なコンテンツ分類の様々な問題で重要な性能改善を導き出すことで、多くの研究者らから活用された。
【０００３】
大規模な画像認識のための深層畳み込みネットワーク(先行文献1)は、画像レベルでは、分類(classification)と呼ばれる一方、意味論的な深層畳み込みネットワーク(先行文献2)は、ピクセル水準で同じ作業を実行することで、一歩進んだとして、意味論的な細分化(semantic segmentation)と呼ばれる。
【０００４】
増強現実、コンピュータ写真撮影、自律走行のような最近の認識関連の応用プログラムの急速な発展は、与えられた場面をより包括的に理解するために、ピクセル単位の分類性能を必要としているため、このようなピクセル単位のラベリング問題は、公開された研究領域として残っている。
【０００５】
一般的に、このようなピクセル単位のグループ化問題を解決するために、ほとんどの既存の研究は、VGGNetのような画像を分類するために、主に設計されたCNNを用いる(先行文献3)。具体的には、浅いレイヤーは原本入力の部分表示により細かくパターン化されたが、意味論的な特性を弱く学習する一方、深いレイヤーは抽象的な態様、すなわち粗いパターンを示す特徴マップを得るが、複数のサブサンプリング段階と入力画像に対するより広い視野によって、関心領域について意味論的に豊富な情報を提供することができる。言い替えて、学習された地形地図のスペース解像度が徐々に減少するCNNのフィードフォワーディングプロセスの以降に、当該チャンネルの次元が大きく増加しながら、ローカルおよびグローバルコンテキスト情報が連続的に抽出される。したがって、意味論的なセグメンテーション問題は、どのように入力と同じサイズを有し、密度が高くラベリングされた出力を生成するか、すなわち、最適のアップサンプリング戦略の設計にあると言える。最適のアップサンプリング戦略を見出すためには、ローカル情報(微細パターン化された特徴)をバックボーンCNNの浅いレイヤーから深いレイヤーまで、全レイヤーから獲得したグローバルコンテキスト(意味論的に豊富な特徴)とバランスよく結合することができる方法を見出すべきだ。
【先行技術文献】
【非特許文献】
【０００６】
(非特許文献0001) 先行文献1：K. Simonyan and A. Zisserman：「Very deep convolutional networks for large-scale image recognition,」CoRR, vol. abs/1409.1556,2014
(非特許文献0002) 先行文献2：L. C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille, 「Deeplab：Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs,」IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 40, no. 4, pp. 834-848, April 2018.
(非特許文献0003) 先行文献3：Simonyan and A. Zisserman：「Very deep convolutional networks for large-scale image recognition,」CoRR, vol. abs/1409.1556, 2014.
(非特許文献0004) 先行文献4：K. He, X. Zhang, S. Ren, and J. Sun, 「Deep residual learning for image recognition,」in 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 2016, pp. 770-778
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前述した問題を解決するためのものであって、ローカル情報とグローバルコンテキストをバランスよく結合することができる方法を提供することを一目的とする。
【０００８】
また、本発明は、意味論的に豊富な情報がセグメンテーションに活用されることができるようにすることで、画像内のオブジェクト識別の正確度を向上させることができる新しい方法を提供することを他の目的とする。
【０００９】
また、本発明は、CNNデコードモジュール(11)の構造で新規なブラケット構造を提案することで、意味論的に豊富な情報を微細にパターニングされた特徴と適切に統合し、エンド−ツー−エンド学習を効果的に実行することができる一歩進んだ技術を提供することを他の目的とする。
【課題を解決するための手段】
【００１０】
このような目的を達成するための本発明は、画像セグメンテーションデバイスにおいて、一つ以上の残差ブロックを含む人工ニューラルネットワークを用いて、入力画像について解像度の異なる複数の特徴マップを獲得するエンコードモジュール、上記複数の特徴マップのうち、隣接した特徴マップペアらを用いて、一つの予測マップを生成するデコードモジュールを含め、上記デコードモジュールは、一回以上のデコードラウンドを行い、各デコードラウンドは、以前のラウンドで生成された特徴マップのうち、隣接した特徴マップの一ペアのうち、高い解像度を有する高解像度特徴マップと、低い解像度を有する低解像度特徴マップとを用いて結合特徴マップを生成するATFモジュールを一つ以上含め、上記デコードラウンドは、上記一つの予測マップが生成されるまで繰り返し実行されることを一特徴とする。
【００１１】
また、本発明のATFモジュールは、上記低解像度特徴マップをアップサンプリング(upsampling)したアップサンプリング低解像度特徴マップと、上記高解像度特徴マップとを結合して上記結合特徴マップを生成することを一特徴とする。
【００１２】
また、本発明のATFモジュールは、上記低解像度特徴マップをアップサンプリングするアップサンプリング部、上記低解像度特徴マップに複数の活性化関数レイヤーを適用して、上記低解像度特徴マップのコンテキスト情報を収集し、これを用いて上記高解像度特徴マップを再調整する再調整部、上記高解像度特徴マップと、上記再調整された高解像度特徴マップと、上記アップサンプリングされた低解像度特徴マップとを合算する合算部を含むことを一特徴とする。
【発明の効果】
【００１３】
前述したような本発明によると、ローカル情報とグローバルコンテキストをバランスよく結合することができる。
【００１４】
また、本発明よると、意味論的に豊富な情報がセグメンテーションに活用されることができ、画像内のオブジェクト識別の正確度を向上させることができる。
【００１５】
また、CNNデコードモジュール(11)の構造に新規なブラケット構造を使用する本発明よると、意味論的に豊富な情報を微細にパターニングされた特徴と適切に統合することができ、エンド‐ツー‐エンド学習を効果的に実行することができる。
【図面の簡単な説明】
【００１６】
【図１】図1は、本発明の一実施例による画像セグメンテーション装置を示した図面である。
【図２】図2は、本発明の一実施例による画像セグメンテーション方法を説明するための図面である。
【図３】図3は、本発明の一実施例による画像セグメンテーション装置を説明するための図面である。
【図４】図4は、本発明の一実施例による画像セグメンテーションのデコード段階で結合特徴マップを生成するATF(Attention-embedded Threefold Fusion)モジュールを説明するための図面である。
【図５】図5は本発明の一実施例によるATFモジュールとネットワークの統合方法を説明するための図面である。
【発明を実施するための形態】
【００１７】
前述した目的、特徴および利点は、添付された図面を参照して詳細に後述され、これに応じて、本発明が属する技術分野で通常の知識を有する者が、本発明の技術的な思想を容易に実施することができると言える。本発明を説明することにおいて、本発明と関連した公知技術に対する具体的な説明が、本発明の要旨を不必要にぼやかすことができると判断される場合には、詳細な説明を省略する。以下、添付された図面を参照して、本発明による望ましい実施例を詳細に説明することにする。図面で同じ参照符号は、同一または類似の構成要素を示すものとして使用され、明細書および特許請求の範囲に記載されたすべての組み合わせは、任意の方法で組み合わせられることができる。そして、他の式に規定していない限り、単数に対する言及は一つ以上を含むことができ、単数表現に対する言及は、また複数表現を含むことができると理解されるべきである。
【００１８】
本発明は、ユニークな構造(architecture)を有する畳み込み人工ニューラルネットワークを使用する。本明細書で本発明の一実施例による畳み込み人工ニューラルネットワークをブラケットスタイル畳み込み人工ニューラルネットワーク(Bracket-Style Convolutional Neural Networks)と称し、説明の利便性をために、以下では、B-Netと称する。
【００１９】
図1は、本発明の一実施例による画像セグメンテーション装置を示した図面である。図1を参照すると、本発明の一実施例による画像セグメンテーション装置は、入力部(30)、制御部(50)、保存部(70)、出力部(90)を含むことができる。
【００２０】
入力部(30)は、画像の入力を受けることができる。制御部(50)は、プロセッサであって、本発明の一実施例による画像セグメンテーションを実行することができる。制御部(50)の動作に対する具体的な実施例は、図3を参照して後述することにする。
【００２１】
保存部(70)は、本発明の一実施例による多数の画像を用いて既学習された機械学習フレームワークを保存することができ、入力データおよび出力データを保存することができる。
【００２２】
出力部(90)は、本発明の一実施例による画像セグメンテーション結果を出力することができる。出力部(90)は、入力画像のセグメンテーション結果をユーザーインターフェイスを通じて提供することができる。ピクセル別のラベル、オブジェクト別のラベル情報が結果として提供されることができ、各オブジェクト(セグメント)らは、分類およびラベリング結果に応じて、互いに異なる色で表示されることができる。これは、予め設定された値によって、設定値はユーザーによって生成されて保存部(70)に保存されることができる。
【００２３】
図2は、本発明の一実施例による画像セグメンテーション方法を説明するための図面である。図2を参照すると、プロセッサは画像が入力されると(S100)、畳み込みレイヤーと一つ以上の残差ブロックを含むフィードフォワードの人工ニューラルネットワークを用いて、入力画像について解像度の異なる複数の特徴マップを獲得することができる(S200)。
【００２４】
解像度の異なる複数の特徴マップは、フィードフォワードの人工ニューラルネットワークを構成する畳み込みレイヤーまたは一つ以上の残差ブロックから出力される特徴マップであって、残差ブロックから出力される特徴マップは残差ブロックの入力マップと入力マップをフィルタリングした結果を合算したものであることができる。
【００２５】
プロセッサは、複数の特徴マップで隣接した特徴マップの一ペアをグルーピングし、特徴マップペアのうちで、相対的に高い解像度を有する高解像度特徴マップと相対的に低い解像度を有する低解像度特徴マップとを区分することができる。プロセッサは、低解像度特徴マップをアップサンプリング(upsampling)して、第2のアップサンプリング特徴マップを生成し、高解像度特徴マップと低解像度特徴マップを結合して結合特徴マップを生成することができる(S300)。
【００２６】
図面に示されていないが、より具体的には段階300で、プロセッサは低解像度特徴マップをアップサンプリングし(S330)、解像度特徴マップに複数の活性化関数レイヤーを適用して、上記低解像度特徴マップのコンテキスト情報を収集し、これを用いて上記高解像度特徴マップを再調整し(S350)、高解像度特徴マップと上記再調整された高解像度特徴マップと上記アップサンプリングされた低解像度特徴マップを合算(S370)することができる。
【００２７】
プロセッサは、結合特徴マップの生成段階の出力で、一つの予測マップが算出されるまで、再帰的に段階300〜段階500を繰り返し実行することができる。ここで、再帰的に段階300〜段階500を繰り返し実行するというのは、段階300で生成された結合特徴マップ(出力)を入力として、段階300〜段階400を繰り返し実行することを意味する。すなわちまり、生成された結合特徴マップは、段階300でのアップサンプリングおよび結合の対象になる高解像度特徴マップおよび低解像度特徴マップペアとして扱われることができる。
【００２８】
段階300〜段階500の繰り返し実行の結果、一つの予測マップが算出された場合、プロセッサは予測マップを用いて入力画像に含まれた一つ以上のオブジェクトを分類することができる。より詳しく、プロセッサは予測マップをアップサンプリングし(S600)、予め定義されたクラスらを用いてオブジェクトの特性を分類(予測)することができる(S700)。段階600でアップサンプリングされた最終予測マップの深さ(depth)は、訓練されたクラスの数、すなわち、既定義されたクラスの数と同じものであると理解されることができる。また、予測マップは上記複数の特徴マップのうち、最高の解像度を有する特徴マップと同じ解像度を有することができる。
【００２９】
段階700でプロセッサは、すべてのピクセルをアップサンプリングされた予測マップ、すなわち、最終予測マップの深さの次元に応じて最高の値を有するクラスに割り当てることができる。言い替えて、出力画像のピクセルに上記最終予測マップの深さの次元に応じて最高の値を有するクラスをラベリングすることで、画像のセグメンテーションが実行されることができる。
【００３０】
以下では、図3を参照して本発明の一実施例による画像セグメンテーション装置およびこれに使用される畳み込み人工ニューラルネットワーク(B-Net)の構造を説明する。
【００３１】
図3を参照すると、本発明の一実施例による画像セグメンテーション装置制御部(50)は、エンコードモジュール(10)とデコードモジュール(11)を含むことができる。
【００３２】
B-Netのエンコードモジュール(10)は、畳み込みレイヤー(102)、第1の残差ブロック(103)、第2の残差ブロック(104)、第3の残差ブロック(105)および第4の残差ブロック(106)を含むことができる。
【００３３】
エンコードモジュール(10)は、一つ以上の残差ブロックを含む人工ニューラルネットワークを用いて入力画像について解像度の異なる複数の特徴マップを獲得することができる。この際、使用される人工ニューラルネットワークは、フィードフォワード(feed-forward)人工ニューラルネットワークで、フィード-フォワード人工ニューラルネットワークは、情報伝達が一方向に固定される特徴を有する。すなわち、図面に示されたように、第1、第2、第3の残差ブロックの順にデータが処理されることができる。
【００３４】
エンコードモジュール(10)では、入力画像(10)について解像度の異なる複数の特徴マップ(107〜111)が算出されることができる。特徴マップらはブラケット構造を有するデコードモジュール(11)に入力され、デコードモジュール(11)は、本発明の一実施例によるデコードプロセスを経て予測マップ(117)を生成することができる。
【００３５】
本発明のデコードモジュール(11)は、分類ベースのCNNの任意のモデルに容易に装着されることができる。例えば、エンコードモジュール(10)(backbone CNN)でImageNetデータセットに基づいて事前学習されたResNet-101が使用されることができる。ResNetから出力される特徴マップは、モデル学習が行われる間、情報伝達を容易に行うために、畳み込みレイヤースタックによりフィルタリングされたバージョンと入力マップを合算したことによって生成されることができる。
【００３６】
残差ブロックは、特別な学習ブロックであって、残差ブロックから出力される特徴マップは、残差ブロックに入力された入力と、モデル訓練段階で情報伝播を緩和するために、畳み込みレイヤーを重ねてフィルタリングした特徴マップの成分が合わさったものであることができる。
【００３７】
フィードフォワードプロセスに応じて、各畳み込みレイヤーと残差ブロックを通じてチャンネル次元が深まる間、このような特徴のスペース解像度(spatial resolution)は、半分に減少することができる。例えば、入力イメージと比較して畳み込みレイヤーから出力される特徴マップ(conv-1, 107)は、フィルタを適用する間隔であるストライド(stride)は2、深さが64であり({2,64}で表記する。)、第1の残差ブロックから出力される特徴マップ(resmap-1,108)は、{4,256}、第2の残差ブロックから出力される特徴マップ(resmap-2,109)は、{8,512}、第3の残差ブロックから出力される特徴マップ(resmap-3,110)は、{16,1024}、第4の残差ブロックから出力される特徴マップ(resmap-4,111)は、{32,2048}のストライドおよび深さを有することができる。言い替えて、エンコードモジュール(10)の各段階で入力画像(1)が上から下に各レイヤー(ブロック)を経つつ、更に次元が深まり、解像度は全段階の半分である特徴マップらが算出されることができる。
【００３８】
デコードモジュール(11)は、一回以上のデコードラウンドを実行するが、各デコードラウンドは以前のラウンドで生成された特徴マップを構成する隣接した特徴マップの一ペアのうち、高い解像度を有する高解像度特徴マップと低い解像度を有する低解像度特徴マップとを用いて、結合特徴マップ(216)を生成するATFモジュール(112)を一つ以上含むことができる。この際、デコードラウンドは、一つの予測マップが生成されるまで繰り返し実行されることができる。
【００３９】
ATFモジュール(112)は、低解像度特徴マップをアップサンプリングするアップサンプリング部(202)、低解像度特徴マップに複数の活性化関数レイヤーを適用して低解像度特徴マップのコンテキスト情報を収集し、これを用いて高解像度特徴マップを再調整する再調整部(204,205,206,207,209,211)、高解像度特徴マップ(210)と再調整された高解像度特徴マップ(212)とアップサンプリングされた低解像度特徴マップ(203)とを合算する合算部(213)を含むことができる。合算部(213,215)は、合算された結果物(214)に適用される畳み込みレイヤー(215)を更に含むことができる。畳み込みレイヤーが適用されたATFモジュール(112)の最終出力は結合特徴マップ(216)であると理解されることができる。
【００４０】
デコードのために、特徴マップらのうち、最も精密な解像度を有する特徴マップ(conv-1,107)を除いたすべての特徴マップらは、隣接した特徴マップの高解像度バージョンと共にアテンション組み込み3重中融合モデル(ATF,112)を通じて結合されることができ、当該ラウンド出力である結合特徴マップの次元は、図面に示されたように上位段階の特徴マップの解像度と同一である。特に、中間レイヤーの特徴マップ、例えば、第0のラウンドの108〜110は、同時に二つの役割として活用されることができる。第一に、中間レイヤーの特徴マップは、独自のアップサンプリング(upsampling)により特定のレベルの全域コンテキスト(global context)を最終予測マップに統合し、第二に、より微細にパターン化された特徴をアップサンプリングされたバージョンのより低い解像度の特徴マップに組み込むことで、豊富な情報を精製することができる。したがって、バックボーンCNNから与えられたn個の特徴マップが第1のラウンド(113a)からn-1個の出力(結合特徴マップ)を有することは自明である。
【００４１】
これらのルーチンが各ラウンドで繰り返されることで、入力画像(1)のスペース次元(spatial dimension)と同じスペース次元を有する予測マップ(pixel-wise prediction map)が算出されるまで、意味論的な特徴マップの全体個数は、各ラウンドで一つずつ減少し、平均スペース次元は各ラウンドごとに増加する。
【００４２】
2020187721.tif 000003
【００４３】
【数１】
2020187721.tif 000004
Ｃ（．）は、アテンション組み込み3重融合モデル(ATF：Attention embedded Threefold Fusioning,112)だと呼び(以下、ATFと称する)、ATFに対しては図4を参照してより詳細に説明する。
【００４４】
(n-1)th ラウンドまで(例えば、図3の実施例で、最初にバックボーンCNNで算出される特徴マップの個数n=5であるので、4番目のラウンド(113b))、意味的に豊富なコンテキストで満たされた最も微細なパターン特徴らを含む、予測されたクラスの数と同じ深さを有する最終予測マップ(115)がアップサンプリングレイヤー(114)を経て獲得されることができる(予測マップ(115)と原本画像(1)は、同じスペースサイズを有する)。
【００４５】
そして、予測ブロック(116)は、特徴マップ(115)で最高の加重値を有するクラスを算出することに基づいて、最終ピクセルベースのラベリングされたマップ(5)を推論することができる。ここで、ブラケット構造による利点の二つが表示される。一つは、すべてのアップサンプリングされた特徴マップが常にスペースサイズの観点から同じなもので統合されるため、あいまいな細部事項がかなり抑制されることができる点である。他の一つは、デコード段階のすべてのラウンドで高解像度特徴マップから低解像度特徴マップまで、全特徴マップらが混合されるので、意味論的に豊富な情報が細かく盛り込まれるという点である。
【００４６】
本発明のB-Netで、ブラケット構造のデコードプロセスの最終的な目的は、アップサンプリングを活用するものであり、これは精密にアップサンプリングされた特徴マップが多くの意味論的な情報を有することができるからである。このためには、アップサンプリングされた特徴マップの地域的なあいまいさを精製すべきであり、本発明は、エンコード段階で学習された特徴マップによく表現された知識を効果的に含めることで、多くのモデル設計から重要な役割を果たすことができると期待される。
【００４７】
本発明の一実施例によるブラケット構造のデコードモジュール(11)の性能を効率的に用いるために、図4に示されたように、分離可能な畳み込みレイヤーによりついてくるATFモジュール(112)を定義することができる。より具体的には、それぞれのATFモジュール(112)は、異なる解像度を有する二つの入力から文脈情報を包括的に収集する。すなわち、第一に、低解像度入力(201)の意味的に豊富な特徴をもたらすことができ、第二に、高解像度入力(210)で低水準の特徴をもたらすことができ、第三に、高解像度入力(210)から更に精密なパターンを有する特徴を直接結合させることができる。したがって、意味論的に豊富な情報だけでなく、フィードバック方法でチャンネル単位の意味情報により、よくまとめられた特徴と高解像度入力に対する精密なパターン特徴をすべて含んで、意味論的に豊富なコンテキスト情報を有することができる。
【００４８】
第1のフォールド(fold)で低解像度入力(201)は、ストライドは2、フィルタの個数は、高解像度入力(210)のチャンネル次元と同じ値を有する転置畳み込みレイヤー(Transpose Convolution layer)(202)を使用してアップサンプリングされることができる。これに対する数学式は次の通りである。
【００４９】
【数２】
2020187721.tif 000005
これらのプロセスは、ネットワークが全域コンテキスト(globally contextual information)の情報を精密なスケール(203)で学習することができるようにして、追って微細なパターン特徴を統合させることができるようにする。
【００５０】
第2のフォールドは、低解像度特徴マップ(201)が、高解像度特徴マップ(210)より深さの次元に応じて、はるかにより多くの有意味なコンテキスト情報を有しているという事実によるものである。再調整部は、低解像度特徴マップに複数の活性化関数レイヤーを適用して、上記低解像度特徴マップのコンテキスト情報を収集し、これを用いて上記高解像度特徴マップを再調整することができ、上記複数の活性化関数レイヤーは、全域プーリング(Global Pooling)レイヤー、ReLUレイヤーとFC(Full Connected)レイヤーを含む隠れレイヤー、またはシグモイド関数の少なくともいずれかを含むことができる。
【００５１】
深さベースのattention手法は、低解像度入力のチャンネルらから情報属性を収集して高解像度入力の深さを向上させる。すなわち、低解像度入力(201)の各チャンネルのスペースと深さのサイズとは、入力画像(原本画像)の大きさの1/(2x)であり、これに対する長さベクトルdは、チャンネルベースの主要情報を有する。数式は次の通りである。
【００５２】
【数３】
2020187721.tif 000006
【００５３】
【数４】
2020187721.tif 000007
結果的に、低解像度入力のすべてのチャンネルはd-長ベクトルg(305)で独自の応答を有する。
【００５４】
高解像度入力のそれぞれのチャンネルの重要度を示すために、先ずベクトルg(205)を中央(206)でReLUを含む二つのFully Connected(FC)レイヤーでフィルタリングしてチャンネル間の関係を把握する。ここで、隠れレイヤーのサイズは、高解像度入力のチャンネル数と同様に設定され、これらの学習演算は、次の数式に示すことができる。
【００５５】
【数５】
2020187721.tif 000008
【００５６】
以降、シグモイド(sigmoid)を活性化(208)が実行されて、ベクトルgattの要素らのサイズを0から1の間に再調整し、その結果(209)は、深さの単位で高解像度入力(210)の応答を調整するために使用される。再調整された出力(212)は、次の通りである。
【００５７】
【数６】
2020187721.tif 000009
【００５８】
意味論的に豊富な情報は、第1と第２のフォールドで別の方法で使用されたが、まだ複数のオブジェクトクラス間の境界のピクセルには曖昧さが存在する。したがって、第3のフォールドが実行されるが、ここで細密な解像度がその自体に入力される。
2020187721.tif 000010
【００５９】
最後に、三つのフォールド(203,212,210)で実行された結果らが一つに合わさって(213)、最終結果物(214)が分離可能な畳み込みレイヤー(215)に入力される。最終的には、新たにデコードされた特徴マップ(216)は、高解像度入力と同じサイズを有するが、ピクセル単位でより多くの意味論的な情報を含む。
【００６０】
【数７】
2020187721.tif 000011
【００６１】
【数８】
2020187721.tif 000012
[数学式8]は、３×３サイズのd/cの深さ方向のフィルタと１×１×ｄ/ｃサイズのフィルタを有する、d/cポイント方向フィルタの順次的な実行を示し、全体の特徴マップで分離可能な畳み込みレイヤー(215)と命名することができる。
【００６２】
ATFで定義された分離可能な畳み込みレイヤー(215)は、ReLU活性化、分離可能な畳み込み、そして配置正規化レイヤー(batch normalization layer)の連続的な動作を実行する。これは、一般的な 畳み込みレイヤーを使用することより以前のアップサンプリングの段階で引き起こされる予期できなかった人為的な結果を低減し、レイヤー別に訓練可能なパラメータの数をｄ/ｃ×３×３×ｄ/ｃでｄ/ｃ×（３×３＋ｄ/ｃ）で低減させることができ、効率的に学習能力を維持することができる。
【００６３】
このように、本発明の一実施例によるブラケット構造を含むB-Netは、ATFモジュールと共に使用されて、バックボーンCNNのレイヤー全体から獲得した地域情報(細密なパターン特徴(210))と全域コンテキスト(意味論的に豊富な特徴(201))をバランスよく結合する。
【００６４】
2020187721.tif 000013
【００６５】
本明細書で省略された一部の実施例は、その実施主体が同じ場合、同様に適用可能である。また、前述した本発明は、本発明が属する技術分野で通常の知識を有する者において、本発明の技術的な思想をずれない範囲内で、複数の置換、変形および変更が可能なので、前述した実施例および添付された図面により限られるものではない。
【図１】
2020187721.tif 000020
【図２】
2020187721.tif 000021
【図３】
2020187721.tif 000022
【図４】
2020187721.tif 000023
【図５】
2020187721.tif 000024