(57)【特許請求の範囲】
【請求項１】
シーンの取得画像を意味的にラベル付けする方法であって、
前記画像内の各ローカル領域からローカル意味特徴を得るステップと、
全体画像の意味特徴が得られるまで、前記ローカル意味特徴を再帰的に結合して、中間セグメントを形成するステップと、
各ローカル領域の強化された意味特徴が得られるまで、前記全体画像の前記意味特徴を中間セグメントに再帰的に結合解除するステップと、
前記強化された意味特徴に従って各ローカル領域をラベル付けするステップと、
を含み、前記ステップはプロセッサが実行する、シーンの取得画像を意味的にラベル付けする方法。
【請求項２】
前記ローカル領域はスーパーピクセルである、請求項１に記載の方法。
【請求項３】
前記ローカル領域は１つ又は複数のピクセルを含む、請求項１に記載の方法。
【請求項４】
前記ローカル特徴はマルチスケール畳み込みニューラルネットワークに従ってローカル領域から抽出される、請求項１に記載の方法。
【請求項５】
前記結合及び前記結合解除は前記画像のパースツリーに従って行われる、請求項１に記載の方法。
【請求項６】
前記結合及び前記結合解除のためにノードの平衡バイナリパースツリーをランダムに合成することを更に含む、請求項１に記載の方法。
【請求項７】
前記マッピングは、ｘｉ＝Ｆｓｅｍ（ｖｉ；θｓｅｍ）に従って行われ、ここでｘｉは前記意味特徴であり、ｖｉは前記ローカル特徴であり、θｓｅｍは意味的マッピングパラメーターであり、
前記結合は、ｘｉ，ｊ＝Ｆｓｅｍ（［ｘｉ，ｘｊ］；θｃｏｍ）に従って行われ、ここで、ｘｉ，ｊは、バイナリパースツリーにおいて子ノードｘｉ，ｘｊから得られた親ノードの意味特徴であり、θｃｏｍは結合パラメーターであり、
前記結合解除は、
【数１】
0006395158.tif 000012
に従って行われ、ここで、
【数２】
0006395158.tif 000013
は親ノード
【数３】
0006395158.tif 000014
及びｘｉから得られた子ノードの強化された意味特徴であり、θｓｅｍは結合解除パラメーターであり、
前記ラベル付けは、
【数４】
0006395158.tif 000015
に従って行われ、ここで、ｙｉはラベルであり、θｓｅｍはラベル付けパラメーターである、請求項１に記載の方法。
【請求項８】
前記ノードにサイド情報を付加することを更に含む、請求項６に記載の方法。
【請求項９】
前記サイド情報は、前記ノードに関する静的知識を符号化する、請求項８に記載の方法。
【請求項１０】
前記サイド情報は、前記ノードのロケーション及び前記ノードのサイズの平均値である、請求項８に記載の方法。
【請求項１１】
前記抽出関数、前記結合関数、前記結合解除関数及び前記ラベル付け関数はニューラルネットワークを用いる、請求項７に記載の方法。
【請求項１２】
前記ローカル意味特徴は、ピクセルの色特徴、勾配特徴、及び、テクスチャ特徴である、請求項１に記載の方法。
【請求項１３】
トレーニングデータを用いて、前記抽出、前記結合、前記結合解除及び前記ラベル付けの前記パラメーターを学習することを更に含む、請求項７に記載の方法。
【請求項１４】
前記学習は、前記トレーニングデータにおける前記ピクセルの真のラベルと予測ラベルとの間の差を最小にする、請求項１３に記載の方法。
【請求項１５】
前記結合関数及び前記結合解除関数は再帰的である、請求項７に記載の方法。
【請求項１６】
前記パースツリーは、前記シーンの前記画像の階層的分割表現である、請求項５に記載の方法。
【請求項１７】
前記パースツリーは、前記シーンの前記画像の一部分の階層的分割表現である、請求項５に記載の方法。
【請求項１８】
前記全体画像の前記意味特徴を用いて、シーンカテゴリに従って前記画像を分類する、請求項１に記載の方法。
【請求項１９】
前記全体画像の前記意味特徴は、画像の集合をクラスター化するために用いられる、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像処理に関し、より詳細には、画像を意味的にラベル付けすることに関する。
【背景技術】
【０００２】
意味的ラベル付け（semantic labeling）は、木、道路、空、水及び前景物体等の意味概念の観点から取得画像のピクセルごとのラベルを生成するタスクである。意味的ラベル付け問題は、取得画像を表す２Ｄピクセル格子上に配列された１組の複数のノード（a set of nodes）を、それらの対応する意味概念にマッピングする問題として系統立てることができる。
【０００３】
意味的ラベル付けは、２ステッププロセス、すなわち、１）特徴抽出、及び２）推測により達成することができる。特徴抽出は、様々な照明及び視点の下で意味的ラベル付けに有用な記述的情報を索出する。通常、特徴は、色、テクスチャ又は勾配である。特徴は、各ピクセルの周囲のローカルパッチから抽出することができる。推測は、抽出された特徴を用いてピクセルのラベルを予測する。空、水、木又は草等の単純な意味概念であっても、それらの外観が多様性に富んでいることから、自動的な意味的ラベル付けが困難になる。
【０００４】
意味的ラベル付けは、推測のために、モデルベースの方法又はノンパラメトリック法を用いることができる。モデルベースの方法は、パラメトリックモデルを用いて意味カテゴリの外観及びカテゴリ間の関係を学習する。条件付き確率場（ＣＲＦ：conditional random fields）を用いて、スーパーピクセルから抽出された視覚特徴を通じて策定される１変数ポテンシャルを、近傍の制約と結合することができる。様々なＣＲＦモデル間の差は主に、視覚特徴、１変数ポテンシャル及びＣＲＦの構造に関するものである。
【０００５】
ノンパラメトリック法は、予めラベル付けされた画像データベースから、取得画像に類似した画像を見つける。次に、見つかった画像のピクセルラベルを、ピクセルの類似度に従って取得画像にコピーする。自然のシーンの画像では変動が大きいため、妥当なサイズのデータベースを用いて概念変動空間全体をカバーすることは困難であり、これにより正確度が制限される。その一方で、大きなデータベースは長い索出時間を必要とし、これによってこれらの方法の拡張性が制限される。
【０００６】
特許文献１では、ラベル付けされた空中画像内のピクセルのラベルがピクセルの真のラベルと異なる予測事後確率項を含む目的関数を最小化することによってピクセルが物体クラスに属する確率を予測するようにニューラルネットワークがトレーニングされる。そのネットワークは、情報を一切伝播することなくピクセルごとの分類を実行するのみである。
【０００７】
特許文献２は、エッジ重み及びピクセルベースのカラーポテンシャルを用いて画像をラベル付けするマルチラベル画像のセグメンテーション方法を記載している。その方法は、最適化問題を解き、ポテンシャル関数の最大値を選択することによってラベル付けを行うが、これによってその方法は低速になる。
【０００８】
特許文献３は、組織画像を処理するための学習に基づくセグメンテーション及びラベル付けの枠組みを記載している。画像内の全てのピクセルについて、ラベルごとの分類関数が評価される。関数は、様々なピクセルから生じる特徴に対し別個に演算を行い、コンテキスト情報を用いない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願公開第２０１３／０３４３６４１号
【特許文献２】米国特許第７，４６０，７０９号
【特許文献３】米国特許第８，１７０，３３０号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の実施形態は、シーンの取得された入力画像を意味的にラベル付けする方法を提供する。本方法は、再帰的コンテキスト伝播を用いる。ローカル領域、例えば入力画像内の１つ又は複数のピクセル又はスーパーピクセルが、画像から抽出したローカル特徴に従って分類される。ローカル特徴はローカル意味特徴にマッピングされる。この後、全体画像の単一の意味特徴が得られるまで、ローカル意味特徴に関する情報を再帰的に結合して中間セグメントを形成する。次に、全てのローカル領域の強化された意味特徴が得られるまで、結合の逆の順序で全体画像の意味特徴を再帰的に結合解除して、中間セグメントの強化された意味特徴を得る。強化された意味特徴は、ローカル情報に加えて、全体画像からのコンテキスト情報を含む。したがって、強化された意味特徴はより記述的である。次に、これらの強化された意味特徴に従ってローカル領域を分類及びラベル付けすることができる。
【００１１】
意味的ラベル付けは、入力画像Ｉ内のピクセルからラベルＹへのマッピングとしてモデル化される。マッピングは以下の利点を有する。マッピングは高速に評価される。マッピングは、全ての領域が画像内の全ての他の領域のラベルに影響を与えるように画像全体の意味コンテキストを捕捉する。マッピングは様々な画像サイズに容易にスケーリングされ、マッピングパラメーターはトレーニング画像から学習することができる。
【００１２】
マッピングは、ノードのネットワークを用いて行われる。ここで、ネットワークの容量はパラメーター共有を通じて制御される。全てのネットワークパラメーターはトレーニングデータから学習され、ネットワーク構造は非常に高速な推測を可能にする。ネットワークは、ローカル特徴抽出及び再帰的なコンテキスト伝播のために用いることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に従ってラベル付けされる例示的な入力画像である。
【図２】本発明の実施形態によるネットワークの概略図である。
【図３Ａ】本発明の実施形態による、ローカル特徴を得るためのローカル特徴抽出の概略図である。
【図３Ｂ】本発明の実施形態による、再帰的なコンテキスト伝播ネットワークの概略図である。
【図４】本発明の実施形態による、画像をラベル付けする方法の流れ図である。
【発明を実施するための形態】
【００１４】
本発明の実施形態は、画像から抽出されたピクセル特徴に基づいて、シーンの取得された入力画像を意味的にラベル付けする方法を提供する。本方法は、再帰的コンテキスト伝播を用いる。
【００１５】
図１に示すように、取得画像１００の全てのピクセルは意味概念の観点からラベル付けされる。空１０１、水１０２、ドック１０３、船１０４及び木１０５を含む幾つかの例示的なピクセル及びそれらの意味ラベルが示されている。
【００１６】
図２は、本発明の実施形態の概念を説明している。再帰的コンテキスト伝播のために取得画像１００のパースツリー（parse tree）２００が用いられる。パースツリー内のノードは、取得画像のセグメントの意味特徴を表す。このため、セグメントの結合２５０及び結合解除２６０は、セグメントの意味特徴に関する情報の結合及び結合解除に対応する。全体画像２２０について意味特徴が得られるまで、ローカル意味特徴２０１、２０２、２０３を再帰的に結合して中間セグメント２１０を形成する。全てのローカル領域２４１、２４２、２４３について強化された意味特徴が得られるまで、全体画像２２０の意味特徴を結合解除して、中間セグメント２３０の強化された意味特徴を形成する。次に、ローカルセグメントは、それらの強化された意味特徴を用いてラベル付けすることができる。強化された意味特徴は、画像全体からのローカル情報及びコンテキスト情報の双方を含む。
【００１７】
Socher他,「Parsing natural scenes and natural language with recursive neural」, ICML, 129-136, 2011は、意味的マッピングと呼ばれる、特徴空間から意味空間への非線形マッピングを学習する再帰構造について記載している。再帰構造は、トレーニング画像のグランドトゥルース・パース・ツリー（ground-truth parse trees）における予測コストを最適化することによって学習される。分類器は、トレーニング画像からの個々のローカル特徴の意味的マッピングにおいて学習される。試験時に、個々のローカル特徴が、学習された意味的マッピングを用いて意味空間に投影され、その後分類される。したがって、個々の特徴に含まれるローカル情報のみがラベル付けに用いられる。
【００１８】
対照的に、本発明では、ローカル領域からのコンテキスト情報を全体画像についてのグローバル情報に再帰的に伝播し、次に、グローバル情報をローカル領域に戻して拡散する（disseminate）。これによって、ローカル領域はラベル付けに用いるためにローカル情報及びコンテキスト情報の双方を有する。
【００１９】
ネットワーク及び関数
以下において、用語「ネットワーク」及び「関数」は交換可能に用いられる。すなわち、ネットワークは関数Ｆとして実装することができ、関数は、図に示すようにネットワークとして図式的に表すことができる。
【００２０】
図３Ａは、本発明の実施形態による、ローカル特徴を得るための、ローカル領域内のピクセルからの特徴抽出を示している。ローカル領域は、１つ又は複数のピクセル又はスーパーピクセルとすることができる。入力画像Ｉ１００はマルチスケール畳み込みニューラルネットワーク（ＦＣＮＮ）３１０に供給され、ＦＣＮＮ３１０はピクセルごとにローカル特徴Ｖを抽出する。本発明では、スーパーピクセルモザイク細工（superpixel tessellation）を用いて、同じスーパーピクセル、例えばｖ１、ｖ２及びｖ３内でピクセルごとのローカル特徴を合算及び平均化する（３２０）。
【００２１】
ローカル特徴抽出
ローカル特徴抽出のためにマルチスケール畳み込みニューラルネットワーク（Ｍｕｌｔｉ−ＣＮＮ：multi scale convolutional neural network）を用いる。Farabet他によって「Learning hierarchical features for scene labeling」IEEE TPAMI, August 2013において記載されているように、Ｍｕｌｔｉ−ＣＮＮは、以下のように編成される畳み込み段階を有する。
【００２２】
【数１】
0006395158.tif 000002
【００２３】
各畳込み後に、ＲｅＬＵ（ＲｅＬＵ：Rectified Linear Unit（修正された線形ユニット））のアクティブ化関数を適用する。Farabetと異なり、０と１との間で画像をスケーリングし、０．５を減算することによってセンタリングすること以外に入力画像を事前処理しない。
【００２４】
ガウスピラミッドの３つのスケールで入力画像にフィルターを適用する。より低いスケールにおける特徴マップは、最も高いスケールにおける特徴マップのサイズまで空間的にスケールアップされ、ピクセルごとに２５６×３＝７６８個の次元特徴を得るために連結される。これらの特徴は、分類のためにＳｏｆｔｍａｘ関数に供給される。Ｓｏｆｔｍａｘ関数は、実数値の長さＤのベクトルを０．０と１．０との間の実数値の長さＤのベクトルにマッピングするロジスティック関数の一般化である。これについては、Bridle「Training Stochastic Model Recognition Algorithms as Networks can lead to Maximum Mutual Information Estimation of Parameters」Advances in Neural Information Processing, pp. 211-217, 1990を参照されたい。トレーニング後に、最終的なＳｏｆｔｍａｘ層を破棄し、７６８個の次元特徴をローカル特徴として保持する。７６８個の次元連結出力特徴マップは、最大値プーリング演算に起因して、依然として入力画像の高さ及び幅の１／４であることに留意されたい。入力画像の大きさのピクセルごとの特徴マップを得るために、４×４のグリッドにおいて１つのピクセル分入力画像をシフトして１６個の出力特徴マップを得て、これらを組み合わせて最大解像度画像を得るか、又は各特徴マップの高さ及び幅を４倍にスケールアップする。
【００２５】
スーパーピクセル表現
図３Ａに示す本方法の複雑度を低減するために、スーパーピクセルセグメンテーション手順を用いる。この手順は、画像あたり所望数（Ｋ個）のスーパーピクセルを提供する。例えば、Ｋ＝１００である。この手順は、ペアワイズの色類似度及びスーパーピクセルサイズ制約を用いて、概ね同様なサイズの一様なスーパーピクセルを生成する。各スーパーピクセル内のローカル特徴を平均化し、スーパーピクセルごとに１つずつ、ｉ＝１，．．．，Ｋについて｛ｖｉ｝個のローカル特徴を得る。
【００２６】
再帰的コンテキスト伝播
図３Ｂに示すように、再帰的なコンテキスト伝播ネットワーク（ｒＣＰＮ：recursive context propagation network）３５０は以下を含む。
Ｆｓｅｍがローカル領域（ピクセル又はスーパーピクセル）特徴をローカル意味特徴にマッピングする。
全体画像の意味特徴が得られるまで、Ｆｃｏｍがローカル意味特徴を再帰的に結合し、中間セグメントを形成する。
全てのローカル領域について強化された意味特徴が得られるまで、Ｆｄｅｃが全体画像の意味特徴を再帰的に結合解除（拡散）し、中間セグメントの強化した意味特徴にする。
Ｆｌａｂが、強化した意味特徴を用いてローカル領域を分類し、ラベル付けする。
【００２７】
例えば図３Ｂにおいて、ｘ１及びｘ２はそれぞれ、ピクセル特徴ｖ１及びｖ２から取り出した１つの意味特徴を表し、ｘ１２は、ｘ１及びｘ２から取り出した、結合された中間意味特徴を表し、
【数２】
0006395158.tif 000003
は強化された意味特徴を表す。再帰的な結合２５０及び結合解除２６０に起因して、
【数３】
0006395158.tif 000004
はｘ１、ｘ１２、ｘ１２３及び
【数４】
0006395158.tif 000005
から導出されることに留意されたい。
【００２８】
パースツリー（parse tree）合成
トレーニング及び推測のために、ネットワークを通じて情報を伝播するのに用いられるバイナリパースツリーは、画像から合成される。単一ノードから開始して、サブツリーを結合することによってツリーを合成する凝縮クラスタリング手順を用いる。ここで、結合は画像近傍情報に基づいて行われる。複雑度を低減しかつ解の劣化を回避するために、合成手順は平衡パースツリーを優先する。これは、ランダム化を用いて、より低い高さを有するサブツリーを貪欲に選択することによって達成することができる。パースツリーは、画像全体にわたってコンテキスト情報を伝播するためのツールでしかなく、すなわち、パースツリーは従来技術のように画像の正確な階層的セグメンテーションを表す必要がないことに留意されたい。
【００２９】
１つの実施形態では、取得画像の一部分の意味的ラベル付けが行われる。ここで、そのような部分は、ユーザーによって画像編集ツールを介して指定することもできるし、他のセンサーモダリティーを用いて計算することもできる。このシナリオの下で、パースツリーは取得画像の一部分を表すのみでよい。
【００３０】
意味的マッピングネットワーク
意味的ネットワークＦｓｅｍは、次式に示すように、ローカル特徴をｄｓｅｍ次元ローカル意味特徴にマッピングする。
【００３１】
【数５】
0006395158.tif 000006
【００３２】
ここで、θｓｅｍは意味パラメーターである。意味特徴の目的は、ローカル特徴及び意味コンテキストの共同表現を取得し、この情報を他のスーパーピクセルに伝播することである。
【００３３】
結合器ネットワーク
結合器ネットワークＦｃｏｍは、次式に示すように、２つの子ノード（スーパーピクセル）の意味特徴を再帰的に結合し、親ノードの意味特徴を得る。
【００３４】
【数６】
0006395158.tif 000007
【００３５】
ここで、θｃｏｍは、ルートノード（root node）の意味特徴が画像全体の意味特徴に対応するまでの結合パラメーターである。
【００３６】
結合解除器ネットワーク
結合解除器ネットワークＦｄｅｃは、次式に示すように、子ノード及びその親ノードの意味特徴を子ノードのコンテキストが強化された特徴にマッピングすることによって、全体画像の意味特徴を再帰的に拡散する。
【００３７】
【数７】
0006395158.tif 000008
【００３８】
ここで、θｄｅｃは結合解除パラメーターである。
【００３９】
本発明では、全体画像の意味特徴から開始し、ローカル領域に達するまで結合解除器ネットワークをトップダウンで再帰的に適用するので、全ての強化されたローカル特徴が全体画像から集約されたコンテキスト情報を含むことが予期される。したがって、ローカル領域は画像内の全ての他のローカル領域によって影響される。
【００４０】
ラベラーネットワーク
ラベラーネットワークＦｌａｂは、次式に示すように、各ローカル領域の強化された意味特徴
【数８】
0006395158.tif 000009
を意味ラベルにマッピングする。
【００４１】
【数９】
0006395158.tif 000010
【００４２】
ここで、θｌａｂはラベル付けパラメーターである。強化された意味特徴は、ローカル情報及びコンテキスト情報の双方を含む。
【００４３】
ラベル付け方法
図４は、シーンの取得画像４０１を意味的にラベル付けする方法を示している。画像内のローカル領域内のピクセルからピクセル特徴を抽出する（４１０）ことによってローカル特徴４１１が得られる。ローカル特徴を意味空間に意味的にマッピングする（４１５）ことによってローカル意味特徴４１６が得られる。全体画像の意味特徴４２１が得られるまで、ローカル意味特徴を再帰的に結合して（４２０）、中間セグメントを形成する。全体画像の意味特徴を結合解除して（４３０）中間セグメントにし、ローカル意味特徴及びコンテキストに基づく各領域の強化された意味特徴４３１を得る。次に、強化された意味特徴に従って、各ローカル領域を、ラベル４４１を用いてラベル付けする（４４０）。
【００４４】
１つの実施形態では、ｒＣＰＮにおける全ての個々のネットワーク、すなわちＦｓｅｍ、Ｆｃｏｍ、Ｆｄｅｃ及びＦｌａｂが、ＲｅＬＵ非線形性を用いて１層ニューラルネットワークを用いて実施される。
【００４５】
全てのネットワーク及び関数、並びに本明細書において記載される方法ステップは、当該技術分野において既知の、バスによってメモリ及び入／出力インターフェースに接続されたプロセッサにおいて実施することができる。
【００４６】
サイド情報
サイド情報は、ネットワーク内の任意のノードに追加することができる。サイド情報を用いて、ノードに関する静的（非再帰的）知識を符号化することができる。サイド情報は伝播されない。１つの実施形態において、サイド情報は、ノードのロケーション及びノードのサイズの平均である。
【００４７】
トレーニング
ｒＣＰＮ３５０及びＦＣＮＮ３１０は、トレーニング画像を用いて共同でトレーニングすることができる。しかしながら、再帰により、ネットワークの深さが、共同トレーニングを効果的に行うには深すぎるようになる。したがって、まず入力画像及びグランドトゥルースセグメンテーションラベル（ground truth segmentation labels）を用いて、ＦＣＮＮ３１０のパラメーターθＣＮＮを学習する。ＦＣＮＮがトレーニングされた後、ローカル特徴を得て、パラメーター
【数１０】
0006395158.tif 000011
をトレーニングし、ローカル領域のグランドラベルを推測する。
【００４８】
特徴抽出器ＦＣＮＮを、グラフィック処理ユニット（ＧＰＵ：graphics processing unit）を用いてトレーニングすることができる。過剰適合を回避するために、本発明ではデータ拡張及びドロップアウトを用いた。全てのトレーニング画像はミラーリングされ、トレーニング画像数の２倍の画像が得られる。また、トレーニング画像を１ピクセル分シフトし、トレーニング画像数を更に２倍に増大させる。最後の層において、０．５のドロップアウト率のドロップアウトを用いる。重み減衰（λ＝５×１０−５）及び運動量（マイクロ＝０．９）を用いて、６つの画像のバッチに従来の後方伝播及び確率的勾配降下更新を適用する。単にＲＧＢ（Red, Green, Blue）画像をＲｅＬＵユニット及びドロップアウトとともに用いることによって、Farabet他と比較して僅かに良好なピクセルごとの正確度が得られた。
【００４９】
ｒＣＰＮのパラメーターは、誤りをＦｌａｂからパースツリーを通じてＦｓｅｍに後方伝播する構造による後方伝播を用いてトレーニングされる。基本的な着想は、各ノードにおける誤りを分割し、誤りを子ノードに伝播することである。線探索を用いたメモリ制限付きブロイデンフレッチャーゴルトファルプ（ＢＦＧＳ：Broyden-Fletcher-Goldfarb）手順がパラメーター更新のために用いられる。
【００５０】
本発明では、スーパーピクセル内の５つのピクセルをランダムにサンプリングし、それらのピクセルの値を平均化して、スーパーピクセルごとに５つの異なる特徴を得た。また、ランダム特徴の集合ごとに異なるランダムパースツリーを用いる。これによって、トレーニング画像が５倍に増大した。
【００５１】
本質的に、学習により、トレーニングデータ内のピクセルの真のラベルと予測ラベルとの差が最小になる。
【００５２】
シーン分類
説明したように、ルートノード（全体画像に対応する）の意味特徴は、シーンの全体表現である。この意味特徴をシーン分類（シーンカテゴリ、例えば自然の写真、顔の写真、都市のシーン等による画像の分類）に用いることもできるし、画像の集合（collections of images）のクラスタリングに用いることもできる。分類は、ルートノードの意味特徴を取得し、シーンカテゴリのうちの１つに割り当てる分類モデルをトレーニングすることによって達成される。クラスタリング用途は、写真収集における画像のルートノードの意味特徴を用いて、これらの画像を意味特徴の類似度に従ってグループ化する。
【００５３】
発明の効果
本発明の実施形態は、シーンの取得画像を意味的にラベル付けする方法を提供する。本発明者らは、ピクセルごとの意味的ラベル付けのために、畳み込みニューラルネットワークと再帰的ニューラルネットワークとの結合である新規のネットワークを考案する。主要な特徴は、本発明による再帰的コンテキスト伝播であり、再帰的コンテキスト伝播は、画像の１つの領域から画像内の全ての他の領域までコンテキスト情報をフィードフォワード方式で効果的に伝播する。ネットワークはスケーリング可能であり、人間が設計する特徴を一切用いずにトレーニングすることができる。本方法は、正確度の観点から従来技術の方法よりも優れている。また、本方法は従来技術の方法よりも数桁高速である。
【図１】
0006395158.tif 000016
【図２】
0006395158.tif 000017
【図３Ａ】
0006395158.tif 000018
【図３Ｂ】
0006395158.tif 000019
【図４】
0006395158.tif 000020