(57)【要約】      （修正有）【課題】ビデオのセマンティックセグメンテーションのための畳み込み回帰型ニューラルネットワークを訓練させる方法を提供する。【解決手段】方法は、セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練する段階と、セマンティックセグメンテーションされた訓練ビデオのセットを使用して、第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練する段階を含む。畳み込みレイヤは、隠れ状態を有する回帰型モジュールによって代替される。回帰型ニューラルネットワークを訓練する段階は、訓練ビデオのセットの連続するフレーム対ｔ−１、ｔに対して推定されたオプティカルフローによって回帰型レイヤの内部状態を、内部状態が対のフレーム間のピクセルのモーションに適応するようにワーピングする段階と、少なくとも回帰型モジュールを学習する段階を含む。【選択図】図４
2020027659.tif 000002
【特許請求の範囲】
【請求項１】
ビデオのセマンティックセグメンテーションのための畳み込み回帰型ニューラルネットワークを訓練する方法であって、
（ａ）セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練する段階、および
（ｂ）セマンティックセグメンテーションされた訓練ビデオのセットを使用して前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練する段階であって、畳み込みレイヤは、隠れ状態を有する回帰型モジュールによって代替される段階
を含み、
前記畳み込み回帰型ニューラルネットワークを訓練する段階は、前記セマンティックセグメンテーションされた訓練ビデオのセットのうちの１つのビデオの連続するフレームの各対について、
（ｂ１）連続するフレームの対のフレーム間の推定されたオプティカルフローによって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するようにワーピングする段階、および
（ｂ１）少なくとも前記回帰型モジュールのパラメータを学習する段階
を含む、
畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項２】
前記連続するフレームの対は、以前のフレームおよび現在のフレームを含み、前記推定されたオプティカルフローは、前記現在のフレームから前記以前のフレームへの逆方向オプティカルフローであり、
前記（ｂ１）は、前記以前のフレームと関連する内部状態に対応する前記以前のフレームと関連するワーピングされた内部状態を取得するために、ワーピング関数を前記内部状態に適用する段階であり、各ピクセルは、前記逆方向オプティカルフローによる変位を経たものである、
請求項１に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項３】
前記ワーピング関数は
【数１１】
2020027659.tif 000014
であり、ｐｔは前記現在のフレームｔのピクセルであり、Ｆｔ→ｔ−１は前記逆方向オプティカルフローであり、ｈｔ−１は前記以前のフレームｔ−１と関連する内部状態であり、
【数１２】
2020027659.tif 000015
は、前記以前のフレームｔ−１と関連するワーピングされた内部状態である、
請求項２に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項４】
前記（ｂ１）は、第２畳み込みニューラルネットワークを使用して実行される、前記連続するフレームの対のフレーム間のオプティカルフローを推定する段階を含み、前記第２畳み込みニューラルネットワークは、オプティカルフローが既知である連続するフレームの訓練対のセットを使用して訓練される、
請求項１に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項５】
前記第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＳｉｍｐｌｅネットワークである、
請求項４に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項６】
前記第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＣｏｒｒｅｌａｔｉｏｎネットワークである、
請求項４に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項７】
前記回帰型モジュールの前の前記畳み込み回帰型ニューラルネットワークの各レイヤのパラメータは、前記（ｂ２）の間に固定される、
請求項１に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項８】
回帰型モジュールによって代替される前記第１畳み込みニューラルネットワークの畳み込みレイヤは、最後から２番目の畳み込みレイヤである、
請求項１に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項９】
前記（ｂ２）で学習された畳み込み回帰型ニューラルネットワークのパラメータは、前記回帰型モジュールおよび前記第１畳み込みニューラルネットワークの最後の畳み込みレイヤのパラメータである、
請求項７に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項１０】
前記（ｂ２）は、前記第２畳み込みニューラルネットワークのパラメータを学習する段階
をさらに含む、
請求項４に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項１１】
前記第１畳み込み回帰型ニューラルネットワークは、最後から２番目の畳み込みレイヤの前に、Ａｔｒｏｕｓ空間的ピラミッドプーリングモジュールを含む、
請求項７に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項１２】
前記回帰型モジュールは、畳み込みゲート付き回帰型ユニットを含む、
請求項１に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項１３】
前記回帰型モジュールは、畳み込み長短期記憶を含む、
請求項１に記載の畳み込み回帰型ニューラルネットワークを訓練する方法。
【請求項１４】
セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練する段階、およびセマンティックセグメンテーションされた訓練ビデオのセットを使用して前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練する段階によって訓練された畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティックセグメンテーション方法であって、畳み込みレイヤは、隠れ状態を有する回帰型モジュールによって代替され、前記畳み込み回帰型ニューラルネットワークを訓練する段階は、前記セマンティックセグメンテーションされた訓練ビデオのセットのうちの１つのビデオの連続するフレームの各対に対し、連続するフレームの対のフレーム間の推定されたオプティカルフローによって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するようにワーピングする段階、および少なくとも前記回帰型モジュールのパラメータを学習する段階を含み、当該方法は、
（ａ）前記入力されたビデオの連続するフレームの各対に対し、前記対のフレーム間のオプティカルフローを推定する段階、
（ｂ）前記入力されたビデオの連続するフレームの各対に対し、前記推定されたオプティカルフローによって前記回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するようにワーピングする段階、および
（ｃ）前記入力されたビデオの連続するフレームの各対に対し、前記畳み込み回帰型ニューラルネットワークによって各フレームをセマンティックセグメンテーションする段階
を含む、入力されたビデオのセマンティックセグメンテーション方法。
【請求項１５】
前記畳み込み回帰型ニューラルネットワークを訓練する段階は、オプティカルフローが既知である連続するフレームの訓練対のセットを使用して第２畳み込みニューラルネットワークを訓練する段階を含み、前記（ａ）は、前記第２畳み込みニューラルネットワークを使用して実行される、
請求項１４に記載の入力されたビデオのセマンティックセグメンテーション方法。
【請求項１６】
前記第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＳｉｍｐｌｅネットワークである、
請求項１５に記載の入力されたビデオのセマンティックセグメンテーション方法。
【請求項１７】
前記第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＣｏｒｒｅｌａｔｉｏｎネットワークである、
請求項１５に記載の入力されたビデオのセマンティックセグメンテーション方法。
【請求項１８】
畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティックセグメンテーション方法であって、
（ａ）前記入力されたビデオの連続するフレームの各対に対し、前記対のフレーム間のオプティカルフローを推定する段階、
（ｂ）前記入力されたビデオの連続するフレームの各対に対し、前記推定されたオプティカルフローによって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するようにワーピングする段階、および
（ｃ）前記入力されたビデオの連続するフレームの各対に対し、前記畳み込み回帰型ニューラルネットワークによって各フレームをセマンティックセグメンテーションする段階
を含み、
前記畳み込みニューラルネットワークは、セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練する段階、およびセマンティックセグメンテーションされた訓練ビデオのセットを使用して前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練する段階によって訓練され、畳み込みレイヤは、隠れ状態を有する回帰型モジュールによって代替され、前記畳み込み回帰型ニューラルネットワークを訓練する段階は、前記セマンティックセグメンテーションされた訓練ビデオのセットのうちの１つのビデオの連続するフレームの各対に対し、連続するフレームの対のフレーム間の推定されたオプティカルフローによって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するようにワーピングする段階、および少なくとも前記回帰型モジュールのパラメータを学習する段階を含む、入力されたビデオのセマンティックセグメンテーション方法。
【請求項１９】
前記畳み込み回帰型ニューラルネットワークを訓練する段階は、オプティカルフローが既知である連続するフレームの訓練対のセットを使用して第２畳み込みニューラルネットワークを訓練する段階を含み、前記（ａ）は、前記第２畳み込みニューラルネットワークを使用して実行される、
請求項１８に記載の入力されたビデオのセマンティックセグメンテーション方法。
【請求項２０】
前記第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＳｉｍｐｌｅネットワークである、
請求項１９に記載の入力されたビデオのセマンティックセグメンテーション方法。
【請求項２１】
前記第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＣｏｒｒｅｌａｔｉｏｎネットワークである、請求項１９に記載の入力されたビデオのセマンティックセグメンテーション方法。
【請求項２２】
ビデオのセマンティックセグメンテーションのための畳み込み回帰型ニューラルネットワークを訓練するシステムであって、
当該システムは、
（ａ）セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練し、
（ｂ）セマンティックセグメンテーションされた訓練ビデオのセットを使用して前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練し、畳み込みレイヤは、隠れ状態を有する回帰型モジュールによって代替され、
前記畳み込み回帰型ニューラルネットワークを訓練することは、前記セマンティックセグメンテーションされた訓練ビデオのセットのうちの１つのビデオの連続するフレームの各対に対し、
（ｂ１）連続するフレームの対のフレーム間の推定されたオプティカルフローによって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するようにワーピングし、
（ｂ１）少なくとも前記回帰型モジュールのパラメータを学習すること
を含む、
畳み込み回帰型ニューラルネットワークを訓練するシステム。
【請求項２３】
ビデオのセマンティックセグメンテーションのための畳み込み回帰型ニューラルネットワークを訓練させる方法をコンピュータに実行させるためのプログラムであって、
前記方法は、
（ａ）セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練する段階、および
（ｂ）セマンティックセグメンテーションされた訓練ビデオのセットを使用して前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練する段階であって、畳み込みレイヤは、隠れ状態を有する回帰型モジュールによって代替される、段階
を含み、
前記畳み込み回帰型ニューラルネットワークを訓練する段階は、前記セマンティックセグメンテーションされた訓練ビデオのセットのうちの１つのビデオの連続するフレームの各対に対し、
（ｂ１）連続するフレームの対のフレーム間の推定されたオプティカルフローによって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するようにワーピングする段階、および
（ｂ１）少なくとも前記回帰型モジュールのパラメータを学習する段階
を含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、畳み込み回帰型（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｒｅｃｕｒｒｅｎｔ）ニューラルネットワークを訓練させる方法、および訓練された畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティック（意味的な）セグメンテーション方法に関する。
【０００２】
３５Ｕ．Ｓ．Ｃ．§１１９（ａ）に基づき、本出願は、欧州特許出願ＥＰ１８３０６１０４．３（出願日２０１８年８月１０日）のより早い出願日の優先権の利益を主張し、これにより、欧州特許出願ＥＰ１８３０６１０４．３（出願日２０１８年８月１０日）の全体の内容は参照によって本出願に組み込まれる。
【背景技術】
【０００３】
コンピュータビジョンは、デジタルビデオから高い水準（ｈｉｇｈ−ｌｅｖｅｌ）の理解をコンピュータに提供することを目的とする、近年の努力分野の１つである。これは、人間の視覚システムが実行することのできる作業を自動化しようとするものである。
【０００４】
このような作業の１つが「セマンティック（意味的な）」セグメンテーションである。一般的に、セグメンテーションとは、イメージをピクセルのセットに分割する（ｐａｒｔｉｔｉｏｎｉｎｇ）プロセスである。このようなセットのそれぞれがタイプを識別するエンティティ（自動車、人物、建物など）に対応するとき、意味のあるセグメンテーションとして見なされるのである。実際に、セマンティックセグメンテーションは、クラスの所定のセットのうち、クラスラベルを各ピクセルに割り当てることによって構成される。
【０００５】
これは、（場面を理解してロボットが探索する（ｎａｖｉｇａｔｅ）ことのできる場所を識別するための）ロボット工学および自律走行を含む多くの応用において高い関心が示されている。同じような意味において、セマンティックセグメンテーションは、場面を理解してオブジェクトおよび仮想のオブジェクトが追加され得る領域の範囲を見つけ出すための拡張現実の脈絡においても有効的である。
【０００６】
セマンティックセグメンテーションは、（例えば、建物のように）大きかったり（例えば、信号のように）薄かったりする、（空や芝生などのような）もの、および適切に定義されたオブジェクト（自動車や瓶など）を含む多種類のクラスによるコンピュータビジョンにおいて挑戦すべき課題である。セマンティックセグメンテーションによる出力は、空間（オブジェクトの境界を除いた、同じクラスに属する傾向にある隣接するピクセル）と時間（実世界ポイント（ｐｏｉｎｔ）が時間において一定のラベルを有する。これは、そのプロジェクション（ｐｒｏｊｅｃｔｉｏｎ）も同じであることを意味する）の両方が存在するため、滑らか（ｓｍｏｏｔｈ）になる。
【０００７】
このために、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）の使用が提案されてきた。畳み込みニューラルネットワークは、ニューロン間の結合パターンが動物の視覚野（ｖｉｓｕａｌ  ｃｏｒｔｅｘ）の配置から着想を得た、一種のニューラルネットワークである。畳み込みニューラルネットワークは、イメージ内の個体を効率的に認識できることから、特にビデオ処理に適している。
【０００８】
したがって、畳み込みニューラルネットワークが予めセグメンテーションされた、すなわち、ビデオのフレーム内の各ピクセルのラベルが提供されたビデオの訓練セットを提供することによって訓練される教師あり学習段階を経ることで、畳み込みニューラルネットワークは、（ラベルが指定されていない、特に、ライブＣＣＴＶからの「フレッシュ（ｆｒｅｓｈ）」ビデオ）自身が入力したあらゆるビデオをセグメント化することが可能となる。
【０００９】
セマンティックセグメンテーションに対する従来の方法のほとんどは、イメージレベルで実行される、すなわち、アルゴリズムがビデオのすべてのフレームに独立的に適用されるものであった。
【００１０】
従来のアクセス法は、密集した予測（ｄｅｎｓｅ  ｐｒｅｄｉｃｔｉｏｎ）を出力するために、イメージ分類の畳み込みニューラルネットワークアーキテクチャを全層畳み込みバージョン（ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｖｅｒｓｉｏｎ）に変換するものである。標準的なコンピュータビジョンの畳み込みニューラルネットワークアーキテクチャのストライド（ｓｔｒｉｄｅ）により、特徴マップ（ｆｅａｔｕｒｅ  ｍａｐｓ）は、一般的に入力イメージよりも低い解像度であることに留意する。したがって、１番目の深い（ｄｅｅｐ）セグメンテーションアクセス方法は、アップサンプリング戦略、すなわち、エンコーダ−デコーダのアーキテクチャを使用するという条件付きランダムフィールドのようなグラフィックモデルを使用することによって出力を精製してきた。
【００１１】
さらに最近には、Ｄｉｌａｔｅｄ畳み込み（または、Ａｔｒｏｕｓ畳み込みとも称される）が紹介されているが、これは、従来の分類畳み込みニューラルネットワークアーキテクチャからさらに密集した特徴マップを抽出するものである。
【００１２】
より優れた正確性を得るために、最近の傾向としては、最後のレイヤのマルチスケール（ｍｕｌｔｉｐｌｅ  ｓｃａｌｅｓ）におけるコンテキスト情報をモデリングすることで構成される。例えば、これは、Ｄｉｌａｔｅｄ畳み込みの出力を複数の因子と全域的に（ｇｌｏｂａｌｌｙ）プーリングされた（ｐｏｏｌｅｄ）イメージ特徴によって連鎖させることによって構成されたり、ＰＳＰ−Ｎｅｔの複数のグリッドスケールによって空間的なプーリングを実行することによって構成されたりする。
【００１３】
通常、これは、実世界の一部の領域が連続的な（ｃｏｎｓｅｃｕｔｉｖｅ）フレーム間のセマンティックラベルに多くの変化を経るようになることから、満足しないフリッキング効果（ｆｌｉｃｋｅｒｉｎｇ  ｅｆｆｅｃｔ）に繋がる。これについては、３つの連続するフレーム（図１）上でフレーム単位（ｐｅｒ−ｆｒａｍｅ）推定の例を示す図２において説明する。
【００１４】
ノイズアーティファクトは、時間に応じて予測されたラベル（ボックス）において、２つを超えるラベル（右側ボックス）間のフリッカを含む領域でも観察されるということに留意する。
【００１５】
時間による一貫性（ｃｏｎｓｉｓｔｅｎｃｙ）を改善するために、セマンティックセグメンテーションは、ビデオレベルで、すなわち、フレームに対しても実行されなければならない。
【００１６】
ビデオのセマンティックセグメンテーションを扱うために様々な方法が試みられた。最初の方法として、時間および空間において、マルコフ確率場（Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ）、Ｐｅｒｔｕｒｂ＆ＭＡＰ確率場、または条件付き確率場を基盤とするものであった。ここ最近は、フレーム間の対ポテンシャル（ｐａｉｒｗｉｓｅ  ｐｏｔｅｎｔｉａｌ）におけるモーションをモデリングするためにオプティカルフロー（ｏｐｔｉｃａｌ  ｆｌｏｗ）を活用（ｌｅｖｅｒａｇｅ）する方法が提案された。ビデオのセマンティックセグメンテーションを精製するための他の方法として、フィルタリングを使用する方法もある。しかし、このようなすべての方法では、一貫されたビデオセグメンテーションの出力を生成することができない。
【００１７】
より最近では、ＮｅｔＷａｒｐモジュールを、ある時間一貫性（ｔｅｍｐｏｒａｌ  ｃｏｎｓｉｓｔｅｎｃｙ）をセマンティックセグメンテーション畳み込みニューラルネットワークアーキテクチャによって統合するために取り入れる方法が提案された。このような方法は、現在のフレームの特徴をオプティカルフローによってワーピングされた（ｗａｒｐｅｄ）以前のフレームからの特徴と結合するものである。実際に、連続するフレームからの特徴が、ワーピング後には、オプティカルフローによって集合されるようになり、最終的な推定を生成するために使用されるが、特徴は事前に定義されて固定された数のフレームに制限されて残っている。
【００１８】
この代案として、ｃｌｏｃｋｗｏｒｋ畳み込みニューラルネットワークアーキテクチャが、ビデオのセマンティックセグメンテーションのために提案された。ｃｌｏｃｋｗｏｒｋ畳み込みニューラルネットワークアーキテクチャは、正確性の低下という代償を払ってビデオセグメントのランタイムを減少させることを目的とし、以前のフレームから中間特徴を再利用することによって構成される。
【００１９】
結果的に、時系列的情報の直接的なレバレッジ（ｌｅｖｅｒａｇｅ）を許容するニューラルネットワークを使用するセグメンテーション方法の改善が求められている。
【図面の簡単な説明】
【００２０】
以下の図面は、多様な実施形態を説明することを目的とし、制限的に解釈されてはならない。
【図１】３つの連続するフレームの例を示した図である。
【図２】従来のフレーム単位（ｐｅｒ−ｆｒａｍｅ）技法を使用する、図１のフレーム例のセマンティックセグメンテーションを示した図である。
【図３】図７の畳み込み回帰型ニューラルネットワークアーキテクチャを使用する、図１のフレーム例のセマンティックセグメンテーションを示した図である。
【図４】セマンティックセグメンテーションのためのシステムの例を示した図である。
【図５】２つの連続するフレームの例に対し、オプティカルフローがピクセルをどのように変位させるかを説明するための図である。
【図６】セマンティックセグメンテーションでの使用のための畳み込みニューラルネットワークアーキテクチャの例を示した図である。
【図７】セマンティックセグメンテーションでの使用のための畳み込み回帰型ニューラルネットワークアーキテクチャの例を示した図である。
【発明を実施するための形態】
【００２１】
以下では、ビデオのセマンティックセグメンテーションの２つの補完的な側面について説明する。（ａ）ビデオのセマンティックセグメンテーションのための畳み込み回帰型ニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）を訓練させる方法、および（ｂ）より好ましくは、（ａ）の方法によって訓練された畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティックセグメンテーション方法。
【００２２】
すべてのビデオは、（その長さに応じて）１からＴまでの番号が付与され、Ｔ個のフレームのシーケンスとなる。言い換えれば、ビデオの一般的なフレームは、ｔ∈[[１；Ｔ]]であるフレームｔとして参照されるようになる。各フレームは、イメージ、すなわち、与えられたサイズのピクセルのマトリックス、例えば３２１×３２１ピクセルで構成される。
【００２３】
ビデオのセマンティックセグメンテーションとは、ビデオの各フレームの各ピクセルの分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）であって、すなわち、ラベルの所定のリストのラベルのうち、各ピクセルによって描写されるエンティティのタイプを定義する、各フレームに対して各ピクセルのラベルを予測することに該当する。したがって、フレームは、同じラベルを有するピクセルの複数のセットに分割され、同じラベルを有するそれぞれの「連結する」ピクセルのセットは、エンティティ、すなわち「実世界」オブジェクトを定義する。例えば、１つの自動車を描写するすべてのピクセルは、「自動車」タイプのピクセルとしてラベリングされなければならない。
【００２４】
上述した２つのタイプの方法は、図４に示すように、第１サーバ１ａおよび／または第２サーバ１ｂを使用するシステム内で実現される。第１サーバ１ａは（１番目の方法を実現する）学習サーバであり、第２サーバ１ｂは（２番目の方法を実現する）セグメンテーションサーバである。このような２つのサーバは、単一のサーバとして統合されることも可能である。
【００２５】
このようなサーバ１ａ、１ｂのそれぞれは、通常、データ交換のために、インターネットのような拡張されたネットワーク２に接続される遠隔のコンピュータ機器である。それぞれのサーバは、プロセッサタイプのデータ処理手段１１ａ、１１ｂ（特に、学習は、訓練された畳み込み回帰型ニューラルネットワークの一般的な使用に比べて長くて複雑であるため、第１サーバのデータ処理手段１１ａは強力なコンピュータパワーを有する）と、選択的にコンピュータメモリ、例えば、ハードディスクのようなストレージ手段１２を含む。
【００２６】
第１サーバ１ａは、１つ以上の訓練データベース、すなわち、（正確な分類を意図とする、いわゆる入力されるデータとは反対の）既に分類されたデータのセットを有するか、これに対するアクセスを有する。説明するように、データは、ここでイメージおよび／またはビデオとして構成され、少なくとも既にセマンティックセグメンテーションされた訓練ビデオを含む。言い換えれば、訓練ビデオのピクセルは、既にラベリングされているのである。
【００２７】
アーキテクチャは、より好ましくは、クライアント機器１０の１つ以上のアイテムを含む。これは、すべてのワークステーションに（または、ネットワーク２に接続されて）存在してよく、好ましくは、サーバ１ａ、１ｂから分離されていてよく、その１つおよび／または残りと統合されてよい。１つ以上のデータアイテムを有する。機器のオペレータは、通常、第１サーバ１ａおよび／または第２サーバ１ｂを運用するサービス提供者の商業的意味としての「クライアント」を示す用語である。
【００２８】
回帰型ニューラルネットワークは、連続的な情報、現在のケース内のフレームのシーケンスを活用するニューラルネットワークの一タイプである。言い換えれば、与えられたフレームにおける出力は、このようなフレームからの特徴だけでなく、または隠れ状態またはメモリによって命名される「内部状態（ｉｎｔｅｒｎａｌ  ｓｔａｔｅ）」により、以前のフレームからの推定に依存するようになるであろう。回帰型ニューラルネットワークは、筆跡またはスピーチ認識のような作業に極めて適している。
【００２９】
回帰型ニューラルネットワークは、ニューラルネットワーク内におけるシーケンスのモデリングに効果的であることが立証された。その方法とは、時間による関連情報を累積する内部状態を学習し、推定が現在の入力とこのような内部状態を基盤とすることである。回帰型ニューラルネットワークは、勾配消滅問題（ｖａｎｉｓｈｉｎｇ  ｇｒａｄｉｅｎｔ  ｉｓｓｕｅｓ）によって訓練が難しい。
【００３０】
回帰型ニューラルネットワークは、「回帰型」動作（ｂｅｈａｖｉｏｒ）を示す１つ以上のレイヤのブロックである「回帰型ニューラルネットワークモジュール」を含む。回帰型ニューラルネットワークモジュールは、当業者にとって周知の事項である。回帰型ニューラルネットワークは、ゲート付き回帰型ユニット（ｇａｔｅｄ  ｒｅｃｕｒｒｅｎｔ  ｕｎｉｔ）および／または長短期記憶（ｌｏｎｇ  ｓｈｏｒｔ−ｔｅｒｍ  ｍｅｍｏｒｙ）を含んでよい。ゲート付き回帰型ユニットおよび長短期記憶は、内部状態を選択的にアップデートするための学習可能なゲートを含み、これにより、訓練中により長いシーケンスに勾配を伝播することを可能にする。
【００３１】
一般的に、ｘｔ、ｈｔ、およびｏｔが、それぞれフレームｔからの回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＲＮＮ）の入力、隠れ状態、および出力を示す一般的な設定を定義する場合、回帰型ニューラルネットワークモジュールの出力ｏｔは、現在フレームｔにおける特徴（ｆｅａｔｕｒｅｓ）ｘｔだけでなく、以前のフレームｔ−１でも隠れ状態ｈｔ−１の関数となる。同時に、隠れ状態ｈｔは、同じ入力に基づいてアップデートされる。ここで、回帰型ニューラルネットワークモジュールは、以下の数式（１）によって定義される：
ｏｔ，ｈｔ＝ＲＮＮ(ｘｔ，ｈｔ−１)  ・・・（１）
【００３２】
ｈｏは、すべてゼロであるテンソル（ｔｅｎｓｏｒ）によって初期化される（ｈｏ）。このようなゼロ初期化において、訓練段階は、好ましくは、対（ｐａｉｒ）よりも長いシーケンスとして実行される。
【００３３】
回帰型ニューラルネットワークモジュールは、ビデオの固有のモーションを考慮するようにセマンティックセグメンテーションの作業に適応されてよい。
【００３４】
事実、ｘｔおよびｏｔは、セマンティックセグメンテーションの作業のための現在の特徴マップとなり、これにより、（入力、内部状態、および出力が３Ｄテンソルである）畳み込み演算子（ｏｐｅｒａｔｏｒ）が回帰型ニューラルネットワークモジュール、例えば、畳み込みゲート付き回帰型ユニット内部で使用されてよい。
【００３５】
このような畳み込み演算子は、例えば、フレーム予測およびビデオキャプション（ｃａｐｔｉｏｎｉｎｇ）のために使用されてきた。畳み込み回帰型ニューラルネットワークも、その目的が、１番目のフレームにおいてそのセグメンテーションが与えられたビデオに対するオブジェクトのバイナリセグメンテーションを出力することであるビデオオブジェクトセグメンテーションのような、他の密集したビデオ推定作業に適用されてきた。
【００３６】
例えば、畳み込みゲート付き回帰型ユニットをビデオのセマンティックセグメンテーションに適用することが提案された。しかし、このようなモデルは、モーションモデリングに欠ける。与えられたピクセルにおける推定は、該当のピクセルにおける推定の履歴を基盤とするが、このようなピクセルは、モーションがある場合には実世界において他のポイントを示すことがある。
【００３７】
実際の出力ｏｔは、周知の方式の畳み込み演算子のカーネルのサイズによる近傍（ｎｅｉｇｈｂｏｒｈｏｏｄ）の大きさにより、ｘｔおよびｈｔ−１のローカル空間的近傍（ｌｏｃａｌ  ｓｐａｔｉａｌ  ｎｅｉｇｈｂｏｒｈｏｏｄ）に依存するはずである。
【００３８】
標準的な畳み込み回帰型ニューラルネットワークは、フレームｔで与えられたピクセルｐｔと以前のフレームｔ−１で同じピクセルｐｔ−１（「同じピクセル」とは、ピクセルが正確に同じ座標であることを意味する）とが同じ実世界ポイントのプロジェクションである場合のみ、すなわち、このようなポイントが実世界で静的に（ｓｔａｔｉｃ）残っていれば（または、プロジェクションレイ（ｒａｙ）に沿って移動すれば）考慮されてよい。言い換えれば、これは、ビデオが静的であること、すなわち、モーションがないことを仮定するのである。しかし、自律走行のような多くの応用において、このような仮定は有効でなく、ピクセルはフレーム間で相当に移動する。
【００３９】
より正確には、フレームｔのピクセルｐｔでの推定は、このようなピクセルｐｔのローカル近傍Ｎ（ｐｔ）の特徴ｘｔと以前のフレームｔ−１での隠れ状態ｈｔ−１からのローカル近傍Ｎ（ｐｔ−１）に依存するはずである。反対に、ｐｔでの推定は、実際にはＮ（ｐｔ）の特徴ｘｔと隠れ状態ｈｔ−１からのローカル近傍Ｎ（ｐ’ｔ−１）に依存しなければならないはずである。ｐ’ｔ−１は、実世界のｐｔと同じポイントに対応するピクセルである。
【００４０】
連続するフレームｔ−１（左）およびｔ（右）の例を示す図５は、現在のフレームｔ上の２つのピクセルｐｔおよびｑｔの正確に同じ座標において、以前のフレームｔ−１上のピクセルｐｔ−１およびｑｔ−１を示す。ｐｔ−１およびｑｔ−１は、ｐ’ｔ−１およびｑ’ｔ−１とは対照的に、それぞれｐｔおよびｑｔと同じ領域には属さない。
【００４１】
「オプティカルフロー」とは、あるイメージの他の１つ（特に、連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の対、すなわち、以前のフレームｔ−１および現在のフレームｔ）へのすべてのピクセルの変位を定義するベクトルフィールドである。
【００４２】
例えば、オプティカルフローＦｔ−１→ｔとは、以前のフレームｔ−１から現在のフレームｔへのすべてのピクセルたちの変位を定義し、オプティカルフロー（「逆方向のフロー」）とは、現在のフレームｔから以前のフレームｔ−１へのすべてのピクセルの変位を定義する。
【００４３】
ピクセルｐ’ｔ−１は、数式ｐ’ｔ−１＝ｐｔ＋Ｆｔ→ｔ−１(ｐｔ)によって求められる。言い換えれば、オプティカルフローは、ベクトルフィールドによって各ピクセルを「シフト」する。
【００４４】
フローによって特徴マップをすべてのピクセルのモーションに適応させるために、回帰型モジュールの使用は、「ワーピング（ｗａｒｐｉｎｇ）」関数の使用とともに結合（ｃｏｍｂｉｎｅ）される。実際、ａｔ−１が以前フレームｔ−１での特徴マップであり、ａｔが現在のフレームｔでの特徴マップであれば（特徴マップは、ベクトルフィールド、すなわち、各ピクセルにベクトルを関連させる）、ａｔ(ｐｔ)およびａｔ−１(ｐ’ｔ−１)＝ａｔ−１(ｐｔ＋Ｆｔ→ｔ−１(Ｐｔ))のすべてのピクセル特徴は結合される。このような演算は、効率的に実現することが難しいため（関連するピクセルは異なる座標を有するため）、特徴のワーピングが先に計算される。すなわち、
【数１】
2020027659.tif 000003
と定義されるベクトルフィールド
【数２】
2020027659.tif 000004
を構築するように計算される。したがって、ａｔ(ｐｔ)および
【数３】
2020027659.tif 000005
の特徴は、ピクセル単位（ｐｉｘｅｌ  ｂｙ  ｐｉｘｅｌ）で直接的に結合されてよい。
【００４５】
言い換えれば、オプティカルフローＦｔ→ｔ−１が分かれば、ワーピングは、与えられたすべての特徴マップａｔ−１からの与えられた特徴マップａｔ−１に対応するワーピングされた特徴マップ
【数４】
2020027659.tif 000006
を計算することであり、各ピクセルはオプティカルフローによる変位を経たものになる。
【００４６】
ワーピングとは、特徴マップ（すなわち、ベクトル）の値を変更させるのではなく、これらを「空間的に再配置」することを意味する。本発明に係る以前のフレームｔ−１からフレームｔへのワーピングにおいて、ワーピング関数は、現在のイメージｔの各ピクセルｐｔに対し、逆方向のオプティカルフローＦｔ→ｔ−１による他のピクセルｐ’ｔ−１に対するワーピングされた特徴マップの値（以前のイメージｔ−１と関連する内部状態ｈｔ−１）を関連させる。
【００４７】
実際に、オプティカルフローは、整数だけでなく、小数（ｆｌｏａｔ  ｖａｌｕｅｓ）を含む。ワーピング関数は、（例えば、４つの値の）バイリニア補間法（ｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）を基盤としてよく、これは、フロー値が、勾配がゼロに設定される場合である、整数である例外的な場合を除けば微分が可能である。
【００４８】
一般的なワーピングされた回帰型ニューラルネットワークモジュールは、ＦｌｏｗｉｎｇＲＮＮと称される。これにより、内部状態がオプティカルフローによるフレーム間でワーピングされる回帰型ニューラルネットワークモジュールとして作成されてよく、すなわち、次のとおりとなる。
【数５】
2020027659.tif 000007
【００４９】
好ましい一実施形態において、ＦｌｏｗｉｎｇＧＲＵ、すなわち、畳み込みゲート付き回帰型ユニットモジュール基盤のＦｌｏｗｉｎｇＲＮＮが使用される。これは、以下の数式（２）にしたがって与えられてよい。
【００５０】
【数６】
2020027659.tif 000008
【００５１】
【数７】
2020027659.tif 000009
は要素別（ｅｌｅｍｅｎｔ−ｗｉｓｅ）の乗算（ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）を示し、★は畳み込み演算子を、σはシグモイド関数を、ＲｅＬＵは正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ  ｌｉｎｅａｒ  ｕｎｉｔ）の非線形性を示し（以下を参照）、Ｗとｂは学習可能なパラメータ（それぞれの加重値およびバイアス）を示す。
【００５２】
直観的に、リセットゲートｒｔは、入力ｘｔを以前の隠れ状態ｈｔ−１とどのように結合しなければならないかを学習し、アップデートゲートｚｔは、どれだけ多くの以前のメモリが維持されなければならないかを学習する。
【００５３】
本ＦｌｏｗｉｎｇＧＲＵと標準的な畳み込みゲート付き回帰型ユニットの主な違いは、隠れ状態がオプティカルフローによってワーピングされ、これにより、ピクセルモーションの場合においても、与えられたピクセルおよびタイムステップでの推定は、実世界のこのような特定されたポイントの履歴（ｈｉｓｔｏｒｙ）に基づくようになるということにある。１つの小さな違いは、ＲｅＬＵがコンピュータビジョン畳み込みニューラルネットワークアーキテクチャにおいて一般的に使用されるほど、ＲｅＬＵ非線形性が、好ましくは、標準的なｔａｎｈの代わりに使用されるということにある。
【００５４】
当業者は、説明されたアーキテクチャを、他のすべてのタイプの回帰型モジュールに変更する（ｔｒａｎｓｐｏｓｅ）ことが可能であろう。特に、「ＦｌｏｗｉｎｇＧＲＵ」の代わりに「ＦｌｏｗｉｎｇＬＳＴＭ」、すなわち、畳み込み長短期記憶モジュール基盤のＦｌｏｗｉｎｇＲＮＮが使用されてよい。
【００５５】
一般的に、ＦｌｏｗｉｎｇＲＮＮは、増加された性能、特に時間による一貫性の観点において、ビデオの向上されたセマンティックセグメンテーションを実行するように、すべての全層畳み込みイメージセグメンテーション方法に連結されてよい。
【００５６】
図３は、図１に示した３つの連続するフレームに対してＦｌｏｗｉｎｇＲＮＮを使用したセマンティックセグメンテーションの例を示した図である。図２を参照しながら時間によって予測されたラベル内のノイズアーティファクトの不存在（ａｂｓｅｎｃｅ）（ボックス）を、図３で観察することができる。
【００５７】
畳み込み回帰型ニューラルネットワーク、フロー推定、およびワーピングモジュールはすべて区別可能であり、全層ネットワークエンドツーエンド訓練を可能にする。
【００５８】
第１側面において、訓練方法は、第１サーバ１ａのデータ処理手段１１ａによって実現される。方法は、ビデオのセマンティックセグメンテーションのために畳み込み回帰型ニューラルネットワークを訓練する。
【００５９】
第１段階ａにおいて、標準的な畳み込みニューラルネットワーク（非回帰型）は、「第１畳み込みニューラルネットワーク」として参照可能であり、予めセマンティックセグメンテーションされた訓練イメージのベース（例えば、ＭＳ−Ｃｏｃｏデータセット）から訓練される。
【００６０】
言い換えれば、第１畳み込みニューラルネットワークは、時間によるローカル依存性を考慮しない、伝統的な「フレーム単位」ベースラインとする。周知のすべてのアーキテクチャが、第１畳み込みニューラルネットワークのために使用されてよい。
【００６１】
畳み込みニューラルネットワークは、一般的に、情報を処理する４つのタイプのレイヤを含む。
【００６２】
（ａ）１つずつイメージのブロックを処理する畳み込みレイヤ。
（ｂ）「活性化関数」を適用することによって結果の適切性が改善されるようにする非線形レイヤ（校正レイヤとも称される）。
（ｃ）複数のニューロンを１つの単一のニューロンにグルーピングするようにするプーリングレイヤ。
（ｄ）レイヤのすべてのニューロンを以前のレイヤのすべてのニューロンと連結する、全層連結のレイヤ。
【００６３】
全層連結の畳み込みネットワークの場合、全層連結のレイヤはこれ以上存在せず、カーネルサイズ１の畳み込みレイヤに変換されるという点に留意する。これは、全体のイメージに対するただ１つの確率分布の代わりに、確率の出力マップを許容する。
【００６４】
非線形レイヤの活性化関数としては、最も頻繁にＲｅＬＵ関数（正規化線形ユニット）が使用されるが、これはｆ（ｘ）＝ｍａｘ（０、ｘ）と同等であり、プーリングレイヤ（ＰＯＯＬ）は、スクエア（ｓｑｕａｒｅ）の４つの値の間で最大値に対応する（４つの値が１つにプーリングされる）、ＭａｘＰｏｏｌ２×２関数が最も多く使用されるが、ＡｖｅｒａｇｅＰｏｏｌまたはＳｕｍＰｏｏｌのような他のプーリング関数が使用されてもよい。
【００６５】
畳み込みレイヤ（ＣＯＮＶ）および全層連結のレイヤ（ＦＣ）は、一般的に、以前のレイヤのニューロンと畳み込みニューラルネットワークの加重値とのスカラー乗法に対応する。
【００６６】
典型的な畳み込みニューラルネットワークアーキテクチャは、複数のレイヤＣＯＮＶ−＞ＲＥＬＵの対を積層し、その次にレイヤプールを追加し、このようなスキーム［（ＣＯＮＶ−＞ＲＥＬＵ）ｐ−＞ＰＯＯＬ］を十分に小さな出力ベクトルが得られるまで繰り返し、１つまたは２つの全層連結のレイヤによって終了する。
【００６７】
図６では、第１畳み込みニューラルネットワークのためのアーキテクチャの例について説明する。
【００６８】
図６で説明するように、１番目の畳み込みレイヤとブロック１〜ブロック４はＲｅｓＮｅｔ−１０１からのものであり、ブロック３およびブロック４はそれぞれ、２および４の因子（レートとも呼ばれる）で拡張された畳み込み（ｄｉｌａｔｅｄ  ｃｏｎｖｏｌｕｔｉｏｎｓ）を使用しており、３２から８にネットワークのストライド（ｓｔｒｉｄｅ）を減少させる。
【００６９】
次に、多様な拡張因子（ｄｉｌａｔｉｏｎ  ｆａｃｔｏｒｓ）を有する、異なる畳み込みカーネルからの結果が積層されるＡｔｒｏｕｓ空間的ピラミッドプーリング（ＡＳＰＰ：ａｔｒｏｕｓ  ｓｐａｔｉａｌ  ｐｙｒａｍｉｄ  ｐｏｏｌｉｎｇ）モジュールが存在する。Ａｔｒｏｕｓ空間的ピラミッドプーリングモジュールは、クラススコアを出力する最終的な１×１畳み込みレイヤの前に、２５６個のフィルタを有する（バッチ正規化（ｂａｔｃｈ  ｎｏｒｍａｌｉｚａｔｉｏｎ）およびＲｅＵＬを有する）１×１畳み込みレイヤに供給される。このようなスコアは、最初のイメージ解像度によってバイリニアで（ｂｉｌｉｎｅａｒｌｙ）アップサンプリングされ、例えば、訓練時間中にピクセル単位でソフトマックス損失（ｓｏｆｔｍａｘ  ｌｏｓｓ）を適用したり、試験時間中にピクセル単位でａｒｇｍａｘを取得したりすることによって予測されたクラスを推定する。
【００７０】
第１畳み込みニューラルネットワークを訓練するために、１６のバッチサイズを有する確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ：ＳＧＤ）が使用されてよい。特に、「ポリー」学習率スケジュール（ｌｅａｒｎｉｎｇ  ｒａｔｅ  ｓｃｈｅｄｕｌｅ）、すなわち、初期学習率にＮ回の繰り返しの総数に対して繰り返しｉで
【数８】
2020027659.tif 000010
だけ掛けられたものが適用されてよい。
【００７１】
訓練バッチは、例えば、３２１×３２１のピクセルサイズを有する訓練イメージのランダムクロップ（ｃｒｏｐ）から生成され、畳み込みニューラルネットワークは、全体イメージに対して試験される。訓練時に、ランダムクロップを取得する前に、データ増強がイメージをランダムで左右にフリッピングし、範囲［０：５；１：５］のランダムスケーリング因子を適用することによって実行されることが好ましい。
【００７２】
追加で（段階ａ）、オプティカルフローが有する連続するフレームの対のベースからの第２畳み込みニューラルネットワークの訓練が実行される。
【００７３】
説明するように、第２畳み込みニューラルネットワークは、フレームの対のオプティカルフロー、特に、現在のフレームｔから以前のフレームｔ−１への逆方向のオプティカルフローＦｔ→ｔ−１を推定することを目標とする。
【００７４】
第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＳｉｍｐｌｅまたはＦｌｏｗＮｅｔＣｏｒｒｅｌａｔｉｏｎのようなものであってよい。アーキテクチャＦｌｏｗＮｅｔＳｉｍｐｌｅ（一般的にはＦｌｏｗＮｅｔＳと称する）が好ましく、図６の例で使用される。このようなアーキテクチャにおいて、２つの入力イメージはいずれも一緒に積層され、畳み込みレイヤとしてのみ生成されたネットワークを介して供給される。
【００７５】
ＲｅＬＵ非線形および「アップ畳み込み」も、畳み込みとして実現されてよい。
【００７６】
その次に（段階ｂ）、畳み込み回帰型ニューラルネットワークが訓練される。その方法は、第１畳み込みニューラルネットワーク（および、存在する場合は第２畳み込みニューラルネットワーク）から畳み込み回帰型ニューラルネットワークを構築するものである。
【００７７】
畳み込み回帰型ニューラルネットワークは、第１畳み込みニューラルネットワークに対応し、畳み込みレイヤは、上述したような隠れ状態を有する回帰型モジュール（ＦｌｏｗｉｎｇＧＲＵのようなＦｌｏｗｉｎｇＲＮＮモジュール）によって代替された。
【００７８】
好ましくは、図６に示すように、回帰型モジュールによって代替される、第１畳み込みニューラルネットワークの畳み込みレイヤは、最後から２番目（ｐｅｎｕｌｔｉｍａｔｅ）の畳み込みレイヤである。このような位置は、ＲｅｓＮｅｔ−１０１を基盤とした例示内のＡｔｒｏｕｓ空間的ピラミッドプーリングモジュールのすぐ後ろにあるため優れた結果を提供するが、回帰型モジュールは第１畳み込みニューラルネットワーク内のどことも代替可能であり、例えば、最後の畳み込みレイヤと代替されてよい。また、Ａｔｒｏｕｓ空間的ピラミッドプーリングモジュールの次に３つの畳み込みレイヤが存在してよく、回帰型モジュールは、１番目の（すなわち、第１畳み込みニューラルネットワークの後ろから３番目の（ａｎｔｅｐｅｎｕｌｔｉｍａｔｅ）畳み込みレイヤ）と代替されてよい。
【００７９】
第１畳み込みニューラルネットワークの訓練（段階ａ）は、畳み込み回帰型ニューラルネットワークのパラメータの「初期化」として示されてよく、（後述するように）既にセマンティックセグメンテーションされた訓練ビデオのベースからの追加の訓練により、畳み込み回帰型ニューラルネットワークの訓練（段階ｂ）は、このようなパラメータの「ファインチューニング（ｆｉｎｅ−ｔｕｎｉｎｇ）」として示されてよい。
【００８０】
第１畳み込みニューラルネットワークの訓練によって取得されたパラメータの一部は固定されてよく、すなわち、畳み込み回帰型ニューラルネットワークの訓練において追加で学習されなくてもよく、好ましくは、回帰型モジュールの前に（すなわち、Ａｔｒｏｕｓ空間的ピラミッドプーリングが含まれるまで）畳み込み回帰型ニューラルネットワークの各レイヤのパラメータがそうであってよい。追加で学習されたパラメータは、以後、好ましくは、回帰型モジュール、畳み込みニューラルネットワークの最後の畳み込みレイヤ（および、一般的には固定されない各畳み込みレイヤ）、および（存在する場合には）第２畳み込みニューラルネットワークのパラメータとなる。
【００８１】
セマンティックセグメンテーションに対して最も人気のあるベンチマークはイメージに制限され、畳み込み回帰型ニューラルネットワークの訓練においては使用されない。本発明の方法は、複数のピクセルがビデオ内で注釈処理されていたとしても、損失によって注釈処理されていないピクセルを無視することによって訓練されてよく、密集したグラウンドトゥルース（ｇｒｏｕｎｄ−ｔｒｕｔｈ）を使用する訓練は、より優れた時系列的一貫性に繋がるはずである。
【００８２】
大部分の実世界データセットは、シーケンス単位で注釈処理されたただ１つのフレームを有するが、複数の合成ベンチマークはデータの現実性（ｒｅａｌｉｓｍ）またはシーケンスの低い数によって制限されるため、既にセマンティックセグメンテーションされた訓練ビデオのベースは、好ましくは、現実的なＧｒａｎｄ  Ｔｈｅｆｔ  Ａｕｔｏ（登録商標）（ＧＴＡ）Ｖビデオゲームからキャプチャされる約２００個のビデオシーケンスからの約２５０ｋフレームで構成される最新バイパーデータセットである。
【００８３】
合成レンダリングは、セマンティックセグメンテーションを含む、複数の作業に対するグラウンドトゥルースを取得するように許容する。照明および気象状態は、昼から夜まで、晴天から雨が降るまで、雪が降るとき、または霧が発生するときに変化し、データセットを挑戦的に（ｃｈａｌｌｅｎｇｉｎｇ）生成する。セマンティックセグメンテーション作業は、（例えば、空や地形のような）要素、車両（例えば、乗用車やトラック）、および小さなオブジェクト（例えば、交通標識や信号）を含む２３個のクラスを有する。
【００８４】
畳み込み回帰型ニューラルネットワークの訓練（段階ｂ）は、好ましくは、セマンティックセグメンテーションされた訓練ビデオのベースのうち、あるビデオの連続的なフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、該当の対のフレーム間のオプティカルフロー（特に、現在のフレームｔから以前のフレームｔ−１への逆方向のオプティカルフローＦｔ→ｔ−１）を推定すること（サブ−段階ｂ０）によって始まる。
【００８５】
訓練におけるこのような段階（段階ｂ）は、好ましくは、入力として一対の２つのフレームを使用する畳み込みニューラルネットワーク（図６のＦｌｏｗＮｅｔＳ）の第２の訓練によって実行されるが、このような方法は、オプティカルフローを推定するためのいかなる技法にも制限されない。
【００８６】
オプティカルフローは、訓練ベースのフレーム間で既に推定されたものであり、このような段階（サブ−段階ｂ０）は、訓練において選択的なものにとどまることに留意されたい。
【００８７】
追加で（サブ−段階ｂ１）、既に説明したように、回帰型レイヤの内部状態は、内部状態が対をなすフレーム間のピクセルのモーションに適応するように、推定されたオプティカルフローによってワーピングされる。
【００８８】
その次に（サブ−段階ｂ２）、少なくとも回帰型モジュールのパラメータが学習される。
【００８９】
回帰型モジュールに加え、このようなレイヤの出力は、フレーム単位ベースラインの１つとは相異するようになるため、続くレイヤは再度学習される。既に説明したように、追加で学習されたパラメータは、以後、好ましくは、回帰型モジュール、畳み込みニューラルネットワークの最後の畳み込みレイヤ（および、一般的に固定されない各畳み込みレイヤ）、および（存在する場合には）第２畳み込みニューラルネットワークのパラメータとなる。
【００９０】
このために、４のバッチサイズを有し、１２個の連続するフレームのシーケンスを訓練し、１番目のＣＮＮの初期訓練に対するものと類似するポリー学習率スケジュール（ｐｏｌｙ  ｌｅａｒｎｉｎｇ  ｒａｔｅ  ｓｃｈｅｄｕｌｅ）を有する時間アルゴリズムを利用したバックプロバケーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用する、確率的勾配降下法が使用されてよく、類似のデータ拡張戦略が使用されてもよい。試験時間に、以前のフレームからの隠れ状態は、シーケンスの長さに制限されることなく使用されてよい。
【００９１】
第２側面において、第２サーバ１ｂのデータ処理手段１１ｂによって実現される、入力されたビデオのセマンティックセグメンテーションが提案される。言い換えれば、第２側面に係る方法は、入力されたビデオのセマンティックセグメンテーションを実行し、すなわち、入力されたビデオのフレームのピクセルをラベリングする。
【００９２】
セグメンテーションされる入力されたビデオは、クライアント機器１０から受信されてよい。
【００９３】
１番目の段階ａにおいて、図７で説明したように、畳み込み回帰型ニューラルネットワークの訓練が（少なくとも予めセマンティックセグメンテーションされた訓練ビデオのベースとして、および、好ましくは、少なくとも予めセマンティックセグメンテーションされた訓練イメージのベースから）第１サーバ１ａによって実行される。好ましくは、訓練は、第１側面による方法と一致し、すなわち、第１畳み込みニューラルネットワークが訓練されることにより、第１畳み込みニューラルネットワークを基盤とした畳み込み回帰型ニューラルネットワークが構築され、最後から２番目の畳み込みレイヤがＦｌｏｗｉｎｇＲＮＮタイプの回帰型モジュールによって代替される。
【００９４】
代案的または組み合わせにより、段階ａ’は、オプティカルフローが既知である連続するフレームの訓練対のベースから、畳み込みニューラルネットワーク（すなわち、訓練方法の第２畳み込みニューラルネットワーク）を訓練させる段階をさらに含んでよい。
【００９５】
第１サーバ１ａおよび第２サーバ１ｂは、同じ機器であるか、あるいは、段階ａ’は、メモリ１２内の記録のために、訓練された畳み込み回帰型ニューラルネットワークパラメータおよび加重値の第１サーバ１ａから第２サーバ１ｂへの送信を含むものと理解されなければならない。
【００９６】
第２段階ｂ’において、第２サーバ１ｂの処理手段１１ｂは、セグメンテーションのために畳み込み回帰型ニューラルネットワークを使用する。
【００９７】
このために、段階ｂ’は、入力されたビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、次のような段階を含む。
【００９８】
（ｂ’０）対をなすフレーム間のオプティカルフローを推定する段階、
（ｂ’１）推定されたオプティカルフローによって回帰型レイヤの内部状態を、前記内部状態が対をなすフレーム間のピクセルのモーションに適応するように（ａｄａｐｔ）、ワーピングする段階、および
（ｂ’２）畳み込み回帰型ニューラルネットワークによって各フレームをセマンティックセグメンテーションする段階。
【００９９】
サブ−段階ｂ’０およびｂ’１は、好ましくは、上述したようなサブ−段階ｂ０およびｂ１と同じであり、そのすべての改善を含んでよい。
【０１００】
最終的に取得される分類結果は、クライアント機器１０に再び送信されてよい。
【０１０１】
本発明の効果は、標準的なピクセル単位のｍｅａｎ  Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ  ｍｅｔｒｉｃ（ｍＩｏＵＰ）の各クラスに対し、該当のクラス内でグラウンドトゥルースまたは推定が計算される該当のクラスの全体ピクセルの数に対する該当のクラスに対して正しく推定されたピクセルの数の割合を使用して評価されてよく、すべてのクラスに対する平均が報告される。
【０１０２】
しかし、これは、セマンティックセグメンテーション推定の時系列的な一貫性は測定できない。このために、ｍｅａｎ  Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ  ｍｅｔｒｉｃは、軌跡（ｔｒａｊｅｃｔｏｒｙ）レベルでさらに計算されてよく、そこで全体ビデオに対して正しく密集した軌跡がハーフ（ｈａｌｆ）解像度および８個のピクセルの密度から抽出されたオプティカルフローとともに抽出されると見なされるようにするために、軌跡は、グラウンドトゥルースクラスを有するすべてのフレームに渡って一貫するようにラベリングされなければならない。
【０１０３】
グラウンドトゥルースラベリングが一貫される軌跡だけが、フロー推定におけるエラーによるノイズ軌跡をフィルタリングするために維持される。実際に、このようなフィルタリング段階は、約８％の抽出された軌跡を除去する。
【０１０４】
これは、「軌跡単位」でｍｅａｎ  Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ  ｍｅｔｒｉｃ（ｍＩｏＵＰ）が報告されるようにし、ピクセルが相異する推定されたラベルを有する軌跡は、間違い（ｗｒｏｎｇ）としてカウントされる。各クラスの一貫性も、次のように計算されてよい。予測されたクラスごとに、グラウンドトゥルースが一貫するように与えられたクラスに該当する軌跡のうちで予測が一貫する軌跡の割合が計算される。「平均一貫性（ｍｅａｎ  ｃｏｎｓｉｓｔｅｎｃｙ：ｍＣｏｎｓ．）」は、全体クラスに対して平均化されて報告されてよい。
【０１０５】
先ず、好ましいＦｌｏｗｉｎｇＧＲＵモジュールの性能に対する訓練シーケンスの長さＴの影響が研究される。試験時間において、訓練時に使用されるシーケンスの長さとは独立的に、以前のフレームの隠れ状態は、すべての場合において使用される。サニティ（ｓａｎｉｔｙ）チェックとして、モデルは、性能がフレーム単位ベースラインと類似するかを検証するように、先ず、オールゼロ（ａｌｌ  ｚｅｒｏｅｓ）の内部状態による訓練において、すべての場合および１つのフレームのシーケンスにおいて使用される。Ｔは、次いで２から１２まで増加される。性能における一貫性利得はＴが増加するときに観察される。フレーム単位ベースラインに比べて１２個のフレームの訓練シーケンスを使用するとき、ｍＩｏＵＰは１．２％だけさらに高く、ｍＩｏＵＴは２．１％だけ、ｍＣｏｎｓは３．５％だけさらに高かった。
【０１０６】
その次に、好ましいＦｌｏｗｉｎｇＧＲＵモジュールの畳み込み（および、したがって内部状態の）出力チャンネル（Ｃ）の数と（ＦｌｏｗｉｎｇＧＲＵ内のすべての畳み込み）カーネルサイズ（Ｋ）の影響が研究される。最適の性能がＣ＝２５６およびＫ＝３で観察されることに留意し、これについては次の事実に基づいて詳しく説明する。
【０１０７】
さらに低い数のチャンネルは、正確なセマンティックセグメンテーションのために、以前のレイヤから空間的および以前のフレームからの時間により、適切な情報を伝達するのに十分でない。
【０１０８】
１よりも大きいサイズを有するカーネルは、ローカル近傍に関する情報を統合し、これにより、オプティカルフローを計算するにあたり小さなエラーからの復旧を許容する。
【０１０９】
３よりも大きいサイズを有するカーネルは、極めて多くのパラメータを有するため、ローカル時系列的一貫性を効果的に学習することができない。
【０１１０】
（Ｔ＝１２、Ｋ＝３、およびＣ＝２５６の好ましい値を有する）ＦｌｏｗｉｎｇＧＲＵモジュールの影響が、表１（左側）において複数の変形と関連する作業と比較される。作業のいずれもバイパー（Ｖｉｐｅｒ）データセットとして試験されることはなく、これらの作業は、相異するバックボーン（ｂａｃｋｂｏｎｅ）アーキテクチャを使用することに留意する。公正な比較のために同じベースラインが使用され、提案されたモジュールのそれぞれは、ＦｌｏｗｉｎｇＲＮＮと同じ位置で連結されて同じ訓練スキームを基盤とする。
【０１１１】
【表１】
2020027659.tif 000011
【０１１２】
フレーム単位ベースラインに比べ（ＲｅＬＵ非線形性を有する）、ＦｌｏｗｉｎｇＧＲＵモジュールは、ｍＩｏＵＰにおいて１．２２％の、ｍＩｏＵＴにおいて２．１４％の、ｍＣｏｎｓ．において３．４４％の明確な改善を示した。これは、ＦｌｏｗｉｎｇＧＲＵがピクセルモーションを考慮しながらも密集したビデオ予測の作業のための時系列的情報を効果的に活用するということを強調する。
【０１１３】
ＲｅＬＵ非線形性を有するＦｌｏｗｉｎｇＧＲＵモジュールは、２つの変形と比較されてよい。１番目の１つは、（ＲｅＬＵの代わりに）標準的なｔａｎｈ非線形性を使用することによって構成されるが、これについては表１の「ＦｌｏｗｉｎｇＧＲＵ（ｔａｎｈ）」行を参照する。ｍＩｏＵＰにおいて０．８％の下落が観察されたが、これはＲｅＬＵがセマンティックセグメンテーションのためにより適切であることを示している。
【０１１４】
２番目の変形において、ＦｌｏｗＮｅｔＳのパラメータは固定されるが、訓練中には微細調整がなされない（すなわち、第２畳み込みニューラルネットワークが段階ｂにおいて追加で学習されない）。これについては表１のＦｌｏｗｉｎｇＧＲＵ（ｆｉｘｅｄ  ｆｌｏｗ）」行を参照する。このような場合に、ｍＩｏＵＰにおいて０．９％の下落があり、これは、ＦｌｏｗｉｎｇＧＲＵモジュールとともにフロー推定を訓練させることの重要性を示している。
【０１１５】
ＦｌｏｗｉｎｇＧＲＵモジュールは、他の回帰型モデルとさらに比較される。内部状態のワーピングのない、例えば、ビデオのセマンティックセグメンテーションの脈絡における使用として、標準的な畳み込みゲート付き回帰型ユニット（ＣｏｎｖＧＲＵ）が先に試される。結果は、表１の「ＣｏｎｖＧＲＵ」行で報告される。３つの指標は、フレーム単位ベースラインに比べて多少増加するが、これは一部の時系列的一貫性を事実上学習するということを示している。しかし、ＣｏｎｖＧＲＵは、例えば、０．８％さらに低いｍＩｏＵＰのように、好ましいＦｌｏｗｉｎｇＧＲＵよりは相当に劣った性能を示す。事実、連続するフレーム間で内部状態を維持することにより、ＣｏｎｖＧＲＵは、連続するフレーム内の同じ位置のピクセルが同じ実世界ポイントのプロジェクションとなることを仮定し、これはほとんどの場合において正しくない。同じように、ｍＩｏＵＴおよびｍＣｏｎｓ．は、それぞれ１．６３％および２．５５％と相当に減少する。
【０１１６】
次に、ゲート付き回帰型ユニットが、ＲｅＬＵ非線形性がｔａｎｈの代わりにも使用される長短期記憶によって代替され、これについては表１の「ＣｏｎｖＬＳＴＭ」および「ＦｌｏｗｉｎｇＬＳＴＭ」行を参照する。ゲート付き回帰型ユニットを有するものよりも、性能は相当に低下した。１つの説明は、長短期記憶がビジョン作業に対してゲート付き回帰型ユニットよりも訓練することが難しいということである。ＦｌｏｗｉｎｇＬＳＴＭが畳み込みＬＳＴＭよりも相当に優れた性能を示す（ｍＩｏＵＰにおいて＋４．０６％）という１つの興味深い結果を示したが、これは内部状態をワーピングすることの重要性を再度強調している。
【０１１７】
最後に、最後から２番目のレイヤの代わりに最後の畳み込みレイヤを代替することにより、ＦｌｏｗｉｎｇＧＲＵモジュールの位置が研究されてよい。このような場合に、出力は、ソフトマックス（ｓｏｆｔｍａｘ）に入っていくことに留意する（非線形性は使用されなかった）。このような変形は、バイパーデータセットに対して０．６％のｍＩｏＵＰ減少に繋がることに留意する。ＣｏｎｖＧＲＵを使用するとき、性能は、モジュールを最後のレイヤに代替するときよりも低くなる。最後から２番目のレイヤを代替することにより、履歴は最終推定が生成される潜在空間（ｌａｔｅｎｔ  ｓｐａｃｅ）に内蔵され、これは、隠れ状態と現在の特徴から最終的なセグメンテーションを直接的に推定するよりも強力である。
【０１１８】
様々な実験は、微細アノテーション（ｆｉｎｅ  ａｎｎｏｔａｔｉｏｎ）だけを使用する、すなわち、訓練のために２９７５個のシーケンスおよび検証のために５００個のシーケンスを実世界シティスケープデータセット（Ｃｉｔｙｓｃａｐｅｓ  ｄａｔａｓｅｔ）上で動作されることができた。各シーケンスは、１つのフレーム（１２番目のフレーム）上だけで注釈を有する３０個のフレームを有する。
【０１１９】
訓練および試験の手順は、バイパーデータセットの場合と同じように維持されてよい。唯一の違いは、グラウンドトゥルースが疎な（ｓｐａｒｓｅ）フレームに対して注釈処理されることにある。したがって、訓練中には注釈処理されなかったフレームに対する損失は無視され、これは、ビデオ情報が適合しないように活用されるように生成される。ノイズ軌跡は、１つのシーケンスあたり１つが注釈処理されたフレームによっては解消されず、したがって、ｍＩｏＵＰだけが報告されるようになる。
【０１２０】
相異する変形の結果は、表１の右側の列で報告したとおりである。先ず、ＦｌｏｗｉｎｇＧＲＵは、ｍＩｏＵＰにおいて１．１４％の利得によってフレーム単位ベースラインを凌駕する。すべての場合において、「Ｆｌｏｗｉｎｇ」対応関係は、静的な畳み込みモジュールよりも優れた性能を示す。
【０１２１】
要するに、ビデオのセマンティックセグメンテーションのための畳み込み回帰型ニューラルネットワークを訓練する方法は、既にセマンティックセグメンテーションされた訓練イメージのベースから第１畳み込みニューラルネットワークを訓練する段階、および既にセマンティックセグメンテーションされた訓練ビデオのベースから前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練する段階を含み、畳み込みレイヤは、隠れ状態（ｈｉｄｄｅｎ  ｓｔａｔｅ）を有する回帰型モジュールによって代替された。前記訓練する段階は、既にセマンティックセグメンテーションされた訓練ビデオのベースのうちの１つのビデオの連続するフレームの各対に対し、該当の対のフレーム間の推定されたオプティカルフロー（ｏｐｔｉｃａｌ  ｆｌｏｗ）によって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するように（ａｄａｐｔ）ワーピングする段階を含む。
【０１２２】
より好ましくは、内部状態がオプティカルフローによってフレーム間でワーピングされた標準的な畳み込み回帰型レイヤ（これは、他の畳み込みニューラルネットワークを使用して推定される）を提供することは、ビデオのセマンティックセグメンテーションを、特に、時間による一貫性の観点において改善させる。
【０１２３】
連続するフレームの対は、好ましくは、以前のフレームおよび現在のフレームを含み、推定されたオプティカルフローは、前記現在のフレームから前記以前のフレームへの逆方向（ｂａｃｋｗａｒｄ）のオプティカルフローであり、前記以前のフレームと関連する内部状態に対応する前記以前のフレームと関連するワーピングされた内部状態を取得するために、前記内部状態にワーピング関数が適用され、各ピクセルは前記逆方向オプティカルフローによる変位を経るようになる。
【０１２４】
前記ワーピング関数は
【数９】
2020027659.tif 000012
であり、ｐｔは前記現在のフレームｔのピクセルであり、Ｆｔ→ｔ−１は前記逆方向オプティカルフローであり、ｈｔ−１は前記以前のフレームｔ−１と関連する内部状態であり、
【数１０】
2020027659.tif 000013
は前記以前のフレームｔ−１と関連するワーピングされた内部状態である。
【０１２５】
対をなすフレームのオプティカルフローの推定は、オプティカルフローが既知である（ｋｎｏｗｎ）連続するフレームの訓練対のベースから第２畳み込みニューラルネットワークを訓練することにより、前記第２畳み込みニューラルネットワークを使用して実行されてよい。前記第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＳｉｍｐｌｅネットワークまたはＦｌｏｗＮｅｔＣｏｒｒｅｌａｔｉｏｎネットワークであってよい。
【０１２６】
前記回帰型モジュール前の前記畳み込み回帰型ニューラルネットワークの各レイヤのパラメータは、固定されてよい。
【０１２７】
回帰型モジュールによって代替される前記第１畳み込みニューラルネットワークの畳み込みレイヤは、最後から２番目（ｐｅｎｕｌｔｉｍａｔｅ）の畳み込みレイヤであってよい。
【０１２８】
前記畳み込み回帰型ニューラルネットワークの学習されたパラメータは、前記回帰型モジュールおよび前記第１畳み込みニューラルネットワークの最後の畳み込みレイヤのパラメータであってよい。
【０１２９】
前記第１畳み込みニューラルネットワークは、前記最後から２番目の畳み込みレイヤの前に、Ａｔｒｏｕｓ空間的ピラミッドプーリング（ａｔｒｏｕｓ  ｓｐａｔｉａｌ  ｐｙｒａｍｉｄ  ｐｏｏｌｉｎｇ）モジュールを含んでよい。
【０１３０】
前記回帰型モジュールは、畳み込みゲート付き回帰型ユニット（ｇａｔｅｄ  ｒｅｃｕｒｒｅｎｔ  ｕｎｉｔ）または畳み込み長短期記憶（ｌｏｎｇ  ｓｈｏｒｔ−ｔｅｒｍ  ｍｅｍｏｒｙ）を含んでよい。
【０１３１】
セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練する段階、およびセマンティックセグメンテーションされた訓練ビデオのセットを使用して前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練する段階（ここで、畳み込みレイヤは、隠れ状態（ｈｉｄｄｅｎ  ｓｔａｔｅ）を有する回帰型モジュールによって代替され、前記畳み込み回帰型ニューラルネットワークを訓練させる段階は、前記セマンティックセグメンテーションされた訓練ビデオのセットのうちの１つのビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、連続するフレームの対のフレーム間の推定されたオプティカルフロー（ｏｐｔｉｃａｌ  ｆｌｏｗ）によって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するように（ａｄａｐｔ）ワーピングする段階、および少なくとも前記回帰型モジュールのパラメータを学習する段階を含む）によって訓練された畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティックセグメンテーション方法は、（ａ）前記入力されたビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、前記対のフレーム間のオプティカルフローを推定する段階、（ｂ）前記入力されたビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、前記推定されたオプティカルフローによって前記回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するように（ａｄａｐｔ）ワーピングする段階、および（ｃ）前記入力されたビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、前記畳み込み回帰型ニューラルネットワークによって各フレームをセマンティックセグメンテーションする段階を含む。
【０１３２】
前記畳み込み回帰型ニューラルネットワークを訓練させる段階は、オプティカルフローが既知である（ｋｎｏｗｎ）連続するフレームの訓練対のセットを使用して第２畳み込みニューラルネットワークを訓練させる段階を含んでよく、前記（ａ）は、前記第２畳み込みニューラルネットワークを使用して実行される。
【０１３３】
前記第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＳｉｍｐｌｅネットワークまたはＦｌｏｗＮｅｔＣｏｒｒｅｌａｔｉｏｎネットワークであってよい。
【０１３４】
畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティックセグメンテーション方法は、（ａ）前記入力されたビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、前記対のフレーム間のオプティカルフローを推定する段階、（ｂ）前記入力されたビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、前記推定されたオプティカルフローによって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するように（ａｄａｐｔ）ワーピングする段階、（ｃ）前記入力されたビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、前記畳み込み回帰型ニューラルネットワークで各フレームをセマンティックセグメンテーションする段階を含み、前記畳み込みニューラルネットワークは、セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練させる段階、およびセマンティックセグメンテーションされた訓練ビデオのセットを使用して前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練させる段階によって訓練され、畳み込みレイヤは、隠れ状態（ｈｉｄｄｅｎ  ｓｔａｔｅ）を有する回帰型モジュールによって代替され、前記畳み込み回帰型ニューラルネットワークを訓練させる段階は、前記セマンティックセグメンテーションされた訓練ビデオのセットのうちの１つのビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、連続するフレームの対のフレーム間の推定されたオプティカルフロー（ｏｐｔｉｃａｌ  ｆｌｏｗ）によって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するように（ａｄａｐｔ）ワーピングする段階、および少なくとも前記回帰型モジュールのパラメータを学習する段階を含む。
【０１３５】
前記畳み込み回帰型ニューラルネットワークを訓練する段階は、オプティカルフローが既知である（ｋｎｏｗｎ）連続するフレームの訓練対のセットを使用して第２畳み込みニューラルネットワークを訓練する段階を含み、前記（ａ）は、前記第２畳み込みニューラルネットワークを使用して実行される。
【０１３６】
第２畳み込みニューラルネットワークは、ＦｌｏｗＮｅｔＳｉｍｐｌｅネットワークまたはＦｌｏｗＮｅｔＣｏｒｒｅｌａｔｉｏｎネットワークであってよい。
【０１３７】
他の一側面において、ビデオのセマンティックセグメンテーションのための畳み込み回帰型ニューラルネットワークを訓練するシステムが提供される。当該システムは、（ａ）セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練し、（ｂ）セマンティックセグメンテーションされた訓練ビデオのセットを使用して前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練してよい。畳み込みレイヤは、隠れ状態（ｈｉｄｄｅｎ  ｓｔａｔｅ）を有する回帰型モジュールによって代替された。前記畳み込み回帰型ニューラルネットワークを訓練することは、前記セマンティックセグメンテーションされた訓練ビデオのセットのうちの１つのビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、（ｂ１）連続するフレームの対のフレーム間の推定されたオプティカルフロー（ｏｐｔｉｃａｌ  ｆｌｏｗ）によって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応するように（ａｄａｐｔ）ワーピングし、（ｂ１）少なくとも前記回帰型モジュールのパラメータを学習することを含んでよい。
【０１３８】
また、他の一側面において、ビデオのセマンティックセグメンテーションのための畳み込み回帰型ニューラルネットワークを訓練する方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されたプログラムが提供される。当該方法は、（ａ）セマンティックセグメンテーションされた訓練イメージのセットを使用して第１畳み込みニューラルネットワークを訓練する段階、および（ｂ）セマンティックセグメンテーションされた訓練ビデオのセットを使用して前記第１畳み込みニューラルネットワークに対応する畳み込み回帰型ニューラルネットワークを訓練する段階（ここで、畳み込みレイヤは、隠れ状態（ｈｉｄｄｅｎ  ｓｔａｔｅ）を有する回帰型モジュールによって代替される）を含んでよい。前記畳み込み回帰型ニューラルネットワークを訓練する段階は、前記セマンティックセグメンテーションされた訓練ビデオのセットのうちの１つのビデオの連続するフレームｔ−１，ｔ∈[[１；Ｔ]]２の各対に対し、（ｂ１）連続するフレームの対のフレーム間の推定されたオプティカルフロー（ｏｐｔｉｃａｌ  ｆｌｏｗ）によって回帰型レイヤの内部状態を、前記内部状態が前記対のフレーム間のピクセルのモーションに適応する（ａｄａｐｔ）ようにワーピングする段階、および（ｂ１）少なくとも前記回帰型モジュールのパラメータを学習する段階を含んでよい。
【０１３９】
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって代替されたり置換されたとしても、適切な結果を達成することができる。
【０１４０】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【図１】
2020027659.tif 000016
【図２】
2020027659.tif 000017
【図３】
2020027659.tif 000018
【図４】
2020027659.tif 000019
【図５】
2020027659.tif 000020
【図６】
2020027659.tif 000021
【図７】
2020027659.tif 000022