【手続補正書】
【提出日】令和2年3月27日(2020.3.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】深度推定方法及び装置、電子機器並びに媒体
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
単一画像を双眼画像の第１の画像とし、第１のニューラルネットワークを介して前記第１の画像に基づいて前記双眼画像の第２の画像を取得するステップと、
第２のニューラルネットワークを介して、前記第１の画像と前記第２の画像に対して双眼ステレオマッチングを行うことにより、前記第１の画像に対応する深度情報を取得するステップと、を含むことを特徴とする深度推定方法。
【請求項２】
前記第１のニューラルネットワークを介して前記第１の画像に基づいて前記双眼画像の第２の画像を取得するステップは、
前記第１のニューラルネットワークを介して前記第１の画像を処理し、Ｎ個のチャンネルの視差確率マップを出力するステップであって、それぞれのチャンネルの視差確率マップは、前記第１の画像において画素が第１の水平方向にｉ個の視差ずれる確率を示し、ｉ＝０、１、…、Ｎ−１であり、Ｎの値が１より大きい整数であるステップと、
前記Ｎ個のチャンネルの視差確率マップに従って、前記第１の画像をそれぞれ第１の水平方向にｉ個の画素ずれ、Ｎ枚のずれマップを取得するステップと、
前記Ｎ枚のずれマップのそれぞれに、対応するチャンネルの視差確率マップをドット乗算し、Ｎ個のドット乗算結果を取得するステップと、
前記Ｎ個のドット乗算結果を画素に基づいて重畳し、前記第２の画像を取得するステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記第１のニューラルネットワークを介して前記第１の画像を処理し、Ｎ個のチャンネルの視差確率マップを出力するステップは、
それぞれ前記第１のニューラルネットワーク中の少なくとも２つのネットワーク深度のネットワーク層によって前記第１の画像に対して特徴抽出を行い、少なくとも２つのスケールの特徴マップを取得するステップと、
前記少なくとも２つのスケールの特徴マップに基づいて少なくとも２つの解像度且つＮ個のチャンネルの予備視差確率マップをそれぞれ取得するステップと、
それぞれのチャンネルについて、前記少なくとも２つの解像度の予備視差確率マップを前記第１の画像の解像度に拡大して重畳し、前記Ｎ個のチャンネルの視差確率マップを取得するステップと、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記第１の画像と前記第２の画像に対して双眼ステレオマッチングを行うことにより、前記第１の画像に対応する深度情報を取得するステップは、
前記双眼画像の一画像の別の画像における画素に対する位置関係を示すための相関係数を取得するステップであって、前記双眼画像の一画像は前記第１の画像又は前記第２の画像を含み、前記別の画像は前記第２の画像又は前記第１の画像を対応的に含むステップと、
前記別の画像と前記相関係数に基づいて前記第１の画像と前記第２の画像の視差マップを生成するステップと、
前記視差マップに基づいて前記第１の画像に対応する深度情報を取得するステップと、を含むことを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記双眼画像の一画像の別の画像における画素に対する位置関係を示すための相関係数を取得するステップは、
それぞれ前記一画像と前記別の画像に対して特徴抽出を行うステップと、
抽出された前記一画像の特徴と前記別の画像の特徴に基づいて、前記一画像と前記別の画像における画素の位置関係を取得し、前記双眼画像の一画像の別の画像における画素に対する位置関係を示すための前記相関係数を出力するステップと、を含み、
前記別の画像と前記相関係数に基づいて第１の画像と前記第２の画像の視差マップを生成するステップは、
前記別の画像の特徴と前記相関係数を重畳し、前記第１の画像と前記第２の画像の視差マップを生成するステップを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記別の画像の特徴と前記相関係数を重畳し、前記第１の画像と前記第２の画像の視差マップを生成するステップは、
前記別の画像の特徴と前記相関係数を重畳し、重畳結果を取得するステップと、
前記重畳結果の特徴を抽出し、抽出された前記重畳結果の特徴と前記重畳結果を融合し、前記第１の画像と前記第２の画像の視差マップを取得するステップと、を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記第１の画像に対応する前記深度情報と前記第２の画像に基づいて、前記第１の画像におけるシーンの３次元空間シーンを取得するステップを更に含むことを特徴とする請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記第１のニューラルネットワークは、少なくとも１組の第１のサンプル双眼画像を含む第１のサンプル集合中のサンプル双眼画像を用いて予めトレーニングして得られ、及び／又は、
前記第２のニューラルネットワークは、少なくとも１組の第２のサンプル双眼画像と視差マップラベルを含む第２のサンプル集合中のサンプル双眼画像を用いて予めトレーニングして得られることを特徴とする請求項４〜７のいずれか一項に記載の方法。
【請求項９】
前記第１のニューラルネットワークのトレーニングは、
前記第１のニューラルネットワークを介して、前記少なくとも１組の第１のサンプル双眼画像の第１の画像から、前記少なくとも１組の第１のサンプル双眼画像の第２の画像を取得、出力するステップと、
前記第１のニューラルネットワークから出力される第２の画像と前記少なくとも１組の第１のサンプル双眼画像の第２の画像との第１の差を取得し、第１のトレーニング終了条件が満たされるまで、前記第１の差に基づいて前記第１のニューラルネットワークをトレーニングするステップと、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記第２のニューラルネットワークのトレーニングは、
前記第２のニューラルネットワークを介して、前記少なくとも１組の第２のサンプル双眼画像の視差マップを取得、出力するステップと、
前記第２のニューラルネットワークから出力される視差マップと前記少なくとも１組の第２のサンプル双眼画像の視差マップラベルとの第２の差を取得し、第２のトレーニング終了条件が満たされるまで、前記第２の差に基づいて前記第２のニューラルネットワークをトレーニングするステップと、を含むことを特徴とする請求項８又は９に記載の方法。
【請求項１１】
前記第１のニューラルネットワークと前記第２のニューラルネットワークのトレーニングは、
第３のサンプル集合中のサンプル双眼画像と第３のサンプル画像に対応する深度マップラベルを用いて前記第１のニューラルネットワークと前記第２のニューラルネットワークをトレーニングするステップを更に含み、
前記第３のサンプル集合は少なくとも１組の第３のサンプル双眼画像と第３のサンプル画像に対応する深度マップラベルを含むことを特徴とする請求項８〜１０のいずれか一項に記載の方法。
【請求項１２】
単一画像を双眼画像の第１の画像とし、第１のニューラルネットワークを介して前記第１の画像に基づいて前記双眼画像の第２の画像を取得するための画像取得モジュールと、
第２のニューラルネットワークを介して、前記第１の画像と前記第２の画像に対して双眼ステレオマッチングを行うことにより、前記第１の画像に対応する深度情報を取得するためのステレオマッチングモジュールと、を含むことを特徴とする深度推定装置。
【請求項１３】
実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能コマンドを実行して請求項１〜１１のいずれか一項に記載の方法の操作を完成するためのプロセッサと、を含むことを特徴とする電子機器。
【請求項１４】
コンピュータ読取可能コマンドを記憶するためのコンピュータ可読記憶媒体であって、前記コマンドが実行される時に、請求項１〜１１のいずれか一項に記載の方法における操作が実現されることを特徴とするコンピュータ可読記憶媒体。