深層学習ベースのステレオマッチングに有効な学習データに関する調査

ER20084
1. はじめに深層学習ベースのステレオマッチング手法に，Cascaded
REcurrent Stereo matching network (CREStereo) [1] がある．CREStereo は独自に作成した大規模な CG データセット (CREStereo データセット) を用いて学習することで，従来手法と比較して高い精度とロバスト性を確保している．CREStereo データセットは，CG 環境に様々なオブジェクトをランダムに配置して，多様性の高いデータで構成されている．本研究では，CREStereo データセットを作成したシーンに焦点を当て，どのようなシーンが精度向上に寄与するかを調査する．

2.CREStereo データセット
CREStereo はモデルとデータセットの両者に対して精度向上の観点からアプローチを提案している．モデルは低解像度から高解像の特徴マップを推論時に階層的に利用する．低解像度画像の特徴で全体構造を理解し，高解像度画像の特徴で細部の特徴の抽出を実現している．データセッ
トは 200,000 枚の学習データから構成されている．図 1 にCREStereo データセットの例を示す．従来のデータセットと比較して，CREStereo データセットは生物，木，穴があるものなどの多種多様な物体，照明条件，反射などの実環境の要素をランダムに含むシーンを生成している．

指導教授：藤吉

松原太地

弘亘

む画像がある．このような再現性のない画像を除外することが精度向上に有効であることが確認できた．加えて再現性のない画像は特徴マップ上で Reﬂective の重心付近に多く分布しており，そこを除外することで精度が向上することを確認できた．また，Shapenet と Hole を除外した際に精度が約 8.0pt 低下した．これより，2 つの要素が実環境データに適しており，CREStereo データセットの精度向上に大きく影響していると考えられる．以上より，実環境データにおいて Hole と Shapenet が学習に有効であることを確認した一方で，Reﬂective の要素は学習に有効でないことが分かった．

表 1: 定量的評価
学習データ
全データ
Reﬂective 除外
Hole 除外
Shapenet 除外
Tree 除外

Average Error ↓30.37326.79138.35538.21130.942

Bad 2.0 ↓58.88357.01364.89564.12352.373side the scene, resulting in a complex lighting environment.
Real world images are used as textures for objects and scene
background, particularly
scenes containing
repeated
図 2: hardReﬂective
データの例
patterns or lacking visible features. Additionally, we ex定性的評価
ploit4.3.
the light
tracing ability of Blender’s Cycles renderer
図3 に定性的評価結果を示す．図
は正解画像，図and randomly
set objects as transparent or with3(b)metallic
reFigure 5.図Example
image-disparity
pairs of our synthetic data
1: CREStereo
データセットの例
3(c)inと図はそれぞれ
flection,order3(d)to coverreal-worldCREStereo
scenes with データセットを全
similar atvarious shapes and textures (repetitive-texture, reflective
3.featuring
データの傾向調査て学習した結果，Reﬂective を除外したデータで学習した
tributes.
non-texture surface, etc.)
従来研究では，データセットの改善による精度・ロバスト
Disparity
distribution.
cover different
baseline
set結果である．図3(c) Toおよび図3(d) より，Reﬂectiveを除
cally, we downsample the image pair in advance constructtings,外したデータで推論を行った際に物体の輪郭や背景領域のwe make efforts to ensure the disparity of the gener性の向上を主張するにも関わらず，データセットの工夫点にing an image pyramid and feed them into the same
trainedated ぼやけの低減が確認できた．これは，data distributes smoothly within a wide range.
We putを除外すついて十分な議論が行われていない．そこで，
CREStereo
Reﬂective
feature extraction network to take advantage of multi-levelobjects
within a frustum-shaped space formed by the camデータセットを要素ごとに分割し，各要素がモデルの学習にることで，背景領域を含め再現性のない反射条件の画像をcontext. An overview ofthe stackedデータセットは，
cascade architecture
field of view and a max distance. The exact position
与える影響を調査する．
CREStereo
Hole， eras’除外し，物体の輪郭や背景領域に対してより有効なデータ
is shown ，onShapenet
the right ，of TreeFig. 2,
skip connections inof eachobject is randomly chosen from a probability disReﬂectiveのwhere4 つの要素から構成されてで学習することができたからである．
thesamestage
arenotdisplayedforbrevity.
Foraspecifictribution,then the object is scaled according to its distanceいる．本研究では，データの傾向の調査の手法として，すstage of the stacked cascades (denoted as rows in Fig. 2),
to prevent blocking the view. This practice results in a ranべての要素で学習，要素を 1 つずつ除外し学習した結果
all the RUMs in that stage will be used together with thedomized but controllable disparity distribution.
を比較して構成要素の学習に与える影響を調査する．評価
last RUM in the stage of higher resolution. All stages of the
データには，ステレオマッチングのベンチマークで広く利
stacked cascades share the same weight during training, so
4. Experiments
用される屋内と屋外のシーンを多く含む実環境データであno fine-tuning is needed.
る Middlebury Stereo データセットを利用する．
4.1. Datasets and Evaluation Metrics

Loss Function
4.3.4.
評価実験
1 1 1
本実験では，データセットが学習に与える影響を検証を
For each stage s ∈ { 16, 8 , 4 } of our feature pyramid,
we resize the sequence of output {fis , · · · , fns } to the full
するために，データセットを分割し，分割後のデータで学
prediction resolution with the upsampling operator
習・推論を行う．定量的な評価指標には
AverageµErrors , and とuseを使用する．
the exponentiallyweighted
l1 distancesimilar to RAFT
Bad
AverageError
は予測した視差と正解画[45] as the loss function (with γ set to 0.9).
Given ground
像間における差の平均値を評価する．
Bad はピクセルごと
truth
disparityd,
thetotalloss
isdefined
as:gtに予測視差と正解画像の値の差を求め，差の絶対値が N 以
上あるピクセルの割合を評価する．  \mathcal {L} = \sum _{s} \sum _{i=1}^{n} \gamma ^{n - i} || \mathbf {d}_{\mathrm {gt}} - \mu _{s}(\mathbf {f}_{i}^{s}) ||_1 (3)
4.1. 実験条件

学習用データセットには CREStereo データセット，評
3.5. Synthetic Training
Data
価用データセットにはMiddlebury
Stereo データセットを用いる．データ分割による傾向調査のために学習データのCompared to previous synthetic datasets, our data gener4 つの構成要素をそれぞれ除外して学習を行う．最適化手法
ating pipeline devotes extra attention to challenging cases inはreal-world
Adam，バッチサイズは4，イテレーション数はscenes, and features
various enhancements.300,000
We回とする．評価指標のの N はour2 とする．
make use of Blender [3]Bad
to generate
synthetic training
data.
Each scene consists of left-right image pairs and the4.2.
実験結果
corresponding pixel-accurate dense disparity map, captured
表 1 dualに学習データを要素ごとに分割した際の定量的評価
withvirtual cameras and customarily positioned ob結果を示す．表より，considerations
Reﬂective の要素を含むデータをjects. Our major1design
are described as be除外した場合と全データを学習した場合を比較すると，精low, with some examples shown in Fig. 5.
度が約3.5ptWe向上していることが確認できる．
Reﬂective
Shape.
diversify the shapes of the models usedas theは多様なシーンを表現するためランダムに反射条件を決定
main scene content with multiple sources: 1) The ShapeNet
し，図2 のような実環境では再現性のない過剰な反射を含[6] datasetwith over 40,000 3D models of common objects
with varied shapes, forming our basic source of content. 2)
Blender’s sapling tree gen add-on, providing fine-detailed
and cluttered disparity maps. 3) We use blender’s internal basic shapes combined with the wireframe modifier to

We evaluate ourpublicbench(a)method
元画像on three popular(b)正解画像marks. Middlebury 2014 [33] provides 23 high-resolution
image pairs under different lighting environments. Captured with large-baseline stereo cameras, the maximum disparity in Middlebury can exceed 600 pixels. ETH3D [36]consists of 27 monochrome stereo image pairs with disparity sampled by a laser scanner, covering both indoor andoutdoor scenes. KITTI 2012/2015 [28] consists of 200(c) image
全データ
Reﬂective除外
wide-angle stereo
pairs of street(d)views,with lidarsampled sparse disparity groundtruth.
図 3: 定性的評価
In5.
additionto our rendered dataset, we collect major pubおわりに
lic datasets for training, including Sceneflow [27], Sintel [5]本研究では，CREStereo データセットの傾向調査を行and Falling Things [46]. Sceneflow contains 39k training
い，深層学習ベースのステレオマッチングの精度向上につpairs of multiple synthetic scene setups. Falling things containsながるシーンを調査した．実験結果から，学習データから
a large amount of images from scenes of household
Reﬂectiveを除くことで精度が向上することを確認し，各objectmodels. Sintel
provides 1.2k stereo pairs from variデータセットを定性的に確認した．今後はより詳細なデー
ous syntheticsequences. The other data sources we utilizeタの分析を行い，汎化能力と精度を両立するデータの選定
are InStereo2K[1], Carla [9] and AirSim [37].
を行う予定である．
Forevaluation, we follow the popular metrics including
AvgErr(average error), Bad2.0 (percentage of pixels with
参考文献
disparity
error larger
2 pixels)[35, 36],Stereo
D1-allMatching(per[1] Jiankun
Li,thanet al.,“Practicalvia
centage ofdisparity
outlierpixelsinleftimage)[11],etc.
Cascaded Recurrent Network with Adaptive Corre-lation”, In CVPR
，2022
4.2. Implementation
Details
Training. Our network is implemented with Pytorch[31] framework. The model is trained on 8 NVIDIA GTX
2080Ti GPUs, with a batch size of 16. The whole training
process is set to 300,000 iterations. We use the Adam [19]