Contents
Abstract

iii

Beknopte samenvatting

v

List of Abbreviations

xii

Contents

xiii

List of Figures

xix

List of Tables

xxv

1 Introduction
1.1 Research Context . . . . . . . . . . . . . . . . . . . . . .
1.2 Problem Statement and Questions . . . . . . . . . . . .
1.2.1 Reliable and Robust Deep Learning . . . . . . .
1.2.2 Realistic and Efficient Document Understanding
1.3 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

1
4
6
6
7
9

2 Fundamentals
2.1 Statistical Learning . . . . . . . . . . . . . . . .
2.1.1 Neural Networks . . . . . . . . . . . . .
2.1.2 Probabilistic Evaluation . . . . . . . . .
2.1.3 Architectures . . . . . . . . . . . . . . .
2.1.3.1 Convolutional Neural Networks
2.1.3.2 Language Neural Networks . .
2.1.3.3 Transformer Network . . . . .
2.2 Reliability and Robustness . . . . . . . . . . . .
2.2.1 Generalization and Adaptation . . . . .
2.2.2 Confidence Estimation . . . . . . . . . .
2.2.3 Evaluation Metrics . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

11
12
14
15
16
17
18
19
21
22
23
24

xiii

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.