Table 2: Recalibration Results for Imbalanced Classification. For each dataset and atypicality quantile, the best results are marked in bold. We provide the standard errors next to the means over 10 random seeds.
Atypicality	ECE	Uncalibrated RMSE	Accuracy	ECE	TS RMSE	Accuracy	ECE	AdAdTS RMSE	Accuracy	ECE	Atypicality-Aware RMSE
GMM	ResNet152	Places365-LT	0.2	0.159 ± 0.000	0.144 ± 0.000	0.492 ± 0.000	0.064 ± 0.000	0.099 ± 0.000	0.492 ± 0.000	0.044 ± 0.004	0.088 ± 0.002	0.492 ± 0.000	0.065 ± 0.000	0.101 ± 0.000
0.4	0.208 ± 0.000	0.166 ± 0.000	0.387 ± 0.000	0.061 ± 0.000	0.095 ± 0.000	0.387 ± 0.000	0.053 ± 0.001	0.099 ± 0.001	0.387 ± 0.000	0.042 ± 0.000	0.090 ± 0.000
0.6	0.270 ± 0.000	0.186 ± 0.000	0.317 ± 0.000	0.073 ± 0.000	0.111 ± 0.000	0.317 ± 0.000	0.076 ± 0.005	0.111 ± 0.003	0.317 ± 0.000	0.054 ± 0.000	0.097 ± 0.000
0.8	0.334 ± 0.000	0.214 ± 0.000	0.218 ± 0.000	0.120 ± 0.000	0.150 ± 0.000	0.218 ± 0.000	0.127 ± 0.006	0.152 ± 0.002	0.218 ± 0.000	0.058 ± 0.000	0.103 ± 0.000
1.0	0.217 ± 0.000	0.137 ± 0.000	0.187 ± 0.000	0.183 ± 0.000	0.177 ± 0.000	0.187 ± 0.000	0.177 ± 0.000	0.187 ± 0.000	0.187 ± 0.000	0.137 ± 0.000	0.137 ± 0.000
0.2	0.017 ± 0.000	0.077 ± 0.000	0.927 ± 0.000	0.060 ± 0.000	0.164 ± 0.000	0.927 ± 0.000	0.084 ± 0.008	0.190 ± 0.008	0.927 ± 0.000	0.030 ± 0.000	0.104 ± 0.000
0.4	0.054 ± 0.000	0.145 ± 0.000	0.825 ± 0.000	0.082 ± 0.000	0.182 ± 0.000	0.825 ± 0.000	0.102 ± 0.008	0.201 ± 0.006	0.825 ± 0.000	0.027 ± 0.000	0.104 ± 0.000
0.6	0.152 ± 0.000	0.236 ± 0.000	0.672 ± 0.000	0.049 ± 0.000	0.133 ± 0.000	0.672 ± 0.000	0.069 ± 0.005	0.174 ± 0.007	0.672 ± 0.000	0.044 ± 0.000	0.127 ± 0.000
0.8	0.098 ± 0.000	0.188 ± 0.000	0.779 ± 0.000	0.022 ± 0.000	0.107 ± 0.000	0.779 ± 0.000	0.032 ± 0.005	0.113 ± 0.007	0.779 ± 0.000	0.034 ± 0.000	0.104 ± 0.000
1.0	0.157 ± 0.000	0.159 ± 0.000	0.248 ± 0.000	0.184 ± 0.000	0.248 ± 0.000	0.184 ± 0.000	0.248 ± 0.000	0.184 ± 0.000	0.184 ± 0.000	0.184 ± 0.000	0.184 ± 0.000
1.0	0.138 ± 0.000	0.231 ± 0.000	0.660 ± 0.000	0.106 ± 0.000	0.203 ± 0.000	0.660 ± 0.000	0.105 ± 0.012	0.198 ± 0.010	0.660 ± 0.000	0.031 ± 0.000	0.112 ± 0.000
0.4	0.235 ± 0.000	0.291 ± 0.000	0.523 ± 0.000	0.056 ± 0.000	0.137 ± 0.000	0.523 ± 0.000	0.058 ± 0.006	0.145 ± 0.007	0.523 ± 0.000	0.040 ± 0.000	0.109 ± 0.000
0.6	0.295 ± 0.000	0.329 ± 0.000	0.431 ± 0.000	0.063 ± 0.000	0.166 ± 0.000	0.431 ± 0.000	0.067 ± 0.009	0.160 ± 0.010	0.431 ± 0.000	0.043 ± 0.000	0.142 ± 0.000
1.0	0.183 ± 0.000	0.179 ± 0.000	0.422 ± 0.000	0.152 ± 0.000	0.244 ± 0.000	0.422 ± 0.000	0.152 ± 0.011	0.244 ± 0.011	0.422 ± 0.000	0.152 ± 0.011	0.179 ± 0.000
1.0	0.403 ± 0.000	0.382 ± 0.000	0.269 ± 0.000	0.116 ± 0.000	0.234 ± 0.000	0.269 ± 0.000	0.129 ± 0.015	0.233 ± 0.010	0.269 ± 0.000	0.051 ± 0.000	0.165 ± 0.000
ResNext50	ImageNet-LT	ResNet152	ImageNet-LT	0.2	0.019 ± 0.000	0.061 ± 0.000	0.716 ± 0.003	0.669 ± 0.066	0.995 ± 0.033	0.716 ± 0.003	0.133 ± 0.000	0.662 ± 0.000
0.4	0.632 ± 0.000	0.075 ± 0.000	0.592 ± 0.000	0.059 ± 0.000	0.089 ± 0.000	0.592 ± 0.006	0.056 ± 0.006	0.087 ± 0.003	0.592 ± 0.000	0.022 ± 0.000	0.068 ± 0.000
0.6	0.081 ± 0.000	0.103 ± 0.000	0.481 ± 0.000	0.045 ± 0.000	0.079 ± 0.000	0.481 ± 0.000	0.046 ± 0.002	0.081 ± 0.001	0.481 ± 0.000	0.020 ± 0.000	0.063 ± 0.000
1.0	0.186 ± 0.000	0.186 ± 0.000	0.579 ± 0.000	0.114 ± 0.000	0.114 ± 0.000	0.579 ± 0.006	0.114 ± 0.012	0.114 ± 0.012	0.579 ± 0.006	0.114 ± 0.012	0.114 ± 0.012
1.0	0.324 ± 0.000	0.198 ± 0.000	0.113 ± 0.000	0.230 ± 0.000	0.174 ± 0.000	0.113 ± 0.000	0.235 ± 0.008	0.175 ± 0.002	0.113 ± 0.000	0.882 ± 0.000	0.113 ± 0.000
1.2	0.217 ± 0.000	0.164 ± 0.000	0.492 ± 0.000	0.164 ± 0.000	0.492 ± 0.000	0.164 ± 0.014	0.492 ± 0.047	0.489 ± 0.022	0.492 ± 0.047	0.492 ± 0.047	0.387 ± 0.000
1.4	0.268 ± 0.011	0.166 ± 0.011	0.387 ± 0.011	0.461 ± 0.011	0.495 ± 0.011	0.387 ± 0.011	0.454 ± 0.011	0.497 ± 0.011	0.487 ± 0.011	0.454 ± 0.011	0.387 ± 0.011
1.6	0.284 ± 0.117	0.268 ± 0.117	1.187 ± 0.117	1.187 ± 0.117	1.187 ± 0.117	1.187 ± 0.117	1.187 ± 0.117	1.187 ± 0.117	1.187 ± 0.117	1.187 ± 0.117	2.268 ± 1.177
1.8	0.334 ± 0.111	0.214 ± 0.114	0.218 ± 0.114	0.128 ± 0.114	0.128 ± 0.114	0.218 ± 0.114	0.128 ± 0.114	0.218 ± 0.114	0.128 ± 0.114	2.268 ± 1.177	2.268 ± 1.177
1.9	1.437 ± 0.233	0.244 ± 0.234	1.81 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177
2.1	1.437 ± 0.233	0.244 ± 0.234	1.81 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	2.268 ± 1.177	2.268 ± 1.177	2.268 ± 1.177
3.2	1.437 ± 0.233	0.244 ± 0.234	1.81 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	2.268 ± 1.177	2.268 ± 1.177	2.268 ± 1.177	2.268 ± 1.177
4.3	1.334 ± 0.233	0.244 ± 0.234	1.81 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	2.268 ± 1.177	2.268± 1.177	2.268± 1.177	2.268± 1.177
5.4	1.437 ± 0.233	0.244 ± 0.234	1.81 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	2.268± 1.177	2.268± 1.177	2.268± 1.177	2.268± 1.177
6.4	1.334 ± 0.233	0.244 ± 0.234	1.81 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	2.268± 1.177	2.268 ± 1.177	2.268± 1.177	2.268± 1.177
7.5	1.437 ± 0.233	0.244 ± 0.234	1.81 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	2.268± 1.177
8.5	1.334 ± 0.233	0.244 ± 0.234	1.81 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	1.18 ± 1.177	2.268± 1.177
ResNext50	ImageNet-LT	2.2	0.219 ± 0.000	0.166 ± 0.011	0.387 ± 0.011	0.661 ± 0.011	0.695 ± 0.011	0.387 ± 0.011	0.654 ± 0.011	0.697 ± 0.033	0.669 ± 0.011	0.492 ± 0.011	0.665 ± 0.011
2.4	0.268 ± 0.117	-	-	-	-	-	-	-	-	-	-
2.5	-	-	-	-	-	-	-	-	-	-	-
2.6	-	-	-	-	-	-	-	-	-	-	-
2.7	-	-	-	-	-	-	-	-	-	-	-
2.8	-	-	-	-	-	-	-	-	-	-	-
3.2	-	-	-	-	-	-	-	-	-	-	-
3.3	-	-	-	-	-	-	-	-	-	-	-
3.4	-	-	-	-	-	-	-	-	-	-	-
3.5	-	-	-	-	-	-	-	-	-	-	-
3.6	-	-	-	-	-	-	-	-	-	-	-
3.7	-	-	-	-	-	-	-	-	-	-	-
3.8	-	-	-	-	-	-	-	-	-	-	-
4.3	-	-	-	-	-	-	-	-	-	-	-
4.4	-	-	-	-	-	-	-	-	-	-	-
4.5	-	-	-	-	-	-	-	-	-	-	-
4.6	-	-	-	-	-	-	-	-	-	-	-
4.7	-	-	-	-	-	-	-	-	-	-	-
5.3	-	-	-	-	-	-	-	-	-	-	-
5.4	-	-	-	-	-	-	-	-	-	-	-
5.5	-	-	-	-	-	-	-	-	-	-	-
5.6	-	-	-	-	-	-	-	-	-	-	-
5.7	-	-	-	-	-	-	-	-	-	-	-
5.8	-	-	-	-	-	-	-	-	-	-	-
5.9	-	-	-	-	-	-	-	-	-	-	-
6.5	-	-	-	-	-	-	-	-	-	-	-
6.6	-	-	-	-	-	-	-	-	-	-	-
6.7	-	-	-	-	-	-	-	-	-	-	-
6.8	-	-	-	-	-	-	-	-	-	-	-
6.9	-	-	-	-	-	-	-	-	-	-	-
7.5	-	-	-	-	-	-	-	-	-	-	-
7.6	-	-	-	-	-	-	-	-	-	-	-
7.7	-	-	-	-	-	-	-	-	-	-	-
7.8	-	-	-	-	-	-	-	-	-	-	-
8.5	-	-	-	-	-	-	-	-	-	-	-
8.6	-	-	-	-	-	-	-	-	-	-	-
8.7	-	-	-	-	-	-	-	-	-	-	-
8.8	-	-	-	-	-	-	-	-	-	-	-
9.5	-	-	-	-	-	-	-	-	-	-	-
9.6	-	-	-	-	-	-	-	-	-	-	-
9.7	-	-	-	-	-	-	-	-	-	-	-
9.8	-	-	-	-	-	-	-	-	-	-	-
9.9	-	-	-	-	-	-	-	-	-	-	-
1,235 ± 355