Table 1: Experiments on the standard UCI datasets. Each experiment (for a combination of dataset and method) is repeated 5 times in order to estimate the range of value fluctuation of each metric. On each dataset, the minimum loss for each metric is marked in bold and red, while we omit the comparisons on the Length and the Coverage due to the difficulty of trading off between sharper intervals and better coverage intervals. Full experiment details are deferred to Appendix E.
Dataset	Metric	MCDrop	DeepEnsemble	ISR	MAQR	CQR	NRC	NRC-DR
Boston	MACE	0.14±0.03	0.06±0.04	0.057±0.03	0.051±0.02	0.049±0.02	0.048±0.02	0.055±0.02
AGCE	0.22±0.04	0.27±0.07	0.27±0.08	0.25±0.06	0.24±0.06	0.19±0.05	0.19±0.05
CheckScore	1.9±0.2	1±0.3	0.95±0.2	1.1±0.2	0.72±0.1	1.1±0.2	1.1±0.2
Length(Coverage)	8.6±1(95%)	8.5±1(90%)	7.9±1(88%)	9.1±1(88%)	7.1±0.7(82%)	10±1(94%)	9.7±1(91%)
Concrete	MACE	0.078±0.02	0.053±0.03	0.044±0.02	0.049±0.03	0.059±0.03	0.047±0.02	0.038±0.03
AGCE	0.2±0.04	0.18±0.03	0.19±0.05	0.18±0.06	0.23±0.05	0.18±0.05	0.19±0.04
CheckScore	3.6±0.2	1.9±0.3	2.3±0.6	2±0.2	1.72±0.6	1.4±0.2	2±0.4
Length(Coverage)	25±4(95%)	19±1(93%)	20±0.8(89%)	17±2(79%)	20±0.7(89%)	21±0.8(90%)	19±0.9(92%)
Energy	MACE	0.16±0.02	0.065±0.04	0.055±0.03	0.063±0.02	0.075±0.03	0.037±0.008	0.04±0.01
AGCE	0.21±0.01	0.19±0.04	0.21±0.07	0.21±0.04	0.18±0.008	0.22±0.06	0.24±0.08
CheckScore	1.4±0.3	0.64±0.09	0.6±0.1	0.6±0.2	0.14±0.03	0.18±0.03	0.69±0.2
Length(Coverage)	9±4(93%)	7.7±0.6(94%)	7.1±2(95%)	6.2±3(84%)	1.8±0.3(95%)	4.5±1(88%)	1.5±0.1(89%)
Kin8nm	MACE	0.034±0.01	0.077±0.05	0.013±0.005	0.032±0.02	0.041±0.02	0.013±0.004	0.017±0.007
AGCE	0.075±0.01	0.12±0.06	0.072±0.02	0.072±0.02	0.075±0.02	0.067±0.02	0.056±0.02
CheckScore	0.045±0.002	0.027±0.002	0.031±0.001	0.029±0.001	0.025±0.0009	0.032±0.002	0.032±0.002
Length(Coverage)	0.5±0.02(95%)	0.29±0.006(93%)	0.28±0.007(90%)	0.27±0.01(87%)	0.26±0.005(89%)	0.25±0.003(90%)	0.52±0.007(90%)
Naval	MACE	0.1±0.03	0.12±0.05	0.011±0.005	0.043±0.02	0.077±0.07	0.012±0.005	0.017±0.007
AGCE	0.15±0.05	0.14±0.06	0.054±0.009	0.081±0.01	0.098±0.05	0.052±0.008	0.052±0.008
CheckScore	0.0018±0.0006	0.00064±0.0002	0.00079±0.0003	0.0021±0.0007	0.0011±0.0009	0.00088±0.0001	0.002±0.0007
Length(Coverage)	0.02±0.002(94%)	0.015±0.0003(100%)	0.0078±0.0008(90%)	0.017±0.003(84%)	0.015±0.002(98%)	0.0097±0.002(91%)	0.0088±0.0006(91%)
Power	MACE	0.29±0.01	0.045±0.03	0.011±0.006	0.029±0.02	0.049±0.005	0.0086±0.003	0.0086±0.003
AGCE	0.3±0.01	0.075±0.03	0.065±0.02	0.06±0.01	0.071±0.02	0.057±0.007	0.053±0.008
CheckScore	24±3	1.3±0.1	1.3±0.1	1.2±0.03	1.1±0.03	1±0.03	1.2±0.05
Length(Coverage)	20±3(97%)	16±0.5(97%)	13±0.8(90%)	12±0.8(88%)	13±0.7(93%)	13±0.3(91%)	11±0.1(90%)
Wine	MACE	0.036±0.02	0.049±0.03	0.016±0.009	0.029±0.02	0.056±0.007	0.016±0.01	0.017±0.006
AGCE	0.1±0.03	0.12±0.05	0.091±0.02	0.094±0.03	0.1±0.06	0.075±0.03	0.075±0.02
CheckScore	0.2±0.01	0.2±0.009	0.2±0.01	0.2±0.02	0.21±0.02	0.19±0.01	0.21±0.01
Length(Coverage)	2.4±0.09(90%)	2.2±0.02(88%)	2.2±0.03(87%)	2.3±0.1(84%)	2.3±0.04(89%)	2.3±0.04(90%)	2.2±0.2(90%)
Yacht	MACE	0.11±0.03	0.049±0.02	0.06±0.03	0.088±0.04	0.073±0.05	0.096±0.05	0.087±0.04
AGCE	0.29±0.08	0.35±0.06	0.34±0.09	0.31±0.07	0.34±0.04	0.34±0.07	0.31±0.04
CheckScore	1.9±0.6	1.1±0.4	1.5±0.6	0.32±0.09	0.19±0.07	0.18±0.03	0.4±0.2
Length(Coverage)	18±5(94%)	10±1(91%)	10±0.9(88%)	3.3±1(83%)	1.7±0.4(72%)	5.3±1(93%)	3.2±1(91%)