Table 7: Average and standard deviation of self supervised distance-based visual alignment and reliability score across 5 seeds. Bold indicates the best performance in each category and underline is the second best. Deep Ensemble does not have standard deviation since it is the output of 5 different seeds. The value under each SSL performance shows its difference with the baseline's performance.
Visual Alignment (↓)	Reliability score (↑)
Must-Act	Must-Abstain	Uncertain Category 7	Average	\(RS_0\)	\(RS_{450}\)	\(RS_{900}\)
Category 1	Category 2	Category 3	Category 4	Category 5	Category 6	Category 7
Swin Transformer [38]
SP	No SSL	0.106±0.004	0.362±0.014	0.221±0.017	0.793±0.016	0.828±0.043	0.800±0.022	0.829±0.028	0.625±0.031	0.571±0.015	363	-225537	-451437
SimCLR[6]	0.125±0.009(+0.019)	0.408±0.015(+0.046)	0.265±0.034(+0.044)	0.723±0.037(-0.070)	0.782±0.026(-0.046)	0.744±0.028(-0.056)	0.776±0.044(-0.053)	0.615±0.023(-0.010)	0.555±0.015(-0.016)	384(+21)	-211566(+13971)	-243516(+27921)
BYOL[21]	0.125±0.009(+0.019)	0.408±0.015(+0.046)	0.265±0.034(+0.044)	0.723±0.037(-0.070)	0.782±0.026(-0.046)	0.695±0.022(-0.056)	0.776±0.044(-0.053)	0.615±0.023(-0.010)	0.555±0.015(-0.016)	384(+21)	-211566(+13971)	-243516(+27912)
ASP	No SSL	0.085±0.007(+0.019)	0.329±0.008(+0.027)	0.182±0.020	0.998±0.000	0.998±0.000	0.998±0.000	0.998±0.000	0.736±0.009	0.666±0.003	294	-268356	-537006
SimCLR[6]	0.091±0.010(+0.006)	0.356±0.012(+0.027)	0.214±0.028(+0.032)	0.999±0.000(+0.001)	0.999±0.000(+0.001)	0.999±0.000(+0.001)	0.999±0.000(+0.001)	0.735±0.004(+0.001)	0.674±0.005(+0.008)	301(+7)	-264299(+4057)	-528899(+8107)
BYOL[21]	0.091±0.010(+0.006)	0.356±0.012(+0.027)	0.214±0.028(+0.032)	0.999±0.000(+0.001)	0.999±0.000(+0.001)	0.899±0.000(+0.001)	0.999±0.000(+0.001)	0.735±0.004(+0.001)	0.674±0.005(+0.008)	301(+7)	-264299(+4057)	-528889(+8107)
MD [35]	No SSL	0.296±0.018(+0.028)	0.512±0.012(+0.036)	0.364±0.012(+0.047)	0.700±0.012(+0.062)	0.743±0.014(-0.042)	0.723±0.017(-0.042)	0.685±0.021(-0.065)	0.575±0.007(-0.017)	0.575±0.006(-0.017)	326(+47)	-248974(+31997)	-498274(+63947)
SimCLR[6]	0.324±0.016(+0.028)	0.548±0.018(+0.036)	0.407±0.023(+0.043)	0.638±0.017(-0.062)	0.701±0.015(-0.042)	0.660±0.015(-0.063)	0.620±0.031(-0.065)	0.558±0.011(-0.017)	0.557±0.006(-0.017)	373(+47)	-216977(+31997)	-434232(+63947)
BYOL[21]	0.326±0.020(+0.030)	0.548±0.022(+0.037)	0.408±0.026(+0.044)	0.635±0.027(-0.065)	0.699±0.022(-0.044)	0.659±0.024(-0.064)	0.615±0.039(-0.070)	0.558±0.015(-0.017)	0.556±0.010(-0.018)	370(+44)	-220580(+28394)	-441530(+56744)
KNN [67]	No SSL	0.370±0.017(+0.005)	0.580±0.008(+0.011)	0.456±0.018(+0.006)	0.549±0.025(+0.011)	0.590±0.013(-0.055)	0.545±0.022(-0.017)	0.554±0.035(-0.017)	0.543±0.007(+0.003)	0.523±0.012(+0.003)	526(+22)	-115124(+43946)(+243232)(+48622)	-230774(-279396(-48622)
SimCLR[6]	0.375±0.019(+0.005)	0.591±0.018(+0.011)	0.462±0.028(+0.006)	0.560±0.019(+0.011)	0.585±0.027(-0.055)	0.558±0.021(+0.013)	0.537±0.022(+0.017)	0.545±0.010(+0.002)	0.527±0.006(+0.003)	504(+22)	-139446(-243232)(+48622)
BYOL[21]	0.374±0.018(+0.004)	0.591±0.018(+0.011)	0.462±0.026(+0.006)	0.560±0.022(+0.011)	0.585±0.028(-0.055)	0.558±0.022(+0.013)	0.538±0.023(+0.016)	0.545±0.010(+0.002)	0.527±0.007(+0.003)	504(+22)	-138996(-23872)
TAPUDD [13]	No SSL	0.201±0.053(+0.028)	0.427±0.048(+0.033)	0.278±0.046(+0.052)	0.876±0.058(-0.042)	0.889±0.048(-0.034)	0.898±0.049(-0.035)	0.843±0.023(-0.055)	0.663±0.022(-0.019)	0.635±0.013(-0.017)	294(+7)	-268356(-47722)
SimCLR[6]	0.234±0.021(+0.033)	0.468±0.022(+0.041)	0.330±0.036(+0.052)	0.834±0.026(+0.042)	0.855±0.024(-0.034)	0.863±0.020(-0.035)	0.789±0.049(-0.055)	0.644±0.010(-0.019)	0.627±0.007(-0.017)	301(+7)	-264299(-45177)(+8107)
BYOL[21]	0.233±0.021(+0.032)	0.466±0.022(+0.039)	0.329±0.037(+0.051)	0.834±0.023(-0.042)	0.856±0.023(-0.033)	0.861±0.019(-0.037)	0.791±0.038(-0.053)	0.646±0.008(+0.017)	0.627±0.006(+0.003)	301(+7)	-264299(-45177)(+8107)
MC-Dropout [16]	No SSL	0.099±0.008(+0.018)	0.358±0.013(+0.011)	0.225±0.029(+0.066)	0.831±0.037(+0.011)	0.810±0.023(-0.055)	0.817±0.032(-0.013)	0.724±0.084(+0.017)	0.656±0.030(+0.012)	0.565±0.011(+0.011)	399(+7)	-268356(-45177)(+8107)
SimCLR[6]	0.107±0.008(+0.027)	0.389±0.022(+0.041)	0.240±0.026(+0.052)	0.848±0.021(-0.042)	0.825±0.026(-0.034)	0.849±0.044(+0.032)	0.805±0.020(+0.055)	0.683±0.007(+0.017)	0.593±0.006(+0.012)	360(+7)	-225996(-45177)(+8107)
BYOL[21]	0.106±0.008(+0.017)	0.388±0.013(+0.030)	0.241±0.025(+0.016)	0.856±0.021(-0.025)	0.828±0.031(+0.018)	0.854±0.039(+0.037)	0.820±0.024(+0.096)	0.683±0.007(+0.027)	0.597±0.005(+0.032)	355(+44)	-228695(-45177)(+8107)
Deep Ensemble [32]	No SSL	0.132(+0.012)	0.377(+0.051)	0.253(+0.037)	0.725(+0.060)	0.766(-0.032)	0.734(-0.042)	0.768(-0.044)	0.584(-0.011)	0.542(-0.010)	434(+3)	-187666(+6753)(+13503)
SimCLR[6]	0.144(+0.012)	0.428(+0.051)	0.290(+0.037)	0.665(+0.065)	0.734(-0.032)	0.692(-0.042)	0.724(-0.044)	0.587(-0.013)	0.533(-0.011)	437(+3)	-189193(+6753)(+13503)
BYOL[21]	0.144(+0.012)	0.428(+0.051)	0.290(+0.037)	0.665(+0.065)	0.734(-0.032)	0.692(-0.042)	0.724(-0.044)	0.587(--)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)-)
DenseNet [27]
SP	No SSL	0.094±0.017(+0.202)	0.258±0.023(+0.273)	0.183±0.019(+0.255)	0.813±0.017(-0.209)	0.852±0.015(-0.199)	0.819±0.012(-0.194)	0.864±0.036(-0.143)	0.614±0.018(-0.22)	0.562±0.017(-0.22)	392(+86)	-211558(-48622)(+8117)(+13586)(+13536)
SimCLR[6]	0.296±0.034(+0.212)	0.531±0.019(+0.273)	0.438±0.046(+0.255)	0.604±0.025(-0.213)	0.653±0.038(-0.199)	0.615±0.036(-0.204)	0.721±0.041(-0.143)	0.592±0.022(-0.22)	0.556±0.015(-0.22)	478(+86)	-128672(-82886)(+13586)(+13536)
BYOL[21]	0.292±0.021(+0.198)	0.518±0.027(+0.260)	0.466±0.026(+0.263)	0.606±0.022(-0.213)	0.656±0.029(-0.196)	0.623±0.021(-0.196)	0.705±0.029(-0.159)	0.553±0.009(-0.21)	- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
OpenNet [35]	No SSL	- 268356(-47722)(+13971)(+13586)(+13536)
SimCLR[6]	- 268356(-47722)(+13971)(+13586)(+13536)
SimCLR[6]	- 268356(-47722)(+13971)(+13586)(+13536)
SimCLR[6]	- 268356(-47722)(+13971)(+13586)(+1