Table 2: Top test accuracy (%) of distinct methods across  $\rho  \in  \{ 5,{10},{40}\}$  on different datasets.
Alg.s	SVHN	CIFAR-10	Tiny-ImageNet	FOOD101
ρ=5	ρ=10	ρ=40	ρ=5	ρ=10	ρ=40	ρ=5	ρ=10	ρ=40	ρ=5	ρ=10	ρ=40
HeteroFL	29.56±17.60	23.07±12.92	17.37±9.50	21.00±3.28	13.89±3.73	11.16±1.95	8.27±0.21	1.03±0.20	0.73±0.11	9.61±0.97	1.52±0.17	1.16±0.07
(27.63±5.35)	(30.90±5.70)	(25.28±1.13)	(23.94±2.63)	(24.70±0.80)	(26.55±1.29)	(6.72±0.13)	(5.46±0.33)	(6.90±0.23)	(7.79±0.49)	(9.12±0.66)	(12.05±0.37)
+DENSE	31.16±15.65	27.48±9.61	20.47±6.24	21.63±2.83	16.64±2.86	12.79±0.28	8.44±0.32	1.07±0.16	0.75±0.08	9.78±0.85	1.90±0.39	1.24±0.11
(28.62±4.62)	(31.51±4.27)	(24.88±1.82)	(24.05±2.52)	(24.34±0.73)	(26.80±1.17)	(6.74±0.28)	(5.86±0.80)	(7.15±0.35)	(7.98±0.43)	(8.99±0.66)	(11.99±0.33)
+FedFTG	32.22±15.66	26.92±8.86	19.02±4.51	22.29±4.01	18.79±4.58	15.69±2.91	8.38±0.20	1.08±0.17	0.74±0.10	9.85±1.07	1.94±0.44	1.26±0.17
(29.10±5.00)	(31.56±4.45)	(25.33±1.30)	(24.34±2.64)	(24.47±0.85)	(26.46±1.12)	(6.63±0.32)	(6.01±0.69)	(7.11±0.51)	(7.88±0.47)	(8.74±0.56)	(11.87±0.16)
+DFRD	42.77±12.60	30.17±7.26	24.82±6.70	24.30±1.59	23.78±1.77	19.10±0.78	9.27±0.14	1.50±0.12	0.83±0.01	11.54±0.32	3.05±0.73	1.58±0.23
(29.41±5.53)	(31.56±4.56)	(26.14±0.47)	(24.70±1.58)	(24.35±0.67)	(26.75±1.34)	(8.09±0.20)	(8.13±0.33)	(10.29±0.18)	(9.28±0.07)	(10.94±0.07)	(14.39±0.02)
FedDP	28.99±17.35	24.17±18.36	20.03±13.90	17.36±3.13	12.52±1.41	11.08±1.83	6.33±0.78	1.15±0.17	0.97±0.13	7.69±0.58	1.84±0.59	1.75±0.28
(16.96±5.50)	(14.95±2.59)	(14.38±1.76)	(15.47±1.06)	(15.48±0.87)	(15.83±1.07)	(2.84±0.30)	(1.14±0.28)	(0.97±0.10)	(3.42±0.22)	(1.70±0.32)	(1.70±0.28)
+DENSE	31.15±22.51	26.38±18.60	22.33±14.46	19.66±1.15	14.55±1.50	12.22±1.89	6.54±0.39	1.23±0.25	1.03±0.10	8.19±0.91	1.98±0.33	1.66±0.49
(18.39±6.36)	(15.73±4.00)	(14.65±2.93)	(15.63±0.95)	(15.67±1.24)	(15.48±1.21)	(2.75±0.29)	(1.17±0.33)	(0.99±0.11)	(3.59±0.23)	(1.69±0.44)	(1.69±0.25)
+FedFTG	32.30±20.90	28.55±14.65	26.63±12.64	23.67±2.70	13.80±0.41	12.17±1.87	6.32±0.53	1.22±0.19	0.98±0.21	7.93±0.49	2.08±0.24	1.69±0.25
(18.00±6.10)	(15.04±2.80)	(14.39±1.60)	(15.68±1.24)	(15.51±0.73)	(15.61±1.24)	(2.84±0.25)	(1.16±0.31)	(0.96±0.17)	(3.44±0.22)	(1.65±0.43)	(1.68±0.28)
+DFRD	41.48±8.11	37.30±12.22	32.89±11.65	27.93±3.63	20.24±1.44	19.42±4.37	9.01±0.42	1.59±0.21	1.05±0.23	11.28±0.44	2.71±0.24	1.94±0.12
(19.02±4.75)	(17.19±0.28)	(16.14±0.30)	(16.69±0.82)	(16.35±0.95)	(15.97±1.25)	(3.83±0.07)	(1.56±0.20)	(1.25±0.08)	(4.62±0.13)	(2.14±0.07)	(1.82±0.01)
FedRolex	34.71±13.68	23.48±13.09	22.39±15.28	21.11±1.76	16.57±4.40	14.37±2.91	9.29±0.32	5.55±0.40	2.50±0.33	10.27±1.33	5.14±3.41	3.22±0.52
(14.20±2.94)	(13.85±2.60)	(13.59±2.11)	(16.99±0.67)	(16.12±0.90)	(17.11±1.29)	(5.33±0.21)	(2.73±0.09)	(1.81±0.29)	(6.86±0.12)	(3.37±1.14)	(2.95±0.17)
+DENSE	36.58±12.53	26.69±13.11	24.34±14.81	23.72±5.48	19.65±1.47	16.44±1.89	9.33±0.06	5.40±0.40	2.40±0.20	10.83±0.78	7.54±0.46	3.07±0.53
(17.51±2.52)	(14.49±1.96)	(14.04±1.95)	(17.16±0.67)	(15.81±0.62)	(17.26±1.34)	(5.16±0.18)	(2.76±0.01)	(1.82±0.33)	(6.95±0.26)	(3.86±0.44)	(2.99±0.11)
+FedFTG	38.07±12.27	25.53±13.84	24.06±14.86	22.66±5.24	17.27±2.67	14.77±2.03	9.18±0.23	5.69±0.34	2.43±0.12	10.60±0.79	8.13±0.82	3.06±0.48
(17.54±2.54)	(14.03±1.91)	(14.03±1.91)	(17.16±1.10)	(16.25±1.56)	(17.70±1.14)	(5.18±0.18)	(2.75±0.01)	(1.81±0.22)	(6.85±0.11)	(3.77±0.48)	(2.92±0.19)
+DFRD	46.30±10.12	34.78±9.19	32.86±15.54	26.68±1.21	25.57±1.37	19.86±2.76	10.93±0.05	6.80±0.11	2.68±0.19	12.70±0.79	10.58±0.29	3.59±0.05
(18.44±1.34)	(15.99±1.53)	(15.17±0.66)	(17.51±0.23)	(16.74±0.72)	(17.77±1.16)	(6.11±0.02)	(3.35±0.04)	(2.22±0.08)	(8.02±0.08)	(4.86±0.16)	(3.34±0.15)