Utover på 1920-tallet hardnet frontene mellom arbeidere og funksjonærer til. Sarpsborg FK hadde alltid vært en klubb for ingeniørene. Arbeidsløse unggutter stiftet i 1928 IL Sparta, som ble innmeldt i Arbeidernes Idrettsforbund (AIF). Fram til 1940 spilte ikke AIF-klubber kamper mot Sarpsborg FK og de andre i Landsforbundet for Idrett. I AIF-mesterskapene ble Sparta raskt en ledende klubb. Cupfinalene i 1930, 1934 og 1935 ble tapt, men i 1936, 1937 og 1938 ble Sparta mestre.