Swindin ble født i Campsall i Yorkshire. Som målvakt spilte han for diverse lokale klubber, blant annet i Rotherham United, før han ble profesjonell i 1934 i Bradford City. Han spilte 26 kamper for Bradford før han ble signert av Arsenal FC i 1936 for 4 000 pund. Hans debut for Arsenal var mot Brentford 3. september 1936, og spilte nitten kamper den første sesongen. Til å begynne med var hans spill karakterisert av nervøsitet og uberegnelighet, og han måtte dele målvaktsplassen med Alex Wilson og Frank Boulton. I 1937-38 sesongen spilte flere kamper enn de andre målvaktene, sytten kamper, og vant medalje for seier i første divisjon.