Han debuterte for klubben i 1933, og var fast på laget frem til fotballen ble stoppet på grunn av andre verdenskrig. Etter krigen spilte han 19 landskamper, og i en kamp mot i 1947 var han kaptein, den første målvakten som fikk denne æren siden Alexander Morten i 1873. Swift var med på å vinne FA-cupen i 1934 og ligaen i 1937. «Swifty» la opp i 1950 etter å ha spilt 338 ligakamper, og begynte å arbeide som journalist.