Laget havner stadig lengre ned på tabellen havner sist i ligaen i 1932-33, men får beholde plassen ved avstemning i konkurranse med to andre lag. Sommeren 1933, kvitter de seg med klubbens toppskårer i sju sesonger på rad, Harry Morris (229 mål på 279 kamper, noe som er klubbrekord), fordi manager Sam Allen synes han var for gammel da han var 35 år. Han blir erstattet av Cecil Blackmoore som er 13 dager yngre. Sam Allen får sparken samme sommer og kun fire spillere blir med til neste sesong. Ted Vizard blir klubbens første manager i dagens betydning av stillingen. Sommeren 1938 blir en tribuneseksjon på kortenden åpnet og klubben stiller med nummer på drakten for første gang. 1939-40 sesongen blir bare 3 kamper lang da andre verdenskrig bryter ut.