I midten av 1920-årene flyttet klubben på nytt da Imperial Hotel ble hovedkvarteret. I 1928/29 spilte brødrene David og John Swayne for klubben. Begge spilte senere for Harlequins og spilte landskamper for England mot Wales. John i 1929 og David i 1931. I 1932/33 sesongen spilte Hereford mot Lloyds Bank laget, der Len Saxby og Swayne brødrene spilte. Etter en sesong på Essex Arms Ground, returnerte klubben til Racecourse og spilte sine større kamper på Edgar Street. Spillet forfalt i løpet av 1930-årene og kampene ble fulgt av få publikumere.