Hereford United ble kjent i 1972, da de som Southern Leaguelag slo topplaget Newcastle United ut av FA-cupen. Samme sesong ble de valgt inn i Fotball ligaen og nådde i 1976 opp til Divisjon 2. Etter rask nedgang, rykket de ned til Divisjon 4 der de spilte i 19 sesonger. Sesongen 1996-97 rykket klubben ned til Conference, en sesong de fikk store økonomiske problemer.