Nedrykket til Sarpsborg FK i 1974 blir starten på mørke tiår hvor Sarpsborg ikke er representert i eliteserien. Sparta og Greåker forsvinner ned i regionale serier, mens Sarpsborg FK rykker ned fra nest øverste nivå i 1980, og starter en 12 års ørkenvandring i 2. divisjon. Etter nok et nedrykk møtes fem Sarpsborg-klubber i samme avdeling i 3. divisjon i 1993, Sarpsborg FK, Greåker, Tune, Hafslund og Borgen. Sarpsborg FK går deretter raskeste vei opp i 1. divisjon, men både i 1995 og 1997 mislykkes klubben i å etablere seg på nivå to.