Nedrykket til Sarpsborg FK i 1974 blir starten på 37 tunge år uten Sarpsborg i eliteserien. Sparta og Greåker hadde allerede forsvunnet ned i regionale serier, og i 1980 rykker Sarpsborg videre ned og starter en 12 år lang ørkenvandring på nivå 3 fram til 1992. FFK ble på sin side et heislag mellom nivå 1 og nivå 2 fra 1974 til 1984. Etter dette fortsetter man på nivå 2 i noen år, før også FFK får sin 10 år lange ørkenvandring på nivå 3. Underveis i denne onde spiralen ble det noen få byderbyer. I 1977 vant FFK begge møtene i 2. divisjon. Det i Sarpsborg ble spilt på 16. mai, men dette var før Rosenborg bygget opp dette til en fotballens festdag. Sarpsborg rykket ned i 3. divisjon for første gang, mens FFK på målforskjell misset en kvalplass som kunne gitt retur til 1. divisjon. Før siste kamp hadde FFK best målforskjell, men dette endret seg da Steinkjer vant hele 9-0 over nedrykksklare Grue. FFK-spillerne sendte et åpent brev til Grue og «takket spillerne for å ha utvist den rette sportsånd og fremmet fotballsportens troverdighet i Norge». Da spillerne samtidig påpekte at Steinkjer hadde scoret 10 mål på de øvrige 8 bortekampene vakte brevet reaksjoner fra mange som oppfattet det som beskyldninger om avtalt spill. FFk måtte sende et nytt brev og beklage insinuasjonene. I 1979 var Sarpsborg tilbake i 2. divisjon, og denne gang ble det to hjemmeseire i derbyene. Fredrikstad rykket opp, og året etter rykket Sarpsborg ned. To divisjoner skilte derfor lagene da de møttes til 3. runde i NM i 1981. Dette ble et minneverdig og målrikt derby i Sarpsborg hvor SFK tapte 4-6. Så skulle det gå hele ni år før hele møte. I runden etter tapte FFK uventet hele 0-6 mot Moss, noe som ble starten på et langvarig kompleks hvor Moss vant nesten alle kamper mot FFK de neste 20 årene og ble Østfolds storebror for en stakket stund.