Buffalo endte 1974-seosngen 9–5 igjen og nådde da sluttspillet som wildcardlaget i AFC. Bills tapte derimot i den første sluttspillkampen, mot Pittsburgh Steelers, og ble eliminert. Etter kampen sa Saban at en avgjørende faktor var hvor dominante Steelers var på angrep. «Jeg er usikker på hvordan de gjorde det mot oss, men de knuste oss», sa han. Buffalo endte 8–6 i 1975, uten en tur til sluttspillet. Etter at Bills startet 1976-sesongen 2–3 trakk Saban seg. Han skal ha vært sint på hvordan Bills’ eier Ralph Wilson håndterte kontraktforlengelsen til Simpson, som hadde krevd å bli byttet i begynnelsen av sesongen. Saban ble erstattet med Jim Ringo, som han selv hadde ansatt i 1972. Wilson bar nag mot Saban ut livet etter han sluttet for andre gang, og nektet å inkludere ham i Bills Wall of Fame fordi, i hans egne ord, «he quit on me twice!» Walt Patulski, Bills’ første draft picks i 1972 var også noe misfornøyd med Saban etter Buffalo, da han mente at han hadde forsøkt å tvinge sin væremåte over på Patulski og at dette hadde ødelagt hans karriere; Patulski nektet å snakke med Saban igjen etter de to jobbet sammen i Buffalo.