De neste to årene gikk Patriots sammenlagt 7–20–1, som resulterte i at Holovak fikk sparken 7. januar 1969. I løpet av sin tid med Patriots gikk han 53–47–9. Som da han jobbet for Boston College hadde tilhengerne mistet troen på ham mot slutten av hans tid med laget. Han forble den mestvinnende treneren i lagets historie frem til Bill Belichick forbigikk ham i 2005.