I 1960 tok han en stilling som assistenttrener for Boston Patriots i den nye American Football League (AFL) under hovedtrener Lou Saban, hvor han var trener for angrepest backfield. Holovak tok over som hovedtrener de siste ni kampene i 1961 etter at Saban fikk sparken med en sesongstart på 2–3, og forble lagets hovedtrener ut 1968. I 1976 var han hovedtrener for New York Jets i en kamp. Han var også general manager for Houston Oilers fra 1989 til 1993. Holovak ble innlemmet i College Football Hall of Fame som spiller i 1985.