Holovak, ett av seks barn og yngst av fem sønner til immigranter fra Slovakia/Ungarn/Rutenia, vokste opp i gruvebyen Lansford i Pennsylvania. I high school spilte han for et lag som vant over den fremtidige legenden Vince Lombardi.