Bansavage gikk på Union Hill High School i Union City i New Jersey. Han spilte deretter college football på The Citadel og deretter på USC. Han droppet sitt siste år i college for å signere med Baltimore Colts etter å ha blitt draftet i AFLs draft i 1960.