Taylor gikk på New Mexico Highlands University, hvor han utmerket seg i basketball og friidrett i tillegg til amerikansk fotball. I 1956 og 1957 ble han utnevnt All-Conference som wide receiver.