Norton var født og oppvokst sør i California og ble uteksaminert fra Fullerton Union High School i 1956. Han spilte college football under hovedtrener Skip Stahley på Idaho University i Pacific Coast Conference sammen med de andre fremtidige proffene Jerry Kramer, Wayne Walker og Jim Prestel. Han fikk kallenavnet «Flamingo» og spilte defensive back og tight end samtidig som han puntet og returnerte spark for skolelaget Idaho Vandals. Han ble valgt i syvende runde av NFLs draft i 1960 (#75) av Detroit Lions og av Dallas Texans i AFLs første draft i 1960. Han endte opp med å signere med Houston Oilers.